JP5805619B2 - 境界線認識装置 - Google Patents

Description

本発明は、車両に搭載されたカメラにより撮影された画像情報に基づいて、走路を区分する境界線を認識する境界線認識装置に関する。

車両に搭載した撮影装置で車両前方の路面を含むシーンを撮影し、撮影した画像データから車両が走行中のレーンの左，右端白線を表す二直線を検出して、検出した二直線の交点から自車両までの二直線間の３角領域で、路面上の物体を検出することが行われている（例えば、特許文献１）。

特許文献１では、自車レーンが車両の前方でカーブしている場合に、３角領域から遠方の路面が外れないようにするために、車両前方の路面が存在する画像上の領域を、車両の進行方向で複数個に分割している。そして、車両に近い分割領域から順次に、分割領域における走行中のレーンの左，右端白線の検出を行い、検出した左，右端白線の間の走行レーン領域において物体検出を行っている。

特開平６−２１５２９０号公報

左，右端白線を表す直線を基準にした所定領域で物体検出を行う場合、物体の検出精度を向上させるためには、左，右端白線を表す直線の誤認識を抑制する必要がある。しかしながら、車両から遠方にある白線の場合、画像上における境界線の見かけの幅は非常に狭くなる。そのため、カメラレンズのぼけにより境界線と路面とのコントラスト（エッジ強度）が低下すると、車両の遠方において、境界線に沿って並んだ路側物等を境界線と誤認識するおそれがある。特に、白線等の境界線が画像上で水平方向に傾いていると、こうした傾向が顕著となる。

本発明は、上記実情に鑑み、車両の遠方における境界線の誤認識を抑制可能な境界線認識装置を提供することを主たる目的とする。

上記課題を解決するため請求項１に記載の境界線認識装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像の輝度に基づいて、前記走路を区切る境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから前記境界線の候補線を抽出する境界線候補抽出部と、前記境界線候補抽出部により抽出された前記境界線の候補線において、前記画像の水平方向における前記候補線の幅、及び前記画像の垂直方向に対する前記候補線の角度から、前記候補線の前記画像上での見かけの幅を算出する幅算出部と、前記候補線が境界線としての特徴を備えている度合いが大きいほど、前記候補線が前記境界線である確率を高く算出する境界線特徴算出部と、複数の前記特徴について前記境界線特徴算出部により算出された前記確率を統合して、前記境界線を認識する境界線認識部と、を備え、複数の前記境界線としての特徴は、前記画像の不鮮明度に対する前記幅算出部により算出された前記見かけの幅の比率が所定値よりも大きいことを含む。

請求項１に記載の境界線認識装置によれば、車両に搭載されたカメラにより撮影された画像の輝度から、走路を区切る境界線のエッジ候補点、及び境界線の候補線が抽出される。抽出された候補線の画像上での見かけの幅が算出される。また、候補線が境界線の特徴を備えている度合いが大きいほど、候補線が境界線である確率が高く算出される。そして、複数の境界線の特徴について算出された確率が統合されて、境界線が認識される。

本願発明者は、車両の遠方において、画像の不鮮明度に対して境界線の見かけの幅が狭くなると、エッジ候補点の抽出精度が低下し、境界線に沿って設置された路側物等を境界線と誤認識するおそれが高くなることに注目した。境界線の見かけの幅が狭い所では、境界線に沿って設置された路側物等のエッジを抽出した候補線のみかけの幅も狭くなることが多い。そこで、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを、複数の境界線としての特徴の一つに含めた。このため、境界線である確率の統合において、この特徴から算出された確率を反映させることにより、車両の遠方における境界線の誤認識を抑制することができる。

一実施形態に係る境界線認識装置の構成を示すブロック図。 確率を統合する演算式。 候補線の見かけの幅に基づいて境界線である確率を算出する処理手順を示すフローチャート。 候補線の見かけの幅及び水平方向の幅を示す図。 候補線の輝度を水平方向に微分した一次微分分布を示す図。 水平方向における候補線の輝度分布を示す図。 不鮮明度に対する見かけの幅の比率と境界線である確率との対応を示す図。 候補線の見かけの幅に基づいて算出した境界線である確率を反映させる前と反映させた後において認識した境界線を示す図。

図１を参照して、一実施形態に係る境界線認識装置の構成について説明する。本実施形態に係る境界線認識装置は、カメラ１０、及び画像処理装置７０を備える。

カメラ１０は、例えばＣＣＤカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ１０は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置７０に出力する。

画像処理装置７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、境界線候補抽出部２０、境界線特徴算出部３０、境界線認識部６０の機能を実現している。

境界線候補抽出部２０は、カメラ１０により撮影された画像の輝度に基づいて、走路を区切る白線等の境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから境界線の候補線を抽出する。画像上で車両走行方向に交差する水平方向において、画像の輝度は、１本の境界線の左右の輪郭（エッジ）部分で大きく変化する。境界線候補抽出部２０は、カメラ１０から取得した画像情報を所定のサンプリング周期で連続的に処理しており、画像の水平方向において、急激に輝度が変化する複数の点をエッジ候補点として抽出する。そして、抽出した複数のエッジ候補点にハフ変換を施してエッジ候補点の連なりを取得し、取得したエッジ候補点の連なりを左右の輪郭とする候補線を複数抽出する。

境界線特徴算出部３０は、幅算出部３１、投票数算出部３２、エッジ強度算出部３３、分岐路判定部３４を備える。境界線特徴算出部３０は、境界線候補抽出部２０により抽出された複数の候補線のそれぞれについて、各エッジ候補点において、本線走路の境界線としての特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が本線走路の境界線である確率を高く算出する。

本願発明者は、車両の遠方において、画像の不鮮明度に対して境界線の見かけの幅が狭くなると、境界線に沿って設置された路側物等のエッジをエッジ候補点として抽出し、路側物等を境界線と誤認識するおそれが高くなることに注目した。すなわち、画像の不鮮明度に対して境界線の幅が所定よりも広くない場合には、境界線でないものを境界線と誤認識したり、境界線を境界線でないと誤認識したりする可能性が高くなる。そこで、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを、本線走路の境界線としての特徴とした。

また、その他に、ハフ変換による投票数が所定数よりも多いこと、水平方向の輝度微分値で表されるエッジ強度が所定値よりも大きいこと、境界線により区切られた走路が分岐路でないことを、本線走路の境界線としての特徴とした。

幅算出部３１は、各エッジ候補点において、候補線の見かけの幅を算出する。そして、画像の不鮮明度に対する算出した見かけの幅の比率が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。

投票数算出部３２は、ハフ変換による投票数が所定数よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。エッジ強度算出部３３は、候補線のエッジ強度が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。分岐路判定部３４は、候補線により区切られた走路が分岐路か否か判定し、分岐路と判定された場合は、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。

境界線認識部６０は、境界線特徴統合部４０及び境界線選択部５０を備え、複数の境界線としての特徴について、境界線特徴算出部３０によりそれぞれ算出された確率を統合して、境界線を認識する。

境界線特徴統合部４０は、図２に示す演算式を用いて、幅算出部３１、投票数算出部３２、エッジ強度算出部３３、分岐路判定部３４によりそれぞれ算出された確率を統合して、統合確率を算出する。まず、幅算出部３１により算出された確率をＡ、投票数算出部３２により算出された確率をＢとして、幅算出部３１及び投票数算出部３２により算出された確率を統合した確率Ｘを算出する。さらに、幅算出部３１及び投票数算出部３２により算出された確率を統合した確率ＸをＡ、エッジ強度算出部３３により算出された確率をＢとして、幅算出部３１、投票数算出部３２、及びエッジ強度算出部３３により算出された確率を統合した確率Ｘを算出する。このように順次確率を統合して、複数の境界線としての特徴について、境界線特徴算出部３０によりそれぞれ算出された確率を統合する。なお、境界線の特徴は上記４つの特徴に限らない。その他の境界線としての特徴についても候補線が本線走路の境界線である確率を算出し、算出した確率を統合してもよい。

境界線選択部５０は、境界線特徴統合部４０により統合された確率に基づいて、候補線が境界線であるか否か判定し、本線走路の境界線として認識する候補線及びその候補線に含まれるエッジ候補点を選択する。詳しくは、統合された確率が境界線として判定できる判定値よりも高い候補線のうち、車両の左側と右側で対になっている候補線であり、且つ最も車両に近い候補線の車両側の輪郭を表すエッジ候補点を選択する。

なお、車両を自動制御する場合は、境界線選択部５０により選択された候補線の形状に基づいて、車両の操舵量の設定や路面上の物体の検出が行われる。また、車両が選択された候補線の外にはみ出した場合には、警報音が出力される。すなわち、本線走路の境界線として選択された候補線を制御目標の境界線に設定し、車両についての種々の自動制御を実行する。

次に、図３を参照して、境界線である確率を算出する処理手順について詳細に説明する。本処理手順は、幅算出部３１が実行する。

まず、Ｓ１１では、画像の水平方向における候補線の幅ｗを算出する。続いてＳ１２では、垂直方向（車両走行方向）に対する候補線の角度θを算出する。続いてＳ１３では、画像上での候補線の見かけの幅を算出する。画像上での候補線の見かけの幅は、図４に示すように、候補線の延伸方向に垂直な方向における候補線の幅である。候補線の見かけの幅は、Ｓ１１で算出した水平方向における候補線の幅ｗ、及びＳ１２で算出した垂直方向に対する候補線の角度θから、ｗｃｏｓθと算出される。画像上での候補線の見かけの幅の単位はピクセルになる。

続いてＳ１４では、画像の不鮮明度を算出する。詳しくは、図５に示すように、画像の水平方向にエッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度とする。

画像がぼけていない理想的な状況では、画像の水平方向における輝度の一次微分分布は、境界線の左右のエッジ部分で鋭いピークとなり、広がりを持たない。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、一次微分分布は、左右のエッジ部分で広がりを持つ分布になる。それゆえ、一次微分分布の広がりの程度を表す所定幅を、画像の不鮮明度とする。

あるいは、図６に示すように、画像の水平方向に分布したエッジ候補点を含む周辺の輝度分布において、第１所定値から第１所定値よりも大きい第２所定値までの輝度が分布する幅を画像の不鮮明度とする。

画像がぼけていない理想的な状況では、画像の水平方向における境界線の輝度分布は、境界線の左右のエッジ部分において、最小輝度から最高輝度に急に立ち上がる鋭いピークをもつ分布になる。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、輝度分布は、境界線の左右のエッジ部分で鈍って広がり、最小輝度から最高輝度まで理想的な状況よりも緩やかに立ち上がる分布になる。この輝度分布において、第１所定値から第２所定値までの輝度が分布する幅は、境界線のエッジ部分の広がりの程度をよく表している。それゆえ、最高輝度に対して第１所定値から第２所定値までの輝度が分布する幅を、画像の不鮮明度とする。

なお、画像上での候補線の見かけの幅方向と、一次微分分布の微分方向及び輝度分布の分布方向とは異なるが、上記２つの不鮮明度算出方法のいずれでも、おおよその不鮮明度を算出できる。また、上記２つの不鮮明度算出方法のいずれで算出しても、画像の不鮮明度は同程度の値となり、単位はピクセルになる。

続いてＳ１５では、Ｓ１４で算出した画像の不鮮明度とＳ１３で算出した候補線の見かけの幅とから、画像の不鮮明度に対する候補線の見かけの幅の比率を算出する。詳しくは、候補線の見かけの幅を画像の不鮮明度で割って、この比率を算出する。

続いてＳ１６では、図７に示す確率マップを用いて、Ｓ１５で算出した画像の不鮮明度に対する候補線の見かけの幅の比率から、候補線が境界線である確率を算出する。

境界線が車両の遠方にある場合、画像上での境界線の見かけの幅は、車両近辺にある場合よりも狭くなる。特に、図７に示すように、境界線が画像上で水平方向にカーブしていると、車両の遠方において、画像上での境界線の見かけの幅は非常に狭くなるとともに、境界線のエッジ部分がぼやけ易くなる。このため、車両の遠方では車両近辺よりも、画像の不鮮明度に対して、画像上で境界線の見かけの幅が狭くなるとともに、エッジ部分とそれ以外の部分との見分けが付きにくくなり、エッジ候補点及び候補線の抽出精度が低くなる。

画像の不鮮明度に対する画像上での候補線の見かけの幅の比率が所定値よりも小さい場合は、画像の不鮮明度と比較して、画像上での候補線の見かけの幅が狭くなり、境界線のエッジ部分とそれ以外の部分とを区別することが困難となる。それゆえ、上記比率が所定値よりも小さい場合は、境界線である確率を所定の最低確率にし、境界線が誤認識されることを抑制する。一方、上記比率が所定の最大値よりも大きい場合、すなわち画像の不鮮明度と比較して、画像上での候補線の見かけの幅が広い場合には、候補線が境界線であるか否かの判定の信頼性が十分に高くなる。それゆえ、上記比率が所定の最大値よりも大きい場合は、境界線である確率を所定の最高確率にする。また、上記比率が所定値から所定の最大値の間の場合は、画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、候補線が境界線である確率を小さくする。

ここで、所定の最低確率は、境界線特徴統合部４０により、複数の境界線としての特徴について算出した確率を統合したときに、統合した確率を非常に低くする値であり、候補線が境界線として認識されることを抑制する値である。

以上で本処理を終了し、幅算出部３１は、Ｓ１６で算出した境界線である確率を、境界線特徴統合部４０に出力する。

図８（ａ），（ｂ）に、画像処理装置７０により境界線を認識した結果の一例を示す。白四角は境界線選択部５０により選択されたエッジ候補点を示し、黒四角は除外されたエッジ候補点を示す。図８（ａ）は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部３１により算出された確率を反映していない場合の図である。これに対して、図８（ｂ）は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部３１により算出された確率を反映した場合の図である。

図８（ａ），（ｂ）では、走路が車両の遠方でカーブしており、カーブ付近において、走路の左側に沿って定間隔でポールが設置されている。カーブ付近では、ポールのエッジがエッジ候補点として抽出されている。

ポールを表すエッジ候補点は、境界線として選択するエッジ候補点から除外すべきであるが、図８（ａ）では、ポールを表すエッジ候補点のうち境界線との連続性が高い一部が、本線走路の境界線として選択されている。すなわち、カーブ付近で、ポールを表すエッジ候補点の連なりを境界線と誤認識している。これに対して図８（ｂ）では、図８（ａ）で境界線と誤認識されたエッジ候補点の連なりが、本線走路の境界線として選択されていない。画像の不鮮明度に対して、ポールを表すエッジ候補点の連なりからなる候補線の見かけの幅は狭い。そのため、Ｓ１１〜Ｓ１６の処理を実行して算出した確率が小さくなり、境界線特徴統合部４０により統合された確率を低くする。その結果、図８（ｂ）では、ポールを表すエッジ候補点が、本線走路の境界線として選択されていない。

以上説明した本実施形態によれば、以下の効果を奏する。

・候補線が境界線である確率の統合において、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを特徴として算出した確率を反映させることにより、車両の遠方における境界線の誤認識を抑制することができる。

・画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、抽出された候補線が境界線である確率を小さくすることにより、境界線を誤認識することを抑制できる。

・画像の不鮮明度を、輝度の微分値分布における所定幅、又は最高輝度に対する所定輝度の分布幅に基づき算出するため、レンズの仕様及び状況を反映した不鮮明度とすることができる。

（他の実施形態）
本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。

・画像の水平方向に対して角度θの方向、すなわち画像上の候補線の見かけの幅方向に、エッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。

・画像の水平方向に対して角度θの方向に分布したエッジ候補点を含む周辺の輝度分布において、第１所定値から第２所定値までの輝度が分布する幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。

・カメラ１０が備えるレンズのぼけ量の仕様値を画像上での長さに換算し、その換算値を画像の不鮮明度としてもよい。このようにすれば、容易に画像の不鮮明度に対する画像上での候補線の見かけの幅の比率を算出することができる。また、降雨時や降霧時以外では、精度の高い不鮮明度を取得できる。

・降雨時や降霧時は、雨や霧によりレンズのぼけ量よりも画像の不鮮明度が高くなるので、降雨時や降霧時には、レンズのぼけ量を増加させるように補正してもよい。具体的には、図１に破線で示すように、降雨を検出するレインセンサ１１（降雨検出手段）、及び降霧を検出する霧センサ１２（降霧検出手段）を車両に搭載する。そして、レインセンサ１１及び霧センサ１２により降雨又は降霧が検出された場合に、降雨及び降霧が検出されていない場合よりも、レンズのぼけ量の仕様値の換算値を増加させるように補正し、補正した値を画像の不鮮明度とする。

このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度を向上させることができ、ひいては境界線の誤検出をより抑制することができる。なお、レインセンサ１１の代わりに、ワイパスイッチのオンにより降雨を検出し、霧センサ１２の代わりにフォグランプスイッチのオンにより降霧を検出してもよい。

・さらに、レインセンサ１１及び霧センサ１２により、降雨量又は降霧量を検出し、降雨量又は降霧量が多いほど、レンズのボケ量の仕様値の換算値を大きくするように補正してもよい。このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度をさらに向上させることができる。

・画像の不鮮明度に対する画像上での候補線の見かけの幅の比率について、上記実施形態で設定した所定値から所定の最大値の間に基準値を設定する。上記比率が基準値よりも大きい場合は、境界線である確率を例えば所定の高確率と算出し、小さい場合は境界線である確率を例えば所定の低確率と算出するようにしてもよい。すなわち、境界線である確率を不連続な二値に設定してもよい。

１０…カメラ、２０…境界線候補抽出部、３０…境界線特徴算出部、３１…幅算出部、４０…境界線特徴統合部、５０…境界線選択部、６０…境界線認識部、７０…画像処理装置。

Claims (8)

1. 車両に搭載されて走路を撮影するカメラ（１０）と、
   前記カメラにより撮影された画像の輝度に基づいて、前記走路を区切る境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから前記境界線の候補線を抽出する境界線候補抽出部（２０）と、
   前記境界線候補抽出部により抽出された前記境界線の候補線において、前記画像の水平方向における前記候補線の幅、及び前記画像の垂直方向に対する前記候補線の角度から、前記候補線の前記画像上での見かけの幅を算出する幅算出部（３１）と、
   前記候補線が境界線としての特徴を備えている度合いが大きいほど、前記候補線が前記境界線である確率を高く算出する境界線特徴算出部（３０）と、
   複数の前記特徴について前記境界線特徴算出部により算出された前記確率を統合して、前記境界線を認識する境界線認識部（６０）と、を備え、
   複数の前記境界線としての特徴は、前記画像の不鮮明度に対する前記幅算出部により算出された前記見かけの幅の比率が所定値よりも大きいことを含む境界線認識装置。
2. 前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が小さいほど、前記確率を低く算出する請求項１に記載の境界線認識装置。
3. 前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が前記所定値よりも小さい場合に、前記確率を所定の最低確率に算出する請求項１又は２に記載の境界線認識装置。
4. 前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が、前記所定値よりも大きく設定された所定の最大値よりも大きい場合に、前記確率を所定の最高確率に算出する請求項１〜３のいずれかに記載の境界線認識装置。
5. 前記画像の不鮮明度は、前記画像の水平方向において前記エッジ候補点を含む周辺の輝度を微分して算出した一次微分分布の所定幅である請求項1〜４のいずれかに記載の境界線認識装置。
6. 前記画像の不鮮明度は、前記画像の水平方向に分布した前記エッジ候補点を含む周辺の輝度分布において、第１所定値から前記第1所定値よりも大きい第２所定値までの輝度が分布する幅である請求項１〜４のいずれかに記載の境界線認識装置。
7. 前記画像の不鮮明度は、前記カメラが備えるレンズのぼけ量の仕様値を前記画像上での長さに換算した換算値である請求項１〜４のいずれかに記載の境界線認識装置。
8. 前記車両は降雨検出手段（１１）及び降霧検出手段（１２）を備え、
   前記降雨検出手段及び前記降霧検出手段により降雨又は降霧が検出された場合に、前記降雨及び前記降霧が検出されていない場合よりも、前記ぼけ量の仕様値の前記換算値を増加させるように補正した値にする請求項７に記載の境界線認識装置。