JP5746996B2 - 道路環境認識装置 - Google Patents

Description

本発明は、走行環境を認識する道路環境認識装置に関する。

近年、自動車等の車両においては、車載のカメラやレーダ装置等により外界の周辺環境を検出して障害物等の立体物を認識し、警報・ブレーキ制御といった運転支援制御を実行することに繋げ、安全性を向上させる技術が開発・実用化されている。

このような認識技術では、路面を正確に推定することが、障害物等を検出する際の基礎となる。そのような技術として、例えば特許文献１がある。

特許文献１では、自車両が走行する路面について位置のデータを検出して距離画像を生成し、当該画像の各水平ライン上の距離のデータをヒストグラムに投票して水平ライン毎の代表距離を検出し、水平ライン毎に代表距離を仮想平面上にプロットし、連続性を有しないと評価したプロットを仮想平面上から除外した上で、残っているプロットを近似直線で結び、当該近似直線の組み合わせで路面形状モデルを生成することが開示されている。

特開２０１１−１２８８４４号公報

しかしながら、特許文献１の方法では、白線が見えていない場合の道路形状推定は路面平面が存在する領域か否かによって行うしかなく、その推定精度は白線が存在する場合に比べて著しく劣るという問題がある。特に、広い舗装道路が雨天等で白線が見辛くなっている場合に、その形状推定が著しく困難になってしまう。

以上の問題を鑑みて、本発明は、白線が精度良く検出されていない場合でも、精度良く道路形状を推定することが可能な道路環境認識装置を提供することを目的とする。

本発明の道路環境認識装置は、複数の撮像部から取得した画像情報に基づいて視差情報を算出する視差算出部と、画像情報を奥行き方向に所定の領域毎に分割する処理領域分割部と、画像情報又は視差情報に基づいて道路環境を認識する道路環境認識部と、道路環境に基づいて処理領域分割部で分割された処理領域毎に、進行路を推定する進行路推定部と、進行路の信頼度を求める評価部と、を有し、前記道路環境認識部は、前記画像情報又は前記視差情報に基づいて前記所定の領域内の道路上に存在するテクスチャを認識し、認識された前記テクスチャの路面からの高さ、長さ、及び位置について前記テクスチャの評価値を算出し前記進行路推定部は、算出された前記テクスチャの評価値に基づいて前記所定の領域毎に、進行路を推定する構成とする。

本発明によれば、白線が精度良く検出されていない場合でも、精度良く道路形状を推定することが可能な道路環境認識装置を提供できる。

本発明に係る道路環境認識装置の一実施例を示す図である。 ステレオカメラの撮像原理を示す説明図である。 本発明に係る道路環境認識装置の処理ブロックを示す図である。 路面テクスチャの評価処理手順を示すブロック図である。 画面の処理領域分割を、画面に対して等分する方法を用いる模式図である。 画面の処理領域分割を、実際の路面の距離を等分する方法を用いる模式図である。 白線と自車進行方向の関係を示す図である。 視差データ抽出範囲の例を示す図である。 路面に存在するテクスチャの状況の例を示す図である。 路面に存在するテクスチャの評価を行う方法を例示する図である。

［全体構成］
図１は、本発明に係る道路環境認識装置の実施例を示す図である。
本実施例では、２つの撮像部１０１，１０２を用いて視差画像を取得するステレオカメラを用いる。２つの撮像部１０１，１０２によって取得された２つの濃淡画像は画像メモリ１０３に格納される。格納された濃淡画像は、視差算出部１０４にて撮像部１０１と撮像部１０２の位置の違いから生じる視差を算出する処理を行う。算出された視差は、算出済み視差格納部１０５に格納される。画像メモリ１０３に保存された濃淡画像を、処理領域分割部１０６で画面の領域（区分）毎に分割する。分割された領域毎に、環境認識部１０７で白線、路面高さなどの道路環境を認識する。道路環境が認識されると、分割された領域毎に、進行路推定部１０８にて進行路推定を行う。推定された進行路に対して、最終評価部１０９にて全体の評価を行い、最終出力を行う。

図２は、ステレオカメラの撮像原理を示す説明図である。
ステレオカメラでは、２つの撮像部１０１，１０２で同一計測点を撮像した際に、２つの撮像画像に生じる視差（見え方の違い）を用いて、三角測量の原理で計測点までの距離を求めることができる。例えば、撮像部１０１，１０２のレンズ１０１２，１０２２から計測点までの距離をＺ［mm］、撮像部１０１，１０２間の距離をｂ［mm］、レンズ１０１２，１０２２の焦点距離をｆ［mm］、視差をδ［mm］とすると、計測点までの距離Ｚ［mm］は下記の式（１）で求めることができる。

Ｚ＝（ｂ×ｆ）／δ …（１）
図３は、図１の道路環境認識装置の道路推定処理の流れを示すフローチャートで、以下、各ステップについて説明する。

ステップＳ１１では、処理領域分割部１０６で、画像メモリ１０３に保存された画像の検出対象空間を奥行き方向の距離ごとに区分する。この区分は図５に示すように画面上の見え方により等分しても良いし、図６に示すように実距離にて等分しても良く、その他の区分方法でも良い。

ステップＳ１２からステップＳ２３までは、ステップＳ１１にて区分した区間毎に処理を行う。

以下説明するステップＳ１２〜ステップＳ１９は、環境認識部１０７の処理である。
ステップＳ１２では、進行可能性方向を設定する。進行可能性方向とは、取得した舵角、ヨーレートといった自車挙動情報から推定した進行方向と、今回処理区間の１つ手前の処理結果により推定された進行方向の組み合わせによる。組み合わせ方法は両者の単純平均としても良いし、１つ手前の処理結果に基づいて推定された進行方向の信頼度に応じた加重平均としても良い。

ステップＳ１３では、撮像部１０１又は撮像部１０２で撮像した一方又は両方の画像、又は視差画像に対して、設定した進行可能性方向の中から車線区分線たる白線の探索を行う。ここで言う白線とは白い色をした線に限るものではなく、橙色の線や道路鋲などにより構成される、視覚的な車線区分線全てを指す。

白線の具体的な検知方法は様々に公知技術が存在するため、ここでは詳細は省略する。
ステップＳ１４では、ステップＳ１３で探索した白線の点数化を行う。白線の位置や角度、鮮明さといった要素により、白線の信頼度を判定し、それを点数化する。

例えば、自車中央に、予め定めた範囲より極端に近かったり遠かったりする白線は車線区分線である可能性が低いから、点数を低くする。また、自車進行方向に対して予め定めた角度よりも大きな角度を持つ白線や、予め定めた画像精度より不鮮明な白線も同様の理由で点数を低くする。

ここでの点数化を行う式は、例えば、図７に示すように、白線の自車中央からの距離をｘ、白線と自車進行方向のなす角をθ、白線と白線外領域（自車走行領域外）の輝度差をｂとして、
１００−（Ａ×｜Ｗ／２−ｘ(ｍ)｜）×（Ｂ×θ）×（Ｃ×ｂ） …（２）
と、評価する。Ａ、Ｂ、Ｃは加重係数とする。

ここで、自車進行方向とは、正面と見做してもよいし、舵角や現在走行状態でのヨーレートから算出した曲率によるものでもよいし、現在までに算出された進行路に基づく方向としてもよいし、その他の方法により算出したもの、またはこれらを組み合わせたものでも良い。

ここで、Ｗは道路幅とする。道路幅は道路構造令を参照してその標準値である３.０ｍ若しくは３.５ｍといった値を用いても良いし、過去の白線検出結果から導出した車線幅を用いても良く、白線以外の要素にて判定した走行可能領域幅を用いても良い。

尚、ｘやＷの示す方向は、演算の簡単と誤差の影響を小さくするために図７に示すように処理領域（区分）の横方向と同じ向きとしても良いし、演算の正確を期すために白線もしくは自車進行方向と垂直な向きとしても良いし、これらを加重平均等の処理を行って算出した向きとしても良い。

点数化を行う式は（２）式に限るものではなく、別の要素を加味したり、異なる演算方法を用いたりしても良い。

ステップＳ１５では、算出された視差画像に対して、進行可能性方向に存在する視差データの収集を行う。

ここで、進行可能性方向とは、例えば、自車進行方向と、算出した白線の向きを、算出した白線の信頼度を使って加重平均したものとする。そして、進行方向に幅員を持たせた領域を探索して視差データの収集を行う。ここで、幅員は、
（イ）白線が左右とも検出されている場合は、その左右白線間
（ロ）白線が片方しか検出されていない場合は、検出されている側の白線を一端とした標準車線幅
（ハ）白線が左右とも検出されていない場合は、自車進行方向線を中央とした標準車線幅
とすることを基本とし、適宜その端位置をずらしても良い。

また、この幅員は白線の信頼度が低いほど広くすることで、信頼度の低い白線の状況による影響を減じた路面データ抽出を行うことができる。

図８は、一例として処理領域の範囲を破線で示している。両側の白線より一定量外側としてその範囲を定めたものである。

また、この幅員は処理領域の高さ全体に亘って一定でも良いし、処理領域内で適宜異なるものとしても良い。

ステップＳ１６では、収集した視差データの集合により頻度分布を生成する。頻度分布は、抽出された各視差データを、演算により求めた実空間での高さ毎に投票して算出する。

ステップＳ１７では、作成した頻度分布により、道路環境である路面高さを推定する。分布の中で発生頻度が大きい領域が１箇所のみの場合は、その高さ附近が路面であると推定される。発生頻度が大きい領域が複数あったり、発生頻度が大きい領域が明確なピークを持たずに幅を持つような場合は、その中で高さが高い領域は路上に存在する障害物であり、最も高さが低い領域が路面であると推定できる。

または、ピークが複数観測される場合も、同様に高さが最も低いピークが路面であると推定できる。

ここで、路面が濡れている場合に路面への反射による鏡像が観測されたり、路外に路面より低くなっている領域が存在して、この領域の視差データを抽出することにより、路面領域の視差データより高さが低いピークが観測されることが考えられる。このような場合は、ピークの大きさが大きいものを優先する、前回若しくは隣接領域での検出路面と最も近いピークを優先する、所定高さに最も近いものを優先する、といった方法で、実際の路面より低い領域を路面と誤認識してしまうことを避けることができる。

ここで、路面高さ推定は処理区間の全幅に亘って一度に行っても良く、または横方向に領域を適宜分割し、各領域毎に行っても良い。また、区分する場合の区分方法も問わない。

ステップＳ１８では、推定された路面高さと検出された白線の整合性評価を行う。白線の存在する位置にも視差が存在することから、当該白線の高さを測定することができるので、白線と路面高さが乖離していないかの評価を行う。この評価に基づき、乖離の度合いによって（２）式もしくはその他の方法で求めた白線点数を適宜加減する。

ステップＳ１９では、路面に存在する轍や車輪痕など、道路上に進行可能性方向に沿って形成される視覚情報を抽出する。

道路上に存在する長さを持った視覚的な要素を持つ領域（このような領域のことを、以後便宜的に「テクスチャ」と呼称する）を抽出する。このテクスチャの中には舗装の皹のように進行可能性方向と無関係に存在するものもあれば、轍や車輪痕といった進行可能性方向に沿って存在する可能性が高いものもある。このような様々なテクスチャが存在する状況から進行可能性方向を精度良く推定するため、各領域に対し点数を付与する。

図９は、路面上に検出されたテクスチャの例を示す図である。９０１〜９０５がテクスチャである。

図４は、ステップＳ１９（路面上視覚情報抽出）の処理内容の詳細を示すフローチャートである。この処理は、画像処理領域内のテクスチャ毎に行う。

ステップＳ１０１では、テクスチャの路面からの高さを評価する。ステップＳ１７にて推定された路面高さからの乖離状況により、当該テクスチャの点数を加減する。

ステップＳ１０２では、テクスチャの長さを評価する。轍や車輪痕といった道路進行方向にほぼ一致するテクスチャは、路面の皹や汚れ、落ち葉といった道路進行方向に無関係なテクスチャに比べ長いものであることが多いことから、長いものほど点数を高くする。

ステップＳ１０３では、テクスチャの位置を評価する。轍や車輪痕であれば車輪の位置に来ることが期待される。このことから、自車中央から当該テクスチャまでの距離が、一般的な車両の幅員の半分程度に近い値であれば高い点数とし、そこから乖離する値であるほど低い点数とする。

ステップＳ１０４では、テクスチャの方向性を評価する。テクスチャと自車進行方向のなす角が大きい場合は自車進行方向との連続性に乏しいことから、当該テクスチャが進行路を表している可能性は低いとして点数を低くする。

ここで、自車進行方向は微小区間なので正面方向としても良いし、例えば前回の処理領域にて推定された進行路の向きとしても良いし、更に補正を掛けた向きとしても良く、限定しない。

また、自車進行方向とのなす角をテクスチャのもう１つの属性として登録する。

図１０の状況を例に、ステップＳ１０１からステップＳ１０４までの処理を説明する。図１０で扱うテクスチャは１００１であり、進行可能性方向および自車中心線が１００２である。テクスチャ１００１の長さをｌ、テクスチャ１００１と自車中心線１００２との距離をｄ、テクスチャ１００１と自車中心線１００２とのなす角をθとすると、テクスチャ１００１の評価点数は、例えば、
ｌ／ｄ×cosθ …（３）
という式で表すことができる。

尚、評価点数を求める式は（３）式に限定するものではない。また、角度は後述するステップＳ２０にて投票による評価を行うことから、本ステップでの演算式に角度の項を入れなくても良い。

以下ステップＳ２０〜ステップＳ２３は、進行路推定部１０８の処理を記す。

ステップＳ２０では、進行路推定部１０８にて、ステップＳ１９で求めた各テクスチャの評価点数と角度を総合し、進行路を推定する。

各テクスチャの評価点数を、当該テクスチャの角度の値に投票することを繰り返す。このようにすることにより、投票が集中した角度が進行路のなす角と推定できる。この推定は、投票の集中度合いが大きいほど確度が高くなる。

ステップＳ２１では、ステップＳ２０で算出したテクスチャによる進行路と、ステップＳ１８で算出した白線の総合評価を行う。白線の点数を、ステップＳ２０の投票結果に対して白線の自車進行路からの角度に投票する。

白線は路面状況が良い場合に高い精度で検出されることが期待できる。一方、轍や車輪痕は不整路面や路面濡れ状態など、路面状況が良くない場合により多く検出されることが期待できる。このような路面状況が背反する状況で検出され易い２つの要素を組み合わせることで、路面状況が如何なる状態に於いても、精度良く進行路を推定することができる。

ステップＳ２２では、今回の処理領域の更に遠方に進行路が存在するかの判定を行う。

遠方に進行路が存在しない状態とは、例えば処理領域の遠方側が障害物で塞がれている、或いは推定された進行路が横方向になることでそれより遠方領域には進行路が存在しない、といった状況である。また、画面上消失点まで処理領域が到達した場合も、遠方に進行路が存在しない状態となる。更に、遠方処理の必要性の低さや信頼度の低さに鑑み、予め設定した一定距離以上で同様の扱いとすることとしても良いし、今回推定した進行路の信頼度が低い場合は今回限りで推定を打ち切ることとしても良い。

ステップＳ２３では、ステップＳ２２でこれ以上遠方に進行路が存在するか否かによって分岐する。存在する場合は処理領域を一段階遠方に移して、ステップＳ１２へ戻って処理を行う。存在しない場合はステップＳ２４に移行する。
以下ステップＳ２４、ステップＳ２５は、最終評価部１０９の処理を記す。
ステップＳ２４では、これまでの処理で算出した進行路全体の整形を行う。
信頼度評価は、例えば、検出した各区間の進行路をスプライン処理にて滑らかに連結し、最終的な進行路とする。または、各区間の進行路をそれぞれの信頼度で加重平均したものを用いて回帰線を引き、この回帰線を最終的な進行路とする。回帰線の形状は直線、数次曲線、円弧など、その形状は問わない。または、この他の統計的処理を用いても良いし、元々の各区間の進行路相互が滑らかに接続されている場合などには処理を行わなくても良い。

ステップＳ２５では、最終的な進行路の信頼度評価を行う。
信頼度はそれまでに算出した各区間の信頼度の合計によっても良いし、最終的な進行路と元々検出した各区間の進行路との変位の大きさによっても良いし、その組み合わせでも良い。または、自車近傍の区間の方が、信頼度が高い場合は、区間毎に信頼度を算出しても良い。このようにすることで、信頼度が高い区分の検出結果を有効に活用することができる。

例えば、信頼度が高い場合は、推定した進行路データを出力し、信頼度が低い場合は、推定した進行路データを出力しないこともできる。もしくは、信頼度と関連付けて進行路データを出力することで、受信側で、信頼度に応じた進行路データの使い方が可能となる。

以上のように、３次元計測により路面高さを精度良く推定することができ、更に、白線が検出できる場合に限らず、路面の車輪痕などの様々な要素から、道路の進行方向を精度良く推定することができる。白線が存在しない未舗装路や検出状況の悪い雨天といった状況では、轍や濡れた路面上への車輪痕といった要素が発現し易いため、これらの要素が白線と相補的に機能することで、様々な路面状況で推定精度を落とさずに進行路を推定することが可能となる。

１０１，１０２ 撮像部
１０３ 画像メモリ
１０４ 視差算出部
１０５ 算出済み視差格納部
１０６ 処理領域分割部
１０７ 環境認識部
１０８ 進行路推定部
１０９ 最終評価部

Claims (10)

1. 複数の撮像部から取得した画像情報に基づいて視差情報を算出する視差算出部と、
   前記画像情報を奥行き方向に所定の領域毎に分割する処理領域分割部と、
   前記画像情報又は前記視差情報に基づいて道路環境を認識する道路環境認識部と、
   前記道路環境に基づいて前記処理領域分割部で分割された前記領域毎に、進行路を推定する進行路推定部と、
   前記進行路の信頼度を求める評価部と、を有し、
   前記道路環境認識部は、前記画像情報又は前記視差情報に基づいて前記所定の領域内の道路上に存在するテクスチャを認識し、認識された前記テクスチャの路面からの高さ、長さ、及び位置について前記テクスチャの評価値を算出し
   前記進行路推定部は、算出された前記テクスチャの評価値に基づいて前記所定の領域毎に、進行路を推定する道路環境認識装置。
2. 請求項１記載の道路環境認識装置において、
   前記道路環境認識部は、前記進行可能性方向の中から車線区分線の探索を行い、
   検出した自車挙動情報から推定した自車の進行方向と、過去の処理結果により推定した自車の進行方向と、に基づいて自車の進行可能性方向を推定する道路環境認識装置。
3. 請求項２記載の道路環境認識装置において、
   前記道路環境認識部は、前記車線区分線の信頼度を判定し、前記信頼度から点数化する道路環境認識装置。
4. 請求項３記載の道路環境認識装置において、
   前記視差情報に対して、前記進行可能性方向に存在する視差データを抽出し、抽出された視差データの集合から頻度分布を生成する道路環境認識装置。
5. 請求項２記載の道路環境認識装置において、
   前記道路環境認識部は、前記視差情報に基づいて前記路面高さを推定し（Ｓ１７）、推定された路面高さと前記車線区分線の整合性評価を行い、
   前記進行路推定部は、前記推定された進行路と前記整合性評価とに基づいて進行路の総合評価を行う道路環境認識装置。
6. 請求項４記載の道路環境認識装置において、
   前記道路環境認識部は、前記進行可能性方向に沿って存在する轍、車輪痕、又は舗装の皹の視覚情報を抽出する道路環境認識装置。
7. 請求項４記載の道路環境認識装置において、
   前記進行路推定部は、前記処理領域分割部で分割された処理領域毎に、前記視覚情報の評価点数と角度を求め、前記評価点数と前記角度に基づいて進行路を推定する道路環境認識装置。
8. 請求項７記載の道路環境認識装置において、
   前記進行路と前記車線区分線の総合評価を行い、前記進行路の信頼度を求める道路環境認識装置。
9. 請求項７記載の道路環境認識装置において、
   現在の処理領域に対して、更に自車より遠方に進行路が存在するか否かの判定を行う道路環境認識装置。
10. 請求項８記載の道路環境認識装置において、
    検出した処理領域毎の前記進行路をスプライン処理にて滑らかに連結し、最終的な最終進行路を生成する道路環境認識装置。