JP5188452B2 - 道路形状認識装置 - Google Patents

Description

本発明は、道路形状認識装置に係り、特に、距離高さ検出手段により得られた距離データに基づいて道路形状モデルを生成する道路形状認識装置に関する。

近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置やレーザレーダ測距装置を車両に搭載し、撮像手段で撮像した画像の画像解析やレーザレーダ測距装置から発射された電波やレーザビームの反射光解析等により、それらの装置を搭載した車両が走行する道路形状を認識する道路形状認識装置の開発が進められている（例えば特許文献１〜３等参照）。

特許文献１では、ステレオカメラからなる撮像装置やレーザレーダ測距装置を用い、それらの装置前方の対象物までの実空間上の距離データを、三角測量の原理に基づいて或いはレーザビームの反射光解析等により検出する。そして、それらの距離データのうち、前回のサンプリング周期で検出された道路形状のモデルに基づいて三次元的に、或いはそれを二次元的に投影して設定されるウインドウ内に存在する距離データを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の道路形状のモデルを算出する技術が開示されている。

また、特許文献２では、ステレオカメラからなる撮像装置で撮像された一対の画像のうち、一方の画像の各画素の輝度に基づいて画像中から自車両の側方の車線に対応する各画素を検出し、検出した車線に対応する各画素の距離データを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の道路形状のモデルを算出する技術が開示されている。なお、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。

さらに、特許文献３では、道路形状を、ステレオカメラからなる撮像装置を用いて、水平方向すなわち走行路がカーブする方向では道路形状を二次関数で近似し、垂直方向についてはエンジン出力と自車両の走行時の加速度から道路面の傾斜角を演算により算出することが記載されている。

特開平０６−２６６８２８号公報 特開２００１−０９２９７０号公報 特開２００１−２２７９４４号公報

ところで、道路形状のうち、特に垂直方向（高さ方向）の形状については、上記の特許文献２等に記載されているように、検出した車線に対応する各画素の距離データを自車両前方の区間ごとに直線近似してモデル化することも可能である。しかし、自車両前方の領域を多数の区間に分割して区間ごとに直線近似を行うと処理が重くなる虞がある。

そこで、実際には、処理を簡略化して軽くするために、自車両前方の領域を、自車両から固定された距離を境界として自車両に近い側と遠い側との２つの区間に分割し、この２つの区間について、撮像された画像の画像解析やレーザレーダ測距装置を用いた反射光解析等により得られた対象物までの距離データをそれぞれ直線近似して道路形状のモデルを算出するように構成されている場合も多い。

例えば、自車両が走行している道路が、図１８（Ａ）に示すように、遠方に上り坂Ａがあるような道路である場合、高さ方向（垂直方向）にＹ軸、距離方向（自車両の前方方向）にＺ軸をとると、各距離データは図１８（Ｂ）に示すようにＺ−Ｙ平面上にプロットされる。そして、例えばＺ＝０の位置にある自車両から固定された距離Ｚ_０の位置を境界として分割された区間Ｒ_１と区間Ｒ_２で、各距離データが図１８（Ｂ）に示すように区間Ｒ_１、Ｒ_２ごとにそれぞれ直線近似されて道路形状のモデルが生成される。

その際、区間Ｒ_１、Ｒ_２では、各距離データが例えば近似直線Ｌ_１、Ｌ_２で近似されるが、遠方の上り坂Ａに対応する距離データが近似直線Ｌ_２より上方に存在することになる。そのため、上り坂Ａに対応する距離データが立体物を検出するための条件を満たす状態となり、上り坂Ａの部分を道路面上に存在する立体物として誤検出してしまう場合があった。

また、自車両が走行している道路が、図１９（Ａ）に示すように、遠方に下り坂Ｂがあるような道路である場合、図１８（Ｂ）と同様に各距離データをプロットすると、各距離データは図１９（Ｂ）に示すようにＺ−Ｙ平面上にプロットされる。そして、距離Ｚ_０を境界として分割された区間Ｒ_１と区間Ｒ_２ごとに、各距離データがそれぞれ各近似直線Ｌ_１、Ｌ_２で近似されて道路形状のモデルが生成される。

その際、図１９（Ａ）に示すように、下り坂Ｂの道路面上を先行車両Ｖahが走行しているような場合、図１９（Ｂ）に示すように、先行車両Ｖahの背面部分の距離データが下り坂Ｂの距離データの上方側に検出される。しかし、図１９（Ｂ）に示すように、下り坂Ｂの手前の平坦な道路面の延長線上に先行車両Ｖahの背面が存在するような状況では、区間Ｒ_２で直線近似を行う際、先行車両Ｖahの距離データと道路面の距離データとを区別できずに直線近似してしまい、先行車両Ｖahを道路面として誤検出してしまう場合があった。

このような立体物や先行車両Ｖahの誤検出を生じると、例えばその情報に基づいて自車両の自動制御等を行う場合にドライバの意思とは異なる自動制御が実行される虞がある。また、図１８（Ｂ）や図１９（Ｂ）に示したように、自車両から固定された距離Ｚ_０を境界として自車両前方の領域を区間Ｒ_１、Ｒ_２に分割して直線近似する場合、近似直線Ｌ_１、Ｌ_２すなわち道路形状モデルは、実際の道路形状を必ずしも的確に表現したものとならないという問題もあった。

この問題を解決するためには、自車両前方の領域を分割する境界の位置（上記の例では距離Ｚ_０の位置）を固定せずに可変として、分割された区間Ｒ_１、Ｒ_２ごとにそれぞれ近似直線Ｌ_１、Ｌ_２を算出し、最も適切な境界の位置や近似直線Ｌ_１、Ｌ_２を探索することが考えられるが、その処理に時間を要してしまうと自車両の自動制御技術等に応用することが困難になる。

本発明は、このような事情に鑑みてなされたものであり、実際の道路形状を的確に検出することが可能な道路形状認識装置を提供することを目的とする。また、道路形状の検出を高速に行うことが可能な道路形状認識装置を提供することをも目的とする。

前記の問題を解決するために、第１の発明は、道路形状認識装置において、
自車両が走行する道路面について少なくとも実空間上の距離と高さの情報を有する距離データを互いに異なる複数の地点で検出する距離高さ検出手段と、
前記実空間上の距離に基づいて、前記複数の距離データを、前記自車両に近い側の群と遠い側の群とに分割し、２つの前記群の境界部分の前記距離データを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記距離データを近似する近似直線をそれぞれ算出する近似直線算出手段と、
前記距離データを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出する統計値算出手段と、
算出された前記２つの群の前記各統計値に基づいて、前記２つの群の前記近似直線の組み合わせの中から１つを選択し、選択した前記近似直線の組み合わせを用いて道路形状モデルを少なくとも距離−高さ平面上の形状として生成する道路形状モデル生成手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の道路形状認識装置において、
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記距離データをそれぞれ近似する前記近似直線を算出し、
前記統計値算出手段は、前記統計値として、前記各群に属する前記各距離データの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、
前記道路形状モデル生成手段は、算出された前記２つの群の前記各統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする。

第３の発明は、第２の発明の道路形状認識装置において、前記近似直線算出手段は、前記距離データの実空間上の距離をＺ、高さをＹと表し、移し替えられる前記境界部分の前記距離データの実空間上の距離をＺａ、高さをＹａと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の距離データを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣＺ、ΣＹ、ΣＺ^２、ΣＺＹからそれぞれＺａ、Ｙａ、Ｚａ^２、ＺａＹａを減算し、前記他方の群におけるΣＺ、ΣＹ、ΣＺ^２、ΣＺＹにそれぞれＺａ、Ｙａ、Ｚａ^２、ＺａＹａを加算して、前記最小二乗法により、前記群ごとに前記距離データを近似する前記近似直線をそれぞれ算出することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の道路形状認識装置において、前記近似直線算出手段は、前記距離高さ検出手段で検出された前記複数の距離データのうち、過去のサンプリング周期において検出された前記道路形状モデルに基づいてその後の自車両の挙動から推定される今回のサンプリング周期における道路形状モデルの位置から所定の範囲内に存在する複数の距離データを、前記近似直線で近似する対象とすることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の道路形状認識装置において、前記道路形状モデル生成手段は、前記選択した前記２つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記道路形状モデルを補正することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の道路形状認識装置において、
自車両側方に標示された車線を含む道路面上の標示に対応する路面標示点を検出する路面標示検出手段を備え、
前記近似直線算出手段は、前記路面標示検出手段により検出された前記路面標示点に対応し、前記距離高さ検出手段により少なくとも実空間上の距離と高さが検出された前記複数の距離データを対象として、前記群ごとに前記近似直線を算出する算出処理を行うことを特徴とする。

第７の発明は、第６の発明の道路形状認識装置において、
前記距離高さ検出手段は、撮像手段で撮像された一対の画像に対するステレオマッチングにより前記一対の画像のうち少なくとも一方の画像の画素ごとに前記距離データを検出し、
前記路面標示検出手段は、前記一方の画像の画素の輝度に基づいて前記路面標示点を検出し、
前記近似直線算出手段は、前記路面標示検出手段が検出した前記路面標示点に対応する前記距離データを、当該路面標示点を含む当該路面標示点の近傍の画素の輝度に基づいて修正し、修正した複数の距離データを、前記近似直線で近似する対象とすることを特徴とする。

第１の発明によれば、自車両が走行する道路面について実空間上の距離と高さの情報を有する距離データを互いに異なる複数の地点で検出し、これらの距離データを、自車両に近い側の群と遠い側の群に分割し、境界を可変として移動させながら群ごとに距離データを近似する近似直線をそれぞれ算出する。そして、群ごとに、それぞれの近似直線に基づく統計値を算出し、その統計値に基づいて近似直線の組み合わせを選択して、道路形状モデルを生成する。

そのため、実際の道路設計においては、道路の距離−高さ平面上の形状（縦断線形）は２本の直線と緩和曲線により構成されるが、群の境界を可変させながら２本の近似直線の適切な組み合わせを探索し、その実際の道路設計に即して、道路形状モデルを２本の近似直線の組み合わせ（或いはそれらと緩和曲線との組み合わせ）で的確に生成することが可能となり、道路形状を的確に認識することが可能となる。

第２の発明によれば、前記発明の効果に加え、最小二乗法により近似直線を算出し、統計値として各群に属する各距離データの近似直線に対する分散や標準偏差を群ごとに算出して、その合計値が最小となる近似直線の組み合わせを選択することで、的確かつ高速に近似直線の組み合わせを選択することが可能となり、道路形状の認識を的確かつ高速に行うことが可能となる。

第３の発明によれば、最小二乗法を用いて近似直線を算出する際に、各群の境界部分の距離データＤａを一方の群から他方の群に移し替えるごとに、距離データＤａに対応するＺａ等を、一方の群における各総和ΣＺ等から減算し、他方の群における各総和ΣＺ等に加算するだけで近似直線の各式を算出することが可能となるため、近似直線の算出を容易かつ高速に行うことが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、近似直線の算出の対象とする距離データを、過去のサンプリング周期で生成された道路形状モデルとその後の自車両の挙動から推定される今回のサンプリング周期における道路形状モデルの位置から所定の範囲内に存在する距離データに限定することで、先行車両等の道路面の上方に存在する立体物を排除した状態で近似直線の算出を行うことが可能となる。

そのため、それらの近似直線から生成される道路形状モデルを的確に現実の道路面の形状に即したものとすることが可能となるとともに、距離データの探索範囲が限定されるため、近似直線の算出処理をより高速に行うことが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第５の発明によれば、実際の道路設計においても、道路の距離−高さ平面上の形状（縦断線形）が２本の直線と緩和曲線により構成されるため、実際の道路設計に即して、道路形状モデルを２本の近似直線と緩和曲線との組み合わせで的確に生成することが可能となる。そのため、道路形状を的確に認識することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、自車両の側方の車線や数字、矢印等の道路面上の標示に対応する路面標示点を検出し、各路面標示点に対応する各距離データを対象として道路形状モデルを生成することで、近似直線の算出の対象とする距離データから、先行車両等の道路面の上方に存在する立体物に対応する距離データを排除した状態で近似直線の算出を行うことが可能となる。そのため、それらの近似直線から生成される道路形状モデルをより的確に現実の道路面の形状に即したものとすることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、道路面上の標示に対するステレオマッチングでは、同じ基準画素ブロックに含まれる各路面標示点の距離データにおける実空間上の距離が同じ値になり、実際には存在する距離の差が検出されないことによる不具合が生じる虞がある（後述する図１４参照）。

しかし、路面標示点に対応する距離データを、当該路面標示点を含むその近傍の画素の輝度に基づいて修正することで、同じ基準画素ブロックに含まれる各路面標示点のうち、一方の画像上より上側に撮像されているほど実空間上の距離が大きくなるといった実際の状況に適合するように、各路面標示点の距離データを修正することが可能となる。

そのため、ステレオマッチングを用いた場合でも、道路形状モデルをより的確に現実の道路面の形状に即した形状で生成することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１の実施形態に係る道路形状認識装置の構成を示すブロック図である。 撮像手段で撮像される一方の画像の例を示す図である。 作成された距離画像の例を示す図である。 （Ａ）図１８（Ａ）の道路に対する各距離データの実空間上の距離と高さをプロットしたＺ−Ｙ平面を表す図であり、（Ｂ）その２番目に遠い距離データと３番目に遠い距離データとの間に設定された境界等を表す図である。 移動され３番目に遠い距離データと４番目に遠い距離データとの間に設定された境界等を表す図である。 選択された近似直線の組み合わせや境界、交点等を表す図である。 各近似直線を接線とする緩和曲線である円弧を表す図である。 図１９（Ａ）の道路に対して選択された近似直線の組み合わせや境界、交点等を表す図である。 第２の実施形態に係る道路形状認識装置の構成を示すブロック図である。 基準画像の水平ライン上での探索および検出された路面標示点の例を説明する図である。 基準画像上に検出された各立体物に対応する画像領域を表す図である。 ステレオマッチングの原理を説明する図である。 図１０の右下隅の車線のエッジ部分の拡大図であり、基準画素ブロックや検出された路面標示点を表す図である。 同じ基準画素ブロックの各路面標示点の距離データをＺ−Ｙ平面上にプロットするとＹ軸方向に並ぶことを表す図である。 （Ａ）〜（Ｃ）基準画像上に撮像されているシーンと基準画素ブロックとの相対的な位置関係をずらした例を示す図である。 （Ａ）〜（Ｃ）基準画像上に撮像されているシーンと基準画素ブロックとの相対的な位置関係をずらした例を示す図である。 （Ａ）基準画像上で水平ラインｊ１、ｊ２の位置に並ぶ複数の基準画素ブロック等を表す図であり、（Ｂ）は水平ラインｊ１上の各画素の、（Ｃ）は水平ラインｊ２上の各画素のエッジ強度の分布等を表す図である。 （Ａ）遠方に上り坂がある道路を表す図であり、（Ｂ）区間の境界を固定して（Ａ）の道路形状を直線近似した道路形状モデルを表す図である。 （Ａ）遠方の下り坂を先行車両が走行している道路を表す図であり、（Ｂ）区間の境界を固定して（Ａ）の道路形状を直線近似した道路形状モデルを表す図である。

以下、本発明に係る道路形状認識装置の実施の形態について、図面を参照して説明する。

［第１の実施の形態］
第１の実施形態に係る道路形状認識装置１は、図１に示すように、撮像手段２や距離高さ検出手段６、近似直線算出手段１０や統計値算出手段１１、道路形状モデル生成手段１２等を有する処理部９等を備えて構成されている。

なお、距離高さ検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された前記特許文献１や特許文献２等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ２ａと助手席側のサブカメラ２ｂとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

なお、以下では、メインカメラ２ａで撮像される図２に示すような一方の画像を基準画像Ｔ、サブカメラ２ｂで撮像される図示しない画像を比較画像Ｔｃという。また、以下では、近似直線算出手段１０等における処理を基準画像Ｔを対象として行う場合について説明するが、比較画像Ｔｃを対象として行ったり、両方の画像Ｔ、Ｔｃをそれぞれ処理するように構成することも可能である。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

メインカメラ２ａ等で基準画像Ｔ等を撮像する場合、例えば図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像Ｔ等の各画素の輝度の画像データがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａやサブカメラ２ｂで撮像された基準画像Ｔ等の画素ごとの各画像データをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部４に出力するようになっている。

また、画像補正部４では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データを距離高さ検出手段６にも順次送信するようになっている。

距離高さ検出手段６は、イメージプロセッサ７を備えており、自車両が走行する道路面を含む対象物について、少なくとも実空間上の距離Ｚと高さＹの情報を有する複数の距離データを互いに異なる複数の地点で検出するようになっている。

距離高さ検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像Ｔｃの各画像データに対して順次ステレオマッチングやフィルタリング処理を施して、基準画像Ｔの画素ごとに視差ｄｐを順次算出するようになっている。ステレオマッチングでは、図示を省略するが、基準画像Ｔ上の例えば４×４画素等の所定の画素数の基準画素ブロックと輝度パターンが類似する画素ブロックを比較画像Ｔｃ中のエピポーラライン上に特定し、それらの基準画像Ｔおよび比較画像Ｔｃ上の位置から基準画像Ｔの画素ごとに視差ｄｐが順次算出される。

なお、以下、このようにして基準画像Ｔの各画素に視差ｄｐを割り当てた画像（図３参照）を距離画像Ｔｚという。また、実空間上で、上記の一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像Ｔｚ上の画素の座標（ｉ，ｊ）および視差ｄｐとは、下記（１）〜（３）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、フィルタリング処理では、基準画像Ｔの基準画素ブロックと比較画像Ｔｃの画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差ｄｐを無効と出力するようになっており、イメージプロセッサ７は、有効とされた視差ｄｐのみを距離データメモリ８に順次格納させるとともに、処理部９に順次送信するようになっている。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離高さ検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチングにより基準画像Ｔの各画素について実空間上の距離Ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、本実施形態では、前述したように、距離画像Ｔｚの各画素には視差ｄｐが割り当てられ、必要に応じて、視差ｄｐから上記（３）式に従って実空間上の距離Ｚが算出され、また、距離画像Ｔｚ上の画素の座標（ｉ，ｊ）と実空間上の距離Ｚから上記（１）、（２）式に従って実空間上の高さＹや水平方向の位置Ｘが算出されて用いられるようになっている。しかし、各画素に、算出した（Ｘ，Ｙ，Ｚ）を距離データＤとして予め割り当てて距離画像Ｔｚを形成するように構成することも可能である。

さらに、距離高さ検出手段６は、自車両が走行する道路面を含む対象物について少なくとも実空間上の距離Ｚと高さＹの情報を有する距離データＤを測定したり算出したりして互いに異なる複数の地点で検出することができる機能を有していればよい。すなわち、例えば前述したレーザレーダ測距装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて対象物の距離データＤを測定する装置等であってもよく、検出の手法は特定の手法に限定されない。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、近似直線算出手段１０や統計値算出手段１１、道路形状モデル生成手段１２を備えている。

なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、車速やヨーレート、舵角等の測定値が入力されるようになっている。

近似直線算出手段１０は、距離高さ検出手段６により検出された距離データＤの実空間上の距離Ｚ（視差ｄｐ）に基づいて、複数の距離データＤを、距離高さ検出手段６すなわち自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２とに分割するようになっている。そして、２つの群Ｇ_１、Ｇ_２の境界部分の距離データＤを一方の群から他方の群に移し替えるごとに、各群Ｇ_１、Ｇ_２に属する複数の距離データＤを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ群Ｇ_１、Ｇ_２ごとに算出するようになっている。

また、本実施形態では、近似直線算出手段１０は、最小二乗法を用いて、群Ｇ_１、Ｇ_２ごとに、各群Ｇ_１、Ｇ_２に属する各距離データＤをそれぞれ近似する近似直線Ｌ_１、Ｌ_２を算出するようになっている。

なお、各距離データＤを（Ｚ，Ｙ）で表し、近似直線を、
Ｙ＝ａＺ＋ｂ …（４）
の形で算出する場合、周知のように、最小二乗法では、ａ、ｂは、
ａ＝（ｎΣＺＹ−ΣＺ・ΣＹ）／｛ｎΣＺ^２−（ΣＺ）^２｝…（５）
ｂ＝（ΣＺ^２・ΣＹ−ΣＺＹ・ΣＺ）／｛ｎΣＺ^２−（ΣＺ）^２｝…（６）
の形で算出される。なお、上記（５）、（６）式中のｎは群中の距離データＤの数を表し、総和Σは群中の全距離データＤについて行う。

本実施形態では、近似直線算出手段１０における群Ｇ_１、Ｇ_２の分割および近似直線Ｌ_１、Ｌ_２の算出は、以下のようにして行われるようになっている。

近似直線算出手段１０は、まず、距離高さ検出手段６により検出された距離画像Ｔｚ中を探索して、距離データＤを有する画素を見出すごとに、距離データＤの実空間上の距離Ｚと高さＹを算出する。そして、それらの情報に基づいて、上記（５）、（６）式の演算に必要なＺ^２、ＺＹをそれぞれ算出し、距離Ｚや高さＹとともに距離データＤに割り当てるようになっている。

基準画像Ｔとして、例えば図１８（Ａ）に示したように遠方に上り坂Ａがあるような道路が撮像される状況では、上記のように近似直線算出手段１０で算出された各距離データＤの実空間上の距離Ｚと高さＹを距離−高さ平面（Ｚ−Ｙ平面）上にプロットすると、図４（Ａ）に示すようにプロットすることができる。なお、図４（Ａ）に示すプロットの結果は、図１８（Ｂ）に示したプロットの結果と同じである。

近似直線算出手段１０は、続いて、図４（Ｂ）に示すように、複数の距離データＤのうち、実空間上の距離Ｚが２番目に遠い距離データＤ_ｎ−１と３番目に遠い距離データＤ_ｎ−２の間に境界ＤＬを設定して、複数の距離データＤを、実空間上の距離Ｚが最も近い距離データＤ_１から３番目に遠い距離データＤ_ｎ−２までのｎ−２個の距離データＤからなる自車両（Ｚ＝０）に近い側の群Ｇ_１と、実空間上の距離Ｚが２番目に遠い距離データＤ_ｎ−１と最も遠い距離データＤ_ｎの２つの距離データＤからなる自車両（Ｚ＝０）から遠い側の群Ｇ_２に分割する。

そして、群Ｇ_１、Ｇ_２ごとに、各群Ｇ_１、Ｇ_２に属する複数の距離データＤを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ算出するようになっている。すなわち、群Ｇ_１では、距離データＤ_１〜Ｄ_ｎ−２のｎ−２個の距離データＤに対して直線近似を行い、群Ｇ_２では、距離データＤ_ｎ−１、Ｄ_ｎの２つの距離データＤに対して直線近似を行って、それぞれ近似直線Ｌ_１、Ｌ_２を算出するようになっている。

その際、近似直線算出手段１０は、群Ｇ_１に属する各距離データＤ_１〜Ｄ_ｎ−２についてそれぞれ算出した実空間上の距離Ｚ、高さＹ、Ｚ^２、ＺＹの各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出し、それらを上記（５）、（６）式に代入して近似直線Ｌ_１の式Ｙ＝ａ_１Ｚ＋ｂ_１を算出する。また、群Ｇ_２についても同様に、群Ｇ_２に属する各距離データＤ_ｎ−１、Ｄ_ｎについてそれぞれ算出したＺ、Ｙ、Ｚ^２、ＺＹの各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出し、それらを上記（５）、（６）式に代入して近似直線Ｌ_２の式Ｙ＝ａ_２Ｚ＋ｂ_２を算出する。

近似直線算出手段１０は、群Ｇ_１と群Ｇ_２を分割する境界ＤＬの位置等の情報と、算出した近似直線Ｌ_１、Ｌ_２のａ_１、ｂ_１、ａ_２、ｂ_２とを対応付けて図示しない記憶手段に保存するようになっている。

続いて、近似直線算出手段１０は、境界ＤＬ部分の距離データＤ_ｎ−２を群Ｇ_１から群Ｇ_２に移し替えて、群Ｇ_１と群Ｇ_２とを分割する境界ＤＬの位置を図５に示すように手前側すなわち自車両（Ｚ＝０）側に１つ分移動させる。すなわち、境界ＤＬを、実空間上の距離Ｚが３番目に遠い距離データＤ_ｎ−２と４番目に遠い距離データＤ_ｎ−３の間に設定する。

そして、上記のようにして算出した群Ｇ_１に属する各距離データＤ_１〜Ｄ_ｎ−２についての各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹから、距離データＤ_ｎ−２に対応するＺ_ｎ−２、Ｙ_ｎ−２、Ｚ_ｎ−２ ^２、Ｚ_ｎ−２Ｙ_ｎ−２を減算して、群Ｇ_１に属する各距離データＤ_１〜Ｄ_ｎ−３についての各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出するようになっている。

また、近似直線算出手段１０は、群Ｇ_２については、上記のようにして算出した群Ｇ_２に属する各距離データＤ_ｎ−１、Ｄ_ｎについての各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹに、距離データＤ_ｎ−２に対応するＺ_ｎ−２、Ｙ_ｎ−２、Ｚ_ｎ−２ ^２、Ｚ_ｎ−２Ｙ_ｎ−２を加算して、群Ｇ_２に属する各距離データＤ_ｎ−２〜Ｄ_ｎについての各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出するようになっている。

すなわち、移し替える境界ＤＬ部分の距離データをＤａとし、その実空間上の距離をＺａ、高さをＹａと表す場合、距離データＤａを群Ｇ_１から群Ｇ_２に移し替えるごとに、距離データＤａに対応するＺａ、Ｙａ、Ｚａ^２、ＺａＹａを、群Ｇ_１における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹから減算し、群Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹに加算するだけで、容易かつ高速に各群Ｇ_１、Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出することが可能となる。

近似直線算出手段１０は、距離データＤ_ｎ−２を群Ｇ_１から群Ｇ_２に移し替えて各群Ｇ_１、Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出すると、上記と同様に、それらの各総和を上記（５）、（６）式に代入して近似直線Ｌ_１の式Ｙ＝ａ_１Ｚ＋ｂ_１と近似直線Ｌ_２の式Ｙ＝ａ_２Ｚ＋ｂ_２とをそれぞれ算出して、群Ｇ_１、Ｇ_２を分割する境界ＤＬの位置等の情報と近似直線Ｌ_１、Ｌ_２のａ_１、ｂ_１、ａ_２、ｂ_２とを対応付けて記憶手段に保存する。

近似直線算出手段１０は、この近似直線Ｌ_１、Ｌ_２の算出処理を、境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えるごとに行うようになっている。

なお、上記の構成例では、群Ｇ_１と群Ｇ_２を分割する境界ＤＬの位置を自車両から最も遠い側に設定し、境界ＤＬの位置を自車両に近づく方向に移動させながら近似直線Ｌ_１、Ｌ_２の算出処理を行う場合について説明したが、その逆に、境界ＤＬの位置を自車両から最も近い側、すなわち実空間上の距離Ｚが２番目に近い距離データＤ_２と３番目に近い距離データＤ_３の間に設定し、境界ＤＬの位置を自車両から遠ざかる方向に移動させながら近似直線Ｌ_１、Ｌ_２の算出処理を行うように構成することも可能である。

その場合も、境界部分の距離データＤａを群Ｇ_２から群Ｇ_１に移し替えるごとに、距離データＤａに対応するＺａ、Ｙａ、Ｚａ^２、ＺａＹａを、群Ｇ_１における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹに加算し、群Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹから減算するだけで、各群Ｇ_１、Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを容易かつ高速に算出することが可能となる。

また、距離画像Ｔｚが図３に示した画像である場合、距離画像Ｔｚ中には、道路面より上方にある車両やガードレール等の立体物の距離データＤも存在し、これらの立体物の距離データＤについても直線近似の対象とすると、後述するように近似直線Ｌ_１、Ｌ_２に基づいて生成される道路形状モデルが的確に道路面の形状を反映したものにならない虞がある。また、距離画像Ｔｚ全体を探索するように構成すると、近似直線Ｌ_１、Ｌ_２の算出処理が重くなる虞がある。

そこで、本実施形態では、距離高さ検出手段６で検出された複数の距離データＤのうち、前回のサンプリング周期等の過去のサンプリング周期で生成された道路形状モデルに基づいてその後の自車両の挙動から今回のサンプリング周期における道路形状モデルの位置を推定する。そして、推定された道路形状モデルの位置から所定の範囲内に存在する複数の距離データＤ、すなわち、例えば推定された道路形状モデルの位置から上下方向（すなわち高さＹ方向）に所定の距離だけ離れた位置までの範囲内に存在する複数の距離データＤのみを、直線近似の対象とするようになっている。

このように構成すれば、これらの限定された複数の距離データＤに基づいて算出された近似直線Ｌ_１、Ｌ_２から生成される道路形状モデルが的確に道路面の形状を反映したものになるとともに、距離画像Ｔｚに対する探索範囲が限定され、近似直線Ｌ_１、Ｌ_２の算出処理を軽くすることが可能となる。

統計値算出手段１１は、上記のように近似直線算出手段１０が境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えて各群Ｇ_１、Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹを算出し、近似直線Ｌ_１、Ｌ_２をそれぞれ算出すると、算出された近似直線Ｌ_１、Ｌ_２に基づく統計値を群Ｇ_１、Ｇ_２ごとにそれぞれ算出する。そして、この統計値の算出処理を、境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えられるごとに行うようになっている。

本実施形態では、統計値として、近似直線Ｌ_１、Ｌ_２に対する各群Ｇ_１、Ｇ_２の各距離データＤの分散σ_１ ^２、σ_２ ^２、
σ_１ ^２＝Σ｛（ａ_１Ｚ＋ｂ_１）−Ｙ｝^２／ｎ_１ …（７）
σ_２ ^２＝Σ｛（ａ_２Ｚ＋ｂ_２）−Ｙ｝^２／ｎ_２ …（８）
が群Ｇ_１、Ｇ_２ごとにそれぞれ算出されるようになっている。

なお、ｎ_１、ｎ_２はそれぞれ群Ｇ_１、Ｇ_２に属する各距離データＤの数を表す。また、統計値として、分散σ^２の代わりに、各群Ｇ_１、Ｇ_２に属する各距離データＤの標準偏差を群Ｇ_１、Ｇ_２ごとに算出するように構成することも可能である。

統計値算出手段１１は、群Ｇ_１、Ｇ_２ごとに算出した分散σ_１ ^２、σ_２ ^２を、近似直線算出手段１０で設定された群Ｇ_１、Ｇ_２を分割する境界ＤＬの位置や、算出された近似直線Ｌ_１、Ｌ_２のａ_１、ｂ_１、ａ_２、ｂ_２等の情報と対応付けて記憶手段に保存するようになっている。

道路形状モデル生成手段１２は、上記のように近似直線算出手段１０で境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えるごとに算出した２つの群Ｇ_１、Ｇ_２の近似直線Ｌ_１、Ｌ_２の組み合わせの中から１つの組み合わせを選択し、選択した近似直線Ｌ_１、Ｌ_２の組み合わせを用いて道路形状モデルを少なくとも距離−高さ平面（Ｚ−Ｙ平面）上の形状として生成するようになっている。

そして、本実施形態では、道路形状モデル生成手段１２は、統計値算出手段１１で算出された２つの群Ｇ_１、Ｇ_２の各統計値の合計値、すなわち本実施形態では各群Ｇ_１、Ｇ_２に属する各距離データＤの近似直線Ｌ_１、Ｌ_２に対する分散σ_１ ^２、σ_２ ^２の合計値が最小となる近似直線Ｌ_１、Ｌ_２の組み合わせを選択するようになっている。

例えば、図４（Ａ）に示したようにＺ−Ｙ平面上にプロットされた各距離データＤの場合、道路形状モデル生成手段１２は、図６に示すような近似直線Ｌ_１、Ｌ_２の組み合わせを選択して、距離−高さ平面（Ｚ−Ｙ平面）上の形状として道路形状モデルを生成する。すなわち、この場合、自車両（Ｚ＝０）から境界ＤＬまでの範囲では近似直線Ｌ_１、境界ＤＬよりも遠方の範囲では近似直線Ｌ_２をモデルとする道路形状モデルが生成される。

また、本実施形態では、道路形状モデル生成手段１２は、さらに、図６のように選択した２つの群Ｇ_１、Ｇ_２の各近似直線Ｌ_１、Ｌ_２の交点Ｃの部分を、各近似直線Ｌ_１、Ｌ_２を接線とする緩和曲線で置換して、生成した道路形状モデルＬ_１、Ｌ_２を補正するようになっている。

本実施形態では、緩和曲線として、図７に示すような円弧Ｒが用いられるようになっている。また、緩和曲線として、二次曲線等を用いるように構成することも可能である。そして、緩和曲線として円弧Ｒを用いる場合、その曲率半径ｒを、予め設定された固定値としてもよく、また、近似直線Ｌ_１、Ｌ_２の傾きａ_１、ａ_２の差分や当該道路の設定速度等に依存して変化するように構成してもよい。さらに、曲率半径ｒを種々変化させ、プロットされた各距離データＤの円弧Ｒに対する分散等に基づいて最適な曲率半径ｒを算出するように構成することも可能である。

次に、本実施形態に係る道路形状認識装置１の作用について説明する。

基準画像Ｔとして、例えば図１８（Ａ）に示したように遠方に上り坂Ａがあるような道路が撮像される状況における道路形状モデルの生成については、図４（Ａ）に示した各距離データＤに基づいて、図４（Ｂ）や図５に示した方法により、最終的に図６に示した道路形状モデルＬ_１、Ｌ_２（正確には近似直線Ｌ_１と緩和曲線と近似直線Ｌ_２をモデルとする道路形状モデル）が生成される。

また、図１９（Ａ）に示したように、遠方に下り坂Ｂがあり、その下り坂Ｂを先行車両Ｖahが走行している場合、本実施形態のように、過去のサンプリング周期で生成された道路形状モデルから推定される今回のサンプリング周期における道路形状モデルの位置から上下方向に所定の範囲内に存在する複数の距離データＤのみを直線近似の対象とするように構成すれば、図１９（Ｂ）に示した各距離データＤのうち、先行車両Ｖahに対応する距離データＤは除外され、道路面に対応する距離データＤのみが直線近似の対象となる。

そして、図４（Ｂ）や図５に示した方法と同様にして、近似直線算出手段１０で、境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えるごとに、距離データＤａに対応するＺａ、Ｙａ、Ｚａ^２、ＺａＹａを、群Ｇ_１における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹから減算し、群Ｇ_２における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹに加算し、各総和を上記（５）、（６）式に代入して近似直線Ｌ_１、Ｌ_２の各式Ｙ＝ａＺ＋ｂをそれぞれ算出していく。

そして、近似直線算出手段１０が境界ＤＬ部分の距離データＤａを群Ｇ_１から群Ｇ_２に移し替えて近似直線Ｌ_１、Ｌ_２の各式を算出するごとに、統計値算出手段１１で、各群Ｇ_１、Ｇ_２に属する各距離データＤの近似直線Ｌ_１、Ｌ_２に対する分散σ_１ ^２、σ_２ ^２を算出する。そして、境界ＤＬ部分の距離データＤａの移し替えが全て終了した時点で、道路形状モデル生成手段１２で、分散σ_１ ^２、σ_２ ^２の合計値が最小となる近似直線Ｌ_１、Ｌ_２の組み合わせを選択する。

このようにして、図８に示すように、最終的に道路形状モデルＬ_１、Ｌ_２が生成される。なお、図８では、緩和曲線である円弧Ｒの図示が省略されている。そして、図８に示すように、先行車両Ｖahに対応する距離データＤとは明確に分離された状態で道路形状モデルＬ_１、Ｌ_２が生成される。

以上のように、本実施形態に係る道路形状認識装置１によれば、自車両が走行する道路面について実空間上の距離Ｚと高さＹの情報を有する距離データＤを検出し、これらの距離データＤを、自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２に分割し、境界ＤＬを可変として移動させながら群Ｇ_１、Ｇ_２ごとに距離データＤを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ算出する。

そして、群Ｇ_１、Ｇ_２ごとに、それぞれの近似直線Ｌ_１、Ｌ_２に基づく統計値、すなわち例えば各群Ｇ_１、Ｇ_２に属する各距離データＤの近似直線Ｌ_１、Ｌ_２に対する分散σ_１ ^２、σ_２ ^２を算出し、その統計値に基づいて、例えばその合計値が最小となる近似直線Ｌ_１、Ｌ_２の組み合わせを選択して、道路形状モデルを生成する。

実際の道路設計においては、道路の距離−高さ平面上の形状（縦断線形）は２本の直線と緩和曲線により構成されるが、本実施形態に係る道路形状認識装置１によれば、その実際の道路設計に即して道路形状モデルを２本の近似直線Ｌ_１、Ｌ_２の組み合わせ（或いはそれらと緩和曲線との組み合わせ）で生成することが可能となり、道路形状を的確に認識することが可能となる。

また、近似直線算出手段１０で近似直線Ｌ_１、Ｌ_２を算出する際に例えば最小二乗法を用い、距離データＤの各群Ｇ_１、Ｇ_２の境界ＤＬ部分の距離データＤａを一方の群から他方の群に移し替えるごとに、距離データＤａに対応するＺａ、Ｙａ、Ｚａ^２、ＺａＹａを、一方の群における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹから減算し、他方の群における各総和ΣＺ、ΣＹ、ΣＺ^２、ΣＺＹに加算するだけで近似直線Ｌ_１、Ｌ_２の各式を算出することが可能となるため、近似直線Ｌ_１、Ｌ_２の算出を容易かつ高速に行うことが可能となる。

さらに、近似直線算出手段１０における近似直線Ｌ_１、Ｌ_２の算出の対象とする距離データＤを、過去のサンプリング周期で生成された道路形状モデルとその後の自車両の挙動から推定される今回のサンプリング周期における道路形状モデルの位置から所定の範囲内に存在する距離データＤに限定することで、先行車両Ｖah等の道路面の上方に存在する立体物を排除した状態で近似直線Ｌ_１、Ｌ_２の算出を行うことが可能となる。

そのため、このようにして算出された近似直線Ｌ_１、Ｌ_２から生成される道路形状モデルを的確に現実の道路面の形状に即したものとすることが可能となるとともに、距離データＤの探索範囲が限定されるため、近似直線Ｌ_１、Ｌ_２の算出処理を軽くして、処理の高速化を図ることが可能となる。

［第２の実施の形態］
上記の第１の実施形態では、距離高さ検出手段６で少なくとも実空間上の距離Ｚと高さＹが検出された全ての距離データＤ、或いは、そのうち過去のサンプリング周期で生成された道路形状モデルとその後の自車両の挙動から推定される今回のサンプリング周期における道路形状モデルの位置から所定の範囲内に存在する距離データＤを対象として近似直線Ｌ_１、Ｌ_２の算出等を行う場合について説明した。

しかし、自車両の側方の車線や、さらに範囲を広げて道路面上に表示された最高速度規制を表す数字や進行方向を示す矢印等の標示を検出し、検出した表示に対応する各距離データＤを対象として道路形状モデルの生成を行うように構成することも可能である。第２の実施形態では、このように構成された道路形状認識装置について説明する。

第２の実施形態に係る道路形状認識装置２０は、図９に示すように、撮像手段２や距離高さ検出手段６、近似直線算出手段１０や統計値算出手段１１、道路形状モデル生成手段１２等を有する処理部９等を備えて構成されており、これらの構成は、第１の実施形態に係る道路形状認識装置１の場合と同様である。本実施形態では、処理部９に、さらに、自車両側方に標示された車線を含む道路面上の標示を検出する路面標示検出手段１３が設けられている。

なお、本実施形態においても、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離高さ検出手段６で基準画像Ｔと比較画像Ｔｃに対するステレオマッチングにより基準画像Ｔの各画素について視差ｄｐすなわち実空間上の距離Ｚを算出するように構成されているが、これに限定されず、道路面上に標示された車線や数字、矢印等の標示の実空間上の距離Ｚや高さＹを検出することができるものであれば、検出の手法は特定の手法に限定されない。

第１の実施形態と同様に、本実施形態においても、撮像手段２として、ＣＣＤ等のイメージセンサがそれぞれ内蔵されたメインカメラ２ａとサブカメラ２ｂが用いられている。そして、それらで基準画像Ｔや比較画像Ｔｃを撮像する場合、図２に示したように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像Ｔ等の各画素の輝度ｐの画像データがそれぞれ変換手段３に順次送信されるようになっている。

そして、基準画像Ｔ等の各画素の輝度ｐの画像データは、変換手段３で例えば２５６階調のグレースケールのデジタル値の輝度ｐに順次変換され、画像補正部４で画像補正が順次行われた後、画像データメモリ５に順次格納されるとともに、処理部９に順次送信される。それらの画像データが距離高さ検出手段６にも順次送信されることは第１の実施形態で述べた通りである。

路面標示検出手段１３は、本実施形態では、順次送信されてくる基準画像Ｔの各画素の画像データである輝度ｐに基づいて、車線等の道路面上の標示を検出するようになっている。

具体的には、路面標示検出手段１３は、基準画像Ｔの水平ラインｊの１行分の各画素の輝度ｐが入力されると、水平ラインｊ上を例えば図１０に示すように基準画像Ｔの中央の位置から左右方向に探索しながら各画素の輝度ｐを検出する。このように探索していくと、水平ラインｊを例えば右方向に探索した場合、道路面上に白色等で標示された車線等の標示の部分で各画素の輝度ｐが大きく上昇する。

そのため、路面標示検出手段１３は、各画素の輝度ｐが大きく上昇し、隣接する画素の輝度ｐとの差分Δｐ（以下、エッジ強度Δｐという。）が所定の閾値Δｐth以上となる画素ｃｌ、ｃｒ（図１０参照）を道路面上に表示された車線等の標示に対応する路面標示点として検出するようになっている。そして、各水平ラインｊごとに路面標示点ｃｌ、ｃｒを検出していくと、基準画像Ｔ中の車線等のエッジ部分に対応する多数の路面標示点ｃｌ、ｃｒが検出される。

また、近似直線算出手段１０は、路面標示検出手段１３で検出された多数の路面標示点ｃｌ、ｃｒについて、距離高さ検出手段６により検出された視差ｄｐ等に基づいて上記（１）〜（３）式に従って実空間上の距離Ｚと高さＹを算出し、各路面標示点ｃｌ、ｃｒの少なくとも実空間上の距離Ｚと高さＹを有する各距離データＤを対象として、第１の実施形態に示したように、群Ｇ_１、Ｇ_２ごとに近似直線Ｌ_１、Ｌ_２を算出する算出処理を行う。

そして、第１の実施形態と同様に、近似直線算出手段１０で近似直線Ｌ_１、Ｌ_２が算出されるごとに統計値算出手段１１で近似直線Ｌ_１、Ｌ_２に基づく統計値、すなわち例えば近似直線Ｌ_１、Ｌ_２に対する各群Ｇ_１、Ｇ_２の各距離データＤの分散σ_１ ^２、σ_２ ^２を群Ｇ_１、Ｇ_２ごとにそれぞれ算出する。

そして、道路形状モデル生成手段１２で、算出された２つの群Ｇ_１、Ｇ_２の各統計値（例えば分散σ_１ ^２、σ_２ ^２）に基づいて２つの群Ｇ_１、Ｇ_２の近似直線Ｌ_１、Ｌ_２の組み合わせの中から１つの組み合わせを選択し、選択した近似直線Ｌ_１、Ｌ_２の組み合わせを用いて道路形状モデルＬ_１、Ｌ_２（或いは近似直線Ｌ_１と緩和曲線と近似直線Ｌ_２をモデルとする道路形状モデル）を少なくとも距離−高さ平面（Ｚ−Ｙ平面）上の形状として生成する。

以上のように、本実施形態に係る道路形状認識装置２０によれば、第１の実施形態に係る道路形状認識装置１と同様の効果を奏することが可能となる。また、本実施形態では、路面標示検出手段１３で車線等の道路面上の標示に対応する路面標示点ｃｌ、ｃｒを検出し、それらの路面標示点ｃｌ、ｃｒを対象として近似直線Ｌ_１、Ｌ_２等を算出して道路形状モデルを生成するため、道路形状をより的確に認識することが可能となる。

なお、路面標示検出手段１３が基準画像Ｔの水平ラインｊ上を探索して路面標示点ｃｌ、ｃｒを検出する探索範囲を限定するように構成することも可能である。例えば、前述した特許文献２に示されているように、過去のサンプリング周期で検出した車線等の基準画像Ｔ上での位置の近傍に今回のサンプリング周期における探索範囲を設定するように構成して、探索範囲を狭めることが可能である。

また、例えば、道路面より上方に存在する車両等の立体物を検出する立体物検出手段を設けて、図１１に示すように基準画像Ｔ中に撮像されている立体物Ｏ、Ｓを検出するように構成する。そして、検出した立体物Ｏ、Ｓに対応する画像領域を除外し、基準画像Ｔの立体物Ｏ、Ｓ以外の道路面の画像領域のみを探索範囲とすることで、探索範囲を狭めることも可能である。

このように探索範囲を限定すれば、路面標示点ｃｌ、ｃｒの検出をより高速に行うことが可能となるとともに、道路面より上方の位置に対応する距離データＤを排除し、道路面上の点に対応する距離データＤのみに基づいて近似直線Ｌ_１、Ｌ_２等を算出して道路形状モデルを生成することが可能となり、道路形状の認識精度を向上させることが可能となる。

一方、車線等の道路面上の標示に対応する距離データＤ、すなわち少なくともその実空間上の距離Ｚと高さＹの情報を検出する距離高さ検出手段６として、本実施形態にように、一対の画像（基準画像Ｔと比較画像Ｔｃ）に対するステレオマッチングにより距離データＤを検出する距離高さ検出手段６を用いる場合には、以下のようなステレオマッチング特有の現象が生じる。

距離高さ検出手段６のイメージプロセッサ７で行われるステレオマッチングでは、図１２に示すように、基準画像Ｔを例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢに分割する。そして、１つの基準画素ブロックＰＢに対して、比較画像Ｔｃ中の当該基準画素ブロックＰＢと同じｊ座標のエピポーララインＥＰＬ上の各比較画素ブロックＰＢｃを探索し、各比較画素ブロックＰＢｃについて、
ＳＡＤ＝Σ｜ｐ１st−ｐ２st｜ …（９）
を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定する。

なお、（９）式中でｐ１stは基準画素ブロックＰＢ内の各画素の輝度を表し、ｐ２stは比較画素ブロックＰＢｃ内の各画素の輝度を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

そして、ステレオマッチングでは、基準画素ブロックＰＢの基準画像Ｔ上の位置と、当該基準画素ブロックＰＢについて特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置から前述した視差ｄｐを算出するようになっている。

そのため、基準画素ブロックＰＢが３×３画素で形成されている場合には１つの基準画素ブロックＰＢの９個の画素に同一の視差ｄｐが割り当てられ、基準画素ブロックＰＢが４×４画素で形成されている場合には１つの基準画素ブロックＰＢの１６個の画素に同一の視差ｄｐが割り当てられる。

このようなステレオマッチングの手法を採用すると、例えば図１０の右下隅の車線のエッジ部分の拡大図である図１３に示すように、車線部分に路面標示点ｃｒが検出された場合、１つの基準画素ブロックＰＢに含まれる路面標示点ｃｒには同じ視差ｄｐが割り当てられる。そして、上記（３）式に従えば同じ視差ｄｐが割り当てられた各路面標示点ｃｒの実空間上の距離Ｚは同じ値となる。また、各路面標示点ｃｒのｊ座標が異なるため、上記（２）式から各路面標示点ｃｒの実空間上の高さＹはそれぞれ異なる値として算出される。

そのため、同じ基準画素ブロックＰＢに含まれる各路面標示点ｃｒの距離データＤを距離−高さ平面（Ｚ−Ｙ平面）上にプロットすると、図１４に示すように各距離データＤがＹ軸方向に並ぶ状態で検出されるという特徴が現れる。以下、これを第１の特徴という。

各路面標示点ｃｒは、本来、道路面に標示された車線等の標示に対応する各点であるため、各路面標示点ｃｒの実空間上の距離Ｚは、路面標示点ｃｒのｊ座標が大きくなるほど、すなわち基準画像Ｔ上でより上方に撮像されている点ほど遠くなるはずであり、それらの距離データＤはＺ軸方向に並ぶはずである。しかし、上記のようなステレオマッチングの結果、同じ基準画素ブロックＰＢに含まれる各路面標示点ｃｒの距離データＤはＹ軸方向に並ぶように検出される。

このような特徴が現れると、自車両の前方に例えば図１４に示したような緩やかな上り坂Ｅや図示しない緩やかな下り坂があるような場合に、上り坂Ｅ等の傾斜がＹ軸方向に並ぶ路面標示点ｃｒの各距離データＤにいわば埋もれてしまい、上り坂Ｅ等の緩やかな傾斜を検出し難くなるといった問題を生じる。そのため、この第１の特徴の影響が極力除去されるように構成されることが望まれる。

また、このようなステレオマッチングの手法では、図１５（Ａ）〜図１６（Ｃ）に示すように、基準画像Ｔ上に撮像されているシーンと基準画素ブロックＰＢとの相対的な位置関係がずれると、同じｊ座標を有する基準画像ブロックＰＢであっても、異なる視差ｄｐが検出されるという特徴が現れる。以下、これを第２の特徴という。

例えば図１５（Ａ）では、基準画素ブロックＰＢの輝度パターンの中で車線に対応する明るい輝度の特徴部分が右上の部分すなわちｊ座標が大きい部分に現れるように基準画素ブロックＰＢが設定されると、ステレオマッチングでは、その基準画素ブロックＰＢ内の各画素には実空間上の大きな距離Ｚ（例えば１０．５ｍ）を与える視差ｄｐが算出される。

また、図１５（Ｂ）に示すように、基準画素ブロックＰＢが１画素分右側にずれて、基準画素ブロックＰＢ中に車線のより手前側の部分が撮像された画素が入るように基準画素ブロックＰＢが設定されると、ステレオマッチングでは、その基準画素ブロックＰＢ内の各画素には、図１５（Ａ）の場合よりも実空間上の距離Ｚとしてより小さな距離Ｚ（例えば１０．４ｍ）を与える視差ｄｐが算出される。

同様にして、図１５（Ｃ）や図１６（Ａ）に示すように、基準画素ブロックＰＢがさらに右側にずれて、基準画素ブロックＰＢ中に道路面上の標示のさらに手前側の部分が撮像された画素がより多く入るように基準画素ブロックＰＢが設定されると、ステレオマッチングでは、その基準画素ブロックＰＢ内の各画素には、実空間上のさらに小さな距離Ｚ（例えば１０．２ｍや１０．３ｍ）を与える視差ｄｐが算出される。

また、図１６（Ｂ）、（Ｃ）に示すように、基準画素ブロックＰＢがさらに右側にずれて、基準画素ブロックＰＢの輝度パターンの暗い特徴部分が左下のｊ座標が小さく手前側の部分にだけ現れるように基準画素ブロックＰＢが設定されると、ステレオマッチングでは、その基準画素ブロックＰＢ内の各画素には実空間上の小さな距離Ｚ（例えば１０．０ｍや１０．１ｍ）を与える視差ｄｐが算出される。

そこで、この第２の特徴を利用して、図１４に示したような問題となる上記の第１の特徴の影響を除去することができる。

前述したように、路面標示検出手段１３で、図１７（Ａ）に示すように基準画像Ｔの水平ラインｊ１、ｊ２上を左右方向に探索しながら路面標示点ｃｒ１、ｃｒ２を検出する際に、隣接する画素同士の輝度ｐの差分Δｐすなわちエッジ強度Δｐを算出していく。その際、車線等の道路面上の標示のエッジ部分では、エッジ強度Δｐは例えば図１７（Ｂ）や図１７（Ｃ）に示すように変化する。その際、前述したように、このエッジ強度Δｐが所定の閾値Δｐth以上となる画素が道路面上に表示された車線等の標示に対応する路面標示点ｃｒ１、ｃｒ２として検出される。

また、図１７（Ａ）に示すように、基準画像Ｔ上でその水平ラインｊの位置に並ぶ複数の基準画素ブロックＰＢ(n)では、画素の視差ｄｐ(n)が基準画素ブロックＰＢ(n)ごとに異なり、上記の図１５（Ａ）〜図１６（Ｃ）の例から分かるように、基準画素ブロックＰＢ(1)の各画素の視差ｄｐ(1)は実空間上で大きな距離Ｚを与え、基準画素ブロックＰＢ(2)の各画素の視差ｄｐ(2)は実空間上のより小さな距離Ｚを与える視差となる。

そこで、路面標示検出手段１３が検出した路面標示点ｃｒ１、ｃｒ２における視差ｄｐ(1)を、路面標示点ｃｒ１、ｃｒ２と同一の水平ラインｊ１、ｊ２上に並ぶ複数の基準画素ブロックＰＢ(1)、ＰＢ(2)、…の各画素の視差ｄｐ(1)、ｄｐ(2)、…を用いてそれぞれ重み付け平均して修正するように構成することができる。

すなわち、図１７（Ｂ）に示すように、路面標示点ｃｒ１の近傍の各画素のうち、エッジ強度Δｐ(n)が閾値Δｐth以上である各画素について、下記（１０）式に示すように、その画素の視差ｄｐ(n)を、エッジ強度Δｐ(n)が閾値Δｐth以上の部分の大きさΔｐ(n)−Δｐthで重み付け平均し、この重み付け平均Ｄｐを当該水平ラインｊ１の路面標示点ｃｒ１の視差として修正する。
Ｄｐ＝｛Σｄｐ(n)・（Δｐ(n)−Δｐth）｝／｛Σ（Δｐ(n)−Δｐth）｝…（１０）

図１７（Ｃ）に示すように、同様に、路面標示点ｃｒ２についても、路面標示点ｃｒ２の近傍の各画素のうち、エッジ強度Δｐ(n)が閾値Δｐth以上である各画素について、その画素の視差ｄｐ(n)をエッジ強度Δｐ(n)が閾値Δｐth以上の部分の大きさΔｐ(n)−Δｐthで重み付け平均し、この重み付け平均Ｄｐを当該水平ラインｊ２の路面標示点ｃｒ２の視差として修正する。

路面標示点ｃｒ１の視差の修正では、図１７（Ｂ）に示すように、路面標示点ｃｒ１自体の修正前の視差はｄｐ(1)であるが、その右側近傍の基準画素ブロックＰＢ(2)に属する各画素の視差ｄｐ(2)が大きく重み付けされる。そのため、路面標示点ｃｒ１の修正後の視差Ｄｐは、修正前の値である視差ｄｐ(1)よりも視差ｄｐ(2)に近い値となり、元々視差ｄｐ(1)が与える実空間上の距離Ｚよりも小さな距離Ｚ、すなわち手前側の距離Ｚを与える視差Ｄｐに修正される。

それに対し、路面標示点ｃｒ２の視差の修正では、図１７（Ｃ）に示すように、路面標示点ｃｒ２自体の修正前の視差はｄｐ(1)であり、その右側近傍の各画素の視差も多くは視差ｄｐ(1)であり、僅かに基準画素ブロックＰＢ(2)に属する画素の視差ｄｐ(2)が寄与するだけである。そのため、路面標示点ｃｒ２の修正後の視差Ｄｐは、修正前の値である視差ｄｐ(1)とほぼ同じ値となり、元々視差ｄｐ(1)が与える実空間上の距離Ｚとほぼ同じの自車両から遠い距離Ｚを与える視差Ｄｐに修正される。

そのため、修正前には、同じ画素ブロックＰＢ(1)に含まれる路面標示点ｃｒ１、ｃｒ２には同じ視差ｄｐ(1)が割り当てられたため、図１４に示したように、路面標示点ｃｒ１、ｃｒ２の各距離データＤがＹ軸方向に並ぶ状態で検出されたが（上記の第１の特徴）、修正後は、路面標示点ｃｒ１、ｃｒ２が同じ画素ブロックＰＢ(1)に含まれていても、自車両に近い側の路面標示点ｃｒ１の実空間上の距離Ｚが、自車両から遠い側の路面標示点ｃｒ２の実空間上の距離Ｚよりも小さな距離Ｚに修正される。

このように、上記の第２の特徴を利用して、車線や矢印等の道路面上の標示に対応する距離データＤの検出においてステレオマッチングを用いる際に生じる特有の現象、すなわち同じ画素ブロックＰＢに含まれる路面標示点ｃｒに同じ視差ｄｐが割り当てられてしまう上記の第１の特徴の影響を的確に除去することが可能となる。

そして、道路面上の標示に対応する各路面標示点ｃｒでは、基準画像Ｔ上でのｊ座標が大きくなるほど、すなわち基準画像Ｔ上でより上側に撮像されているほど実空間上の距離Ｚが大きくなるといった実際の状況に適合するように、各路面標示点ｃｒの視差ｄｐを視差Ｄｐを修正することが可能となる。

そのため、そのように修正された視差Ｄｐに対応する実空間上の距離Ｚと高さＹとを含む複数の距離データＤを、上記のように２本の近似直線Ｌ_１、Ｌ_２で近似する対象とすることで、例えば図１４に示したような緩やかな上り坂Ｅ等を的確に認識することが可能となり、道路形状の認識精度をさらに向上させることが可能となる。

なお、上記（１０）式の演算において、エッジ強度Δｐ(n)が閾値Δｐth以上である画素が基準画素ブロックＰＢ(2)の右方の基準画素ブロックＰＢ(3)やさらにその右方の基準画素ブロックＰＢに及ぶ場合には、各基準画素ブロックＰＢ(n)の視差ｄｐ(n)についても重み付け平均されることは言うまでもない。

１、２０ 道路形状認識装置
２ 撮像手段
６ 距離高さ検出手段
１０ 近似直線算出手段
１１ 統計値算出手段
１２ 道路形状モデル生成手段
１３ 路面標示検出手段
Ｃ 交点
ｃｌ、ｃｒ 路面標示点
Ｄ 距離データ
Ｄａ 群の境界部分の距離データ
ＤＬ 境界
Ｇ_１ 距離高さ検出手段に近い側の群
Ｇ_２ 距離高さ検出手段から遠い側の群
Ｌ_１、Ｌ_２ 近似直線
ｐ 輝度
Ｒ 円弧（緩和曲線）
Ｔ 基準画像（一方の画像）
Ｔ、Ｔｃ 基準画像と比較画像（一対の画像）
Ｙ 実空間上の高さ
Ｙａ 群の境界部分の距離データの実空間上の高さ
Ｚ 実空間上の距離
Ｚａ 群の境界部分の距離データの実空間上の距離
σ_１ ^２、σ_２ ^２ 分散（統計値）

Claims (7)

1. 自車両が走行する道路面について少なくとも実空間上の距離と高さの情報を有する距離データを互いに異なる複数の地点で検出する距離高さ検出手段と、
   前記実空間上の距離に基づいて、前記複数の距離データを、前記自車両に近い側の群と遠い側の群とに分割し、２つの前記群の境界部分の前記距離データを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記距離データを近似する近似直線をそれぞれ算出する近似直線算出手段と、
   前記距離データを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出する統計値算出手段と、
   算出された前記２つの群の前記各統計値に基づいて、前記２つの群の前記近似直線の組み合わせの中から１つを選択し、選択した前記近似直線の組み合わせを用いて道路形状モデルを少なくとも距離−高さ平面上の形状として生成する道路形状モデル生成手段と、
   を備えることを特徴とする道路形状認識装置。
2. 前記近似直線算出手段は、最小二乗法により、前記群ごとに前記距離データをそれぞれ近似する前記近似直線を算出し、
   前記統計値算出手段は、前記統計値として、前記各群に属する前記各距離データの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、
   前記道路形状モデル生成手段は、算出された前記２つの群の前記各統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする請求項１に記載の道路形状認識装置。
3. 前記近似直線算出手段は、前記距離データの実空間上の距離をＺ、高さをＹと表し、移し替えられる前記境界部分の前記距離データの実空間上の距離をＺａ、高さをＹａと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の距離データを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣＺ、ΣＹ、ΣＺ^２、ΣＺＹからそれぞれＺａ、Ｙａ、Ｚａ^２、ＺａＹａを減算し、前記他方の群におけるΣＺ、ΣＹ、ΣＺ^２、ΣＺＹにそれぞれＺａ、Ｙａ、Ｚａ^２、ＺａＹａを加算して、前記最小二乗法により、前記群ごとに前記距離データを近似する前記近似直線をそれぞれ算出することを特徴とする請求項２に記載の道路形状認識装置。
4. 前記近似直線算出手段は、前記距離高さ検出手段で検出された前記複数の距離データのうち、過去のサンプリング周期において検出された前記道路形状モデルに基づいてその後の自車両の挙動から推定される今回のサンプリング周期における道路形状モデルの位置から所定の範囲内に存在する複数の距離データを、前記近似直線で近似する対象とすることを特徴とする請求項１から請求項３のいずれか一項に記載の道路形状認識装置。
5. 前記道路形状モデル生成手段は、前記選択した前記２つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記道路形状モデルを補正することを特徴とする請求項１から請求項４のいずれか一項に記載の道路形状認識装置。
6. 自車両側方に標示された車線を含む道路面上の標示に対応する路面標示点を検出する路面標示検出手段を備え、
   前記近似直線算出手段は、前記路面標示検出手段により検出された前記路面標示点に対応し、前記距離高さ検出手段により少なくとも実空間上の距離と高さが検出された前記複数の距離データを対象として、前記群ごとに前記近似直線を算出する算出処理を行うことを特徴とする請求項１から請求項５のいずれか一項に記載の道路形状認識装置。
7. 前記距離高さ検出手段は、撮像手段で撮像された一対の画像に対するステレオマッチングにより前記一対の画像のうち少なくとも一方の画像の画素ごとに前記距離データを検出し、
   前記路面標示検出手段は、前記一方の画像の画素の輝度に基づいて前記路面標示点を検出し、
   前記近似直線算出手段は、前記路面標示検出手段が検出した前記路面標示点に対応する前記距離データを、当該路面標示点を含む当該路面標示点の近傍の画素の輝度に基づいて修正し、修正した複数の距離データを、前記近似直線で近似する対象とすることを特徴とする請求項６に記載の道路形状認識装置。

Images