JP5091897B2 - 停止線検出装置 - Google Patents

Description

本発明は、停止線検出装置に係り、特に、撮像された画像中から道路面上に標示された停止線を検出する停止線検出装置に関する。

従来から、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で車両前方を撮像した画像中から道路面上に標示された車線等を検出する技術が種々開発されている（例えば特許文献１、２等参照）。なお、本明細書では、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。

ＣＣＤカメラ等では、後述する図２に示すように、例えば撮像画像Ｔ上で横方向（水平方向）に延在する１画素幅の水平ラインｊの最も左側の撮像素子（画素）から順に右側に輝度のデータが読み出されていく。また、各画素の輝度のデータは最も下側の水平ラインｊから順に読み出され、水平ラインｊが順次上方の水平ラインｊに切り替えられながら輝度のデータが読み出されていく。そして、それらの輝度のデータが水平ラインｊごとにメモリに保存され、下流側の装置に送信されて各種の処理が施される。

そのため、車線検出では、通常、順次送信されてくる水平ラインｊ上で隣接する画素同士の各輝度、すなわち撮像画像Ｔにおける横方向に隣接する画素同士の各輝度の差分を見て、例えば後述する図３１や図３２に示すように、その差分が予め設定された閾値以上に大きく変化する画素ｃｌ、ｃｒ、すなわち道路面が撮像された比較的暗い画素から白色等の車線が撮像された明るい画素に変わる画素を、車線にそれぞれ対応する画素として検出する。

そして、各水平ラインｊごとに画素ｃｌ、ｃｒを検出し、例えば後述する図３３に示すように、それらを結ぶことで自車両の側方にそれぞれ車線ＬＬ、ＬＲを検出するように構成される。なお、上記のように横方向に隣接する画素との輝度の差分が閾値以上に大きく変化する画素を、以下、横エッジ画素という。

このような車線検出の技術を応用すれば、例えば図４２に示すような停止線ＳＬを容易に検出することが可能なようにも思われる。しかし、図４３の拡大図に示すように、停止線ＳＬが撮像された部分の水平ラインｊ上では、水平ラインｊ上の各画素が白色等の車線が撮像された明るい画素であるため横エッジ画素がなく、左右に隣接する画素同士の各輝度の差分をとっても停止線を検出できないという問題があった。

そこで、例えば特許文献３に記載の停止線認識装置では、撮像画像Ｔ中に横方向に延在する細長い小領域を横方向に複数連続して設けて、その小領域における画素の輝度の時間的変化を監視し、停止線が小領域中に撮像される状態となって小領域内の輝度が変化することを検出することで停止線が存在すると判定する技術が提案されている。

特許第３３５２６５５号公報 特開２００６−３３１３８９号公報 特開２００３−８５５６２号公報

特許文献３に記載の停止線認識装置のような構成では、小領域中に停止線が撮像される状態となれば停止線を的確に検出することが可能となるが、小領域外のより自車両側に近い位置やより遠い位置で停止線を検出できない虞がある。また、自車両が高速で走行している場合に、小領域より遠い位置に撮像されて検出されなかった停止線が、次のサンプリング周期では小領域を越えて自車両に近い側に撮像されると、結局、停止線を検出できないという虞もある。

そこで、車線検出の場合のように撮像画像Ｔを横方向（水平方向）に探索するのではなく、縦方向（上下方向）に探索して、例えば縦方向に隣接する画素同士の各輝度の差分が閾値以上に大きく変化する画素部分を停止線として検出することが考えられる。なお、上記のように縦方向に隣接する画素との輝度が閾値以上に大きく変化する画素を、以下、縦エッジ画素という。

しかし、撮像画像Ｔの各画素を縦方向に探索する場合には、上記のように各水平ラインｊごとに入力されてメモリに保存され、離れたメモリアドレスに保存されている輝度のデータを探し出し読み出して並べ替えなければならず、処理に時間がかかる。また、撮像画像Ｔの１画像分の全画素の輝度のデータ、或いは所定行分の水平ラインｊの各画素の輝度のデータを取り込んだ後でなければ処理を行うことができず、その点でも処理に時間を要するものとなる。

そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の画像データが取り込まれ、次々と処理を行わなければならないような場合に処理が間に合わなくなり、停止線検出のリアルタイム性が損なわれる場合があるといった問題があった。

また、停止線のように縦エッジ画素が画像Ｔ上で横方向に延在する状態で検出される道路面上の標示は、停止線のほかにも、横断歩道や、道路面上に標示された文字や最高速度を表す数字、矢印等の記号など多岐にわたる。そのため、停止線検出では、それらの横方向に延在する縦エッジ画素の中から、停止線に対応する縦エッジ画素を的確に検出して、停止線を確実に検出できるものでなければならない。

さらに、後述する図１７に示すように、撮像画像Ｔに、街路樹の木漏れ日が自車両の進行路上に撮像されているような場合、撮像画像Ｔを縦方向に探索して縦エッジ画素を検出すると、多数の縦エッジ画素が検出されるため、停止線の検出が困難になる場合もある。しかし、そのような場合にも、撮像画像中から停止線を確実に検出可能であることが望まれる。

本発明は、このような事情に鑑みてなされたものであり、撮像画像中から停止線を確実かつリアルタイムに検出することが可能な停止線検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
停止線検出装置において、
撮像手段で撮像された画像中から道路面上に標示された停止線を検出する停止線検出装置であって、
前記画像の横方向を所定幅ごとに分割した画素列ごとに、前記停止線の検出状態を保存する状態保存手段と、
前記撮像手段から画素の輝度のデータが画素行分入力されると、前記画素の輝度と縦方向に隣接する画素の輝度との差分を算出し、前記差分と予め設定された閾値とに基づいて、前記画素列ごとに開始点候補および終了点候補を検出する開始点終了点候補検出手段と、
前記画素列に属する前記開始点候補とそれと組となる前記終了点候補との実空間上の位置関係に基づいて前記開始点候補を停止線候補として検出する停止線候補検出手段と、
前記停止線候補検出手段によって検出された前記停止線候補群を用いて、前記道路面上に標示された停止線として前記画像中に直線を検出する停止線検出手段と、
を備え、
前記開始点終了点候補検出手段は、
入力された画素の輝度と縦方向に隣接する画素の輝度との差分が正の値に設定された第１閾値以上であり、かつ、当該入力された画素が属する前記画素列の前記停止線の検出状態が前記開始点候補を探索中である旨を表す状態である場合には、当該入力された画素を前記開始点候補とし、当該入力された画素が属する前記画素列の前記停止線の検出状態を前記終了点候補を探索中である旨を表す状態として保存し、
入力された画素の輝度と縦方向に隣接する画素の輝度との差分が負の値に設定された第２閾値以下であり、かつ、当該入力された画素が属する前記画素列の前記停止線の検出状態が前記終了点候補を探索中である旨を表す状態である場合には、当該入力された画素を前記終了点候補とし、当該入力された画素が属する前記画素列の前記停止線の検出状態を前記開始点候補を探索中である旨を表す状態として保存することを特徴とする。

第２の発明は、第１の発明の停止線検出装置において、
前記状態保存手段には、前記画素列の前記停止線の検出状態として、前記開始点候補を探索中である旨を表す状態と、前記終了点候補を探索中である旨を表す状態とを表す状態フラグが前記各画素列ごとに保存されており、
前記各画素列ごとの状態フラグは、初期状態では、それぞれ前記開始点候補を探索中である旨を表す状態として保存されており、
前記開始点終了点候補検出手段は、前記開始点候補を検出すると、前記開始点候補が属する画素列の前記状態フラグを前記終了点候補を探索中である旨を表す状態に切り替えて保存し、前記終了点候補を検出すると、前記終了点候補が属する画素列の前記状態フラグを前記開始点候補を探索中である旨を表す状態に切り替えて保存することを特徴とする。

第３の発明は、第１または第２の発明の停止線検出装置において、前記開始点終了点候補検出手段は、前記入力された画素を含む画素領域における輝度微分ベクトルを算出し、前記画像の横方向に対する前記輝度微分ベクトルの角度の絶対値が９０°を含む閾値範囲内にある場合にのみ前記入力された画素を前記開始点候補または前記終了点候補として検出することを特徴とする。

第４の発明は、第３の発明の停止線検出装置において、前記開始点終了点候補検出手段は、前記開始点候補として検出した画素における前記画像の横方向に対する前記輝度微分ベクトルの角度と、前記開始点候補と同一の前記画素列で検出した前記開始点候補と組となる前記終了点候補として検出した画素における前記画像の横方向に対する前記輝度微分ベクトルの角度との差分が、予め設定された閾値範囲を越えて異なる場合には、当該開始点候補および当該終了点候補を無効とすることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の停止線検出装置において、
前記停止線検出手段は、前記停止線候補群に対するハフ変換によって前記停止線を検出し、
前記ハフ変換には、前記ハフ変換の結果として得られる各ピーク値について所定の閾値が設けられており、
前記停止線検出手段は、前記ハフ変換の結果として得られる各ピーク値の中に、前記閾値以上であるピーク値が存在する場合、当該閾値以上の各ピーク値のうち、最大のピーク値に対応する直線を、前記ハフ変換の結果として得られた直線として抽出することを特徴とする。

第６の発明は、第５の発明の停止線検出装置において、前記各ピーク値について所定の閾値は、当該ピーク値を除く当該ピーク値から所定範囲内の他のピーク値の大きさが大きくなるほど大きくなるように変化するように設定されることを特徴とする。

第７の発明は、第５または第６の発明の停止線検出装置において、前記各ピーク値について所定の閾値は、前記各ピーク値に対応する各直線の前記撮像手段からの実空間上の距離が遠くなるに従って小さくなるように設定されていることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の停止線検出装置において、
前記停止線候補検出手段は、前記開始点候補を停止線候補として検出した場合、当該開始点候補と組となる前記終了点候補を第２停止線候補として検出し、
前記停止線検出手段は、前記停止線候補検出手段が検出した前記第２停止線候補群を用いて、停止線終了線として前記画像中に直線を検出し、前記停止線として前記画像中に検出した前記直線と、前記停止線終了線として前記画像中に検出した前記直線との実空間上の間隔、または、それらの実空間上の平行度が所定の閾値範囲内にない場合は、検出した前記停止線を無効とすることを特徴とする。

第９の発明は、第１から第８のいずれかの発明の停止線検出装置において、
前記撮像手段から画素行ごとに前記画素の輝度のデータが入力されると、入力された前記画素の輝度と、前記入力された画素に隣接する画素の輝度との差分を算出し、前記差分と予め設定された閾値以下である場合に、前記入力された画素と前記隣接する画素とを１つのグループに統合する統合手段を備え、
前記統合手段は、道路面に相当するグループの平均輝度を算出し、
前記開始点終了点候補検出手段は、前記入力された画素の輝度と前記道路面に相当するグループの前記平均輝度との差分を算出し、前記平均輝度との差分が正の値に設定された第３閾値以上である場合に、当該入力された画素を前記開始点候補とすることを特徴とする。

第１０の発明は、第９の発明の停止線検出装置において、前記統合手段は、前記入力された画素が属する前記画素列の前記停止線の検出状態が前記終了点候補を探索中である旨を表す状態である場合には、前記道路面に相当するグループの平均輝度の算出を中止することを特徴とする。

第１１の発明は、第１から第１０のいずれかの発明の停止線検出装置において、
前記撮像手段により撮像された前記画像中から自車両の側方に標示された車線を検出する車線検出手段を備え、
前記車線検出手段は、検出した前記車線に対応する画素の輝度をヒストグラムに投票し、
前記開始点終了点候補検出手段は、前記ヒストグラム中で０でない度数が存在する下端の階級値に基づいて停止線輝度閾値を設定し、前記入力された画素の輝度が前記停止線輝度閾値以上であるか否かを判定し、前記停止線輝度閾値以上である場合に、当該入力された画素を前記開始点候補とすることを特徴とする。

第１２の発明は、第１１の発明の停止線検出装置において、前記開始点終了点候補検出手段は、前記入力された画素の実空間上の距離が所定距離以上に遠い場合には、前記停止線輝度閾値をより小さい値に変更し、または、前記停止線輝度閾値に基づく前記判定を行わないことを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の停止線検出装置において、
前記撮像手段は、一対のカメラで構成されており、
前記実空間上の位置関係は、前記撮像手段で撮像された一対の画像を用いたステレオマッチングにより算出されることを特徴とする。

第１４の発明は、第１から第１３のいずれかの発明の停止線検出装置において、
画像中から道路面上の立体物を検出する立体物検出手段を備え、
前記開始点終了点候補検出手段は、前記各画素列について、前記立体物検出手段が前記一方の画像中に検出した前記立体物が撮像されている画素領域については、前記開始点候補または前記終了点候補の探索を中止することを特徴とする。

第１の発明によれば、撮像手段から画素の輝度のデータが画素行分入力されると、その都度、当該画素の輝度と、既に入力されている縦方向に隣接する画素の輝度との差分が算出され、開始点候補や終了点候補が検出されるため、画像中に撮像されている停止線を見落として検出できなくなるといった事態が生じることを確実に防止して、画像中から停止線を確実に検出することが可能となる。

また、画素の輝度のデータが入力されると、縦方向に隣接する画素の輝度を読み出して差分を算出すればよいため、画像の縦方向に延在する各画素の輝度を探索する必要がない。そのため、各処理にかかる時間を非常に短時間で行うことが可能となり、処理の迅速化を図ることが可能となる。

さらに、各画素の輝度のデータの入力と同時並行で開始点候補や終了点候補の検出等の処理が行われるため、１画像分のデータの入力が終了した時点で、検出された停止線候補群を用いて即座に画像中に停止線が撮像されているか否かを迅速に判定することが可能となる。そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の画像データが撮像されて入力されてくるような場合でも、迅速に判定することが可能となり、停止線検出をリアルタイムに行うことが可能となる。

第２の発明によれば、開始点候補や終了点候補を検出するごとに状態フラグを切り替えることで、現在、開始点候補を探索中であるか、終了点候補を探索中であるかを的確に把握して処理を行うことが可能となる。そのため、開始点候補や終了点候補を画像中から的確に検出することが可能となり、前記発明の効果を的確に発揮させることが可能となる。

第３の発明によれば、輝度微分ベクトルの角度の絶対値が９０°を含む閾値範囲内にあり、画像中で横方向に延在する開始点候補や終了点候補を的確に検出することが可能となるため、前記各発明の効果が的確に発揮されるとともに、停止線の誤検出を的確に防止することが可能となる。

第４の発明によれば、同一の停止線における開始点候補の分布と終了点候補の分布とは平行になるはずであるから、開始点候補における輝度微分ベクトルと組となる終了点候補における輝度微分ベクトルとの平行度が低い場合にそれらの開始点候補や終了点候補を無効とすることで、前記各発明の効果が的確に発揮されるとともに、停止線の誤検出をより的確に防止することが可能となる。

第５の発明によれば、ハフ変換の結果として得られる各ピーク値の中に閾値以上であるピーク値が存在する場合にのみ停止線を検出するように構成することで、道路面上に標示された文字等の標示のように縦エッジ画素を含む撮像対象を誤って停止線として検出することを的確に防止することが可能となるとともに、その中で最大のピーク値に対応する直線を停止線として検出することで、停止線を的確に検出することが可能となり、前記各発明の結果をより的確に発揮させることが可能となる。

第６の発明によれば、第５の発明において、閾値を、当該ピーク値を除く当該ピーク値から所定範囲内の他の各ピーク値の大きさが大きくなるほど大きくなるように変化するように設定することで、例えば後述する図１７に示すように、画像中に街路樹の木漏れ日が撮像されているような場合でも、画像中から停止線を確実に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となるとともに、停止線検出の信頼性を向上させることが可能となる。

第７の発明によれば、第５や第６の発明において、閾値を、各ピーク値に対応する各直線の撮像手段からの実空間上の距離が遠くなるに従って小さくなるように設定することで、例えば後述する図１４に示すように、手前側に大きく撮像されている道路面上の標示ではなく、遠くに小さく撮像されている停止線を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となるとともに、停止線検出の信頼性を向上させることが可能となる。

第８の発明によれば、終了点候補を第２停止線候補として検出し、第２停止線候補群を用いて停止線終了線を検出し、さらに、検出された停止線終了線と停止線との実空間上の間隔や、それらの実空間上の平行度等の位置関係をチェックするように構成することで、検出された直線が、横断歩道や道路面上の標示等ではなく、停止線であることを確認して検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。また、停止線の誤検出が的確に防止され、停止線検出の信頼性を向上させることが可能となる。

第９の発明によれば、撮像手段から画素行ごとに入力される画素の輝度のデータに基づいて、輝度が近接する画素同士を１つのグループにまとめることが可能となり、また、まとめられたグループの中で道路面に相当するグループについて平均輝度を算出することで、画像中に撮像された道路面の実際の輝度に基づいて入力された画素が開始点候補とされるか否かをより的確に判定することが可能となり、より的確に開始点候補を検出することが可能となる。また、そのため、停止線を的確に検出することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第１０の発明によれば、第９の発明において、既に開始点候補が検出され、入力された画素が、停止線が撮像された高輝度の画素である場合には、その画素は道路面の実際の輝度の算出には貢献しない。そのため、そのような場合には、道路面に相当するグループの平均輝度の算出を中止するように構成することで、算出した道路面の実際の輝度に悪影響を及ぼすことが防止され、的確に開始点候補を検出することが可能となるとともに、平均輝度の算出を行わないため、その分、処理速度を向上させることが可能となる。

第１１の発明によれば、自車両の側方に標示された車線は、通常、停止線と同程度の輝度を有する。そのため、車線検出手段で画像中から自車両の側方に標示された車線を検出し、車線に対応する画素の輝度をヒストグラムに投票する等して、その情報に基づいて入力された画素を開始点候補とするか否かを判定するように構成することで、仮に入力された画素と縦方向に隣接する画素の輝度同士の差分が上記の閾値以上であっても、もともと停止線を撮像した画素とは見なせないような低輝度の画素を、開始点候補であると誤認識して停止線を誤検出することを的確に防止することが可能となり、前記各発明の効果を的確に発揮させることができる。

第１２の発明によれば、第１１の発明において、停止線の撮像手段からの実空間上の距離が遠い場合には、停止線が画像上で横方向に細長く撮像され、停止線を撮像した画素の輝度がさほど高くならない場合がある。そして、そのような場合にも第１１の発明を厳格に適用すると、停止線が撮像されている画素であるにもかかわらず、入力された画素を開始点候補として検出できず、停止線を見落としてしまう場合が生じる。

そのため、入力された画素の実空間上の距離が所定距離以上に遠い場合に、一旦設定した停止線輝度閾値をより小さい値に変更したり、或いは、停止線輝度閾値に基づく判定を行わないように構成することで、上記の事態が発生することを的確に回避することができ、停止線を確実に検出することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第１３の発明によれば、一対のカメラで構成された撮像手段により撮像された一対の画像に対してステレオマッチングを施して実空間上の間隔や距離等の位置関係を算出することで、精度良く実空間上の位置関係を算出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１４の発明によれば、立体物により停止線が隠されている場合には、画像中を探索しても停止線を検出することができず、立体物が撮像されている画素部分まで開始点候補や終了点候補の探索を行うのは無駄である。そのため、画像に立体物が撮像されている場合には、立体物が画素領域については、前記開始点候補または前記終了点候補の探索を中止するように構成することで、停止線の誤検出を的確に防止することが可能となり、前記各発明の効果をより的確に発揮させることが可能となるとともに、開始点候補の探索等の処理速度をさらに向上させることが可能となる。

第１の実施形態に係る停止線検出装置の構成を示すブロック図である。 撮像手段で撮像される画像の例を示す図である。 （Ａ）画像の横方向を複数の所定幅に分割する画素列、および（Ｂ）画素列ごとに割り当てられる停止線の検出状態を表す状態フラグを説明する図である。 入力された画素と縦方向に隣接する画素、および０から１に切り替えられた状態フラグを説明する図である。 画素列上に検出された開始点候補およびそれと組となる終了点候補を説明する図である。 車線のエッジ画素部分の拡大図である。 輝度微分ベクトルの算出のために設定される画素領域の例を示す図である。 （Ａ）〜（Ｃ）は図７の画素領域における各画素の輝度および算出された輝度微分ベクトルを示す図である。 検出された停止線候補および第２停止線候補を説明する図である。 撮像手段の焦点距離や取付高さ、画像上の撮像位置から実空間上の距離を算出する手法を説明する図である。 検出された停止線候補の画像上の座標を通る直線の例を示す図である。 所定の大きさの複数の升目に区画したハフ平面の例を示す図である。 ハフ平面におけるρごとのピーク値の分布の例を示す図である。 停止線だけでなく道路面の標示の画素部分にも停止線候補が検出されることを説明する図である。 図１４の停止線候補に対してハフ変換を実行した場合のハフ平面におけるρごとのピーク値の分布の例を示す図である。 ピーク値に対応する直線の実空間上の距離が遠くなるに従って小さくなるように設定された閾値を説明する図である。 街路樹の木漏れ日が自車両の進行路上に撮像された画像の例を示す図である。 図１７の画像中に検出された停止線候補に対してハフ変換を実行した場合のハフ平面におけるρごとのピーク値の分布の例を示す図である。 ピーク値から所定範囲内の他の各ピーク値の大きさが大きくなるほど大きくなるように変化するように設定された閾値を説明する図である。 図１９に示した閾値により街路樹の木漏れ日が撮像されていても停止線を検出できることを説明する図である。 画像中に検出された停止線および停止線終了線を表す図である。 停止線検出装置における処理手順を示すフローチャートである。 停止線検出装置における処理手順を示すフローチャートである。 入力された画素と左に隣接する画素を説明する図である。 入力された画素と下に隣接する画素を説明する図である。 （Ａ）入力された画素が左や下に隣接する画素が属するグループに統合されること、および（Ｂ）入力された画素を介して２つのグループが統合されることを説明する図である。 第２の実施形態に係る停止線検出装置の構成を示すブロック図である。 撮像手段で撮像される基準画像の例を示す図である。 イメージプロセッサによるステレオマッチングを説明する図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 車線に対応する画素の輝度を説明する図である。 自車両の側方に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 距離画像を分割する各区分を示す図である。 図３５の各区分ごとに作成されるヒストグラムの一例を示す図である。 区分ごとの代表視差に基づく実空間上の座標をプロットした図である。 図３７の各点に基づいて実空間上に検出された立体物を表す図である。 基準画像上に枠線で包囲されて検出された各立体物を表す図である。 基準画像上に撮像された各立体物を包囲する枠線を示す図である。 図４０において各立体物の基準画像中における下端より下方の画素領域を表す図である。 画像中に撮像された停止線の例を示す図である。 図４２における停止線部分の拡大図である。

以下、本発明に係る停止線検出装置の実施の形態について、図面を参照して説明する。

［第１の実施の形態］
第１の実施形態に係る停止線検出装置１は、図１に示すように、主に撮像手段２と処理部５とで構成されている。撮像手段２は、本実施形態では、例えばＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されたカメラ等の単眼の撮像手段が用いられているが、複数設けられた撮像手段のうちの単数または複数の撮像手段により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。

なお、本実施形態では、撮像手段２を構成する図示しない各撮像素子によりモノクロ（白黒）の輝度Ｄのデータが取得されるようになっており、１つの撮像素子が画像中の１画素に対応する。また、本実施形態では、後述するように、撮像手段２の各撮像素子（すなわち各画素）ごとに撮像された各輝度Ｄのデータを、変換手段３でそれぞれ例えば０〜２５５の２５６階調のグレースケールの輝度としてのデジタル値の輝度Ｄのデータに変換する場合について説明するが、本発明はこれに限定されず、撮像手段２の各撮像素子で例えばＲＧＢ値等で表されるカラーの画像データを撮像する場合についても本発明が適用される。

また、本実施形態では、撮像手段２は、例えば図２に示すような画像Ｔを撮像する場合、画像Ｔの各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に各輝度Ｄのデータを変換手段３に順次送信するようになっている。

変換手段３は、Ａ／Ｄコンバータで構成されており、撮像手段２で各撮像素子（各画素）ごとに撮像された各輝度Ｄのデータが順次送信されてくると、各輝度Ｄをそれぞれデジタル値の輝度Ｄに変換して画像補正部４に出力するようになっている。画像補正部４は、送信されてきた各輝度Ｄに対してずれやノイズの除去、輝度の補正等の画像補正を順次行い、画像補正した各輝度Ｄのデータを処理部５に順次送信するようになっている。

処理部５は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部５は、状態保存手段６や開始点終了点候補検出手段７、停止線候補検出手段８、停止線検出手段９を備えているが、さらに、他の処理を行うように構成することも可能である。

状態保存手段６は、本実施形態ではＲＡＭに構成されており、図３（Ａ）に示すように仮に画像Ｔの横方向を複数の所定幅の画素列plに分割した場合の各画素列plごとに停止線の検出状態を保存するようになっている。本実施形態では、画素列plの所定幅は１画素幅に設定されており、図３（Ｂ）に示すように、画像Ｔの横方向の１画素幅の画素列plごとに、停止線の検出状態を表す状態フラグＦが割り当てられて保存されるようになっている。

また、停止線の検出状態としては、開始点候補を探索中である旨を表す状態と、終了点候補を探索中である旨を表す状態とを切り替えて保存することができるようになっており、具体的には、前者の状態に対応する状態フラグＦとして０が保存され、後者の状態に対応する状態フラグＦとして１が保存されるようになっている。

なお、初期状態では、各画素列plとも停止線があるかないかを探索している状態であるから、図３（Ｂ）に示すように、状態保存手段６における画素列plごとの停止線の検出状態には、初期状態として、開始点候補を探索中である旨を表す状態、すなわち状態フラグＦとして０が設定されて保存されている。

開始点終了点候補検出手段７は、撮像手段２から各画素ｐi,jの輝度Ｄi,jのデータが画素行ｊ分入力されると、入力された画素ｐi,jの輝度Ｄi,jと、画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤを算出し、差分ΔＤと予め設定された閾値とを比較して、入力された画素ｐi,jを開始点候補および終了点候補として検出するようになっている。

具体的には、開始点終了点候補検出手段７は、図４に示すように、まず、入力された画素（以下、入力画素という。）ｐi,jが属する画素列pl（ｉ）の状態フラグＦが０である状態、すなわち、まだ開始点候補が検出されておらず開始点候補を探索中である旨を表す状態である場合に、入力画素ｐi,jの輝度Ｄi,jと、画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤ（＝ｐi,j−ｐi,j-1）が、正の値に設定された第１閾値ΔＤth１以上であれば、すなわち入力画素ｐi,jが縦エッジ画素であれば、入力画素ｐi,jを開始点候補ssとして検出するようになっている。

入力画素ｐi,jに縦方向に隣接する画素ｐi,j-1には停止線が撮像されておらず、入力画素ｐi,jに停止線が撮像されていれば、前者の画素ｐi,j-1の輝度Ｄi,j-1は道路面に対応する比較的低い輝度であるのに対し、入力画素ｐi,jの輝度Ｄi,jは停止線に対応する高い輝度になる。そのため、本実施形態では、第１閾値ΔＤth１は、通常の停止線に対応する高い輝度と道路面に対応する比較的低い輝度との差分に相当する程度の値、或いはそれより小さい値に予め設定される。

開始点終了点候補検出手段７は、図５に示すように、上記のようにして検出した開始点候補ssの画像Ｔ上の座標（ｉ，ｊ）をＲＡＭ等の図示しない記憶手段に保存する。また、入力画素ｐi,jが属する画素列pl（ｉ）の状態フラグＦを１として、停止線の検出状態を、まだ終了点候補が検出されておらず終了点候補を探索中である旨を表す状態として保存するようになっている。

また、開始点終了点候補検出手段７は、同様にして、入力画素ｐi,jが属する画素列pl（ｉ）の状態フラグＦが１である状態、すなわち、開始点候補は検出されたが終了点候補が検出されておらず終了点候補を探索中である旨を表す状態である場合に、入力画素ｐi,jの輝度Ｄi,jと、画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤ（＝ｐi,j−ｐi,j-1）が、負の値に設定された第２閾値ΔＤth２以下であれば、すなわち入力画素ｐi,jが縦エッジ画素であれば、入力画素ｐi,jを終了点候補seとして検出するようになっている。

入力画素ｐi,jに縦方向に隣接する画素ｐi,j-1に停止線が撮像されており、入力画素ｐi,jに停止線が撮像されていなければ、前者の画素ｐi,j-1の輝度Ｄi,j-1は停止線に対応する高い輝度であり、入力画素ｐi,jの輝度Ｄi,jは道路面に対応する比較的低い輝度になる。そのため、本実施形態では、第２閾値ΔＤth２は、第１閾値ΔＤth１と絶対値が同じで負の値となるように予め設定されている。

なお、この場合、開始点終了点候補検出手段７で、入力画素ｐi,jの輝度Ｄi,jと隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤの絶対値｜ΔＤ｜を算出するように構成し、差分の絶対値｜ΔＤ｜と正の値に設定された第１閾値ΔＤth１とを比較するように構成することも可能である。

開始点終了点候補検出手段７は、図５に示すように、上記のようにして検出した終了点候補seの画像Ｔ上の座標（ｉ，ｊ）を記憶手段に保存するとともに、前述した開始点候補ssと同一の画素列pl（ｉ）で検出された終了点候補se、すなわち開始点候補ssと組となる終了点候補seとして、開始点候補ssと対応付けて保存するようになっている。また、入力画素ｐi,jが属する画素列pl（ｉ）の状態フラグＦを０として、停止線の検出状態を、開始点候補を探索中である旨を表す状態に設定し直して保存するようになっている。

開始点終了点候補検出手段７は、このように、画素ｐi,jが入力されるごとに、入力画素ｐi,jの輝度Ｄi,jと画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤまたは差分の絶対値｜ΔＤ｜を算出し、閾値（第１閾値ΔＤth１や第２閾値ΔＤth２）と比較して開始点候補ssや終了点候補seを検出するようになっている。また、開始点候補ssや終了点候補seを検出するごとに状態フラグＦを切り替えるようになっている。

本実施形態では、開始点終了点候補検出手段７は、開始点候補ssや終了点候補seとして自車両の側方の車線ＬＬ、ＬＲ（図４２等参照）でないことをチェックし、開始点候補ssや終了点候補seが車線ＬＬ、ＬＲを検出したものでない場合にのみ開始点候補ssや終了点候補seとして検出するようになっている。

例えば、図４２に示した車線ＬＬのエッジ画素部分を拡大して画素レベルで見ると、図６に示すように、エッジ画素部分では、高い輝度の車線ＬＬが撮像された画素ｐs,tの縦方向に隣接する画素ｐs,t-1に、比較的低い輝度の道路面Ｇが撮像されている。そのため、車線のエッジ画素部分には、横エッジ画素だけでなく、縦エッジ画素も存在する状態になっている。

そのような状態の車線ＬＬのエッジ画素部分で上記のように開始点候補ssの検出を行うと、画素ｐs,tが入力された際、縦方向に隣接する画素ｐs,t-1と比較されて、車線ＬＬの画素ｐs,tが、誤って停止線の開始点候補ssとして検出されてしまう可能性が生じる。

そのため、本実施形態では、上記のように、入力画素ｐi,jの輝度Ｄi,jと画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤ等から、入力画素ｐi,jが開始点候補ssである可能性が生じると、開始点終了点候補検出手段７は、図７に示すように、入力画素ｐi,jを含む例えば２×２画素の画素領域を設定し、下記（１）式および（２）式で算出されるδＤｉ、δＤｊを２成分とする輝度微分ベクトルδＤ（δＤｉ，δＤｊ）を算出するようになっている。

δＤｉ＝（Ｄi,j＋Ｄi,j-1）−（Ｄi-1,j＋Ｄi-1,j-1）…（１）
δＤｊ＝（Ｄi,j＋Ｄi-1,j）−（Ｄi,j-1＋Ｄi-1,j-1）…（２）
なお、Ｄi,j、Ｄi,j-1、Ｄi-1,j、Ｄi-1,j-1はそれぞれ画素ｐi,j、ｐi,j-1、ｐi-1,j、ｐi-1,j-1における輝度を表す。

例えば、図８（Ａ）に示すように、画素ｐi,j、ｐi-1,jの輝度Ｄi,j、Ｄi-1,jが例えば２５５であり、画素ｐi,j-1、ｐi-1,j-1の輝度Ｄi,j-1、Ｄi-1,j-1が例えば０である場合、
δＤｉ＝（２５５＋０）−（２５５＋０）＝０
δＤｊ＝（２５５＋２５５）−（０＋０）＝５１０
となるため、輝度微分ベクトルδＤは（０，５１０）となり、図中矢印で示すように画像Ｔのｊ軸方向すなわち縦方向を向く。

また、例えば、図８（Ｂ）に示すように、画素ｐi,j、ｐi,j-1の輝度Ｄi,j、Ｄi,j-1が例えば２５５であり、画素ｐi-1,j、ｐi-1,j-1の輝度Ｄi-1,j、Ｄi-1,j-1が例えば０である場合、
δＤｉ＝（２５５＋２５５）−（０＋０）＝５１０
δＤｊ＝（２５５＋０）−（２５５＋０）＝０
となるため、輝度微分ベクトルδＤは（５１０，０）となり、図中矢印で示すように画像Ｔのｉ軸方向すなわち横方向を向く。

さらに、図６に示した例で、例えば図８（Ｃ）に示すように、画素ｐi,j、ｐi-1,j、ｐi-1,j-1の輝度Ｄi,j、Ｄi-1,j、Ｄi-1,j-1が例えば２５５であり、画素ｐi,j-1の輝度Ｄi,j-1が例えば０である場合、
δＤｉ＝（２５５＋０）−（２５５＋２５５）＝−２５５
δＤｊ＝（２５５＋２５５）−（０＋２５５）＝２５５
となるため、輝度微分ベクトルδＤは（−２５５，２５５）となり、図中矢印で示すように画像Ｔのｉ軸方向に１３５°の角度をなす方向を向く。

開始点終了点候補検出手段７は、このようにして、入力画素ｐi,jを含む例えば２×２画素の画素領域を設定して輝度微分ベクトルδＤを算出すると、続いて、算出した輝度微分ベクトルδＤが画像Ｔの横方向（ｉ軸方向）に対してなす角度φ（−１８０°＜φ≦１８０°）を下記（３）式に従って算出し、その絶対値｜φ｜が９０°を含む閾値範囲内にある場合にのみ、入力画素ｐi,jを開始点候補ssとして検出するようになっている。
φ＝arctan（δＤｊ／δＤｉ） …（３）

終了点候補seを検出する場合も同様である。なお、上記の図８（Ａ）〜（Ｃ）の例で言えば、図８（Ａ）ではφ＝９０°、図８（Ｂ）ではφ＝０°、図８（Ｃ）では前述したようにφ＝１３５°となる。

停止線として検出されるべき開始点候補ssや終了点候補seは、図８（Ａ）に示したように、高い輝度の画素と低い輝度の画素の境界線が横方向に延在する状態となる画素であり、その場合は、上記のように、輝度微分ベクトルδＤとｉ軸とがなす角度φは９０°近傍の値となる。そのため、角度φの絶対値｜φ｜が９０°を含む例えば±１０°の閾値範囲内にある場合にのみ入力画素ｐi,jを開始点候補ssとして検出することで、画像Ｔ中から車線ＬＬ、ＬＲ等を検出することなく横方向（ｉ軸方向）に延在する停止線を検出する可能性を一段と向上させることができる。

なお、入力画素ｐi,jが開始点候補ssや終了点候補seとして検出されなかった場合には、状態フラグＦは切り替えられない。また、本実施形態では、上記のように、入力画素ｐi,jが開始点候補ssや終了点候補seである可能性が生じた場合にのみ、輝度微分ベクトルδＤや角度φの算出を行うように構成されているが、それらの算出を常時行うように構成することも可能である。

また、開始点候補ssを含む例えば２×２画素の画素領域について算出された輝度微分ベクトルδＤと、その開始点候補ssと同一の画素列pl（ｉ）で検出された終了点候補seを含む例えば２×２画素の画素領域について算出された輝度微分ベクトルδＤは、平行になるはずである。

そのため、本実施形態では、開始点終了点候補検出手段７は、開始点候補ssと終了点候補seとの実空間上の位置関係として、さらに、開始点候補ssについて算出した前記角度φと、開始点候補ssと同一の画素列pl（ｉ）で検出した開始点候補ssと組となる終了点候補seについて算出した角度φとの差分が、予め設定された例えば±１０°等の閾値範囲を越えて異なり、平行度が低い場合には、開始点候補ssおよび終了点候補seを無効とするようになっている。

その際、開始点候補ssや終了点候補seが無効とされ、検出されなかったことになるため、当該画素列pl（ｉ）における停止線の検出状態は、開始点候補を探索中である旨を表す状態とされ、状態フラグＦは０とされる。

次に、停止線候補検出手段８は、上記のようにして開始点終了点候補検出手段７が検出した開始点候補ssとそれと組となる終了点候補seとの実空間上の位置関係における実空間上の間隔Ｚs-eを算出するようになっている。そして、その実空間上の間隔Ｚs-eが、予め設定された閾値Ｚth以内であるか否かを判定し、実空間上の間隔Ｚs-eが閾値Ｚth以内であると判定した場合に、図９に示すように、当該開始点候補ssを停止線候補Ｓｓとして検出するようになっている。

ここで、開始点候補ssと終了点候補seとの実空間上の間隔Ｚs-eは、画像Ｔにおける開始点候補ssの画素位置のｊ座標ｊssと、終了点候補seの画素位置のｊ座標ｊseから以下のようにして算出することができる。

すなわち、図１０に示すように、撮像手段２の焦点距離をｆ、撮像手段２の取付高さをｈとすると、撮像手段２前方の実空間上の距離Ｚの位置にある点Ｒは、画像Ｔ上では、無限遠に対応する消失点からＪ＝ｈ×ｆ／Ｚだけずれた位置に撮像され、ピクセル長をpixelとした場合、
Ｊｐ＝Ｊ／pixel＝ｈ×ｆ／（Ｚ×pixel） …（４）
で算出される画素数Ｊｐだけ消失点から下方に位置する水平ラインｊ上に撮像される。

いま、画像Ｔ上での消失点のｊ座標をｊａとすると、
Ｊｐ＝ｊａ−ｊ …（５）
であり、上記（４）式から、
Ｚ＝ｈ×ｆ／（pixel×Ｊｐ）＝ｈ×ｆ／｛pixel×（ｊａ−ｊ）｝…（６）
となる。

そのため、開始点候補ssに対応する実空間上の距離Ｚssを上記（６）式にｊ＝ｊssを代入して算出し、また、終了点候補seに対応する実空間上の距離Ｚseを上記（６）式にｊ＝ｊseを代入して算出して、Ｚs-e＝Ｚse−Ｚssを演算することで、開始点候補ssと終了点候補seとの実空間上の間隔Ｚs-eを算出することができる。

停止線候補検出手段８は、このようにして算出した開始点候補ssと終了点候補seとの実空間上の間隔Ｚs-eが予め設定された閾値Ｚth以内であるか否かを判定する。その際、通常の停止線の幅が３０ｃｍ程度であることから、閾値Ｚthは多少余裕をみて例えば４５ｃｍに設定される。

そして、停止線候補検出手段８は、実空間上の間隔Ｚs-eが閾値Ｚth以内であると判定した場合に、当該開始点候補ssを停止線候補Ｓｓとして検出するようになっている。また、本実施形態では、停止線候補検出手段８は、当該開始点候補ssと組となる終了点候補seを第２停止線候補Ｓｅとして検出するようになっている。

次に、停止線検出手段９は、停止線候補検出手段８が検出した複数の停止線候補Ｓｓ（停止線候補群）に対してハフ変換を実行して、ハフ変換の結果として得られた直線を道路面上に標示された停止線ＳＬとして画像Ｔ中に検出するようになっている。また、本実施形態では、停止線候補検出手段８が検出した複数の第２停止線候補Ｓｅ（第２停止線候補群）に対しても同様の処理を行い、ハフ変換の結果として得られた直線を検出するようになっている。

以下、停止線候補検出手段８が検出した各停止線候補Ｓｓ（停止線候補群）を用いて、画像Ｔ中から道路面上に標示された停止線ＳＬを検出する場合について説明する。ハフ変換は、画像Ｔ上の複数の点から直線を検出することを目的とするものであり、公知の方法が用いられる。

具体的には、例えば、検出された停止線候補Ｓｓの画像Ｔ上の座標を（ｉ_０，ｊ_０）とし、図１１に示すように、停止線候補Ｓｓが画像Ｔ上の直線
ρ＝ｉsinθ＋ｊcosθ …（７）
上に存在すると仮定すると、停止線候補Ｓｓの座標（ｉ_０，ｊ_０）は、
ρ＝ｉ_０sinθ＋ｊ_０cosθ …（８）
を満たす。

上記（８）式をハフ平面上でρ、θの関数としてみた場合、１つの停止線候補Ｓｓの座標（ｉ_０，ｊ_０）についてρ、θの関数が１つ定まる。そして、別の停止線候補Ｓｓの座標（ｉ_１，ｊ_１）についてもρ、θの関数
ρ＝ｉ_１sinθ＋ｊ_１cosθ …（９）
が１つ定まる。そして、例えば、停止線候補Ｓｓ（ｉ_０，ｊ_０）と停止線候補Ｓｓ（ｉ_１，ｊ_１）を通る直線は、上記（８）式で表される関数と上記（９）式で表される関数とのハフ平面上の交点（ρ，θ）を上記（７）式に代入することで１つに定まる。

ここで、図１２に示すように、ρを縦軸にとり、θを横軸にとり、ρおよびθをそれぞれ所定の数値幅で区分して、ρ−θ平面を所定の大きさに升目に区画したハフ平面を考える。そして、停止線候補Ｓｓ（ｉ，ｊ）についてそれぞれ上記（７）式で表されるρ、θの関数曲線をハフ平面に投票し、関数曲線が投票された升目（すなわち関数曲線が通過する升目）のカウント数を１増加させる。このようにすると、２つの関数曲線の交点の升目ではカウント数が２となり、３つの関数曲線が交わる交点の升目ではカウント数が３となる。

このようにして、ハフ平面に、停止線候補検出手段８が検出した各停止線候補Ｓｓ（ｉ，ｊ）についてそれぞれ上記（７）式で表されるρ、θの関数曲線をハフ平面に投票していくと、各関数曲線の交点では、交わる関数曲線の数が増えるほどカウント数が増加していく。そして、停止線候補検出手段８が検出した全ての停止線候補Ｓｓ（ｉ，ｊ）についてρ、θの関数曲線をハフ平面に投票した場合に、カウント数が最も多い升目で、最も多くの関数曲線が交わっていることが分かる。

そこで、カウント数が最も多い升目、すなわち関数曲線が最も多くの関数が通過する升目に対応する（ρ，θ）を上記（７）式に代入して得られる直線を、最も多くの停止線候補Ｓｓ（ｉ，ｊ）を通る画像Ｔ上の直線として抽出することができる。

本実施形態では、停止線検出手段９は、停止線候補検出手段８が画像Ｔ上に検出した各停止線候補Ｓｓ（ｉ，ｊ）について上記（７）式で表されるρ、θの関数曲線をそれぞれ算出して図１２に示したハフ平面上に投票していき、ハフ平面の各升目のカウント数を計数する。

そして、全ての停止線候補Ｓｓ（ｉ，ｊ）について上記の処理を行うと、ρごとにハフ平面の各升目の各カウント数を横方向すなわちθ軸方向に見ていき、ρごとの最高値すなわちピーク値Ｐ（ρ）およびそのピーク値Ｐ（ρ）を与える升目（ρ，θ）をそれぞれ割り出す。ρごとのピーク値Ｐ（ρ）をρに対してプロットすると、例えば図１３に示されるような分布が得られる。

そこで、このようにして得られたρごとのピーク値Ｐ（ρ）のうち最大のピーク値Ｐmaxを与えるρ^＊を選択し、そのρ^＊におけるピーク値Ｐ（ρ）すなわち最大のピーク値Ｐmaxを与える升目（ρ^＊，θ^＊）を割り出して、そのρ^＊およびθ^＊を上記（７）式に代入して得られる直線を、ハフ変換の結果として得られた直線として抽出し、道路面上に標示された停止線ＳＬとして画像Ｔ中に検出するように構成することが可能である。

なお、カウント数が１の升目は、各関数曲線が通過するだけの升目であり、複数の関数曲線の交点ではなく、そのρでは複数の停止線候補Ｓｓ（ｉ，ｊ）を通る直線は得られない。そのため、図１３では、ρごとのピーク値Ｐ（ρ）が１である場合にはそのピーク値Ｐ（ρ）は無視されて０とされている（以下も同様である。）。

また、実際には、停止線ＳＬは画像Ｔ中で真横に延在する直線として検出されるため、最大のピーク値Ｐmaxを与えるハフ平面上の升目（ρ^＊，θ^＊）におけるθ^＊は０°またはその近傍の値になる。そのため、上記（７）式にθ＝０°を代入すると分かるように、ハフ変換の結果として抽出される直線は、ρ＝ｊ、すなわちｊ＝ρで表され、画像Ｔ上におけるｊ一定の直線となる。

さらに、上記（６）式にｊ＝ρを代入すると、
Ｚ＝ｈ×ｆ／（pixel×Ｊｐ）＝ｈ×ｆ／｛pixel×（ｊａ−ρ）｝…（１０）
が成り立つことから分かるように、停止線ＳＬが直線ｊ＝ρで表される場合、ρは、停止線ＳＬの撮像手段２からの実空間上の距離Ｚに対応するものとなる。

ところで、画像Ｔに停止線ＳＬが撮像されていなくても、停止線候補検出手段８が複数の停止線候補Ｓｓを検出し、それに基づいて停止線検出手段９でハフ変換を実行した結果、ピーク値Ｐ（ρ）が２以上の最大のピーク値Ｐmaxが得られる場合がある。そのような場合にも停止線ＳＬを検出することとすると、停止線ＳＬでないものを停止線ＳＬと誤検出してしまうという問題が生じる。

そこで、本実施形態では、上記のようにハフ変換を実行する際に、ハフ変換の結果として得られるρごとのピーク値Ｐ（ρ）について所定の閾値Ｐthが設けられており、停止線検出手段９は、ハフ変換の結果として得られる各ピーク値Ｐ（ρ）の中に、閾値Ｐth以上であるピーク値Ｐ（ρ）が存在する場合に、当該閾値Ｐth以上の各ピーク値Ｐ（ρ）のうち、最大のピーク値Ｐmaxに対応する直線を、ハフ変換の結果として得られた直線として抽出するようになっている。

ハフ変換の結果として得られるρごとのピーク値Ｐ（ρ）の中に、上記の閾値Ｐth以上のものが存在しない場合には、直線が抽出されなかったものとして処理され、その場合には、画像Ｔ中には道路面上に標示された停止線ＳＬが検出されなかったものとして処理されるようになっている。

また、図１４に示すように、画像Ｔ中に停止線ＳＬが撮像されていても、その手前側の道路面上に例えば最高速度を表す数字等の標示ＲＳが撮像されていると、停止線ＳＬの画素部分に縦エッジ画素として検出される停止線候補Ｓｓよりも、手前側の標示ＲＳの画素部分に縦エッジ画素として停止線候補Ｓｓが多く検出される場合がある。

このような場合、停止線候補検出手段８が検出した各停止線候補Ｓｓについてハフ変換を実行すると、図１５に示すように、停止線ＳＬの画素部分におけるρごとのピーク値Ｐ（ρ）のうちの最大のピーク値Ｐmax_slよりも、標示ＲＳの画素部分におけるρごとのピーク値Ｐ（ρ）のうちの最大のピーク値Ｐmax_rsの方が大きくなる場合があり、標示ＲＳを停止線ＳＬと誤検出してしまうという問題が生じる。

これは、同じ大きさの撮像対象を撮像しても、撮像手段２からの実空間上の距離Ｚが遠いほど画像Ｔ上では画素数が少なく撮像されることに由来する現象である。そこで、本実施形態では、上記のようにハフ変換における各ρごとのピーク値Ｐ（ρ）について所定の閾値Ｐthを、各ピーク値に対応する各直線の撮像手段２からの実空間上の距離Ｚが遠くなるに従って小さくなるように設定されている。

図１０に示したように、道路面上に標示された停止線ＳＬとして画像Ｔ上に検出される直線ｊ＝ρは、撮像手段２に最も近い側（ｊ＝０）から無限遠に対応する消失点（ｊ＝ｊａ）までの間の画素領域に検出され、図１０や上記（１０）式から分かるように、ρが小さいほど撮像手段２からの実空間上の距離Ｚが近く、ρが大きくなりｊａに近くなるほど撮像手段２からの実空間上の距離Ｚが遠くなる。

そのため、本実施形態では、図１６に示すように、上記のようにハフ変換におけるρごとの各ピーク値Ｐ（ρ）について所定の閾値Ｐthを、各ピーク値Ｐ（ρ）に対応する各直線の撮像手段２からの実空間上の距離Ｚが遠くなるに従って、すなわちρが大きくなるに従って、小さくなるように設定されている。

ハフ変換におけるρごとの各ピーク値Ｐ（ρ）について所定の閾値Ｐthを上記のように設定することで、画像Ｔの手前側の道路面上の標示ＲＳが撮像されていて、停止線ＳＬの画素部分における最大のピーク値Ｐmax_slよりも標示ＲＳの画素部分における最大のピーク値Ｐmax_rsの方が大きくなったとしても、停止線ＳＬの画素部分における最大のピーク値Ｐmax_slを与えるρslを的確に選択し、直線を的確に抽出して、道路面上に標示された停止線ＳＬとして画像Ｔ中に検出することが可能となる。

一方、図１７に示すように、画像Ｔ中に街路樹の木漏れ日が自車両の進行路上に撮像されているような場合、上記のようにして画像Ｔ中の縦エッジ画素として停止線候補Ｓｓを検出すると、多数の縦エッジ画素が検出されるため、図１８に示すように、ハフ変換におけるρごとのピーク値Ｐ（ρ）が多数検出される場合がある。

そして、停止線ＳＬが撮像されていないにも関わらず、ハフ変換の結果として得られる各ピーク値Ｐ（ρ）の中に上記の閾値Ｐth以上であるピーク値Ｐ（ρ）が存在する状態となり、その中で最大のピーク値Ｐmaxに対応する直線を、停止線ＳＬでないものを停止線ＳＬと誤検出してしまうという問題が生じる。

そこで、本実施形態では、前述した各ピーク値Ｐ（ρ）について所定の閾値Ｐthは、基本的には、図１６に示したように、各ピーク値Ｐ（ρ）に対応する各直線の撮像手段２からの実空間上の距離Ｚが遠くなるに従って、すなわちρが大きくなるに従って、小さくなるように設定されるが（以下、この基本的な閾値Ｐthを基本閾値Ｐｂthという。）、さらに、各ピーク値Ｐ（ρ）についての閾値Ｐthを、そのピーク値Ｐ（ρ）を除く当該ピーク値Ｐ（ρ）から所定範囲内の他の各ピーク値Ｐ（ρ）の大きさが大きくなるほど大きくなるように変化するように設定されるようになっている。

なお、以下、このピーク値Ｐ（ρ）について、他の各ピーク値Ｐ（ρ）の大きさが大きくなるほど大きくなるように変化するように設定される閾値Ｐthを可変閾値Ｐｖthという。

具体的には、図１８に示すρ^＊＊におけるピーク値Ｐ（ρ^＊＊）についての可変閾値Ｐｖth（ρ^＊＊）は、ρ^＊＊を除き、例えばその前後の１０区分、計２０区分のρにおけるピーク値Ｐ（ρ）の平均値Ｐaveを算出し、例えばその２倍（すなわち２×Ｐave）の値に設定される。そして、各ピーク値Ｐ（ρ）についての閾値Ｐthは、上記の基本閾値Ｐｂthと可変閾値Ｐｖthとのうち値が大きい方に設定される。

閾値Ｐthをこのように設定すると、図１９に示すように、画像Ｔ中に街路樹の木漏れ日が自車両の進行路上に撮像されているような状況（図１７参照）では、可変閾値Ｐｖthが全体的に高くなり、画像Ｔ中の縦エッジ画素が多数検出されて停止線候補Ｓｓが多数検出されても、ハフ変換の結果として得られる各ピーク値Ｐ（ρ）の中に閾値Ｐth以上となるものが存在しない状態となるため、停止線ＳＬでないものを停止線ＳＬと誤検出してしまう事態を的確に回避することが可能となる。

一方、木漏れ日の中に停止線ＳＬが撮像されているような状況では、停止線ＳＬが撮像されている画像Ｔ上の水平ラインｊ上には、木漏れ日が撮像されている画素部分に疎らに検出される縦エッジ画素よりも格段に多数の縦エッジ画素が検出されるため、図２０に示すように、その水平ラインｊに対応するρsl（ｊ＝ρsl）におけるピーク値Ｐ（ρsl）が可変閾値Ｐｖthを越える。

そのため、閾値Ｐthを上記のように設定すれば、図１９に示したように、画像Ｔ中に街路樹の木漏れ日のみが撮像されているような状況では、停止線ＳＬを誤検出することが回避されるとともに、図２０に示したように、木漏れ日の中に停止線ＳＬが撮像されているような状況では、停止線ＳＬに相当するρslにおけるピーク値Ｐ（ρsl）が確実に閾値Ｐth（可変閾値Ｐｖth）以上となり、木漏れ日等の中から停止線ＳＬを的確に検出することが可能となる。

前述したように、本実施形態では、停止線検出手段９は、停止線候補検出手段８が検出した停止線候補Ｓｓのほか、各開始点候補ssと組となる終了点候補seに対応する各第２停止線候補Ｓｅ（第２停止線候補群）に対しても同様にハフ変換を行い、図２１に示すように、ハフ変換の結果として得られた直線を停止線終了線ＳＬｅとして画像Ｔ中に検出するようになっている。

そして、停止線検出手段９は、停止線ＳＬとして画像Ｔ中に検出した直線ＳＬと、停止線終了線ＳＬｅとして検出した直線ＳＬｅとの実空間上の間隔や、それらの実空間上の平行度が所定の閾値範囲内にない場合には、検出した停止線ＳＬを無効とすることでダブルチェックを行うようになっている。

停止線ＳＬと停止線終了線ＳＬｅとの実空間上の間隔は、前述した停止線候補検出手段８における開始点候補ssと組となる終了点候補seとの実空間上の間隔Ｚs-eの算出と同様に、停止線ＳＬと停止線終了線ＳＬｅとを実空間上に投影して算出することができる。そして、停止線ＳＬと停止線終了線ＳＬｅとの実空間上の間隔が例えば４５ｃｍより大きければ、検出した停止線ＳＬが無効とされる。

また、実空間上に投影した停止線ＳＬと停止線終了線ＳＬｅと平行度については、例えば実空間上に投影した停止線ＳＬと停止線終了線ＳＬｅのなす角度が予め設定された例えば±１０°等の閾値範囲を越えて異なる場合には、検出した停止線ＳＬが無効とされる。

次に、本実施形態に係る停止線検出装置１の作用を、図２２および図２３に示すフローチャートに従って説明する。

まず、撮像手段２で撮像が開始されると（図２２のステップＳ１）、処理部５では、画素ｐの画像Ｔ上の座標（ｉ，ｊ）を、最初に入力される画素ｐ0,0、すなわち、前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素ｐi,0からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の座標（０，０）にセットし、各画素列plの状態フラグＦを、停止線の検出状態が開始点候補ssを探索中である旨を表す状態であることを表す０にそれぞれ設定する（ステップＳ２）。そして、画素ｐ0,0の輝度Ｄ0,0のデータの処理部５への入力が開始されると（ステップＳ３）、処理が開始される。

そして、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、ｉ座標を１ずつインクリメントしながら（ステップＳ５）、入力される画素ｐi,jの処理を行っていく。また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ６；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、入力画素のｉ座標を０に設定して（ステップＳ７）、画素ｐ0,j+1を入力画素として処理を行い、入力画素ｐi,jを追跡しながら処理を続行する。

次に、開始点終了点候補検出手段７は、撮像手段２から各画素ｐi,jの輝度Ｄi,jのデータが画素行ｊ分入力されると、入力画素ｐi,jの輝度Ｄi,jと、画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤを算出するが（図２３のステップＳ９）、水平ライン０すなわちｊ＝０の画像ｐi,0が入力されてもその画素ｐi,0の縦（下方）に隣接する画素が入力されていないため、上記の差分ΔＤを算出できない。そこで、ｊ＝０の場合（ステップＳ８；ＮＯ）の場合は、以下の処理を行わず、図２２のステップＳ４の判定処理に戻る。

そして、水平ライン０の探索が終了し（ステップＳ４；ＹＥＳ）、次の水平ライン１の各画素i,1の輝度Ｄi,1の入力が開始されると（ステップＳ７）、ｊ＞０であるから（図２３のステップＳ８；ＹＥＳ）、開始点終了点候補検出手段７は、入力画素ｐi,jの輝度Ｄi,jと画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤを算出する（ステップＳ９）。

そして、状態フラグＦが０であれば（ステップＳ１０；ＹＥＳ）、停止線の検出状態が開始点候補を探索中である旨を表す状態であるから、開始点終了点候補検出手段７は、まず、差分ΔＤ（＝ｐi,j−ｐi,j-1）が第１閾値ΔＤth１以上であるか否かを判定する（ステップＳ１１）。そして、差分ΔＤが第１閾値ΔＤth１以上でなければ（ステップＳ１１；ＮＯ）、図２２のステップＳ４の判定処理に戻る。

また、差分ΔＤが第１閾値ΔＤth１以上である場合には（ステップＳ１１；ＹＥＳ）、開始点終了点候補検出手段７は、続いて、上記のようにして輝度微分ベクトルδＤを算出し（図７、図８参照）、上記（３）式に従って輝度微分ベクトルδＤと画像Ｔの横方向（ｉ軸方向）とのなす角度φ（−１８０°＜φ≦１８０°）を算出して、その絶対値｜φ｜が９０°を含む閾値範囲内にあるか否かを判定する（ステップＳ１２）。そして、絶対値｜φ｜が９０°を含む閾値範囲内になければ（ステップＳ１２；ＮＯ）、図２２のステップＳ４の判定処理に戻る。

また、絶対値｜φ｜が９０°を含む閾値範囲内にあれば（ステップＳ１２；ＹＥＳ）、開始点終了点候補検出手段７は、入力画素ｐi,jを開始点候補ssとして検出し、検出した開始点候補ssの画像Ｔ上の座標（ｉ，ｊ）を記憶手段に保存し（ステップＳ１３）、上記の角度φも記憶手段に保存する。また、入力画素ｐi,jすなわち開始点候補ssが属する画素列pl（ｉ）の状態フラグＦを１として（ステップＳ１４）、停止線の検出状態を終了点候補を探索中である旨を表す状態として保存して、図２２のステップＳ４の判定処理に戻る。

開始点候補ssが停止線ＳＬに対応するものであれば、同一の水平ラインｊで開始点候補ssの隣の画素ｐi+1,j（ステップＳ５）も、上記差分ΔＤが第１閾値ΔＤth１以上であり（ステップＳ１１；ＹＥＳ）、輝度微分ベクトルδＤと画像Ｔの横方向（ｉ軸方向）とのなす角度φの絶対値｜φ｜が９０°を含む閾値範囲内にあるため（ステップＳ１２；ＹＥＳ）、当該隣の画素ｐi+1,jも開始点候補ssとして検出、保存され（ステップＳ１３）、当該隣の画素ｐi+1,jが属する画素列pl（ｉ＋１）の状態フラグＦも１とされる（ステップＳ１４）。

このようにして、開始点候補ssが停止線ＳＬに対応するものであれば、同一の水平ラインｊ上、或いはその近傍の水平ラインｊ上で開始点候補ssが次々と検出され、開始点候補ssが属する画素列pl（ｉ）の状態フラグＦが順次１とされる。なお、開始点候補ssが検出されなかった画素列pl（ｉ）では状態フラグＦは０のままである。

そして、探索される水平ラインｊを順次１行ずつ上方に移行しながら処理が続行され、ある入力画素ｐi,jについて、入力画素ｐi,jの輝度Ｄi,jと、画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤを算出し（ステップＳ９）、状態フラグＦが１であれば（ステップＳ１０；ＮＯ）、すなわち停止線の検出状態が終了点候補を探索中である旨を表す状態であれば、開始点終了点候補検出手段７は、続いて、差分ΔＤ（＝ｐi,j−ｐi,j-1）が第２閾値ΔＤth２以下であるか否かを判定する（ステップＳ１５）。そして、差分ΔＤが第２閾値ΔＤth２以下でなければ（ステップＳ１５；ＮＯ）、図２２のステップＳ４の判定処理に戻る。

また、差分ΔＤが第２閾値ΔＤth２以下である場合には（ステップＳ１５；ＹＥＳ）、開始点終了点候補検出手段７は、続いて、上記と同様に輝度微分ベクトルδＤを算出し、輝度微分ベクトルδＤと画像Ｔの横方向（ｉ軸方向）とのなす角度φを算出して、その絶対値｜φ｜が９０°を含む閾値範囲内にあるか否かを判定する（ステップＳ１６）。そして、絶対値｜φ｜が９０°を含む閾値範囲内になければ（ステップＳ１６；ＮＯ）、図２２のステップＳ４の判定処理に戻る。

また、絶対値｜φ｜が９０°を含む閾値範囲内にあれば（ステップＳ１６；ＹＥＳ）、開始点終了点候補検出手段７は、一旦、入力画素ｐi,jを終了点候補seとして検出し、検出した終了点候補seの画像Ｔ上の座標（ｉ，ｊ）を記憶手段に保存するとともに、同じ画素列pl（ｉ）で先に検出した開始点候補ssと組となる終了点候補seとして開始点候補ssと対応付けて保存し（ステップＳ１７）、上記の角度φも記憶手段に保存する。

開始点終了点候補検出手段７は、続いて、開始点候補ssと終了点候補seにおける各輝度微分ベクトルδＤの平行度のチェックを行う（ステップＳ１８）。そして、開始点候補ssにおける角度φと終了点候補seにおける角度φとの差分が、予め設定された閾値範囲を越えて異なり、平行度が低い場合には（ステップＳ１８；ＮＧ）、開始点候補ssおよび終了点候補seを無効とする（ステップＳ１９）。そして、また、無効とされた開始点候補ssと終了点候補seが属する画素列pl（ｉ）の状態フラグＦを０として（ステップＳ２０）、当該画素列pl（ｉ）の停止線の検出状態を開始点候補を探索中である旨を表す状態に戻して、図２２のステップＳ４の判定処理に戻る。

また、開始点候補ssにおける角度φと終了点候補seにおける角度φとの差分が閾値範囲内であれば（ステップＳ１８；ＯＫ）、開始点候補ssと終了点候補seが属する画素列pl（ｉ）の状態フラグＦを０として（ステップＳ２０）、当該画素列pl（ｉ）の停止線の検出状態を開始点候補を探索中である旨を表す状態に戻して記憶手段に保存する。

停止線候補検出手段８は、開始点終了点候補検出手段７により開始点候補ssとそれと組となる終了点候補seとが検出されると、上記のようにして、それらの実空間上の間隔Ｚs-eを算出し、その実空間上の間隔Ｚs-eが、予め設定された閾値Ｚth以内であるか否かを判定し（ステップＳ２２）、実空間上の間隔Ｚs-eが閾値Ｚth以内であると判定した場合には（ステップＳ２２；ＹＥＳ）、開始点候補ssを停止線候補Ｓｓとして、また、停止点候補seを第２停止線候補Ｓｅとして検出する（ステップＳ２３）。

また、停止線検出手段９は、停止線候補検出手段８が検出した停止線候補Ｓｓに対してハフ変換を実行し、上記（７）式により停止線候補Ｓｓの座標（ｉ，ｊ）に基づいて関数曲線を算出して、それを升目に区画されたハフ平面に投票する。また、第２停止線候補Ｓｅについても関数曲線を算出して別のハフ平面に投票して（ステップＳ２４）、図２２のステップＳ４の判定処理に戻る。

開始点終了点候補検出手段７や停止線候補検出手段８は、このようにして、開始点候補ssや終了点候補seが検出されるたびに上記の処理を繰り返して、画像Ｔ上に停止線候補Ｓｓと第２停止線候補Ｓｅとを検出していき（ステップＳ２３）、停止線検出手段９は、停止線候補Ｓｓや第２停止線候補Ｓｅが検出されるたびに各ハフ平面への関数曲線の投票を繰り返す（ステップＳ２４）。

なお、停止線候補Ｓｓや第２停止線候補Ｓｅとして検出されなかった開始点候補ssや停止点候補se（ステップＳ２２；ＮＯ）の座標（ｉ，ｊ）等の情報は、記憶手段に保存されたままとしてもよく、或いは記憶手段から削除されるように構成してもよい。また、停止線ＳＬは道路面上にしか標示されておらず、画像Ｔ中の消失点（図１０参照）より上側に検出されることはないため、例えば、開始点候補ss等の探索範囲を画像Ｔ中の消失点以下の領域等に限定して探索を行うように構成することも可能である。さらに、画素列pl（ｉ）の範囲を限定するように構成することも可能であり、それらは適宜設定される。

以上のようにして、画像Ｔの最上段の水平ラインｊ（或いは予め設定された水平ラインｊ）まで処理が終了すると（図２２のステップＳ６；ＹＥＳ）、停止線検出手段９は、ハフ変換の結果を集計し（ステップＳ２５）、ρごとにハフ平面の各升目（図１２参照）の各カウント数をθ軸方向に見ていき、ρごとのピーク値Ｐ（ρ）およびそのピーク値Ｐ（ρ）を与える升目（ρ，θ）をそれぞれ割り出す。

そして、停止線検出手段９は、上記のようにして、各ピーク値Ｐ（ρ）自体を除くρの所定範囲内の他のピーク値Ｐ（ρ）の平均値Ｐaveを算出する等して各ピーク値Ｐ（ρ）についての可変閾値Ｐｖth（ρ）を算出し（ステップＳ２６）、可変閾値Ｐｖth（ρ）と前述した基本閾値Ｐｂthとに基づいて、ハフ変換の結果として得られる各ピーク値Ｐ（ρ）の中に閾値Ｐth以上となるものが存在するか否かを判定する（ステップＳ２７）。

また、停止線検出手段９は、各ピーク値Ｐ（ρ）の中に閾値Ｐth以上となるものが存在すると判定すると（ステップＳ２７；ＹＥＳ）、停止線候補検出手段８が検出した第２停止線候補Ｓｅに対しても同様にハフ変換の結果を集計し、ρごとのピーク値Ｐ（ρ）およびそのピーク値Ｐ（ρ）を与える升目（ρ，θ）をそれぞれ割り出し、可変閾値Ｐｖth（ρ）を算出し、ハフ変換の結果として得られる各ピーク値Ｐ（ρ）の中に閾値Ｐth以上となるものが存在するか否かを判定して、停止線終了線ＳＬｅが画像Ｔ中に検出されたか否かを判定する（ステップＳ２８）。

そして、停止線終了線ＳＬｅが画像Ｔ中に検出された場合には（ステップＳ２８；ＹＥＳ）、停止線ＳＬとして画像Ｔ中に検出した直線ＳＬと、停止線終了線ＳＬｅとして検出した直線ＳＬｅとの実空間上の間隔や平行度が所定の閾値範囲内にあるか否かを判定し（ステップＳ２９）、間隔や平行度が所定の閾値範囲内にない場合には（ステップＳ２９；ＮＯ）、検出した停止線ＳＬを無効とし（ステップＳ３０）、停止線ＳＬと停止線終了線ＳＬｅとの実空間上の間隔や平行度が所定の閾値範囲内にある場合（ステップＳ２９；ＴＥＳ）にのみ、撮像手段２において今回撮像された画像Ｔ中に停止線ＳＬが検出されたとして処理する（ステップＳ３１）。

停止線検出手段９は、検出した停止線ＳＬの情報を記憶手段に保存するとともに、必要に応じて外部装置に出力する。

また、各ピーク値Ｐ（ρ）の中に閾値Ｐth以上となるものが存在しないと判定したり（ステップＳ２７；ＮＯ）、停止線終了線ＳＬｅが画像Ｔ中に検出されなかったり（ステップＳ２８；ＮＯ）、或いは、停止線ＳＬや停止線終了線ＳＬｅが画像Ｔ中に検出されても、それらの実空間上の間隔や平行度が所定の閾値範囲内になく（ステップＳ２９；ＮＯ）、検出した停止線ＳＬが無効とされた場合（ステップＳ３０）には、撮像手段２において今回撮像された画像Ｔ中には停止線ＳＬが検出されなかったものとして処理される。

以上のように、本実施形態に係る停止線検出装置１によれば、撮像手段２から画素ｐi,jの輝度Ｄi,jのデータが画素行ｊ分入力されると、その都度、当該画素ｐi,jの輝度Ｄi,jと、既に入力されており縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤが算出され、開始点候補ssや終了点候補seが検出されるため、画像Ｔ中に撮像されている停止線ＳＬを見落として検出できなくなるといった事態が生じることを確実に防止して、画像Ｔ中から停止線ＳＬを確実に検出することが可能となる。

また、画素ｐi,jの輝度Ｄi,jのデータが入力されると、縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1を読み出して差分ΔＤを算出すればよいため、画像Ｔの縦方向に延在する各画素ｐの輝度Ｄを探索する必要がない。そのため、各処理にかかる時間を非常に短時間で行うことが可能となり、処理の迅速化を図ることが可能となる。

さらに、上記のように、各画素ｐi,jの輝度Ｄi,jのデータの入力と同時並行で開始点候補ssや終了点候補seの検出等の処理が行われるため、１画像分のデータの入力が終了した時点で、即座にハフ変換の結果を集計して画像Ｔ中に停止線ＳＬが撮像されているか否かを迅速に判定することが可能となる。そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の画像データが撮像されて入力されてくるような場合でも、迅速に判定することが可能となり、停止線検出をリアルタイムに行うことが可能となる。

また、開始点候補ssと終了点候補seとの実空間上の間隔Ｚs-e等の位置関係を算出する等したり、各ピーク値Ｐ（ρ）について閾値Ｐth（基本閾値Ｐｂth）を各ピーク値Ｐ（ρ）に対応する各直線の撮像手段２からの実空間上の距離Ｚが遠くなるに従って小さくなるように設定したりすることで、道路面上に標示された横断歩道や文字、最高速度を表す数字、矢印等の標示と、停止線ＳＬとを明確に区別して検出することが可能となり、それらの標示を停止線ＳＬと誤検出することを的確に防止することが可能となる。

また、各ピーク値Ｐ（ρ）について閾値Ｐth（可変閾値Ｐｖth）を、当該ピーク値Ｐ（ρ）を除く当該ピーク値Ｐ（ρ）から所定範囲内の他の各ピーク値Ｐ（ρ）の大きさが大きくなるほど大きくなるように変化するように設定することで、例えば、図１７に示したように、画像Ｔ中に街路樹の木漏れ日が撮像されているような場合でも、画像Ｔ中から停止線ＳＬを確実に検出することが可能となる。

なお、本実施形態では、開始点終了点候補検出手段７において、入力画素ｐi,jの輝度Ｄi,jと画像Ｔ上で縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤと、予め設定された第１閾値ΔＤth１とを比較して開始点候補ssを検出する場合について説明した。

すなわち、縦方向に隣接する画素ｐi,j-1には道路面が撮像されており、入力画素ｐi,jに停止線が撮像されていることを、第１閾値ΔＤth１を基準としてそれらの輝度の差分ΔＤ（＝Ｄi,j−Ｄi,j-1）から判断して開始点候補ssを検出する。このようにして開始点候補ssを検出する場合、画像Ｔ中に撮像された道路面の実際の輝度が分かれば、より的確に開始点候補ssを検出することが可能となる。

そこで、例えば、画像Ｔ中から道路面に相当する画素領域を抽出し、その画素領域の平均輝度Ｄroadを算出して道路面の輝度とし、開始点終了点候補検出手段７では、入力画素ｐi,jの輝度Ｄi,jと上記平均輝度Ｄroadとの差分ΔＤroadを算出し、差分ΔＤroadが正の値に設定された第３閾値ΔＤth３以上である場合に、入力画素ｐi,jを開始点候補ssとするように構成することができる。

この処理は、本実施形態の第１閾値ΔＤth１を基準とした開始点候補ssの検出と並行して行い、いずれかの条件をクリアした場合に入力画素ｐi,jを開始点候補ssとするように構成してもよく、本実施形態の第１閾値ΔＤth１を基準とした開始点候補ssの検出の代わりに行うように構成してもよい。

また、画像Ｔ中から道路面に相当する画素領域を抽出する手法としては、例えば、上記のように撮像手段２から画素行ｊ（水平ラインｊ）ごとに画素ｐi,jの輝度Ｄi,jのデータが入力されると、入力画素ｐi,jの輝度Ｄi,jと、先に入力されている入力画素ｐi,jの縦方向（下側）に隣接する画素ｐi,j-1の輝度Ｄi,j-1や横方向（左側）に隣接する画素ｐi-1,jの輝度Ｄi-1,jとの差分を算出し、その差分が予め設定された閾値以下である場合に、入力画素ｐi,jと隣接する画素ｐi,j-1、ｐi-1,jとを１つのグループに統合する図示しない統合手段を備えるように構成することができる。

具体的には、統合手段は、図２４に示すように、入力画素ｐi,jが入力されると、入力画素ｐi,jの輝度Ｄi,jと、それ以前に入力されている入力画素ｐi,jの左に隣接する画素ｐi-1,jの輝度Ｄi-1,jとの差分を算出し、差分が閾値以下であるか否かを判定し、差分が閾値以下である場合には、入力画素ｐi,jと左に隣接する画素ｐi-1,jとを統合して１つグループとする。

また、統合手段は、図２５に示すように、入力画素ｐi,jの輝度Ｄi,jと、それ以前に入力されている入力画素ｐi,jの下に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分を算出し、差分が閾値以下であるか否かを判定し、差分が閾値以下である場合には、入力画素ｐi,jと下に隣接する画素ｐi,j-1とを統合して１つグループとする。

その際、図２６（Ａ）に示すように、左に隣接する画素ｐi-1,jが既にグループｇ１に属している場合には、入力画素ｐi,jと左に隣接する画素ｐi-1,jとを統合することで、入力画素ｐi,jがグループｇ１に属するようになり、グループｇ１が拡大する。また、下に隣接する画素ｐi,j-1が既にグループｇ２に属している場合には、入力画素ｐi,jと下に隣接する画素ｐi,j-1とを統合することで、入力画素ｐi,jがグループｇ２に属するようになり、グループｇ２が拡大する。

また、入力画素ｐi,jが、グループｇ１に属する左に隣接する画素ｐi-1,jとともに、グループｇ２に属する下に隣接する画素ｐi,j-1とも統合される場合には、図２６（Ｂ）に示すように、入力画素ｐi,jが左や下に隣接する画素ｐi-1,j、ｐi,j-1と統合されることで、グループｇ１とグループｇ２とが入力画素ｐi,jを介して１つのグループｇに統合されることになる。

上記のように、統合手段は、入力画素ｐi,jの輝度Ｄi,jと隣接する画素ｐi-1,j、ｐi,j-1の輝度Ｄi-1,j、Ｄi,j-1が閾値以内で近接した値であればそれらを統合するため、自車両の側方の車線が高輝度に撮像された画素領域と、道路面が低輝度に撮像された画素領域をそれぞれ別のグループに統合することができる。

このようにして、画像Ｔ中から道路面に相当する低輝度の画素領域を抽出することが可能となる。また、統合手段で、入力画素ｐi,jを隣接する画素ｐi-1,j、ｐi,j-1と統合するごとに、拡大したグループｇ、ｇ１、ｇ２の平均輝度を算出して更新するように構成すれば、開始点終了点候補検出手段７で、道路面に相当する画素領域（グループ）の平均輝度Ｄroadを用いて上記の第３閾値ΔＤth３を基準として、入力画素ｐi,jを開始点候補ssとするように構成することができる。

なお、入力画素ｐi,jが属する画素列pl（ｉ）の停止線の検出状態が、終了点候補を探索中である旨を表す状態（フラグＦ＝１）である場合、入力画素ｐi,jの輝度Ｄi,jは、停止線ＳＬ等に相当する高い輝度になっており、入力画素ｐi,jはもはや道路面に相当する低輝度の画素領域に属するべき画素ではない。そのため、そのような場合には、統合手段は、入力画素ｐi,jの統合処理を中断し、道路面に相当するグループの平均輝度Ｄroadの算出を中止するように構成することが望ましい。

また、上記のグループ化の手法を使うと、画像Ｔ中から車線に相当する高輝度の画素領域を抽出することも可能となる。そして、停止線ＳＬの画素領域の輝度は、車線が撮像された高輝度の画素領域と同程度の輝度を有することから、車線の輝度の情報を用いて、入力画素ｐi,j自体が停止線ＳＬを撮像した画素領域の画素であるか否か等の判定を行うように構成することも可能となるが、これについては、下記の第２の実施形態の中で説明する。

［第２の実施の形態］
上記の第１の実施形態では、撮像手段２で撮像された１つの画像の各画素ｐの輝度Ｄを処理して、画像Ｔ中に停止線ＳＬを検出する停止線検出装置１について説明した。

しかし、撮像手段２として一対のカメラ（すなわちいわゆるステレオカメラ）を用いて一対の画像を撮像し、それに基づいて処理を行うと、画像Ｔ中に撮像された撮像対象までの実空間上の距離Ｚ等をより精度良く検出することができる等の利点があり、それに基づいて停止線ＳＬをより的確に検出することが可能となる。第２の実施形態では、このように構成された停止線検出装置について説明する。

本実施形態に係る停止線検出装置１０は、図２７に示すように、第１の実施形態における停止線検出装置１（図１参照）と同様に、撮像手段２や変換手段３、画像補正部４、状態保存手段６や開始点終了点候補検出手段７、停止線候補検出手段８、停止線検出手段９を有する処理部５等を備えて構成されるが、さらに、イメージプロセッサ１２等を有する距離検出手段１１等を備えている。

なお、イメージプロセッサ１２等を含む処理部５の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２８に示すような画像Ｔを撮像するようになっている。なお、以下では、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像という。

なお、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの輝度Ｄが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

また、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで図２８に示したような基準画像Ｔや比較画像を撮像する場合、基準画像Ｔ等の各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に基準画像Ｔと比較画像の各輝度Ｄのデータがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各撮像素子（各画素ｐ）ごとに撮像された基準画像Ｔと比較画像の各輝度Ｄのデータがそれぞれ順次送信されてくると、各輝度Ｄをそれぞれ例えば２５６階調のグレースケールのデジタル値の輝度Ｄに変換して画像補正部４に出力するようになっている。

画像補正部４は、送信されてきた基準画像Ｔと比較画像の各輝度Ｄのデータに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像の各輝度Ｄのデータを画像データメモリ１４に順次格納するとともに、処理部５に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各輝度Ｄのデータを距離検出手段１１にも順次送信するようになっている。

距離検出手段１１のイメージプロセッサ１２では、基準画像Ｔと比較画像の各輝度Ｄのデータに対して順次ステレオマッチングやフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ｐごとに順次算出するようになっている。

イメージプロセッサ１２におけるステレオマッチングでは、基準画像Ｔと比較画像Ｔｃの各輝度Ｄのデータが送信されてくると、図２９に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（１１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜ …（１１）

なお、上記（１１）式において、Ｄ１s,tは基準画素ブロックＰＢ中の各画素ｐの輝度Ｄを表し、Ｄ２s,tは比較画素ブロックＰＢｃ中の各画素ｐの輝度Ｄを表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素ｐについて計算される。

イメージプロセッサ１２は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素ｐに視差ｄｐを割り当てた画像を距離画像という。また、このようにして各画素ｐごとに算出された視差ｄｐの情報すなわち距離画像は、距離検出手段１１の距離データメモリ１３に順次格納されるとともに、処理部５に順次送信されるようになっている。

なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像上の画素ｐの座標（ｉ，ｊ）および視差ｄｐとは、下記（１２）〜（１４）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（１３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（１４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ１２は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチングで得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。

例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチングを行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。

したがって、基準画像Ｔの各画素ｐに、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図３０に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（１４）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素ｐに割り当てて作成するように構成することも可能である。

本実施形態では、処理部５における各処理では、必要に応じて上記（１４）式等に従って距離画像Ｔｚの各画素ｐにおける視差ｄｐが実空間上の距離Ｚに変換されて用いられる。

本実施形態においても、処理部５は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータで構成されており、第１の実施形態と同様の状態保存手段６や開始点終了点候補検出手段７、停止線候補検出手段８、停止線検出手段９が設けられている。なお、本実施形態では、開始点終了点候補検出手段７等での処理は基準画像Ｔに対して行われるようになっているが、比較画像Ｔｃに対して処理を行うように構成してもよく、また、基準画像Ｔと比較画像Ｔｃの両者に対して処理を行うように構成することも可能である。

また、本実施形態では、処理部５には、さらに、基準画像Ｔ中から自車両の側方に標示された車線を検出する車線検出手段１５や、基準画像Ｔ中から道路面上の立体物を検出する立体物検出手段１６が設けられている。さらに、処理部５に、先行車両を検出する先行車両検出手段等を設けるように構成することも可能であり、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。

ここで、本実施形態の処理部５の開始点終了点候補検出手段７等における処理について説明する前に、車線検出手段１５や立体物検出手段１６について説明する。

車線検出手段１５は、撮像手段２により撮像された基準画像Ｔ中から自車両の側方に標示された車線を検出するようになっている。具体的には、車線検出手段１５は、図３１に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度Ｄが隣接する画素ｐの輝度Ｄから設定された閾値以上に大きく変化する画素ｐを車線候補点ｃｌ、ｃｒとして検出する。

また、例えば、基準画像Ｔの中央から右方向に探索して検出した車線候補点ｃｒでは、図３２に示すように、輝度Ｄは大きく上昇するが、さらに右方向に探索を続けて車線が終了する車線終了点候補点ｃｒｅで、道路面に対応する低い輝度に低下する。また、図示を省略するが、左方向に探索して検出した車線候補点ｃｌでも同様である。

そこで、本実施形態では、車線検出手段１５は、車線候補点ｃｌ、ｃｒを検出すると、さらに左方向或いは右方向に探索を続け、車線終了点候補点ｃｌｅ、ｃｒｅが検出されるまで、検出される車線に対応する画素ｐの輝度Ｄを予め作成した図示しないヒストグラムにそれぞれ投票して、ヒストグラムを更新していくようになっている。なお、車線候補点ｃｒ等に到達する前の道路面に対応する低輝度の画素ｐの輝度Ｄをヒストグラムに投票する等して、道路面の輝度を算出するように構成することも可能である。

そして、車線検出手段１５は、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、検出される車線に対応する画素ｐの輝度Ｄのヒストグラムへの投票は継続される。

車線検出手段１５は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。

そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の側方にそれぞれ検出する。その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の側方にそれぞれ直線を選別する。

このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図３３に示すように自車両の側方にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の車線検出手段１５の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

車線検出手段１５は、このようにして検出した車線位置ＬＬ、ＬＲや車線候補点ｃｌ、ｃｒ等の情報を図示しない記憶手段に保存するようになっている。

また、車線検出手段１５は、検出した車線位置ＬＬ、ＬＲや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、車線検出手段１５は、図３４（Ａ）、（Ｂ）に示すように、自車両の側方の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図３４（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図３４（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

具体的には、車線検出手段１５は、自車両前方の実空間を自車両の位置からの例えば距離Ｚ７までの各区間に分け、検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（１５）〜（１８）式のパラメータａＬ、ｂＬ、ａＲ、ｂＲ、ｃＬ、ｄＬ、ｃＲ、ｄＲを算出して車線モデルを形成するようになっている。

［水平形状モデル］
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（１５）
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（１６）
［道路高モデル］
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（１７）
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（１８）

車線検出手段１５は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。車線検出手段１５は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＬ〜ｄＲをそれぞれ記憶手段に保存するようになっている。

立体物検出手段１６は、例えば図３０に示した距離画像Ｔｚを図３５に示すように所定幅の縦方向の短冊状の区分Ｄｎに分割する。そして、図３６に示すように、各区分ＤｎごとにヒストグラムＨｎを作成し、各区分Ｄｎに含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票し、その最頻値ｄｐｎをその区分の代表視差とする。これを全区分についてそれぞれ行う。

そして、立体物検出手段１６は、各区分Ｄｎの代表視差に基づいて前記（１２）〜（１４）式から立体物の実空間上の座標（Ｘ，Ｙ，Ｚ）を算出するようになっている。そして、算出された立体物の座標のうち、道路面より高い位置にある座標を実空間上にプロットすると、各立体物の座標は、図３７に示すように、前方の立体物の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

立体物検出手段１６は、このようにプロットされる各点について、実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図３８に示すようにそれぞれのグループ内の各点を直線近似して立体物を検出するようになっている。

また、本実施形態では、立体物検出手段１６は、このようにして検出した各立体物を、図３９に示すように、基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図３８や図３９において、ラベルＯやラベルＳは立体物の自車両Ａに対向する面の種別を表し、ラベルＯは立体物の背面、ラベルＳは立体物の側面が検出されていることを表す。また、本実施形態では、各立体物を包囲する矩形状の枠線の下端が、車線検出手段１５が検出した道路面の位置に設定されるようになっている。

状態保存手段６や開始点終了点候補検出手段７、停止線候補検出手段８、停止線検出手段９は、本実施形態においても上記の第１の実施形態の場合と同様に、図２２および図２３に示すフローチャートに従って各処理を行うように構成されている。

本実施形態では、さらに、開始点終了点候補検出手段７では、入力された画素ｐi,jの輝度Ｄi,jと縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤ（＝ｐi,j−ｐi,j-1）が第１閾値ΔＤth１以上であるか否か（図２３のステップＳ１１）を判定する前に、前述したように車線検出手段１５で検出された車線に対応する画素ｐの輝度Ｄのヒストグラムへの投票結果を用いて、入力画素ｐi,j自体が、車線と同程度の輝度を有する停止線ＳＬが撮像された画素ｐであるか否かを判定するようになっている。

具体的には、例えば、開始点終了点候補検出手段７は、ヒストグラム中で０でない度数が存在する下端の階級値に基づいて、例えば下端の階級値から所定値だけ大きい値を停止線輝度閾値とする等して停止線輝度閾値を設定し、入力画素ｐi,jの輝度Ｄi,jがこの停止線輝度閾値以上であるか否かを判定する。

そして、入力画素ｐi,jの輝度Ｄi,jがこの停止線輝度閾値以上である場合に、図２３のステップＳ１１の判定処理を行うように構成することが可能である。この場合、入力画素ｐi,jの輝度Ｄi,jがそもそも停止線輝度閾値以上でなければ図２３のステップＳ１１の判定処理は行われず、図２２のステップＳ４の判定処理に戻る。

このように構成すれば、仮に入力画素ｐi,jがその輝度Ｄi,jと縦方向に隣接する画素ｐi,j-1の輝度Ｄi,j-1との差分ΔＤが第１閾値ΔＤth１以上であるような画素であっても、もともと停止線ＳＬを撮像した画素とは見なせないような低輝度の画素を、開始点候補ssであると誤認識して停止線ＳＬを誤検出することを的確に防止することが可能となる。

しかし、その場合でも、例えば、停止線ＳＬの撮像手段２からの実空間上の距離Ｚが遠い場合には、停止線ＳＬが横方向に細長く撮像され、停止線ＳＬを撮像した画素ｐの輝度Ｄがさほど高くならない場合がある。そして、そのような場合に、上記のようにして停止線輝度閾値を設定して厳格に適用すると、停止線ＳＬが撮像されている画素であるにもかかわらず、入力画素ｐi,jを開始点候補ssとして検出できず、その結果として、停止線ＳＬを見落としてしまう場合が生じる。

そのため、開始点終了点候補検出手段７は、入力画素ｐi,jの実空間上の距離Ｚが所定距離以上に遠い場合には、一旦設定した停止線輝度閾値をより小さい値に変更したり、或いは、停止線輝度閾値に基づく判定を行わないように構成することが望ましい。その場合、上記の所定距離は、撮像手段２の性能や解像度等に応じて適宜の距離に設定される。

一方、基準画像Ｔの中に停止線ＳＬが撮像される状況であるとしても、その停止線ＳＬが立体物で隠されている場合には、結局、基準画像Ｔ中から停止線ＳＬを検出することができない。このように、基準画像Ｔ中に立体物が検出されている場合に、その立体物が撮像されている画素部分まで開始点候補ssや終了点候補seの探索を行うのは無駄である。

そのため、例えば、基準画像Ｔに図４０に示すようなシーンが撮像されており、立体物検出手段１６により各立体物が矩形状の枠線で包囲されるようにして検出されている場合、図４１に示すように、各画素列pl（ｉ）について、開始点候補ssや終了点候補seの探索を、立体物の基準画像Ｔ中における下端の画素行ｊ（水平ラインｊ）までの画素領域に限定し、基準画像Ｔ中に立体物が撮像されている画素領域については、開始点候補ssや終了点候補seの探索を中止するように構成することができる。

このように構成すれば、探索しても開始点候補ssや終了点候補seが検出される可能性がない画素領域については探索が中止されるため、停止線ＳＬの誤検出を的確に防止することが可能となるとともに、開始点候補ssの探索等の処理速度をさらに向上させることが可能となる。なお、開始点候補ss等の探索範囲を基準画像Ｔ中の消失点以下の領域等に限定したり、画素列pl（ｉ）の範囲をさらに限定するように構成することが可能であることは前述したとおりである。

また、停止線候補検出手段８で、画素列pl（ｉ）に属する開始点候補ssとそれと組となる終了点候補seとの実空間上の間隔Ｚs-e等の位置関係を算出する際、本実施形態では、距離検出手段１１が検出した基準画像Ｔの各画素ｐの視差ｄｐを用いて実空間上の距離Ｚを算出することが可能となる。

そのため、開始点候補ssとそれと組となる終了点候補seとの実空間上の間隔Ｚs-eを精度良く算出することが可能となり、停止線ＳＬの誤検出をより的確に防止することが可能となる。

１ 停止線検出装置
２ 撮像手段
２ａ、２ｂ メインカメラ、サブカメラ（一対のカメラ）
６ 状態保存手段
７ 開始点終了点候補検出手段
８ 停止線候補検出手段
９ 停止線検出手段
１５ 車線検出手段
１６ 立体物検出手段
Ａ 自車両
Ｄ、Ｄi,j 輝度
Ｄi,j-1 輝度
Ｄroad 道路面に相当するグループの平均輝度
Ｆ 状態フラグ
ｊ 水平ライン（画素行）
ＬＬ、ＬＲ 車線
Ｏ、Ｓ 立体物
ｐ、ｐi,j 画素
ｐi,j-1 縦方向に隣接する画素
pl 画素列
Ｐth、Ｐｂth、Ｐｖth 閾値
Ｐ（ρ） ピーク値
Ｓｅ 第２停止線候補
se 終了点候補
ＳＬ 停止線（直線）
ＳＬｅ 停止線終了線（直線）
Ｓｓ 停止線候補
ss 開始点候補
Ｔ 画像
Ｔ 基準画像（一方の画像）
Ｔ、Ｔｃ 基準画像、比較画像（一対の画像）
Ｚ 実空間上の距離
Ｚs-e 実空間上の間隔（位置関係）
Ｚth 閾値
ΔＤ 差分
ΔＤroad 差分
ΔＤth１、ΔＤth２ 閾値（第１閾値、第２閾値）
ΔＤth３ 第３閾値
δＤ 輝度微分ベクトル
φ 角度

Claims (14)

1. 撮像手段で撮像された画像中から道路面上に標示された停止線を検出する停止線検出装置であって、
   前記画像の横方向を所定幅ごとに分割した画素列ごとに、前記停止線の検出状態を保存する状態保存手段と、
   前記撮像手段から画素の輝度のデータが画素行分入力されると、前記画素の輝度と縦方向に隣接する画素の輝度との差分を算出し、前記差分と予め設定された閾値とに基づいて、前記画素列ごとに開始点候補および終了点候補を検出する開始点終了点候補検出手段と、
   前記画素列に属する前記開始点候補とそれと組となる前記終了点候補との実空間上の位置関係に基づいて前記開始点候補を停止線候補として検出する停止線候補検出手段と、
   前記停止線候補検出手段によって検出された前記停止線候補群を用いて、前記道路面上に標示された停止線として前記画像中に直線を検出する停止線検出手段と、
   を備え、
   前記開始点終了点候補検出手段は、
   入力された画素の輝度と縦方向に隣接する画素の輝度との差分が正の値に設定された第１閾値以上であり、かつ、当該入力された画素が属する前記画素列の前記停止線の検出状態が前記開始点候補を探索中である旨を表す状態である場合には、当該入力された画素を前記開始点候補とし、当該入力された画素が属する前記画素列の前記停止線の検出状態を前記終了点候補を探索中である旨を表す状態として保存し、
   入力された画素の輝度と縦方向に隣接する画素の輝度との差分が負の値に設定された第２閾値以下であり、かつ、当該入力された画素が属する前記画素列の前記停止線の検出状態が前記終了点候補を探索中である旨を表す状態である場合には、当該入力された画素を前記終了点候補とし、当該入力された画素が属する前記画素列の前記停止線の検出状態を前記開始点候補を探索中である旨を表す状態として保存することを特徴とする停止線検出装置。
2. 前記状態保存手段には、前記画素列の前記停止線の検出状態として、前記開始点候補を探索中である旨を表す状態と、前記終了点候補を探索中である旨を表す状態とを表す状態フラグが前記各画素列ごとに保存されており、
   前記各画素列ごとの状態フラグは、初期状態では、それぞれ前記開始点候補を探索中である旨を表す状態として保存されており、
   前記開始点終了点候補検出手段は、前記開始点候補を検出すると、前記開始点候補が属する画素列の前記状態フラグを前記終了点候補を探索中である旨を表す状態に切り替えて保存し、前記終了点候補を検出すると、前記終了点候補が属する画素列の前記状態フラグを前記開始点候補を探索中である旨を表す状態に切り替えて保存することを特徴とする請求項１に記載の停止線検出装置。
3. 前記開始点終了点候補検出手段は、前記入力された画素を含む画素領域における輝度微分ベクトルを算出し、前記画像の横方向に対する前記輝度微分ベクトルの角度の絶対値が９０°を含む閾値範囲内にある場合にのみ前記入力された画素を前記開始点候補または前記終了点候補として検出することを特徴とする請求項１または請求項２に記載の停止線検出装置。
4. 前記開始点終了点候補検出手段は、前記開始点候補として検出した画素における前記画像の横方向に対する前記輝度微分ベクトルの角度と、前記開始点候補と同一の前記画素列で検出した前記開始点候補と組となる前記終了点候補として検出した画素における前記画像の横方向に対する前記輝度微分ベクトルの角度との差分が、予め設定された閾値範囲を越えて異なる場合には、当該開始点候補および当該終了点候補を無効とすることを特徴とする請求項３に記載の停止線検出装置。
5. 前記停止線検出手段は、前記停止線候補群に対するハフ変換によって前記停止線を検出し、
   前記ハフ変換には、前記ハフ変換の結果として得られる各ピーク値について所定の閾値が設けられており、
   前記停止線検出手段は、前記ハフ変換の結果として得られる各ピーク値の中に、前記閾値以上であるピーク値が存在する場合、当該閾値以上の各ピーク値のうち、最大のピーク値に対応する直線を、前記ハフ変換の結果として得られた直線として抽出することを特徴とする請求項１から請求項４のいずれか一項に記載の停止線検出装置。
6. 前記各ピーク値について所定の閾値は、当該ピーク値を除く当該ピーク値から所定範囲内の他のピーク値の大きさが大きくなるほど大きくなるように変化するように設定されることを特徴とする請求項５に記載の停止線検出装置。
7. 前記各ピーク値について所定の閾値は、前記各ピーク値に対応する各直線の前記撮像手段からの実空間上の距離が遠くなるに従って小さくなるように設定されていることを特徴とする請求項５または請求項６に記載の停止線検出装置。
8. 前記停止線候補検出手段は、前記開始点候補を停止線候補として検出した場合、当該開始点候補と組となる前記終了点候補を第２停止線候補として検出し、
   前記停止線検出手段は、前記停止線候補検出手段が検出した前記第２停止線候補群を用いて、停止線終了線として前記画像中に直線を検出し、前記停止線として前記画像中に検出した前記直線と、前記停止線終了線として前記画像中に検出した前記直線との実空間上の間隔、または、それらの実空間上の平行度が所定の閾値範囲内にない場合は、検出した前記停止線を無効とすることを特徴とする請求項１から請求項７のいずれか一項に記載の停止線検出装置。
9. 前記撮像手段から画素行ごとに前記画素の輝度のデータが入力されると、入力された前記画素の輝度と、前記入力された画素に隣接する画素の輝度との差分を算出し、前記差分と予め設定された閾値以下である場合に、前記入力された画素と前記隣接する画素とを１つのグループに統合する統合手段を備え、
   前記統合手段は、道路面に相当するグループの平均輝度を算出し、
   前記開始点終了点候補検出手段は、前記入力された画素の輝度と前記道路面に相当するグループの前記平均輝度との差分を算出し、前記平均輝度との差分が正の値に設定された第３閾値以上である場合に、当該入力された画素を前記開始点候補とすることを特徴とする請求項１から請求項８のいずれか一項に記載の停止線検出装置。
10. 前記統合手段は、前記入力された画素が属する前記画素列の前記停止線の検出状態が前記終了点候補を探索中である旨を表す状態である場合には、前記道路面に相当するグループの平均輝度の算出を中止することを特徴とする請求項９に記載の停止線検出装置。
11. 前記撮像手段により撮像された前記画像中から自車両の側方に標示された車線を検出する車線検出手段を備え、
    前記車線検出手段は、検出した前記車線に対応する画素の輝度をヒストグラムに投票し、
    前記開始点終了点候補検出手段は、前記ヒストグラム中で０でない度数が存在する下端の階級値に基づいて停止線輝度閾値を設定し、前記入力された画素の輝度が前記停止線輝度閾値以上であるか否かを判定し、前記停止線輝度閾値以上である場合に、当該入力された画素を前記開始点候補とすることを特徴とする請求項１から請求項１０のいずれか一項に記載の停止線検出装置。
12. 前記開始点終了点候補検出手段は、前記入力された画素の実空間上の距離が所定距離以上に遠い場合には、前記停止線輝度閾値をより小さい値に変更し、または、前記停止線輝度閾値に基づく前記判定を行わないことを特徴とする請求項１１に記載の停止線検出装置。
13. 前記撮像手段は、一対のカメラで構成されており、
    前記実空間上の位置関係は、前記撮像手段で撮像された一対の画像を用いたステレオマッチングにより算出されることを特徴とする請求項１から請求項１２のいずれか一項に記載の停止線検出装置。
14. 画像中から道路面上の立体物を検出する立体物検出手段を備え、
    前記開始点終了点候補検出手段は、前記各画素列について、前記立体物検出手段が前記一方の画像中に検出した前記立体物が撮像されている画素領域については、前記開始点候補または前記終了点候補の探索を中止することを特徴とする請求項１から請求項１３のいずれか一項に記載の停止線検出装置。

Images