JP4032727B2

JP4032727B2 - 車線境界検出装置

Info

Publication number: JP4032727B2
Application number: JP2001379166A
Authority: JP
Inventors: 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2001-12-12
Filing date: 2001-12-12
Publication date: 2008-01-16
Anticipated expiration: 2021-12-12
Also published as: JP2003178399A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体が走行路（走行レーン）を移動走行する場合、走行レーンに設けられているレーンマーク（例えば、白線）の境界位置を検出する車線境界検出装置に関するものであり、特に、レーンマークの種類によらず、その境界位置を検出する車線境界検出装置に係わる。
【０００２】
【従来の技術】
近年、車両においては、車両を走行レーンに沿って車両を追従させる自動走行装置、横風や居眠り等によりドライバーの意図とは別に、車両が走行レーンより離れた場合、車両に備え付けられたステアリング操舵機構を用いて自動的にステアリング操舵機構を転舵して、車両の進行方向を走行レーンに対して追従させる自動操舵装置、或いは、車両走行中にドライバーの居眠り等により、車両が走行レーンから離れた場合に、ドライバーに対して注意を促す警報を発するレーン逸脱警報装置等において、白線の検出が必要となってくる。
【０００３】
例えば、この様な装置では、車両の進行方向に向けてカメラ（例えば、ＣＣＤカメラ）を車両に取り付け、車両に設けられたＣＣＤカメラにより、走行レーン前方の画像を取得する。そして、カメラによって撮像したカメラ画像を基に、画像処理技術を用いて、白線検出が行われる。
【０００４】
例えば、特開昭６３−１４２４７８号公報に示される白線検出装置では、カメラにより外部環境を撮像し、カメラで撮像されたカメラ画像が明暗の変化する点集合からエッジ検出を行っている。そして、エッジの幅が所定幅以下である領域を白線候補とし、その領域の中心点の集合から白線のパターンを分類して、ハフ変換を施すことにより、白線検出を行う。
【０００５】
一般的に、走行レーンにおける白線検出は、カメラによって撮像した画像の中から、白線は路面よりも明るいという特性を利用し、走行レーンと白線とを区別する。具体的には、カメラにより得られたカメラ画像に対して微分を行い、白線の輪郭データを抽出後、路面に沿った方向に伸びるパターンの中で、白線の幅が１５〜２０ｃｍであり、白線相互の間隔はレーン幅として設計基準値相当であれば白線と判断している（例えば、特開平６−１１９５９４号公報参照）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した白線検出の方法では、常に、車両が走行する走行レーンの両側に、１本の白線が存在することを前提としており、通常は１本の白線だけでなく、複数本の白線や車線、ブロック状の白線といった数々の種類が存在する。例えば、図２に示される様に、複数の走行レーンがある場合におけるレーン幅Ｌの白線（ａ）、片側一車線における白線（ｂ）、登坂車線における一方が破線で他方がブロック状の白線（ｃ）、カーブやトンネル等の手前でスピードを落とす場所に設けられる実線と破線とブロック状白線で構成される白線（ｄ），（ｅ）、センターラインと路側とを示す白線、高速道路等において片側一車線の場所に設けられる暫定共用区間に設けられる白線（ｇ），（ｈ）、車両が所定領域内部に進入することを禁止するゼブラゾーンに設けられる白線（ｉ）、分岐点や合流点に設けられた白線（ｊ）等の様々なものが存在する。これら白線に代表されるレーンマークの標示形態は、法令により定義されている。
【０００７】
上記した白線が路面上に設けられ、複数の白線が走行レーンに設けられた区間を、車両がその白線に沿って進行する場合、走行レーンの方向に沿って、平行な線分が複数本現れるため、走行レーンの白線との境界位置（レーンマーク境界位置）の特定が困難になってしまう。この様に、走行レーンのレーンマーク境界位置の特定が困難になると、走行レーンからずれたレーン検出を行う事となる。
【０００８】
よって、このレーン検出を、移動体の走行を制御する車両制御装置に応用した場合には、所望の性能が出せない場合が生じ得る。
【０００９】
よって、本発明は上記の問題点に鑑みてなされたものであり、走行レーンの車線境界を安定した状態で検出することを技術的課題とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために講じた技術的手段は、移動体に設けられた撮像手段によって所定領域のレーンマークを前記移動体の走行レーンを撮像し、撮像した画像データに対して画像処理を行い、少なくとも単一のレーンマークの境界を検出する車線境界検出装置において、
前記画像データに基づき、前記画像データの画像濃度による画像ヒストグラムあるいは前記画像データの微分により求められるエッジのエッジヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムの集まりに対して、グループ化を行うグループ作成手段と、グループ化された中で、個々のヒストグラムの中央となる第１中央位置を検出する第１中央位置検出手段と、前記第１中央位置に基づき、グループ化されたヒストグラムの中央となる第２中央位置を検出する第２中央位置検出手段と、異なるグループ間の前記第２中央位置に基づき、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の中央を検出する車線中央位置検出手段とを備え、
前記車線境界検出装置は、さらに、前記画像データを微分して正負のエッジを求め、前記グループ化された中での正負のエッジの状態に基づき走行レーンを求め、該走行レーンの幅Ｗ_０、グループ化されたレーンマーク群に対する左右のレーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒを検出し、前記レーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒより、前記レーンマークの標示形態を割り当て、該標示形態に応じて、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の前記中央、もしくは前記正負のエッジに基づきレーンマーク境界位置を求める。
【００１１】
上記した手段によれば、撮像手段により所定領域の車線を含む移動体の走行レーンを撮像して、画像データを得る。この得られた画像データに基づき、ヒストグラムを作成し、ヒストグラムの集まりを検出してグループ化を行う。そして、グループ化されたヒストグラムの中で、個々のヒストグラムの中央となる第１中央位置を検出し、第１中央位置に基づき、グループ化されたヒストグラムの集まりの中で中央となる第２中央位置を検出する。更に、異なるグループのヒストグラム間どうしの第２中央位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒストグラムの作成により、安定したレーンマーク境界位置の検出が行える。例えば、走行レーンにおいて車線の汚れや影等による外乱が存在しても、ヒストグラム自体は大きく変化せず、画像データのヒストグラムを基にし、安定した状態で走行レーンのレーンマーク境界位置が特定される。
【００１２】
この場合、ヒストグラムは、画像データの画像濃度による画像ヒストグラムあるいは画像データの微分により求められるエッジのエッジヒストグラムであるため、所定領域の画像濃度を単に累積することによって画像ヒストグラムの作成が行える。あるいは、画像データを単に微分することによりエッジを求め、そのエッジを所定領域累積することによってエッジヒストグラムが求められて作成されるので、簡単な方法により走行レーンのレーンマーク境界位置が特定される。
【００１４】
上記のように、画像データを微分して、画像データからの正負のエッジを基にして走行レーンを求め、自車に最も近い走行レーンと他の走行レーンとの間で最も広い空間を出し、その空間を走行レーンの路面幅Ｗ０と見なせ得る。そして、走行レーンの左右のレーンマーク群の幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲを求め、レーンマーク表示形態を割り当てることによって、レーンマーク境界位置が簡単な方法により求められる。
【００１５】
この場合、レーンマークまたはレーンマーク群が、単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジを境界位置とすれば、レーンマークまたはレーンマーク群が単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジがレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１６】
また、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置とすれば、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央がレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１７】
更に、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置とすれば、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１９】
図１は、車線境界検出装置（以下、本装置と単に称す）１のシステム構成図である。本装置１は、図２および図３に示す、様々なレーンマーク（ここでは、白線３０の標示形態（ａ）〜（ｊ））を安定した状態で検出する。そこで、本装置１について、図１を参照して説明に入る前に、以下に示す事項を定義する。本実施形態においては、本装置１を移動体に搭載した例（具体的には、車両の前方に向けて撮像部２が取り付けられ、車両の進行方向を撮像する構成）についての説明を行うが、移動体は車両には限定されるものではなく、移動が行える電子機械（例えば、ロボット等）であっても良い。また、撮像部２の取り付け方向は、車両の前後方向ではなく白線３０が撮像される様、車幅方向であっても良い。更に、本実施形態においては、路面上に付設され、白色および黄色で書かれた線に代表されるレーンマークの事を、総称して白線３０と称し、レーンマークがかたまって複数存在する集まりをレーンマーク群（白線群）３１として定義する。
【００２０】
そこで、図１を参照して、本装置１を説明する。本装置１では、車両の進行方向における走行レーン２９を含む風景が、車両の進行方向に向けて設けられた撮像部（カメラ）２により撮像される。この場合、車両の進行方向を撮像するカメラは、本実施形態では一例としてＣＣＤカメラを用いているが、これに限定されるものではなく、赤外線カメラであっても良い。
【００２１】
撮像部２により得られた情報（カメラ画像）はアナログ信号であり、このアナログ信号はＡ／Ｄ変換器３に送られ、Ａ／Ｄ変換器３によりデジタル化される。デジタル化された情報（デジタル画像データ）は、その後、フレームバッファ４に送られて、その後、エッジ検出部６および濃度分布測定部７に送られる。エッジ検出部６では画像データからエッジが検出される。ここで検出されたエッジは、次にエッジ分布測定部５に入力される。また、これと同時に、エッジ検出部６により検出されたエッジはエッジ分析部９へと送られ、エッジ分析部９にて白線と走行レーンとの区別がなされる。
【００２２】
中央位置検出部１０は、エッジ分布測定部５および濃度分布測定部７からの情報により、白線３０または白線群３１の中央の値あるいはその幾何学的重心位置を検出する。更に、度数測定部１１では検出された白線３０または白線群３１の状態が連続的な直線であるのか断続的な直線であるのかを測定する。
【００２３】
その後、判定部１２ではこれらの検出された情報に基づき、図２に示す白線３０の標示形態における走行レーン２９と白線３０とのレーンマーク境界位置判定を行う。そして、その判定結果を出力部１３に伝える。出力部１３は検出され特定された白線３０の標示形態およびそのレーンマーク境界位置情報を、外部の制御装置に出力する。尚、オフセット設定部８は、所定範囲内に白線がいくつも検出される複合線が白線群３１の中に検出された場合、このオフセット設定部８にて設定される定数によって、白線３０と走行レーン２９とのレーンマーク境界位置を＋αだけ広げるよう、白線間の間隔（走行レーンの間隔）を所定範囲＋αだけ、広げる作用を有するものである。
【００２４】
この様な構成の本装置１は、外部に接続される図示しない制御装置に対して必要な情報（白線形態あるいは白線３０と走行レーン２９とのレーンマーク境界位置に関する情報）が送られる。この場合、上記した制御装置は、車両を走行レーン２９に沿って追従させる自動走行装置、横風や居眠り等によりドライバーの意図とは別に、車両が走行レーン２９より離れた場合にステアリング操舵機構を自動的に転舵して、車両の向きを走行レーン２９に対して追従させる自動操舵装置、或いは、車両走行中にドライバーの居眠り等により、車両が走行レーンから離れた場合にドライバーに対して注意を促す警報を発するレーン逸脱警報装置等に、信号出力を出力して渡すことができる。
【００２５】
更に上記した各ブロックについて、詳細に説明することにする。
【００２６】
撮像部２は、ＣＣＤカメラにより走行レーン２９を含む風景を撮影し、撮像により得られたアナログデータを、Ａ／Ｄ変換器３に伝達してデジタルデータ化して画像データを得る。画像データは、その情報を一時的に記憶するフレームバッファ部４に格納される。
【００２７】
エッジ検出部６は、フレームバッファ部４に格納された画像データに対し、エッジ検出処理を施して、画像データから輪郭線部分のデータを抽出する。この際、画像データからのエッジ検出は、公知のPrewittsのオペレータを画像データに作用させて微分画像を得て、画像ノイズとなるレベル（ノイズレベル）以上の強度を有する領域を検出し、その領域の重心位置を測定することにより、エッジの中央位置を求め、エッジ点の集まりを検出する。この様な方法によって、カメラ画像からエッジ点群を求めるが、この際、画像データをある走査線４１に対して微分した場合、微分の極性が正のエッジデータ群と、負のエッジデータ群とをそれぞれ分けて、記憶する。
【００２８】
エッジ分布測定部５は、フレームバッファ部４に格納された画像データに対し、走行レーン２９の白線３０が映り、且つ、走行レーン幅の最大値を考慮したカメラ画像上の範囲内でウィンドウ４２の領域（ウィンドウ領域）を設定する。そして、このウィンドウ領域内でカメラ画像の横方向であるＸ座標ごとにエッジが検出された点数（エッジ点数）を累積し、エッジヒストグラムを作成する。この場合、エッジヒストグラムは、ウィンドウ４２により定義される所定領域の画像データで作成してもよいし、１本以上の走査線４１の画像データのみで作成しても良い。また、エッジヒストグラムは、あるタイミングで撮像した１枚の画像から作成しても良いし、時間的に連続した複数枚の画像の画像データから作成しても良い。
【００２９】
エッジ分析部９は、エッジ検出部６にて求めた正と負のそれぞれのエッジ点群に対して、公知のHough変換を適用して直線を検出する。この際、検出される直線は１本とは限らない。エッジ分析部９にて検出された直線群に対して、自車に最も近い直線と、それとは異なる直線との間隔が最も広い空間を探し求め、その最も広い空間を、走行レーン２９の路面幅Ｗ_０と見なす。この場合、その路面幅Ｗ_０の左側に位置する直線は、負のエッジ群により生成される直線であり、その右側に位置する直線は、正のエッジ群により生成される直線である。この車線幅Ｗ_０介して負のエッジ群により生成される直線と正のエッジ群により生成される直線との組み合わせを走行レーン２９における最も内側の境界線を表すペア直線と見なすようにしている。また、このエッジ分析部９では、直線の数と幅をカウントする。つまり、後述の白線形態の分類処理の為に、路面幅Ｗ_０の左のエッジ群により生成された直線の数Ｎ_Ｌをカウントすると共に、その右のエッジ群により生成された直線の数Ｎ_Ｒとをカウントする。更には、路面幅Ｗ_０の左のエッジ群による直線群の最大間隔Ｗ_Ｌと、右のエッジ群による直線群の最大間隔Ｗ_Ｒをエッジの間隔より算出する（図４参照）。上記した直線の数Ｎ_Ｌ、Ｎ_Ｒと、左のエッジ群の最大間隔Ｗ_Ｌおよび右のエッジ群の最大間隔Ｗ_Ｒは、図３に示す様に、撮像部２により進行方向の白線３０を撮像し、あるタイミングにて撮像した１枚のカメラ画像から求めても良いし、時間的に連続した複数枚のカメラ画像から作成した値の平均値により求めても良い。
【００３０】
濃度分布測定部７は、フレームバッファ部４に格納された画像データに対し、図３の如く、走行レーン２９の左右の白線３０が映り、走行レーンの路面幅Ｗ_０の最大値を考慮した所定の画像範囲内において、エッジ検出を行うウィンドウ４２を設定する。このウィンドウ４２の範囲（ウィンドウ領域）内で、Ｘ座標毎にウィンドウ４２の進行方向に対するＹ座標の奥行き分（ウィンドウ４２でのＹ方向の幅）だけ濃度を累積して濃度ヒストグラムを作成する。この場合、濃度ヒストグラムを求める原画像の画像データは所定のウィンドウ４２の画像データで作成しても良いし、１本以上の走査線４１による画像データのみで濃度ヒストグラムを作成しても良い。また、別の形態として、濃度ヒストグラムのデータは、所定タイミングにて撮像した１枚の画像データから作成しても良いし、時間的に連続した複数の画像データを用いて作成しても良い。
【００３１】
中央位置検出部１０は、濃度分布測定部７が出力する図４の（ａ）に示される画像データの原画像におけるデータに対して、路面濃度以上の高いしきい値を設定し、そのしきい値以上となる範囲でヒストグラムを作成している。例えば、図３において、撮像部２は、図３におけるカメラ画像において、左から右に走査線４１を走査する。そして、原画像の濃度が路面濃度により決まる所定のしきい値以上となる範囲で、図４の（ｂ）の様に濃度ヒストグラムを原画像データより求める。その後、個々の濃度ヒストグラムにおいて幾何学的な中心位置あるいは重心位置となる中央位置１を求め、図４の（ｃ）の如く、各白線３０の中央位置である中央位置１を検出する。この様な処理をＸ座標の右端の位置まで繰り返して、白線３０の数と位置を検出する。
【００３２】
また、走行レーン２９の左側に存在する、濃度がしきい値以上であるヒストグラムが単一の白線３０だけでなく、複数の白線３０が集まった白線群（例えば、実線３２，破線３３等）３１である場合には、白線群３１における個々のヒストグラムの全てに対する幾何学的な重心位置あるいは中央位置を算出し、路面幅Ｗ_０の左側に存在する白線群３１の中心位置を求める。同様にして、路面幅Ｗ_０の右側に存在する所定の濃度しきい値以上となるヒストグラムの全てに対する幾何学的な重心位置あるいは中央位置を求め、路面幅Ｗ_０の右側に存在する白線群３１の中央位置を求める。以上により、走行レーン２９の左右両側に存在する白線３０間の境界を確実に検出することができる（図４の（ｄ）参照）。
【００３３】
出現度数測定部１１は、濃度分布測定部７にて作成された濃度ヒストグラムのデータに対して路面の濃度値より高いしきい値を設定し、ヒストグラムのデータが所定しきい値以上となる範囲を１グループとしてグループ化して、１画像データ内でのグループ化された複数のグループの出現頻度Ｎ_Ｓと、その各グループの時系列的な出現頻度Ｎ_Ｔの度数をカウントする。所定の時間内におけるグループの出現頻度Ｎ_Ｓと時系列的なグループの出現頻度Ｎ_Ｔの大きい方の和、または、積を求めると、実線３２による白線３０の場合は時系列的にグループの出現度数が高くなる。一方、破線３３やブロック状３４の白線では時系列で見ると、出現頻度が低くなる。よって、この様な出現頻度の現れ方の特性を利用して、白線３０の構成要素である実線３２、破線３３、或いは、ブロック状３４の白線３０を正確に判定することができる。
【００３４】
オフセット設定部８は、実線３２や破線３３と言った様々な種類の白線３０により構成される複合線が検出される場合に、走行レーン両側の白線の内側境界から外側方向に対して、所定値(α)を加え、走行レーンの路面幅を広くするため、その所定値を本装置内のメモリに記憶させて、設定することができるようになっている。
【００３５】
判定部１２は、走行レーン２９を区分する境界線、つまり、１本または複数の白線３０にて構成されているとき、図２に示す複数の白線形態からパターンが判定され、白線３０の標示形態により、どこからの位置を走行レーン２０の境界（レーン境界）と見なすかを判定するものであり、以下に白線３０の標示形態からの判定方法について説明する。
【００３６】
（１）単線、偶数本の多重線、ゼブラで構成される車線の境界線であるとき、左右の白線群３１で形成される路面幅Ｗ_０が道路幅相当であり、（表１）に該当する場合には、路面幅Ｗ_０に接する直線を走行レーン２９の境界を示す位置として出力部１３に出力する。
【００３７】
具体的には、以下の場合には白線３０により決定される走行レーン２９に対して、左右の白線間の最も内側の境界位置（本実施形態においては、これを「内のり」と定義する）を、レーンマーク境界線とする。
【００３８】
【表１】

単線：白線３０は単線であり、その幅Ｗ_０が１５〜２０ｃｍである実線３２、または、白線３０は単線で、その幅が１５〜２０ｃｍである破線３３（図６の（ａ），（ｂ）参照）
合流・分岐・登坂斜線：一方(右)の車線境界線が１５ｃｍまたは２０ｃｍであり且つ他方(左)の白線３０が幅の広いブロック状３４，３５であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０〜１００ｃｍである（図６の（ｃ），（ｄ）参照）。
【００３９】
ゼブラ：一方(右)の車線境界線が１５ｃｍまたは２０ｃｍであり且つ他方(左)の白線が幅の広いゼブラ３７であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０ｃｍ以上の不定である（図６の（ｅ）参照）。
【００４０】
多重線：多重線３８，３９は、同じ太さの白線が所定本数（偶数本）以上、あるいは、合計の幅が所定以上で構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、２か４以上となる（図６の（ｆ），（ｇ）参照）。
【００４１】
（２）奇数本の多重線、複合線区間の車線境界線５１，５２であるとき、左右の白線群３１の距離となる路面幅Ｗ_０が道路幅相当であり、（表２）に該当する場合には、濃度分布の中央位置出力２の位置を走行レーンの境界を示す位置として出力部１３に出力する。
【００４２】
【表２】

多重線：同じ太さの白線が奇数本、あるいは、合計の幅が所定以下で構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３５ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図７の（ａ），（ｂ）参照）。
【００４３】
複合線区間：単線の破線とブロック状の白線との組み合せで構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図７の（ｃ），（ｄ）参照）。
【００４４】
（３）複合区間、複合線区間の車道外側線６１、複合線区間の車線境界線６２、複合線区間の車道外側線６１であるとき、左右の白線群３１の距離となる路面幅Ｗ_０が道路幅相当であり、（表３）に該当する場合には、路面幅Ｗ_０に接する直線に対して走行レーン２９の外側方向に所定値（α）を加えた位置を走行レーン２９の境界を示す位置として出力部１３に出力する。
【００４５】
【表３】

複合線区間：急激にレーン幅Ｗ_０が減少し、また、減少前のレーン境界位置より内側のブロック状道路標示の存在を認めた場合、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上であり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図８の（ａ）参照）。
【００４６】
複合線区間の車道外側線：単線実線とブロック線との組み合せで構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上であり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図８の（ｂ）参照）。
【００４７】
複合線区間の車線境界線：単線破線とブロック線との組み合せで構成されているが、各白線の境界線が不明瞭であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５〜８５ｃｍであり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、１となる（図８の（ｃ）参照）。
【００４８】
複合線区間の車道外側線：単線実線とブロック線との組み合わせで構成されているが、各白線の境界線が不明瞭であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５〜５５ｃｍであり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、１となる（図８の（ｄ）参照）。
【００４９】
出力部１３は、判定部１２により決定されたレーンマーク境界位置を示す信号が、外部の警報装置や速度制御装置等に代表されるシステム制御装置に対して出力される。
【００５０】
本実施形態においては、濃度分布測定部７が出力する濃度ヒストグラムに対する処理と同様に、エッジ分布測定部５が出力するエッジヒストグラムに対して、中央位置検出部１０と出現度数測定部１１との処理を行い、レーン境界位置を求めることができる。
【００５１】
次に、走行レーンのレーン検出における本装置１の処理について、図９から図１１を参照して説明する。
【００５２】
（第１実施形態）
図９に第１実施形態におけるレーン検出方法を示す。このレーン検出処理では、ステップＳ１０にて、撮像部２により車両の進行方向の白線３０を含む風景を撮像し、その撮像した情報をカメラ画像としてフレームバッファ部４に入力する。ステップＳ１１では画像データを微分することによりエッジ検出がなされる。エッジ検出後、ステップＳ１２では、画像データを微分した場合、極性が負となる負エッジ群と、極性が正となる正エッジ群を求める。また、エッジがかたまって存在するエッジ点群に対し、左右のエッジ群にて分類する。ステップＳ１２で求めた左右のエッジ群に対して、ステップＳ１３では公知のHough変換を行い、エッジ群から直線を決定する。そして、ステップＳ１４では、負エッジ群より生成された直線と正エッジ群より生成された直線の組み合せにより、自車に最も近い直線と別の直線とで間隔が最も広い空間において、その空間の一方が負のエッジとなり、他方が正のエッジとなる幅を路面幅Ｗ_０として、図４に示す様に決定する。
【００５３】
ステップＳ１４にて走行レーン２９に対して、路面幅Ｗ_０の両端のエッジにより左右の境界線が検出されると、この境界線を基にして、ステップＳ１５ではエィンドウ４２の領域設定が行われる。ここでは、左右両方の境界線が含まれ、検出対象となる領域においてＹ方向の奥行きが決定されて、ウィンドウ４２の領域が設定される。この場合、Ｘ方向およびＹ方向のウィンドウ４２の大きさは固定であっても、走行状態により大きさを変化させても良い。
【００５４】
ウィンドウ４２の設定がなされると、ステップＳ１６では、図４の（ｂ）に示す如く、ウィンドウ４２の範囲内での原画像に対して、濃度ヒストグラムの作成が行われる。そして、ノイズレベル（ノイズの濃度しきい値）以上の画像データから、ステップＳ１７では濃度ヒストグラムの幾何学的重心あるいは中央位置を公知の算出方法により求め、その点を個々に存在する白線中央位置とする（図４の（ｃ）に示す中央位置１）。また、ステップＳ１７にて個々の白線中央位置が求まると、今度は、ステップＳ１８にて出現度数の測定がなされる。この出現度数の測定とは、濃度ヒストグラムのデータに対して路面の濃度以上となる濃度領域をグループ化する。そして、画面内での出現度数Ｎ_Ｓと時間的な出現度数Ｎ_Ｔをカウントして、所定時間内の出現頻度Ｎ_Ｓと出現度数Ｎ_Ｔの和または積等の比較を行う。次のステップＳ１９ではレーンマーク境界位置を求めるレーン境界位置判定を行い、ここでは、（表１）から（表３）に従う判定により、白線３０を実線３２、破線３３、ブロック状３４、ゼブラ３７、多重線３８，３９等に形態により分類する。そして、ステップＳ２０にて、ステップＳ１９より判定したレーンマーク境界位置として、外部の制御装置に出力する。
【００５５】
図９に示す第１実施形態におけるレーン検出方法では、画像データからの濃度ヒストグラムを作成することにより、走行レーン２９に対する左右の濃度ヒストグラムの幾何学的な重心位置あるいは中央位置を求めることによって、走行レーン２９の左右に存在する個々の白線３０あるいは白線群３１の中央位置がわかる。これによって、レーンマーク境界位置を正確に検出し、外部装置に対しても正確なレーン境界情報を出力することができる。
【００５６】
（第２実施形態）
次に、レーン検出処理の第２実施形態について、図１０を参照して説明する。図１０に示す第２実施形態では、基本的なレーン検出処理方法は、図９に示す第１実施形態と概略は同じである。しかし、図９の第１実施形態においては、濃度ヒストグラムデータから左右の白線群３１の中央位置あるいは重心位置を求めていたものに代わって、図１０に示す第２実施形態では、画像データを微分した場合に検出されるエッジに基き、エッジヒストグラムより左右の白線群３１の中央位置あるいは重心位置を求める方法が、図９と異なっている。
【００５７】
つまり、図９に示すステップ１６が、図１０ではステップＳ１６ａに代わっている。このステップＳ１６ａでは、原画像からの正のエッジおよび負のエッジを検出し、検出された正および負のエッジをウィンドウ４２のＹ方向における奥行き分（Ｙ方向の幅分）だけ累積することにより、図５の（ｃ）に示す如く、個々の正負のエッジヒストグラムを作成する。このエッジに基づくエッジヒストグラムより幾何学的重心あるいは中央位置を、図５の（ｄ）に示す如く、正と負で求める。そして、その正と負のエッジの中心を、図５の（ｅ）の如く、個々の白線の中央位置として求める。更にその後、白線群３１の中央となる位置を、図５の（ｆ）の如く求め、エッジヒストグラムよりレーンマーク境界位置を正確に検出し、外部装置に対しても正確なレーン境界情報を出力することができる。この様に、ヒストグラムにエッジを用いることにより、レーンマーク境界位置を決定し易くできる。
【００５８】
（第３実施形態）
図１１に、第３実施形態を示す。この図１１に示すフローチャートは、図９に示す第１実施形態と、図１０に示す第２実施形態を組み合せた例であり、図１１に示す左側の処理であるステップＳ１０−Ｓ２０は、図９に示すステップＳ１０−Ｓ２０に一致し、図１１に示す右側の処理であるステップＳ１５ａ−Ｓ１９ａが図１０に示すステップＳ１５−Ｓ１９に相当する。この方法によれば、一方の処理（左側の処理）では濃度ヒストグラムによりレーンマーク境界位置を決定し、他方の処理（右側の処理）ではエッジヒストグラムよりレーンマーク境界位置を決定するようにしたので、これらの２つの処理は走行する路面状況に応じて切り替える様にすることもできる。例えば、白線３０が標示される路面の状態をセンサ等により検出し、路面状態に応じてスイッチ等の切替手段によって、２つのレーン検出処理を並列処理しても良い。また、これとは別に、並列処理でなく、直列処理も行えることは言うまでもない。
【００５９】
上記した様に、本実施形態においては、境界線を構成する白線群の中で、最も内側の境界位置または、白線群３１の中央位置あるいは重心位置を検出する方法を取るので、白線群間３１の隙間の境界を検出しなくても良い。このため、走行路面において白線３０の汚れや影等による外乱が存在しても、安定して走行レーンのレーンマーク境界位置を特定できる。また、画像処理における画像信号に対しての分解能が低くても、安定した状態にてレーン境界位置を特定することができる。
【００６０】
【発明の効果】
本発明によれば、撮像手段により所定領域の車線を含む移動体の走行レーンを撮像し、得られた画像データに基づき、ヒストグラムを作成してヒストグラムの集まりを検出してグループ化を行う。そして、グループ化されたヒストグラムの中で、個々のヒストグラムの中央となる第１中央位置を検出し、第１中央位置に基づき、グループ化されたヒストグラムの集まりの中で中央となる第２中央位置を検出し、異なるグループのヒストグラム間どうしの第２中央位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒストグラムの作成により、安定したレーンマーク境界位置の検出を行ことができる。例えば、走行レーンにおいて車線の汚れ、剥がれ、影、低コントラスト等による外乱により、白線情報の欠陥があっても、ヒストグラム自体は大きく変化せず、画像データのヒストグラムを基にし、安定した状態で走行レーンのレーンマーク境界位置を特定することができる。これによって、この車線境界検出装置を車両に適用した場合には、レーンマーク境界位置を安定した状態で特定できるので、レーンマーク境界位置を制御内で使用する制御装置（例えば、自動走行装置、自動操舵装置、レーン逸脱警報装置等）の信頼性を向上させることができる。
【００６１】
この場合、ヒストグラムは、画像データの画像濃度による画像ヒストグラムあるいは画像データの微分により求められるエッジのエッジヒストグラムであるため、所定領域の画像濃度を単に累積することによって画像ヒストグラムの作成ができる。あるいは、画像データを単に微分することによりエッジを求め、そのエッジを所定領域累積することによってエッジヒストグラムが作成できるので、簡単な方法により、走行レーンのレーンマーク境界位置を特定することができる。
【００６２】
また、画像データを微分して、正負のエッジを求め、グループ化された中での正負のエッジの状態に基づき走行レーンを求め、走行レーンの幅Ｗ０、グル
ープ化されたレーンマーク群の左右のレーンマーク群の幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲを検出し、レーンマーク群の左右の走行レーン幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲより、レーンマークの標示形態を割り当て、標示形態によりレーンマーク境界位置を求めるようにしたので、画像データからの正負のエッジを基にして走行レーンを求め、自車に最も近い走行レーンと他の走行レーンとの間で最も広い空間を検出し、その空間を走行レーンの路面幅Ｗ０と見なすことができる。そして、走行レーンの左右の走行レーン幅ＷＬ，ＷＲおよび左右の走行レーン数ＮＬ，ＮＲを求め、レーンマーク表示形態を割り当てることによって、レーンマーク境界位置を簡単な方法により求めることができる。
【００６３】
この場合、レーンマークまたはレーンマーク群が、単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジを境界位置とすれば、レーンマークまたはレーンマーク群が単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジがレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【００６４】
また、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置とすれば、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【００６５】
更に、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置とすれば、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における車線境界検出装置の構成を示したブロック図である。
【図２】一般に路面に設けられる白線の標示形態の一例を示す説明図である。
【図３】図１に示す車線境界検出装置の撮像部によって撮像された画像データを示す平面図である。
【図４】図１に示す撮像部より撮像された画像データ（原画像）から濃度のヒストグラムを求め、エッジ検出を行うタイミングチャートである。
【図５】図１に示す撮像部より撮像された画像データ（原画像）から濃度のヒストグラムを求め、エッジ検出を行い白線群の中央位置を求めるタイミングチャートである。
【図６】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（内のり）を示す説明図である。
【図７】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（中央）を示す説明図である。
【図８】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（内のり＋α）を示す説明図である。
【図９】第１実施形態におけるレーン検出の処理を示すフローチャートである。
【図１０】第２実施形態におけるレーン検出の処理を示すフローチャートである。
【図１１】第３実施形態におけるレーン検出の処理を示すフローチャートである。
【符号の説明】
１車線境界検出装置
２撮像部（撮像手段）
６エッジ検出部（グループ作成手段）
７濃度分布測定部（ヒストグラム作成手段）
１０中央位置検出部
（第１中央位置検出手段、第２中央位置検出手段、車線中央位置検出手段）
２９ウィンドウ（所定領域）
３０白線（レーンマーク）

Claims

移動体に設けられた撮像手段によって所定領域のレーンマークを前記移動体の走行レーンを撮像し、撮像した画像データに対して画像処理を行い、少なくとも単一のレーンマークの境界を検出する車線境界検出装置において、
前記画像データに基づき、前記画像データの画像濃度による画像ヒストグラムあるいは前記画像データの微分により求められるエッジのエッジヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムの集まりに対して、グループ化を行うグループ作成手段と、グループ化された中で、個々のヒストグラムの中央となる第１中央位置を検出する第１中央位置検出手段と、前記第１中央位置に基づき、グループ化されたヒストグラムの中央となる第２中央位置を検出する第２中央位置検出手段と、異なるグループ間の前記第２中央位置に基づき、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の中央を検出する車線中央位置検出手段とを備え、
前記車線境界検出装置は、さらに、前記画像データを微分して正負のエッジを求め、前記グループ化された中での正負のエッジの状態に基づき走行レーンを求め、該走行レーンの幅Ｗ_０、グループ化されたレーンマーク群に対する左右のレーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒを検出し、前記レーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒより、前記レーンマークの標示形態を割り当て、該標示形態に応じて、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の前記中央、もしくは前記正負のエッジに基づきレーンマーク境界位置を求めることを特徴とする車線境界検出装置。
前記レーンマークまたは前記レーンマーク群が、単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、前記走行レーン両側のレーンマークに対して最も内側にある前記正負のエッジを境界位置とすることを特徴とする請求項１に記載の車線境界検出装置。
前記レーンマーク群が、奇数本の多重線、複合線区間の車線境界線との場合には、グループ化されたレーンマーク群の前記中央をレーンマーク境界位置とすることを特徴とする請求項１に記載の車線境界検出装置。
前記レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、前記走行レーン両側の車線に対して最も内側にある前記正負のエッジに所定範囲α を加えたものをレーンマーク境界位置とすることを特徴とする請求項１に記載の車線境界検出装置。