JP3780848B2 - 車両の走行路認識装置 - Google Patents
車両の走行路認識装置 Download PDFInfo
- Publication number
- JP3780848B2 JP3780848B2 JP2000397747A JP2000397747A JP3780848B2 JP 3780848 B2 JP3780848 B2 JP 3780848B2 JP 2000397747 A JP2000397747 A JP 2000397747A JP 2000397747 A JP2000397747 A JP 2000397747A JP 3780848 B2 JP3780848 B2 JP 3780848B2
- Authority
- JP
- Japan
- Prior art keywords
- lane marker
- unit
- screen
- deviation
- road model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車や無人搬送車などの各種移動体の走行路を認識する装置に関する。
【０００２】
【従来の技術】
自動車や無人搬送車などの各種移動体においては、危険回避のために補助的な警報を発したり、人間の判断操作を補助したり、あるいは全面的な自動運転を目的として、種々の形式の走行路の認識装置が検討されている。たとえば、特開平１１−２５９６３９号公報には、図１３に示すように、予測線Ｌ１から所定距離２Ｄ１内にあるレーンマーカ（誘導線）候補点Ｃｉを検出し、検出候補点Ｃｉと同一垂直座標の予測線Ｌ１上の候補点ｂｉの差ｄｉ＝Ｃｉ−ｂｉの平均値を算出し、その平均値だけ平行移動させた予測線Ｌ２から所定距離２Ｄ２内にあるレーンマーカ候補点Ｃｉを正しく認識された候補点と判断し、それ以外を誤認識した候補点と判断する方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の認識方法では、検出されたレーンマーカ候補点の分散を基に各候補点の真偽を検証するという構成であるため、図１４に示すように正しい認識結果を誤認識と判断したり、図１５に示すように誤認識を正しいと判断することがあった。
【０００４】
なお、図１４および図１５には、正しい左右のレーンマーカをＬＬ，ＬＲ、候補点をＰで表しているが、図１４には先行車Ｖの存在により正しく認識しているにも拘わらず誤認識であると判断した場合の例を示し、図１５には二重車線或いはレーンマーカに類似する線Ｄの存在により誤認識しているにも拘わらず正しい候補点として判断した場合の例を示す。
【０００５】
特に、こうした走行路認識装置では、撮像した画面からレーンマーカを画像処理で検出する場合、レーンマーカが描かれている部分の明るさ（輝度）と描かれていない部分の明るさとを比較し、明るさが変化した位置にレーンマーカのエッジがあると判断する。すなわち、明るさの変化点を検出するので、撮像した画面から画像処理する領域を限定してレーンマーカを検出するように処理ウィンドを限定したとき、レーンマーカの近傍に、予期しない明るい部分、たとえば夜間に路面の水膜に街灯光が反射した場合などにおいては、その部分にレーンマーカのエッジがあると誤認識してしまう。
【０００６】
本発明は、このような従来技術の問題点に鑑みてなされたものであり、レーンマーカ候補点の誤検出による道路形状の誤認識を排除できる走行路認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明によれば、車両周囲を撮像する撮像部と、
複数のレーンマーカの候補点の、前記撮像部により取り込まれた撮像画面上の座標値を検出するレーンマーカ検出部と、
前記レーンマーカ検出部により検出されたレーンマーカ候補点の座標値に基づいて、道路モデルパラメータを算出する道路モデルパラメータ算出部と、
前記レーンマーカ候補点と、前記道路モデルパラメータから予測される予測候補点との偏差を算出する偏差算出部と、
前記偏差算出部により算出された偏差算出結果に基づいて、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できる画面であるかどうかを判断するレーンマーカ検出可否判断部と、を有し、
前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部が前記撮像画面がレーンマーカを検出できる画面であると判断した場合、道路モデルパラメータの算出処理を行う車両の走行路認識装置が提供される。
【０００８】
上記発明においては特に限定されないが、偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の絶対値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の絶対値の平均値を偏差として出力する（請求項２参照）。
【０００９】
またはこれに代えて、偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の二乗値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の二乗値の平均値を偏差として出力する（請求項３参照）。
【００１０】
この車両の走行路認識装置では、検出されたレーンマーカ候補点と、前回の処理までの道路モデルパラメータの変化から予測される予測候補点との偏差を算出し、その偏差が所定時間以上、所定値を超えていたら、現在の走行路環境がレーンマーカを正しく検出できる状況ではないと判断する。これにより、レーンマーカ候補点の誤検出による道路形状の誤認識を排除することができる。
【００１１】
（２）上記発明においては特に限定されないが、撮像部により取り込まれた画像を前処理する前処理部をさらに有し、前記前処理部は前記撮像部により取り込まれた画像を微分処理し、前記偏差算出部は、レーンマーカ候補点と予測候補点との偏差を算出する際にレーンマーカ候補点の微分濃度値を偏差の値に重み付けする。
【００１２】
この車両の走行路認識装置では、偏差にレーンマーカ候補点の微分濃度値を重み付けするので、誤認識判断にレーンマーカ検出結果の信頼性を付加することができる。
【００１３】
（３）上記発明においては特に限定されないが、偏差算出部は、レーンマーカ候補点と予測候補点との偏差を算出する際に、走行路上における自車両からレーンマーカ候補点までの距離に応じて偏差の値に重み付けする。
【００１４】
この車両の走行路認識装置では、偏差に走行路における自車両からレーンマーカ候補点までの距離に応じた重み付けを行うため、画素のズレ量を路面上でのズレ量に変換することができる。
【００１５】
（４）上記発明においては特に限定されないが、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを初期化する。
【００１６】
またはこれに代えて、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを更新せずに前回の値を用いる。
【００１７】
またはこれらに代えて、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、レーンマーカ候補点に関する情報を用いないで道路モデルパラメータを算出する。
上記発明において、特に限定されないが、前記レーンマーカ検出可否判断部は、偏差算出部により算出された偏差を連続して取得し、当該取得した偏差が所定値以上となることが所定時間以上連続した場合に、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断することが好ましい。
また、前記レーンマーカ検出可否判断部は、偏差算出部により算出された偏差を連続して取得し、当該取得した偏差の時系列データにローパスフィルタをかけた値が所定値を超えた場合に、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断することが好ましい。
【００１８】
この車両の走行路認識装置では、レーンマーカを検出するのに適切でないと判断された画面でのレーンマーカ候補点の検出結果を道路モデルパラメータの算出に用いないので、道路形状の誤認識を防止することができる。
【００１９】
【発明の効果】
本発明によれば、レーンマーカ候補点の誤検出による道路形状の誤認識を排除することができる。
【００２０】
これに加えて、本発明によれば、誤認識判断にレーンマーカ検出結果の信頼性を付加することができる。
【００２１】
また本発明によれば、画素のズレ量を路面上でのズレ量に変換することができる。
【００２２】
本発明によれば、レーンマーカを検出するのに適切でないと判断された撮像画面に基づくレーンマーカ候補点の検出結果を道路モデルパラメータの算出に用いないので、道路形状の誤認識を防止することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
第１実施形態
図１は本発明の車両の走行路認識装置の実施形態を示すブロック図である。本例の車両の走行路認識装置１は、車両前方を撮像するＣＣＤカメラ１０１（本発明の撮像部に相当する。）と、ＣＣＤカメラ１０１からの映像信号に対して画面全体に一様な処理を施す前処理部１０２と、入力画面上にレーンマーカを検出するための複数の小領域を設定するレーンマーカ検出用小領域設定部１０３と、複数の小領域に対してレーンマーカの一部をレーンマーカ候補点として検出するレーンマーカ検出部１０４と、レーンマーカ検出部１０４の検出結果に基づいて車両前方の道路形状を表すための道路パラメータを算出する道路パラメータ算出部１０５と、レーンマーカ候補点と道路モデルパラメータから予測される予測候補点との偏差を算出する偏差算出部１０６と、この偏差算出部１０６の偏差算出結果から撮像画面がレーンマーカを検出できる画面であるかどうかを判断するレーンマーカ検出可否判断部１０７とにより構成されている。
【００２４】
次に走行路の認識手順について説明する。
図２は本例の処理の流れを示すフローチャートであり、まずステップ２０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ２０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行される。
【００２５】
道路パラメータは以下の手順で定義される。すなわち、道路座標系を、図５に示すように、ＣＣＤカメラ１０１の撮像レンズの中心を原点として、車両進行方向に向かって右→左上方にＸ軸、車両の高さ方向へ上向きにＹ軸、レンズ光軸を車両進行方向にＺ軸とするＸＹＺ系で定義する。一方、画像処理画面の平面座標系は、同図に示すように、ＮＴＳＣ等のテレビジョン通信方式の画面操作方向にしたがい、画面左上を原点として左から右へ水平方向にｘ軸、上から下へ垂直方向にｙ軸と定義する。
【００２６】
これら２つの座標系の関係は図５に示すようになるが、これを簡略化するために同図のように平面座標系の原点が道路座標系のＺ軸上にあるとすると、道路座標系から平面座標系への座標変換は次式（１）（２）で表される。
【００２７】
【数１】
【００２８】
道路平面構造は、直線と曲率一定の曲線、およびこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、車両前方の数十ｍの区間は、曲率一定の曲線路又は直線路とみなすことができる。そこで、図６（ａ）に示すように車線区分線（レーンマーカ）の形状を定式化した。また同様に、縦断構造ついては一定勾配とみなすことができるので、同図（ｂ）に示すように定式化した。これら定式化したものをそれぞれ下記（３）（４）に示す。
【００２９】
【数２】
【００３０】
以上の（１）〜（４）式より、画像処理画面の平面座標系に投影されるレーンマーカの形状を定式化することができる。（１）〜（４）式より、Ｘ，Ｙ，Ｚを消去して整理すると次式（５）〜（１０）が得られる。
【００３１】
【数３】
【００３２】
ここで、ｃ０，ｄ０は、図５において平面座標系の原点を道路座標系のＺ軸上としているのに対し、実際には画像処理画面の左上を原点としているため、その分を補正する値である。
【００３３】
以上より、画像処理によって検出されるレーンマーカ候補点が満たす（５）式のパラメータａ〜ｅの値を求めることで、道路曲率、車両のピッチ角・ヨー角、車線内での車両の横変位を推定することができる。
【００３４】
図２に戻り、ステップ２０３では、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行される。レーンマーカを検出するための前処理として、レーンマーカと路面の境界強調するために、例えばＳｏｂｅｌフィルタによる一次空間微分を行う。レーンマーカ検出ではこの境界を検出対象とする。レーンマーカは、道路曲率により水平に近い部分と垂直に近い部分とがあるため、水平方向微分と垂直方向微分との２つのエッジ画像を作成する。なお、レーンマーカと路面との境界を強調するため、他のエッジ強調フィルタを用いてもよい。また、レーンマーカを特徴的に抽出するための手段であるならその方式は問わない。
【００３５】
次のステップ２０４では、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定する。検出領域は、図７に示すように、前回の画像処理結果または初期設定の道路パラメータから求められる道路形状に沿って所定の区間ごとに区切られて設定される。なお、道路モデルパラメータ算出部１０５には、道路モデルパラメータを記憶しておく記憶装置が含まれ、このステップ２０４では当該記憶装置から道路モデルパラメータが読み出されて使用される。
【００３６】
ステップ２０５では、図８に示すように、ステップ２０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする。図８に示す例では、直線検出結果の最上点をレーンマーカ候補点としている。
【００３７】
次のステップ２０６では、図９に示すように、ステップ２０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出する。この偏差の算出は、図１０に示すように、算出対象とするレーンマーカ候補点と同一ｙ座標上の道路モデル上の点を予測候補点とし、レーンマーカ候補点のｘ座標をｑｉ、予測候補点のｘ座標をｒｉとすると、その偏差ｐｉは、
【００３８】
【数４】
ｐｉ＝｜ｑｉ−ｒｉ｜ …（１１））
により求めることができる。上式（１１）は検出されたレーンマーカ候補点の各点において算出できるので、ｐｉの平均値、
【００３９】
【数５】
を今回の処理画面のレーンマーカ検出結果の偏差として用いる。なお、偏差の演算は、
【００４０】
【数６】
ｐｉ＝（ｑｉ−ｒｉ）２ …（１３）
を用いても良い。なお、このステップにおいても道路モデルパラメータ算出部１０５に含まれる記憶装置から道路モデルパラメータが読み出されて使用される。
【００４１】
次のステップ２０７では、ステップ２０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する。ここでは、上記（１２）式の平均偏差ｐの値が所定値以上となることが所定時間以上連続した場合に、レーンマーカが検出できない画面であると判断しても良いし、図１１に示すように平均偏差ｐの時系列データにローパスフィルタをかけた値が所定値（検出可否判断しきい値）を超えた場合に、レーンマーカが検出できない画面であると判断しても良い。図１１に示された例において、検出可能と判断された画面と、検出不可能であると判断された画面の一例を図１２に示す。右図に示す検出不可能な入力画面の例では、夜間の雨天時などにおいて路面に水膜が発生した場合、道路照明の路面反射（画面左側の縦線）や轍に溜まった水膜（画面右側）が、レーンマーカのように撮像されて、検出結果に誤りが生じている状態を示している。
【００４２】
なお、ステップ２０７にてレーンマーカが検出できないと判断された場合には、ステップ２０２に戻って処理の初期化から再実行し、レーンマーカが検出できる画面であると判断されたらステップ２０８へ進む。
【００４３】
次のステップ２０８では、ステップ２０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出する。このとき、当該道路モデルパラメータ算出部１０５に含まれる記憶装置から道路モデルパラメータが読み出される。画像処理によるレーンマーカ候補点の検出結果に基づいて二次元道路モデル式を推定する手段として、たとえば拡張カルマンフィルタを用いることができる。
【００４４】
上述した（１）〜（４）式から下記（１４）式が得られる。この式は、拡張カルマンフィルタを構成する際の出力方程式として用いられ、これにより道路曲率と車両状態量とから画像処理平面上に定義したｙ座標値におけるｘ座標値が算出される。
【００４５】
【数７】
【００４６】
拡張カルマンフィルタによる推定状態量は、車両の横変位ｙｃ、道路曲率ρ、車両のヨー角φ、ピッチ角η、ＣＣＤカメラ１０１の高さｈとし、レンズの焦点距離ｆおよび車線幅Ｗは一定値として扱う。各推定状態量の変化は、確率的な振る舞いをするものとして、白色ガウス雑音νによって駆動される離散系のランダムウォークモデルとして定義すると、状態方程式は下記（１５）式のようになる。
【００４７】
【数８】
【００４８】
状態方程式（１５）と出力方程式（１４）をそれぞれ下記（１６）（１７）式のように簡略化して表記すると、拡張カルマンフィルタは（１８）〜（２１）式で構成される。
【００４９】
【数９】
【００５０】
なお、上記の例では車線幅Ｗを固定値として取り扱い、ＣＣＤカメラ１０１の地上高ｈを推定していたが、ＣＣＤカメラ１０１の地上高ｈを固定値として車線幅Ｗを推定するようにしても良い。また、上記の例では、道路パラメータの算出にカルマンフィルタを用いたが、他の推定方法や最小二乗法などの同定方法を用いて道路パラメータを算出しても良い。
【００５１】
図２に戻り、ステップ２０９では、ステップ２０８で算出された新たな道路パラメータをデータ記憶領域（上述した道路モデルパラメータ算出部１０５に含まれる記憶装置）に保存する。ここで保存された道路パラメータが次回の画像処理におけるレーンマーカ検出領域の設定や偏差の算出、新たな道路パラメータの算出に用いられる。その後、ステップ２０３へ戻り、次画面の処理の実行に移るべく画像の取り込みを行う。
【００５２】
以上の手順により本例の処理が実行される。
【００５３】
第２実施形態
図３は本発明の第２実施形態における動作手順を示すフローチャートである。本例では、まずステップ３０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ３０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行されると同時に、カウンタＣＮＴＲの値を０に設定する。道路パラメータの定義は上述した第１実施形態と同じである。
【００５４】
次いで、ステップ３０３乃至ステップ３０７においては、上述した第１実施形態と同様にして、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行され（ステップ３０３）、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定し（ステップ３０４）、ステップ３０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする（ステップ３０５）。さらに、ステップ３０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出し（ステップ３０６）、ステップ３０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する（ステップ３０７）。
【００５５】
ステップ３０７にて、レーンマーカの検出が可能であると判断された場合には、ステップ３０８へ進み、カウンタＣＮＴＲの値を０に設定する。その後、ステップ３０９，３１０へと進み、上述した第１実施形態と同様に、ステップ３０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出し（ステップ３０９）、ステップ３０９で算出された新たな道路パラメータをデータ記憶領域に保存する（ステップ３１０）。
【００５６】
これに対して、ステップ３０７において、レーンマーカの検出が不可能であると判断された場合には、ステップ３１１へ進み、カウンタＣＮＴＲの値に１を加算する。そして、ステップ３１２へ進み、カウンタＣＮＴＲの値が所定値Ｎを超えていなければステップ３０３へ戻り、道路パラメータの更新を行うことなく次回の画像処理ステップ３０３へ進む。また、ステップ３１２にてカウンタＣＮＴＲの値が所定値Ｎを超えている場合には、ステップ３０２へ戻り、道路パラメータの初期化およびカウンタクリア（ＣＮＴＲ＝０）から再実行する。
【００５７】
以上の手順により本例の処理が実行される。
【００５８】
第３実施形態
図４は本発明の第３実施形態における処理手順を示すフローチャートである。本例では、まずステップ４０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ４０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行されると同時に、カウンタＣＮＴＲの値を０に設定する。道路パラメータの定義は上述した第１実施形態と同じである。
【００５９】
次いで、ステップ４０３乃至ステップ４０７においては、上述した第１実施形態と同様にして、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行され（ステップ４０３）、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定し（ステップ４０４）、ステップ４０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする（ステップ４０５）。さらに、ステップ４０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出し（ステップ４０６）、ステップ４０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する（ステップ４０７）。
【００６０】
ステップ４０７にて、レーンマーカの検出が可能であると判断された場合には、ステップ４０８へ進み、カウンタＣＮＴＲの値を０に設定する。その後、ステップ４０９，４１０へと進み、上述した第１実施形態と同様に、ステップ４０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出し（ステップ４０９）、ステップ４０９で算出された新たな道路パラメータをデータ記憶領域に保存する（ステップ４１０）。
【００６１】
これに対して、ステップ４０７において、レーンマーカの検出が不可能であると判断された場合には、ステップ４１１へ進み、カウンタＣＮＴＲの値に１を加算する。
【００６２】
そして、ステップ４１２へ進み、ここでカウンタＣＮＴＲの値が所定値Ｎを超えていなければステップ４１３へ進み、今回検出されたパラメータ候補点を用いないで、たとえばカルマンフィルタのような逐次形の推定器を用いて前回までの道路パラメータの変化の様子などから道路パラメータを推定する。また、ステップ４１２にてカウンタＣＮＴＲの値が所定値Ｎを超えている場合には、ステップ４０２へ戻り、道路パラメータの初期化およびカウンタクリア（ＣＮＴＲ＝０）から再実行する。
【００６３】
以上の手順により本例の処理が実行される。
【００６４】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の車両の走行路認識装置の実施形態を示すブロック図である。
【図２】本発明の第１実施形態における処理手順を示すフローチャートである。
【図３】本発明の第２実施形態における処理手順を示すフローチャートである。
【図４】本発明の第３実施形態における処理手順を示すフローチャートである。
【図５】本発明に係る道路座標系と平面座標系との関係を示す図である。
【図６】本発明に係る道路モデルを示す図である。
【図７】本発明に係るレーンマーカ検出領域を説明するための図である。
【図８】本発明に係るレーンマーカ検出結果とレーンマーカ候補点を説明するための図である。
【図９】本発明に係るレーンマーカ候補点と予測された道路モデルとの関係を示す図である。
【図１０】本発明に係る偏差を説明するための図である。
【図１１】本発明に係るレーンマーカの検出可否判断を説明するためのグラフである。
【図１２】レーンマーカの検出が可能と判断された例および不可能と判断された例を示す図である。
【図１３】従来の走行路の認識方法を説明するための図である。
【図１４】従来の走行路認識装置の問題点を説明するための図である。
【図１５】従来の走行路認識装置の問題点を説明するための図である。
【符号の説明】
１…走行路認識装置
１０１…ＣＣＤカメラ（撮像部）
１０２…前処理部
１０３…レーンマーカ検出用小領域設定部
１０４…レーンマーカ検出部
１０５…道路モデルパラメータ算出部
１０６…偏差算出部
１０７…レーンマーカ検出可否判断部
【発明の属する技術分野】
本発明は、自動車や無人搬送車などの各種移動体の走行路を認識する装置に関する。
【０００２】
【従来の技術】
自動車や無人搬送車などの各種移動体においては、危険回避のために補助的な警報を発したり、人間の判断操作を補助したり、あるいは全面的な自動運転を目的として、種々の形式の走行路の認識装置が検討されている。たとえば、特開平１１−２５９６３９号公報には、図１３に示すように、予測線Ｌ１から所定距離２Ｄ１内にあるレーンマーカ（誘導線）候補点Ｃｉを検出し、検出候補点Ｃｉと同一垂直座標の予測線Ｌ１上の候補点ｂｉの差ｄｉ＝Ｃｉ−ｂｉの平均値を算出し、その平均値だけ平行移動させた予測線Ｌ２から所定距離２Ｄ２内にあるレーンマーカ候補点Ｃｉを正しく認識された候補点と判断し、それ以外を誤認識した候補点と判断する方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の認識方法では、検出されたレーンマーカ候補点の分散を基に各候補点の真偽を検証するという構成であるため、図１４に示すように正しい認識結果を誤認識と判断したり、図１５に示すように誤認識を正しいと判断することがあった。
【０００４】
なお、図１４および図１５には、正しい左右のレーンマーカをＬＬ，ＬＲ、候補点をＰで表しているが、図１４には先行車Ｖの存在により正しく認識しているにも拘わらず誤認識であると判断した場合の例を示し、図１５には二重車線或いはレーンマーカに類似する線Ｄの存在により誤認識しているにも拘わらず正しい候補点として判断した場合の例を示す。
【０００５】
特に、こうした走行路認識装置では、撮像した画面からレーンマーカを画像処理で検出する場合、レーンマーカが描かれている部分の明るさ（輝度）と描かれていない部分の明るさとを比較し、明るさが変化した位置にレーンマーカのエッジがあると判断する。すなわち、明るさの変化点を検出するので、撮像した画面から画像処理する領域を限定してレーンマーカを検出するように処理ウィンドを限定したとき、レーンマーカの近傍に、予期しない明るい部分、たとえば夜間に路面の水膜に街灯光が反射した場合などにおいては、その部分にレーンマーカのエッジがあると誤認識してしまう。
【０００６】
本発明は、このような従来技術の問題点に鑑みてなされたものであり、レーンマーカ候補点の誤検出による道路形状の誤認識を排除できる走行路認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明によれば、車両周囲を撮像する撮像部と、
複数のレーンマーカの候補点の、前記撮像部により取り込まれた撮像画面上の座標値を検出するレーンマーカ検出部と、
前記レーンマーカ検出部により検出されたレーンマーカ候補点の座標値に基づいて、道路モデルパラメータを算出する道路モデルパラメータ算出部と、
前記レーンマーカ候補点と、前記道路モデルパラメータから予測される予測候補点との偏差を算出する偏差算出部と、
前記偏差算出部により算出された偏差算出結果に基づいて、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できる画面であるかどうかを判断するレーンマーカ検出可否判断部と、を有し、
前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部が前記撮像画面がレーンマーカを検出できる画面であると判断した場合、道路モデルパラメータの算出処理を行う車両の走行路認識装置が提供される。
【０００８】
上記発明においては特に限定されないが、偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の絶対値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の絶対値の平均値を偏差として出力する（請求項２参照）。
【０００９】
またはこれに代えて、偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の二乗値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の二乗値の平均値を偏差として出力する（請求項３参照）。
【００１０】
この車両の走行路認識装置では、検出されたレーンマーカ候補点と、前回の処理までの道路モデルパラメータの変化から予測される予測候補点との偏差を算出し、その偏差が所定時間以上、所定値を超えていたら、現在の走行路環境がレーンマーカを正しく検出できる状況ではないと判断する。これにより、レーンマーカ候補点の誤検出による道路形状の誤認識を排除することができる。
【００１１】
（２）上記発明においては特に限定されないが、撮像部により取り込まれた画像を前処理する前処理部をさらに有し、前記前処理部は前記撮像部により取り込まれた画像を微分処理し、前記偏差算出部は、レーンマーカ候補点と予測候補点との偏差を算出する際にレーンマーカ候補点の微分濃度値を偏差の値に重み付けする。
【００１２】
この車両の走行路認識装置では、偏差にレーンマーカ候補点の微分濃度値を重み付けするので、誤認識判断にレーンマーカ検出結果の信頼性を付加することができる。
【００１３】
（３）上記発明においては特に限定されないが、偏差算出部は、レーンマーカ候補点と予測候補点との偏差を算出する際に、走行路上における自車両からレーンマーカ候補点までの距離に応じて偏差の値に重み付けする。
【００１４】
この車両の走行路認識装置では、偏差に走行路における自車両からレーンマーカ候補点までの距離に応じた重み付けを行うため、画素のズレ量を路面上でのズレ量に変換することができる。
【００１５】
（４）上記発明においては特に限定されないが、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを初期化する。
【００１６】
またはこれに代えて、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを更新せずに前回の値を用いる。
【００１７】
またはこれらに代えて、道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、レーンマーカ候補点に関する情報を用いないで道路モデルパラメータを算出する。
上記発明において、特に限定されないが、前記レーンマーカ検出可否判断部は、偏差算出部により算出された偏差を連続して取得し、当該取得した偏差が所定値以上となることが所定時間以上連続した場合に、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断することが好ましい。
また、前記レーンマーカ検出可否判断部は、偏差算出部により算出された偏差を連続して取得し、当該取得した偏差の時系列データにローパスフィルタをかけた値が所定値を超えた場合に、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断することが好ましい。
【００１８】
この車両の走行路認識装置では、レーンマーカを検出するのに適切でないと判断された画面でのレーンマーカ候補点の検出結果を道路モデルパラメータの算出に用いないので、道路形状の誤認識を防止することができる。
【００１９】
【発明の効果】
本発明によれば、レーンマーカ候補点の誤検出による道路形状の誤認識を排除することができる。
【００２０】
これに加えて、本発明によれば、誤認識判断にレーンマーカ検出結果の信頼性を付加することができる。
【００２１】
また本発明によれば、画素のズレ量を路面上でのズレ量に変換することができる。
【００２２】
本発明によれば、レーンマーカを検出するのに適切でないと判断された撮像画面に基づくレーンマーカ候補点の検出結果を道路モデルパラメータの算出に用いないので、道路形状の誤認識を防止することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
第１実施形態
図１は本発明の車両の走行路認識装置の実施形態を示すブロック図である。本例の車両の走行路認識装置１は、車両前方を撮像するＣＣＤカメラ１０１（本発明の撮像部に相当する。）と、ＣＣＤカメラ１０１からの映像信号に対して画面全体に一様な処理を施す前処理部１０２と、入力画面上にレーンマーカを検出するための複数の小領域を設定するレーンマーカ検出用小領域設定部１０３と、複数の小領域に対してレーンマーカの一部をレーンマーカ候補点として検出するレーンマーカ検出部１０４と、レーンマーカ検出部１０４の検出結果に基づいて車両前方の道路形状を表すための道路パラメータを算出する道路パラメータ算出部１０５と、レーンマーカ候補点と道路モデルパラメータから予測される予測候補点との偏差を算出する偏差算出部１０６と、この偏差算出部１０６の偏差算出結果から撮像画面がレーンマーカを検出できる画面であるかどうかを判断するレーンマーカ検出可否判断部１０７とにより構成されている。
【００２４】
次に走行路の認識手順について説明する。
図２は本例の処理の流れを示すフローチャートであり、まずステップ２０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ２０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行される。
【００２５】
道路パラメータは以下の手順で定義される。すなわち、道路座標系を、図５に示すように、ＣＣＤカメラ１０１の撮像レンズの中心を原点として、車両進行方向に向かって右→左上方にＸ軸、車両の高さ方向へ上向きにＹ軸、レンズ光軸を車両進行方向にＺ軸とするＸＹＺ系で定義する。一方、画像処理画面の平面座標系は、同図に示すように、ＮＴＳＣ等のテレビジョン通信方式の画面操作方向にしたがい、画面左上を原点として左から右へ水平方向にｘ軸、上から下へ垂直方向にｙ軸と定義する。
【００２６】
これら２つの座標系の関係は図５に示すようになるが、これを簡略化するために同図のように平面座標系の原点が道路座標系のＺ軸上にあるとすると、道路座標系から平面座標系への座標変換は次式（１）（２）で表される。
【００２７】
【数１】
道路平面構造は、直線と曲率一定の曲線、およびこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、車両前方の数十ｍの区間は、曲率一定の曲線路又は直線路とみなすことができる。そこで、図６（ａ）に示すように車線区分線（レーンマーカ）の形状を定式化した。また同様に、縦断構造ついては一定勾配とみなすことができるので、同図（ｂ）に示すように定式化した。これら定式化したものをそれぞれ下記（３）（４）に示す。
【００２９】
【数２】
以上の（１）〜（４）式より、画像処理画面の平面座標系に投影されるレーンマーカの形状を定式化することができる。（１）〜（４）式より、Ｘ，Ｙ，Ｚを消去して整理すると次式（５）〜（１０）が得られる。
【００３１】
【数３】
ここで、ｃ０，ｄ０は、図５において平面座標系の原点を道路座標系のＺ軸上としているのに対し、実際には画像処理画面の左上を原点としているため、その分を補正する値である。
【００３３】
以上より、画像処理によって検出されるレーンマーカ候補点が満たす（５）式のパラメータａ〜ｅの値を求めることで、道路曲率、車両のピッチ角・ヨー角、車線内での車両の横変位を推定することができる。
【００３４】
図２に戻り、ステップ２０３では、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行される。レーンマーカを検出するための前処理として、レーンマーカと路面の境界強調するために、例えばＳｏｂｅｌフィルタによる一次空間微分を行う。レーンマーカ検出ではこの境界を検出対象とする。レーンマーカは、道路曲率により水平に近い部分と垂直に近い部分とがあるため、水平方向微分と垂直方向微分との２つのエッジ画像を作成する。なお、レーンマーカと路面との境界を強調するため、他のエッジ強調フィルタを用いてもよい。また、レーンマーカを特徴的に抽出するための手段であるならその方式は問わない。
【００３５】
次のステップ２０４では、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定する。検出領域は、図７に示すように、前回の画像処理結果または初期設定の道路パラメータから求められる道路形状に沿って所定の区間ごとに区切られて設定される。なお、道路モデルパラメータ算出部１０５には、道路モデルパラメータを記憶しておく記憶装置が含まれ、このステップ２０４では当該記憶装置から道路モデルパラメータが読み出されて使用される。
【００３６】
ステップ２０５では、図８に示すように、ステップ２０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする。図８に示す例では、直線検出結果の最上点をレーンマーカ候補点としている。
【００３７】
次のステップ２０６では、図９に示すように、ステップ２０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出する。この偏差の算出は、図１０に示すように、算出対象とするレーンマーカ候補点と同一ｙ座標上の道路モデル上の点を予測候補点とし、レーンマーカ候補点のｘ座標をｑｉ、予測候補点のｘ座標をｒｉとすると、その偏差ｐｉは、
【００３８】
【数４】
ｐｉ＝｜ｑｉ−ｒｉ｜ …（１１））
により求めることができる。上式（１１）は検出されたレーンマーカ候補点の各点において算出できるので、ｐｉの平均値、
【００３９】
【数５】
【００４０】
【数６】
ｐｉ＝（ｑｉ−ｒｉ）２ …（１３）
を用いても良い。なお、このステップにおいても道路モデルパラメータ算出部１０５に含まれる記憶装置から道路モデルパラメータが読み出されて使用される。
【００４１】
次のステップ２０７では、ステップ２０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する。ここでは、上記（１２）式の平均偏差ｐの値が所定値以上となることが所定時間以上連続した場合に、レーンマーカが検出できない画面であると判断しても良いし、図１１に示すように平均偏差ｐの時系列データにローパスフィルタをかけた値が所定値（検出可否判断しきい値）を超えた場合に、レーンマーカが検出できない画面であると判断しても良い。図１１に示された例において、検出可能と判断された画面と、検出不可能であると判断された画面の一例を図１２に示す。右図に示す検出不可能な入力画面の例では、夜間の雨天時などにおいて路面に水膜が発生した場合、道路照明の路面反射（画面左側の縦線）や轍に溜まった水膜（画面右側）が、レーンマーカのように撮像されて、検出結果に誤りが生じている状態を示している。
【００４２】
なお、ステップ２０７にてレーンマーカが検出できないと判断された場合には、ステップ２０２に戻って処理の初期化から再実行し、レーンマーカが検出できる画面であると判断されたらステップ２０８へ進む。
【００４３】
次のステップ２０８では、ステップ２０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出する。このとき、当該道路モデルパラメータ算出部１０５に含まれる記憶装置から道路モデルパラメータが読み出される。画像処理によるレーンマーカ候補点の検出結果に基づいて二次元道路モデル式を推定する手段として、たとえば拡張カルマンフィルタを用いることができる。
【００４４】
上述した（１）〜（４）式から下記（１４）式が得られる。この式は、拡張カルマンフィルタを構成する際の出力方程式として用いられ、これにより道路曲率と車両状態量とから画像処理平面上に定義したｙ座標値におけるｘ座標値が算出される。
【００４５】
【数７】
拡張カルマンフィルタによる推定状態量は、車両の横変位ｙｃ、道路曲率ρ、車両のヨー角φ、ピッチ角η、ＣＣＤカメラ１０１の高さｈとし、レンズの焦点距離ｆおよび車線幅Ｗは一定値として扱う。各推定状態量の変化は、確率的な振る舞いをするものとして、白色ガウス雑音νによって駆動される離散系のランダムウォークモデルとして定義すると、状態方程式は下記（１５）式のようになる。
【００４７】
【数８】
状態方程式（１５）と出力方程式（１４）をそれぞれ下記（１６）（１７）式のように簡略化して表記すると、拡張カルマンフィルタは（１８）〜（２１）式で構成される。
【００４９】
【数９】
なお、上記の例では車線幅Ｗを固定値として取り扱い、ＣＣＤカメラ１０１の地上高ｈを推定していたが、ＣＣＤカメラ１０１の地上高ｈを固定値として車線幅Ｗを推定するようにしても良い。また、上記の例では、道路パラメータの算出にカルマンフィルタを用いたが、他の推定方法や最小二乗法などの同定方法を用いて道路パラメータを算出しても良い。
【００５１】
図２に戻り、ステップ２０９では、ステップ２０８で算出された新たな道路パラメータをデータ記憶領域（上述した道路モデルパラメータ算出部１０５に含まれる記憶装置）に保存する。ここで保存された道路パラメータが次回の画像処理におけるレーンマーカ検出領域の設定や偏差の算出、新たな道路パラメータの算出に用いられる。その後、ステップ２０３へ戻り、次画面の処理の実行に移るべく画像の取り込みを行う。
【００５２】
以上の手順により本例の処理が実行される。
【００５３】
第２実施形態
図３は本発明の第２実施形態における動作手順を示すフローチャートである。本例では、まずステップ３０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ３０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行されると同時に、カウンタＣＮＴＲの値を０に設定する。道路パラメータの定義は上述した第１実施形態と同じである。
【００５４】
次いで、ステップ３０３乃至ステップ３０７においては、上述した第１実施形態と同様にして、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行され（ステップ３０３）、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定し（ステップ３０４）、ステップ３０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする（ステップ３０５）。さらに、ステップ３０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出し（ステップ３０６）、ステップ３０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する（ステップ３０７）。
【００５５】
ステップ３０７にて、レーンマーカの検出が可能であると判断された場合には、ステップ３０８へ進み、カウンタＣＮＴＲの値を０に設定する。その後、ステップ３０９，３１０へと進み、上述した第１実施形態と同様に、ステップ３０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出し（ステップ３０９）、ステップ３０９で算出された新たな道路パラメータをデータ記憶領域に保存する（ステップ３１０）。
【００５６】
これに対して、ステップ３０７において、レーンマーカの検出が不可能であると判断された場合には、ステップ３１１へ進み、カウンタＣＮＴＲの値に１を加算する。そして、ステップ３１２へ進み、カウンタＣＮＴＲの値が所定値Ｎを超えていなければステップ３０３へ戻り、道路パラメータの更新を行うことなく次回の画像処理ステップ３０３へ進む。また、ステップ３１２にてカウンタＣＮＴＲの値が所定値Ｎを超えている場合には、ステップ３０２へ戻り、道路パラメータの初期化およびカウンタクリア（ＣＮＴＲ＝０）から再実行する。
【００５７】
以上の手順により本例の処理が実行される。
【００５８】
第３実施形態
図４は本発明の第３実施形態における処理手順を示すフローチャートである。本例では、まずステップ４０１でドライバーのスイッチ操作又は車両のイグニッションによりシステムが始動すると、ステップ４０２では、車両前方の道路形状を認識するための道路パラメータの初期化が実行されると同時に、カウンタＣＮＴＲの値を０に設定する。道路パラメータの定義は上述した第１実施形態と同じである。
【００５９】
次いで、ステップ４０３乃至ステップ４０７においては、上述した第１実施形態と同様にして、ＣＣＤカメラ１０１によって撮像された画像の画像信号が前処理部１０２に入力され、ここで前処理が実行され（ステップ４０３）、自車が走行している車線を表示するレーンマーカを画面内より検出するために、複数の小領域を設定し（ステップ４０４）、ステップ４０４で設定された小領域の領域内で最もレーンマーカと路面の境界らしい直線を検出し、その直線上の１点をレーンマーカ候補点とする（ステップ４０５）。さらに、ステップ４０５で検出されたレーンマーカ候補点の、前回までのレーンマーカ認識結果から予測された道路モデルに対する偏差を算出し（ステップ４０６）、ステップ４０６で算出された偏差ｐに基づいて、入力された画像がレーンマーカを検出できる画面であるかどうかを判断する（ステップ４０７）。
【００６０】
ステップ４０７にて、レーンマーカの検出が可能であると判断された場合には、ステップ４０８へ進み、カウンタＣＮＴＲの値を０に設定する。その後、ステップ４０９，４１０へと進み、上述した第１実施形態と同様に、ステップ４０５で得られた画面上のレーンマーカ候補点の位置より道路モデルのパラメータを算出し（ステップ４０９）、ステップ４０９で算出された新たな道路パラメータをデータ記憶領域に保存する（ステップ４１０）。
【００６１】
これに対して、ステップ４０７において、レーンマーカの検出が不可能であると判断された場合には、ステップ４１１へ進み、カウンタＣＮＴＲの値に１を加算する。
【００６２】
そして、ステップ４１２へ進み、ここでカウンタＣＮＴＲの値が所定値Ｎを超えていなければステップ４１３へ進み、今回検出されたパラメータ候補点を用いないで、たとえばカルマンフィルタのような逐次形の推定器を用いて前回までの道路パラメータの変化の様子などから道路パラメータを推定する。また、ステップ４１２にてカウンタＣＮＴＲの値が所定値Ｎを超えている場合には、ステップ４０２へ戻り、道路パラメータの初期化およびカウンタクリア（ＣＮＴＲ＝０）から再実行する。
【００６３】
以上の手順により本例の処理が実行される。
【００６４】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の車両の走行路認識装置の実施形態を示すブロック図である。
【図２】本発明の第１実施形態における処理手順を示すフローチャートである。
【図３】本発明の第２実施形態における処理手順を示すフローチャートである。
【図４】本発明の第３実施形態における処理手順を示すフローチャートである。
【図５】本発明に係る道路座標系と平面座標系との関係を示す図である。
【図６】本発明に係る道路モデルを示す図である。
【図７】本発明に係るレーンマーカ検出領域を説明するための図である。
【図８】本発明に係るレーンマーカ検出結果とレーンマーカ候補点を説明するための図である。
【図９】本発明に係るレーンマーカ候補点と予測された道路モデルとの関係を示す図である。
【図１０】本発明に係る偏差を説明するための図である。
【図１１】本発明に係るレーンマーカの検出可否判断を説明するためのグラフである。
【図１２】レーンマーカの検出が可能と判断された例および不可能と判断された例を示す図である。
【図１３】従来の走行路の認識方法を説明するための図である。
【図１４】従来の走行路認識装置の問題点を説明するための図である。
【図１５】従来の走行路認識装置の問題点を説明するための図である。
【符号の説明】
１…走行路認識装置
１０１…ＣＣＤカメラ（撮像部）
１０２…前処理部
１０３…レーンマーカ検出用小領域設定部
１０４…レーンマーカ検出部
１０５…道路モデルパラメータ算出部
１０６…偏差算出部
１０７…レーンマーカ検出可否判断部
Claims (6)
- 車両周囲を撮像する撮像部と、
複数のレーンマーカの候補点の、前記撮像部により取り込まれた撮像画面上の座標値を検出するレーンマーカ検出部と、
前記レーンマーカ検出部により検出されたレーンマーカ候補点の座標値に基づいて、道路モデルパラメータを算出する道路モデルパラメータ算出部と、
前記レーンマーカ候補点と、前記道路モデルパラメータから予測される予測候補点との偏差を算出する偏差算出部と、
前記偏差算出部により算出された偏差算出結果に基づいて、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できる画面であるかどうかを判断するレーンマーカ検出可否判断部と、を有し、
前記レーンマーカ検出可否判断部は、偏差算出部により算出された偏差を連続して取得し、当該取得した偏差が所定値以上となることが所定時間以上連続した場合に、前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断し、
前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部が前記撮像画面がレーンマーカを検出できる画面であると判断した場合、道路モデルパラメータの算出処理を行う車両の走行路認識装置。 - 前記偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の絶対値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の絶対値の平均値を偏差として出力する請求項１記載の車両の走行路認識装置。
- 前記偏差算出部は、レーンマーカ候補点と、走行路上において自車両から当該レーンマーカ候補点と等距離にある道路モデルパラメータから予測される予測候補点との撮像画面上における差の二乗値を算出し、前記レーンマーカ検出部により検出された全てのレーンマーカ候補点の差の二乗値の平均値を偏差として出力する請求項１記載の車両の走行路認識装置。
- 前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを初期化する請求項１〜３のいずれかに記載の車両の走行路認識装置。
- 前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、道路モデルパラメータを更新せずに前回の値を用いる請求項１〜３のいずれかに記載の車両の走行路認識装置。
- 前記道路モデルパラメータ算出部は、前記レーンマーカ検出可否判断部により前記撮像部により取り込まれた撮像画面がレーンマーカを検出できない画面であると判断されたとき、レーンマーカ候補点に関する情報を用いないで道路モデルパラメータを算出する請求項１〜３のいずれかに記載の車両の走行路認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000397747A JP3780848B2 (ja) | 2000-12-27 | 2000-12-27 | 車両の走行路認識装置 |
| US09/982,956 US6850628B2 (en) | 2000-12-27 | 2001-10-22 | Lane recognition apparatus for vehicle |
| EP01309831A EP1227438A3 (en) | 2000-12-27 | 2001-11-22 | Lane recognition apparatus for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000397747A JP3780848B2 (ja) | 2000-12-27 | 2000-12-27 | 車両の走行路認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197444A JP2002197444A (ja) | 2002-07-12 |
| JP3780848B2 true JP3780848B2 (ja) | 2006-05-31 |
Family
ID=18862836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000397747A Expired - Fee Related JP3780848B2 (ja) | 2000-12-27 | 2000-12-27 | 車両の走行路認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6850628B2 (ja) |
| EP (1) | EP1227438A3 (ja) |
| JP (1) | JP3780848B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210374976A1 (en) * | 2020-06-01 | 2021-12-02 | Samsung Electronics Co., Ltd. | Slope estimating apparatus and operating method thereof |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3729095B2 (ja) * | 2001-06-29 | 2005-12-21 | 日産自動車株式会社 | 走行路検出装置 |
| JP3625460B2 (ja) | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
| JP4162618B2 (ja) * | 2004-03-12 | 2008-10-08 | 株式会社豊田中央研究所 | 車線境界判定装置 |
| US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP4390631B2 (ja) * | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
| JP4756931B2 (ja) * | 2004-07-01 | 2011-08-24 | 株式会社 三英技研 | デジタルレーンマーク作成装置 |
| JP4069912B2 (ja) * | 2004-08-19 | 2008-04-02 | 日産自動車株式会社 | 車両運動制御装置 |
| DE102004040143A1 (de) * | 2004-08-19 | 2006-02-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerinformation |
| KR100497781B1 (ko) * | 2004-09-24 | 2005-06-28 | 주식회사 삼안 | 에스형, 복합형 및 난형 도로설계에서 크로소이드파라메타 계산방법 |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7400236B2 (en) * | 2005-10-21 | 2008-07-15 | Gm Global Technology Operations, Inc. | Vehicular lane monitoring system utilizing front and rear cameras |
| JP4108706B2 (ja) * | 2005-10-31 | 2008-06-25 | 三菱電機株式会社 | 車線逸脱防止装置 |
| EP1796042B1 (en) * | 2005-12-06 | 2011-02-23 | Nissan Motor Co., Ltd. | Detection apparatus and method |
| JP4811201B2 (ja) | 2005-12-06 | 2011-11-09 | 日産自動車株式会社 | 走路境界線検出装置、および走路境界線検出方法 |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4687563B2 (ja) * | 2006-05-23 | 2011-05-25 | 株式会社デンソー | 車両用レーンマーク認識装置 |
| US8462988B2 (en) * | 2007-01-23 | 2013-06-11 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| KR100941271B1 (ko) * | 2007-03-30 | 2010-02-11 | 현대자동차주식회사 | 자동차용 차선이탈 방지 방법 |
| US20090069973A1 (en) * | 2007-09-10 | 2009-03-12 | Shih-Hsiung Li | Warning method and device for deviation of a moving vehicle |
| DE102007051966A1 (de) | 2007-10-31 | 2009-05-07 | Adc Automotive Distance Control Systems Gmbh | Verfahren und Vorrichtung zur Erkennung des Verlaufs einer Fahrspur |
| KR101071732B1 (ko) * | 2007-12-17 | 2011-10-11 | 현대자동차주식회사 | 차량 주행속도 제어 장치 및 그 방법 |
| JP4622001B2 (ja) * | 2008-05-27 | 2011-02-02 | トヨタ自動車株式会社 | 道路区画線検出装置および道路区画線検出方法 |
| JP4710981B2 (ja) | 2009-01-23 | 2011-06-29 | トヨタ自動車株式会社 | 区画線認識装置、及び当該装置で用いられる区画線認識方法 |
| JP5075152B2 (ja) * | 2009-03-24 | 2012-11-14 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
| JP5391926B2 (ja) * | 2009-08-19 | 2014-01-15 | 日産自動車株式会社 | 車線認識装置 |
| JP5286214B2 (ja) * | 2009-09-30 | 2013-09-11 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
| DE102010020984A1 (de) * | 2010-04-20 | 2011-10-20 | Conti Temic Microelectronic Gmbh | Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug |
| DE102010054066A1 (de) * | 2010-12-10 | 2012-06-14 | GM Global Technology Operations LLC | Verfahren zum Betreiben eines Sensors eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug |
| JP5810654B2 (ja) * | 2011-06-13 | 2015-11-11 | トヨタ自動車株式会社 | 区画線認識装置、区画線認識方法、プログラム及び媒体 |
| US9098751B2 (en) | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
| DE102011081892A1 (de) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug |
| US20130202155A1 (en) * | 2012-02-03 | 2013-08-08 | Gopal Gudhur Karanam | Low-cost lane marker detection |
| US8755967B1 (en) | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| JP5986949B2 (ja) * | 2013-04-08 | 2016-09-06 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| US9310804B1 (en) * | 2013-11-21 | 2016-04-12 | Google Inc. | Use of prior maps for estimation of lane boundaries |
| EP2960129A1 (en) * | 2014-06-26 | 2015-12-30 | Volvo Car Corporation | Confidence level determination for estimated road geometries |
| WO2016025710A1 (en) | 2014-08-13 | 2016-02-18 | Fisher-Rosemount Systems, Inc. | Model predictive control using wireless process signals |
| JP6449627B2 (ja) * | 2014-11-25 | 2019-01-09 | 株式会社Ｓｏｋｅｎ | 走行区画線認識装置 |
| JP6483446B2 (ja) | 2015-01-15 | 2019-03-13 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
| KR102366402B1 (ko) * | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
| CN105072402B (zh) * | 2015-08-11 | 2017-11-28 | 余路 | 一种机器人巡视监测的方法 |
| JP6637399B2 (ja) * | 2016-09-30 | 2020-01-29 | 株式会社デンソー | 領域認識装置及び領域認識方法 |
| CN108090456B (zh) * | 2017-12-27 | 2020-06-19 | 北京初速度科技有限公司 | 识别车道线模型的训练方法、车道线识别方法及装置 |
| JP6697522B2 (ja) * | 2018-09-28 | 2020-05-20 | 株式会社Ｓｕｂａｒｕ | 区画線認識装置 |
| JP7180536B2 (ja) * | 2019-05-24 | 2022-11-30 | トヨタ自動車株式会社 | 車両 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5991427A (en) * | 1996-07-31 | 1999-11-23 | Aisin Seiki Kabushiki Kaisha | Method and apparatus for detecting a lane on a road |
| JP3373773B2 (ja) * | 1998-01-27 | 2003-02-04 | 株式会社デンソー | レーンマーク認識装置、車両走行制御装置および記録媒体 |
| JP3319383B2 (ja) | 1998-03-11 | 2002-08-26 | 株式会社豊田中央研究所 | 走行路認識装置 |
| KR20000025578A (ko) * | 1998-10-13 | 2000-05-06 | 윤종용 | 차로의 모델링 방법 및 그를 이용한 차선 인식 방법 |
| KR100326674B1 (ko) * | 1999-03-11 | 2002-03-02 | 이계안 | 차량의 차선이탈 경보 방법 |
| JP3521860B2 (ja) * | 2000-10-02 | 2004-04-26 | 日産自動車株式会社 | 車両の走行路認識装置 |
-
2000
- 2000-12-27 JP JP2000397747A patent/JP3780848B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-22 US US09/982,956 patent/US6850628B2/en not_active Expired - Lifetime
- 2001-11-22 EP EP01309831A patent/EP1227438A3/en not_active Ceased
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210374976A1 (en) * | 2020-06-01 | 2021-12-02 | Samsung Electronics Co., Ltd. | Slope estimating apparatus and operating method thereof |
| US11734852B2 (en) * | 2020-06-01 | 2023-08-22 | Samsung Electronics Co., Ltd. | Slope estimating apparatus and operating method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1227438A2 (en) | 2002-07-31 |
| US20020131620A1 (en) | 2002-09-19 |
| EP1227438A3 (en) | 2004-10-20 |
| JP2002197444A (ja) | 2002-07-12 |
| US6850628B2 (en) | 2005-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| EP2905725B1 (en) | Marking line detection system and marking line detection method | |
| JP5962771B2 (ja) | 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法 | |
| Wang et al. | Lane detection and tracking using B-Snake | |
| EP2958054B1 (en) | Hazard detection in a scene with moving shadows | |
| RU2572952C1 (ru) | Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов | |
| JP4016735B2 (ja) | レーンマーク認識方法 | |
| CN101091103B (zh) | 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置 | |
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| CN105740782B (zh) | 一种基于单目视觉的驾驶员换道过程量化方法 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
| US20030227378A1 (en) | Obstacle detecting apparatus and method | |
| US20120070088A1 (en) | Picture image processor, method for processing picture image and method for processing picture image | |
| CN109791598A (zh) | 用于识别地面标记的图像处理方法以及地面标记检测系统 | |
| EP2963634B1 (en) | Stereo camera device | |
| JP2002197469A (ja) | 車線検出装置 | |
| JP3603836B2 (ja) | 道路白線認識装置 | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| JP5180126B2 (ja) | 道路認識装置 | |
| KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
| KR20200000953A (ko) | 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 | |
| JP3700625B2 (ja) | 道路白線認識装置 | |
| JP2004355139A (ja) | 車両認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |