JP5832850B2 - 車線監視システム及び車線監視方法 - Google Patents

Description

本発明は、車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術に関するものである。

車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術としては、車載カメラで撮影した自動車後方の画像に基づいて自動車が走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識すると共に、走行中の車線が直進している車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線（白線）を近似した直線として車線境界線を認識し、走行中の車線がカーブしている車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として車線境界線を認識する技術が知られている（特許文献１）。

ここで、この技術では、車載カメラで撮影した現在の画像と直近に撮影した画像との間の、画像中の白線の自動車左右方向の位置ずれ量を横方向移動速度として、横方向移動速度がほぼ０の場合に、走行中の車線が直進している車線と判定し、他の場合に走行中の車線がカーブしている車線と判定する。しかしながら、このような判定法は、走行中の車線がカーブしている車線であってもカーブの曲率が一様であって自動車が車線に沿って走行している場合には、横方向移動速度は生じず、また、走行中の車線が直進している車線であっても自動車が車線に沿って走行していない場合には横方向移動速度が発生するために、これらの場合に有効に働くことはない。

また、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識する技術に関連する技術としては、各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術が知られている（たとえば、特許文献２）。

特開２００７-２００１９１号公報 特開２００７-２６４７１４号公報

各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術によれば、当該曲率より、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識したり、車線境界線を曲線で近似することができるが、自動車の車速やヨーレートを検出して、自動車の車速やヨーレートから自動車の位置や向きの変化を精度良く算出したり、白線上の点の実空間上の座標より曲率を算出する、比較的複雑な特段の構成が必要となる。

そこで、本発明は、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行えるようにすることを課題とする。

前記課題達成のために、本発明は、自動車に搭載された車線監視システムに、前記自動車後方を撮影する車載カメラと、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、前記垂線データ算出手段が算出した各垂線データに基づいて、中心から前記着目方向について前記奥行距離離れた円弧上の位置における円の接線の垂線の方向が前記垂線方向であるものとして求めた円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを備えたものである。

ここで、以上のような車線監視システムは、前記曲率半径算出手段において、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出するようにすることが好ましい。

このような車載システムによれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。

なお、以上のような車線監視システムには、さらに、前記曲率半径算出手段で算出した曲率半径が所定のしきい値より小さい場合に、走行中の車線が直進する車線であると識別し、前記曲率半径検出ステップで算出した曲率半径が所定のしきい値より小さくない場合に、走行中の車線がカーブする車線であると識別する識別手段を備えるようにしてもよい。

または、以上のような車線監視システムには、さらに、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さい場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を車線境界線形状として認識し、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さくない場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する円を前記車線境界線形状として認識する車線認識手段とを備えるようにしてもよい。

また、この場合には、さらに、前記車線認識手段が認識した車線境界線形状に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を設けることも好ましい。

以上のように、本発明によれば、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行うことができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係る車線監視処理を示すフローチャートである。 本発明の実施形態に係る曲率半径算出処理を示すフローチャートである。 本発明の実施形態に係る車線監視処理の処理例を示す図である。 本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。 本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。 本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。 本発明の実施形態に係る車線監視処理の処理例を示す図である。 本発明の実施形態に係る車線監視処理の処理例を示す図である。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図１ｂに示すように自動車後部に配置され自動車後方を撮影する後方カメラ１と、後方カメラ１が撮影した画像フレームを格納するフレームメモリ２、車線監視装置３、車線監視装置３が作業に用いるワークメモリ４、スピーカ５、表示装置６などを備えている。

なお、図示は省略したが、後方カメラ１の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車線監視装置３が行う車線監視処理について説明する。
図２に、この車線監視処理の手順を示す。
さて、図２に示すように、この処理では、まず、後方カメラ１が後方を撮影した最新の画像フレームをフレームメモリ２から取得し（ステップ２０２）、画像フレームに写り込んでいる後方の白線上の特徴点の座標を算出する（ステップ２０４）。
ここで、このステップ２０４で行う画像フレームに写り込んでいる後方の白線上の特徴点の座標の算出は以下のように行う。
すなわち、図４ａに示すように、自動車の左右前後方向の中心Gを原点とし、自動車の右方向を正のY0方向とし、自動車の後方向を正のX0方向とするX0-Y0座標系を設定する。
そして、後方カメラ１で撮影された図４ｂに示すような画像フレームに対して、ノイズ除去などの前処理を施した上で、輝度勾配などに基づいて画像フレームに写り込んでいる白線の領域３０１を抽出する。
そして、抽出した白線の領域３０１を、図４ｃに示すようにX0-Y0座標系に射影変換する。そして、X0方向について所定間隔毎にX0-Y0座標系に射影変換した白線の領域３０２のY0方向の中点に特徴点q_iを設定し、各特徴点q_iのX0-Y0座標系上の座標（xq_i,yq_i）を、後方の白線上の特徴点q_iの座標として算出する。

さて、図２に戻り、以上のようにして特徴点の座標を算出したならば、曲率半径算出処理を行って（ステップ２０６）、曲率半径rを算出する。
ここでステップ２０６で行う曲率半径処理の手順を図３に示す。
図示するように、この曲率半径算出処理では、まず、図４ｄに示すように、X0-Y0座標系上でX0=0となる白線上の位置における当該白線の向き、すなわち自動車の重心Gの左右方向の位置における白線の方向に対する、自動車の後方すなわちX0方向の角度θを求める。そして、図４ｅに示すように、X0-Y0座標系を原点Gを中心としてθ回転したX1-Y1座標系を設定し、X1-Y1座標系上の各特徴点q_iを特徴点p_iと表すこととして、各X1-Y1座標系上の各特徴点p_iの座標（xp_i,yp_i)を求める（ステップ３０２）。

ここで、θは、図４ｄに示すように、後述する車線監視処理のステップ２１０または２１２で過去直近に求めた白線近似線をH（-1）として、H（-1）のX0=0となる点における接線に対するX0方向の角度として求めることができる。
または、このθは、図５に示すように、自動車の車速をVx、後述する車線監視処理の２１４で過去所定期間内に求めた距離Ｄの時間微分dD/dtとして求まる白線方向への自動車の移動速度をVdとして、tan^-1(Vd/-Vx)として求めることもできる。
ここで、このようにして求めたX1-Y1座標系上の各特徴点p_iは、X0方向、すなわち、自動車の後ろ方向が、自動車の重心Gの左右方向の位置における白線の方向と一致していた場合に、後方カメラ１で撮影した画像より求まるX0-Y0座標系上の各特徴点q_iに一致するものとなる。

さて、図３に戻り、このようにして、各特徴点p_iの座標（x_i,y_i）を算出したならば（ステップ３０２）、図６ａに示すように、隣接する特徴点p_iとp_i+1とを結ぶ直線の接線の傾きをa_i=（xp_i+1-xp_i） /（yp_i+1-yp_i）として求めると共に、特徴点p_iとp_i+1との中点のX座標をx_i=（xp_i+xp_i+1）/2として求める。但し、特徴点p_jとp_j+1との間の距離が所定距離以上大きいjについては、a_j、x_jは算出しないようにする。

そして、図６ｂのように、算出した各（x_i、a_i）を傾きデータQ_iとする（ステップ３０４）。
次に、今回ステップ３０４で算出した傾きデータQ_i、もしくは、過去直近の所定期間内に後方カメラ１が撮影した１または複数の画像フレームに対する曲率半径算出処理のステップ３０４で算出した全ての傾きデータQ_iに基づいて、円の中心を原点するX-Y座標系上の円の半径を、各傾きデータQ_iが示すa_i を、円弧上のX=x_i の位置における垂線の傾きを表すものと見なして算出し、算出した円の半径を曲率半径rとし（ステップ３０６）、曲率半径算出処理を終了する。

ここで、ステップ３０６の円の半径の算出は、具体的には以下のように行う。
すなわち、まず、円の中心Cが、X1-Y1座標系でX1=0となる白線上の位置における白線方向の垂線の方向であるX1方向に存在するものとして、図７に示すように、X1-Y1座標系をX1方向に、原点が円の中心Cに一致するように移動したX-Y座標系を仮定する。
すると、X-Y座標において、円は式１によって表すことができる。

また、この円の円弧上の各位置における円の接線の垂線は、当該垂線の傾きをａとして式２によって表すことができる。

式２を式１に代入してyを消去すると、式３を得ることができ、式３は式４に変形することができる。

ここで、自動車後方の白線の形状が円であるものとすれば、図７に示すように、各傾きデータQ_iが示すa_i は、円弧上のX=x_i となる位置の接線の垂線の傾きを表すので、式５が成立する。

よって、式６に示す、各傾きデータQ_iについての自乗誤差Eを最小とするrを求めれば、これが求める円の半径rとなる。

そして、式７のように、A_i、Rをおくと、式６は式８によって表すことができ、式８は式９のように変形することができる。

そして、式９のRの偏微分が０となるRが式９の自乗誤差Eを極小値とするので、自乗誤差Eを極小値とするRに対して式１０が成立し、これより式１１が得られる。

したがって、式１１より、式１２によってrを求めることができ、ステップ３０６では、このrを求める曲率半径rとする。

以上、曲率半径算出処理について説明した。
さて、図２の車線監視処理に戻り、以上のような曲率半径算出処理によって曲率半径rを算出したならば（ステップ２０６）、曲率半径rが所定距離Thr(Thrは、たとえば300ｍ）より小さいかどうかを判定し（ステップ２０８）、小さければ、走行中の車線が直進している車線であると見なして、図４ｃに示した各特徴点q_iの座標に基づいて、後方の白線を直線y=ax+bに近似し、近似した直線y=ax+bを現在の白線近似線H（0）とする（ステップ２１０）。

この直線y=ax+bへの近似は、各特徴点q_iの座標を直線上の座標として持つ直線として、最も尤もらしい直線を求めることにより行う。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点q_iについて求めた、y_i-（ax_i+b)の自乗の合計をEとして、Eを最小とするa、ｂを算出することにより求める。

一方、曲率半径rが所定距離Thrより小さくなければ（ステップ２０８）、走行中の車線がカーブしている車線であると見なして、後方の白線を円(x-cx)²+(y-cy)²=r²に近似し、近似した円(x-cy)²+(y-cy)²=r²を現在の白線近似線H（0）とする（ステップ２１２）。

ここで、このステップ２１２における白線近似線H（0）とする円(x-cx)²+(y-cy)²=r²の算出は次のように行う。
すなわち、図８に示すように、上述した曲率半径算出処理で求めた曲率半径rを半径とする円のX1-Y1座標系上における中心座標を（0,cy₁)として、X1-Y1座標系上の円の式：(x)²+(y-cy)²=r²に、同X1-Y1座標系上の特徴点p₁の座標（xp₁,yp₁)を、当該円の円弧上に特徴点p_nが存在するものとして代入してcy₁を算出することにより求める。

すなわち、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQ_iのうちのx₁が自車後方近傍の位置であることを表している（たとえば、x₁＜5ｍ）傾きデータQ_iのa_iが負、であれば、cy₁はY1軸の正側にあるので式１３によってcy₁を求める。また、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQ_iのうちのx₁が自車後方近傍の位置であることを表している（たとえば、x₁＜5ｍ）傾きデータQ_iのa_iが正であれば、cy₁はY1軸の負側にあるので式１４によってcy₁を求める。

ここで、cy₁の算出に用いる特徴点p_nは、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた、いずれかの傾きデータQ_iの算出に用いられた特徴点p_iである。なお、特徴点p_nとしては、x_iが最小の特徴点p_iを用いるようにすることが好ましい。または、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQ_iの算出に用いられた複数の特徴点p_iについて、cy₁をそれぞれ求め、その平均を最終的なcy₁として決定するようにしてもよい。

そして、このようにして、曲率半径rを半径とする円のX1-Y1座標系上における中心座標（0,cy₁)が求まったならば、X0-Y0座標系上の半径ｒの円の中心座標（cx,cy)を、上述したθを用いて、
cx= cy₁sin(-θ）
cy= cy₁cos(-θ)
として求め、白線近似線H（0）：(x-cx)²+(y-cy)²=r²を得る。
さて、図２に戻り、以上のようにして直線、または、円として現在の白線近似線H（0）が求まったならば（ステップ２１０、２１２）、白線近似線H（0）に従って、白線と自動車前方白線側(右側）端Tとの距離Dを求める（ステップ２１４）。

すなわち、図９に示すように、自動車中心Gから自動車前端までのX方向の距離（自動車の全長の半分）をＬ、自動車中心Gから自動車白線側端までのY方向の距離（自動車の前幅の半分）をWとすれば、端T最寄りの白線上の点Kの座標は
Ky=D+Wとして、（-L、Ky）となる。

点Kが、白線近似線H（0）上の点であることより、
白線近似線H（0）式のxに-Lを代入すれば、Kyが求まり、これより距離Dが求まる。
より具体的には、白線近似線H（0）が直線y=ax+bである場合には、
Ky =a(-L)+b が成り立ち、
D= a(-L)+b -Wとして、距離Dが求まる。
また、白線近似線H（0）が円 (x-cx)²+(y-cy)²=r²である場合には、
r²=(-L-cx)²+(Ky-cy)²が成り立ち、
これと、Ky=D+Wより、式１５によって、距離Dが求まる。

さて、図２に戻り、求めた自動車前方の白線と自動車前方白線側端Ｔとの距離Dを求めたならば、求めた距離Dが、所定のしきい値ThDより小さく、かつ、自動車が白線側に移動しているかどうかを調べ（ステップ２１６）、そうでなければステップ２０２からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ５や表示装置６から、自動車の車線から逸脱を警告する出力をドライバに対して行った上でステップ２０２からの処理に戻る。

なお、自動車が白線側に移動しているかどうかは、求めた自動車前方の白線と自動車前方白線側端Ｔとの距離Dが、前回距離Dを求めたときの距離Dの値より減少している場合に、自動車が白線側に移動していると判定することなどにより行うことができる。
以上、車線監視装置３が行う車線監視処理について説明した。
以上のように、本実施形態によれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。

なお、以上の実施形態は、自動車の右側の白線を検出する場合について示したが、自動車の左側の車線を検出する場合についても本実施形態は同様に適用可能である。
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識するものとすることができる。

１…後方カメラ、２…フレームメモリ、３…車線監視装置、４…ワークメモリ、５…スピーカ、６…表示装置。

Claims (4)

1. 自動車に搭載された車線監視システムであって、
   前記自動車後方を撮影する車載カメラと、
   前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、
   前記垂線データ算出手段が算出した各垂線データに基づいて、円の中心から前記基準方向について前記奥行距離離れた当該円の円弧上の位置における当該円の接線の垂線の方向が前記垂線方向であるものとして求めた当該円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを有することを特徴とする車線監視システム。
2. 請求項１記載の車線監視システムであって、
   前記曲率半径算出手段は、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視システム。
3. 自動車に搭載される車線監視システムにおいて、前記自動車後方を撮影する車載カメラが撮影した自動車後方の画像に基づいて、走行中の車線境界線を認識する車線監視方法であって、
   前記車線監視システムが、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出ステップと、
   前記車線監視システムが、前記垂線データ算出ステップで算出した各垂線データに基づいて、円の中心から前記基準方向について前記奥行距離離れた当該円の円弧上の位置における当該円の接線の垂線の方向が前記垂線方向であるものとして求めた当該円の半径を前記車線境界線の曲率半径として算出する曲率半径算出ステップとを有することを特徴とする車線監視方法。
4. 請求項３記載の車線監視方法であって、
   前記曲率半径算出ステップにおいて、前記垂線データ算出ステップで、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視方法。