JP4296973B2 - 車両走行状態判定装置 - Google Patents

Description

本発明は、例えばドライバが、運転中に覚醒状態を低下させ、居眠りに入りかけたか否かを判定することができる車両走行状態判定装置に関する。

近年、道路網の発達や余暇の増加などによって自動車を運転する機会が増えてきており、この自動車の運転走行に際して運転者は常に安定した心身の健康が望まれる。しかし、自己の体調不良を自覚しながらもハンドルを握る場合も考えられる。この場合、自動車の運転に際し、長時間や少なく連続して運転すると、運転者に疲労が蓄積して集中力が低下することで、覚醒状態が低下し、眠気を誘う場合がある。

このようなことを防止するために、車両にカメラを搭載し、このカメラにより撮像された前方画像により道路白線を認識して車両の蛇行を判定し、ドライバが居眠り状態に入りかけたか否かを検出し、警報するようにしている（例えば、特許文献１を参照）。
特許第3039327号公報

このような手法では、道路の両側の白線を認識している。

このため、雪道のように白線が見づらかったりする場合には、車両の蛇行を判定することができなかった。

本発明は、上記の点に鑑みてなされたもので、その目的は、雪道のように白線が見づらい場合でも車両の蛇行を判定することができる車両走行状態判定装置を提供することにある。

請求項1記載の発明は、車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた走行状態判定装置において、前記蛇行状態検出手段は、前記路面の白線類似部分を判定する白線判定手段と、前記路面画像の中央から左右方向に夫々白線と判定された位置を検出する白線位置検出手段と、この白線位置検出手段で検出された前記路面画像の中央から左右方向に夫々白線と判定された位置を、消失点に向かう直線で左側直線及び右側直線に夫々近似する近似手段と、この近似手段で近似された左側直線に基づいて左側境界の蛇行量を算出する左側蛇行量算出手段と、前記近似手段で近似された右側直線に基づいて右側境界の蛇行量を算出する右側蛇行量算出手段と、前記左側蛇行量算出手段により算出した左側境界の蛇行量及び右側蛇行量算出手段により算出した右側境界の蛇行量に基づいて車両の蛇行を判定する判定手段とを具備したことを特徴とする。
請求項２記載の発明は、請求項1記載の前記蛇行状態検出手段が前記カメラによって撮像された路面画像の手前側の画像データに基づいて蛇行を求めることを特徴とする。

請求項１記載の発明によれば、雪道のように白線が見づらかったりする場合でも、車両の蛇行を精度よく検出することができる。

請求項２記載の発明によれば、カメラで撮像された前方路上画像に基づいて蛇行量を求めるようにしたので、蛇行と判断する際の精度を向上させることができる。

以下、図面を参照して本発明の一実施の形態について説明する。図１は車両走行状態判定装置を示すブロック図である。図において、１１はＣＣＤカメラである。このカメラ１１で撮像された車両前方の画像は画像処理装置１２から入力される。この画像処理装置１２はカメラ１１で撮像された画像を処理する画像処理部１２ａと、この画像処理部１２ａで処理された画像データを記憶する画像データ記憶部１２ｂを有する。

この画像処理装置１２は制御部１３に接続されている。この制御部１３はマイクロプロセッサを中心に構成されており、蛇行状態検出手段１４を含む。

なお、カメラ１１は図２に示すように、例えば車両のキャビン内中央上部に取り付けられている。カメラ１１は、車両の走行方向前方の路面１を撮像するもので、その画像を図４に示す。

次に、上記のように構成された本発明の一実施の形態の動作について図３のフローチャートを参照しながら説明する。まず、カメラ１１で撮像された路面画像は画像処理装置１２に入力される。この路面画像は画像処理された後、画像データ記憶部１２ｂへ記憶される（ステップＳ１）。このステップＳ１での画像データ記憶部１２ｂへの記憶処理は、具体的には以下のように行われる。この実施の形態では、路面１の左側には路肩の雪２があり、路面１の右側には不明瞭な白線３が存在している。

まず、カメラ１１で取り込まれる路面画像は、ＣＣＤ上で画像認識される。このＣＣＤは、本実施の形態では５１２画素×５１２画素の大きさとしてある。そして、ＣＣＤの水平方向をｘ軸方向、垂直方向をｙ軸方向とするとき、ｘ軸方向に並んだ各画素群（水平方向画素群）上のグレイ値を算出し、これをｙ軸方向に並んだ水平方向画素群毎に行う。ここで、以下の説明で、ｘ軸方向に並んだ各画素群をｙ１，ｙ２，ｙ３ラインと呼ぶ。

なお、グレイ値とは、白が“０”、黒が“２５５”、中間はその濃淡に応じて決定される値である。例えば、路面１は路肩の雪２や不明瞭な白線３より黒ずんでいるため、路面１部分のグレイ値は、路肩の雪２や不明瞭な白線３より大きくなる。

次に、算出されたグレイ値から、ｘ軸方向におけるエッジを算出する。ここで、エッジとは、算出されたグレイ値の微分値として定義したもので、色調の変化が発生した箇所で検出されることとなる。

そして、エッジの発生した箇所におけるグレイ値の絶対値（グレイ値レベル）を算出し、制御周期毎に所定のメモリへ記憶される。このように撮像された画像はエッジ処理されて画像データ記憶部１２ｂに記憶される。

そして、画像データ記憶部１２ｂに記憶された路面画像のうちの図５の下半分部分に着目する（ステップＳ２）。ここで、ステップＳ２の処理、つまり路面画像のうち下半分部分Ｂの画像に着目するのは、路面画像のうち手前側は画像分解能が高く、精度の良い蛇行判断が可能であるからである。

そして、前述したステップＳ1において算出されている各ｙ１，ｙ２，ライン上でのグレイ値の微分値に基づいて白線類似部分を判定している（白線判定手段）。路肩の雪２と路面１との境や不明瞭な白線３と路面１との境は色調が変化するので、白線類似部分と
検出される。

次に、検査画像の中央から左右方向に夫々白線類似部分と判定された位置が検出される
（ステップＳ３）（白線位置検出手段）。例えば、検査画面の中心位置をＸ０とした場合に、白線判定手段で判定された白線類似部分の位置座標が検出される。例えば、ｙ１ラインの路肩の雪２の路面との境界位置が位置座標（ａ１，ｙ１）、ｙ１ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ１，ｙ１）として検出される。以下、同様にｙ２ラインの路肩の雪２の路面との境界位置が位置座標（ａ２，ｙ２）、ｙ２ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ２，ｙ２）として検出される。以下、同様にｙ３ライン以降の路肩の雪２の路面との境界位置が位置座標（ａ３，ｙ３），…，ｙ３ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ３，ｙ３），…，として検出される。

次に、路肩の雪２の路面との境界位置を示す位置座標（ａ１，ｙ１）、（ａ２，ｙ２）、（ａ３，ｙ３）、…が消失点Ｄに向かう直線Ｌ１（図７）（以下、左側近似直線という）及び不明瞭な白線３と路面との境界位置を示す位置座標（ｂ１，ｙ１）、（ｂ２，ｙ２）、（ｂ３，ｙ３）…が消失点Ｄに向かう直線Ｌ２（図７）（以下、右側近似直線という）が最小２乗法等により求められる（ステップＳ４）（近似手段）。

そして、ステップＳ４で求めた左側近似直線Ｌ１に対してローパスフィルタ処理がなされる（ステップＳ５）。また、ステップＳ４で求めた右側近似直線Ｌ２に対してローパスフィルタ処理がなされる（ステップＳ６）。これは、左側近似直線Ｌ１及び右側近似直線Ｌ２のいねむりによる蛇行のゆれは低周波数であるため、ローパスフィルタ処理を行っている。

そして、前回のサイクル、つまり所定時間前にカメラ１１で撮像された路面画像に基づいて算出された左側近似直線Ｌ１と今回算出された左側近似直線Ｌ１とのずれ量を所定時間経過毎に平均することにより蛇行量を算出する（図８）（左側蛇行量算出手段）（ステップＳ７）。さらに、前回のサイクル、つまり所定時間前にカメラ１１で撮像された路面画像に基づいて算出された右側近似直線Ｌ１と今回算出された右側近似直線Ｌ１とのずれ量を所定時間経過毎に平均することにより蛇行量を算出する（図８）（右側蛇行量算出手段）（ステップＳ８）。もし、運転者がいねむり等をしなければ、車両の蛇行はほとんど無いと考えられるので、蛇行量は零に近くなる。一方、運転者がいねむり等をしていて車両が蛇行している場合には、蛇行量が大きくなる。

そして、左側蛇行量算出手段で検出された蛇行量と右側蛇行量算出手段で検出された蛇行量は平均されて平均蛇行量が算出される（ステップＳ９）。そして、車両蛇行と判断されると、図示しない警報装置を作動させ、運転者に注意をうながす。

なお、このステップＳ９で算出された平均蛇行量が基準レベル以上になったかを判定する判定手段を設け、この判定手段で「ＹＥＳ」と判定された場合に蛇行していると判定するようにしてもよい。

ここで、基準レベルは、運転開始から一定時間経過するまでの蛇行量を平均することにより求められる。つまり、運転開始から一定時間経過するまでは運転者はいねむりをしないと判断し、この一定時間内の蛇行量を平均している。また、基準レベルを実験的に求めるようにしてもよい。

なお、上記した実施の形態では、路面の左路肩に雪２が、路面の右側の白線が不明瞭な場合を一例に取り説明したが、路面の両路肩に雪が存在していたり、路面の両側の白線が不明瞭であっても、同様に蛇行を算出することができる。また、路面のどちらか片方のみに白線類似部分がある路面でも蛇行を算出することができる。

以上のように本発明によれば、カメラで撮像された路面画像から水平方向のグレイ値の微分値をエッジとして算出し、このエッジを白線類似部分と判定し、この判定された白線類似部分に基づいて車両の蛇行量をするようにしたので、路面の白線が見づらい場合でも、
車両の蛇行を精度良く検出することができる。

本発明の一実施の形態に係わる車両走行状態判定装置を説明するためのブロック図。 同実施の形態に係わる車両走行状態判定装置のカメラの搭載場所を示す図 同実施の形態の動作を説明するためのフローチャート。 車両に搭載されたカメラにより撮像された車両前方の映像を示す図。 カメラで撮像された前方路上画像に基づいて蛇行率を求め、車両に搭載されたカメラにより撮像された車両前方の映像を示す図。 同実施の形態に係わる車両走行状態判定装置の検出ラインの位置を説明するための図。 同実施の形態に係わる消失点に向かう直線を示す図。 同実施の形態に係わる右側境界線及び左側境界線を示す図。

符号の説明

１１…ＣＣＤカメラ、１２…画像処理装置、１３…制御部

Claims (3)

1. 車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた車両走行状態判定装置において、
   前記蛇行状態検出手段は、
   前記路面の白線類似部分を、前記路面画像における水平方向画素群上でのグレイ値の微分値に基づいて判定する白線判定手段と、
   前記路面画像の中央から左右方向に夫々白線と判定された位置を検出する白線位置検出手段と、
   この白線位置検出手段で検出された前記路面画像の中央から左右方向に夫々白線と判定された位置を、消化点に向かう直線で左側直線及び右側直線に夫々近似する近似手段と、
   この近似手段で近似された左側直線に基づいて左側境界の蛇行量を算出する左側蛇行量算出手段と、
   前記近似手段で近似された右側直線に基づいて右側境界の蛇行量を算出する右側蛇行量算出手段と、
   前記左側蛇行量算出手段により算出した左側境界の蛇行量及び前記右側蛇行量算出手段により算出した右側境界の蛇行量に基づいて車両の蛇行を判定する判定手段とを具備したことを特徴とする車両走行状態判定装置。
2. 前記蛇行状態検出手段は前記カメラによって撮像された路面画像の手前側の画像データに基づいて蛇行を求めることを特徴とする請求項１記載の車両走行状態判定装置。
3. 前記近似手段により近似される左側直線及び右側直線に対してローパスフィルタ処理を施す処理手段をさらに備え、
   前記左側蛇行量検出手段は、前記処理手段によりローパスフィルタ処理が施された左側直線に基づいて左側境界の蛇行量を算出し、前記右側蛇行量検出手段は、前記処理手段によりローパスフィルタ処理が施された右側直線に基づいて右側境界の蛇行量を算出することを特徴とする請求項１又は２記載の車両走行状態判定装置。

Images