JPH1123291A

JPH1123291A - 車両用画像処理装置

Info

Publication number: JPH1123291A
Application number: JP9179952A
Authority: JP
Inventors: Tomohiro Fukumura; 友博福村; Ryota Shirato; 良太白▲土▼
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-07-04
Filing date: 1997-07-04
Publication date: 1999-01-29

Abstract

(57)【要約】【課題】安価な方法で車両の姿勢変化に起因した画像
のブレによる誤差を正確に補正する。【解決手段】撮像手段により撮像した画像を処理して
先行車、障害物、車線を検出するととともに、車両の状
態を検出して車両姿勢を推定し、その推定結果に基づい
て撮像手段の位置変化および／または姿勢変化を推定す
る。そして、撮像姿勢の推定結果に応じて画像処理結果
の先行車、障害物、車線を補正し、補正結果に基づいて
車両の走行制御または走行監視を行なう。これにより、
安価な方法で車両の姿勢変化に起因した画像のブレによ
る先行車、障害物、車線などの検出誤差を正確に補正す
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は車両用の画像処理装
置に関し、特に、画像を分析して先行車を認識し、一定
の車間距離で追従する先行車追従装置、道路白線を検出
して車線内を走行するように制御するレーンキープ装
置、道路白線を検出して車線内を走行しているかを監視
する車線逸脱警報装置などに用いられ、自車両周辺の環
境認識を行なうものである。

【０００２】

【従来の技術とその問題点】従来の車両用画像処理装置
では、車両の姿勢変化によって画像にブレが生じ、画像
処理結果に誤差が生じるという問題がある。例えば、先
行車追従装置において車両にピッチングが発生すると、
画像内での先行車の見え方が変化し、あたかも車間距離
が変化したかのように誤って認識してしまう。今、車両
にピッチングが発生してカメラの対地ピッチ角が大きく
なった場合を考えると、図１（ａ）に示すピッチング発
生前の画像に対し、ピッチング発生後は図１（ｂ）の画
像になる。すなわち、画像全体が画面の上方に移動して
あたかも車間距離が大きくなったかのように誤認してし
まう。さらには、車両を加速→スクワット（車両の後部
が下がる現象）発生→画像上の車間距離減少→車間距離
減少にともない車両を減速→ピッチング発生→画像上の
車間距離増加→車間距離増加にともない車両を加速→ス
クワット発生→・・・といった悪循環に陥りかねない。
このような問題は、レーンキープ装置における車線検出
の際にも発生し、ピッチング、ローリング、バウンスな
ど、車両に姿勢変化が生じると車線の位置を正しく認識
できなくなってしまう。

【０００３】上述した問題を解決するために、画像自体
の変化からカメラの姿勢変化を推定する方法が提案され
ている（例えば、特開平４−７２９６５号公報、特開平
４−３４９４３９号公報、特開平６−３８０９１号公報
などを参照）。すなわち、画像の中から主要被写体の特
徴点もしくは輝度分布などの特徴量を抽出し、その移動
量からカメラの動きを推定する。しかし、この方法には
次のような問題がある。すなわち、被写体が静止してい
ることが前提になっており、先行車や車線などのように
見え方が変化するものに対しては、その適用に限界があ
る。また、通常、特徴点の追跡はテンプレート・マッチ
ングにより行なわれ、特徴量の算出は総和計算や分布計
算の方法が用いられるが、いずれも画像データを直接、
操作するためにかなりの計算量になる。

【０００４】また、道路モデルを有することによって画
像自体からカメラの姿勢変化と道路形状の推定とを同時
に行なう車両用画像処理装置が提案されている（例え
ば、特開平６−２０１８９号公報参照）。ところが、こ
の装置にも次のような問題がある。すなわち、前提とし
て平行な２直線（曲線）が必要であり、車線両側の白線
を使うが、曲線路や道路勾配が変化する場合、あるいは
合流、分岐点付近のように白線の幅が変る場合には精度
が低下してしまう。また、常に両側の白線が検出できる
とも限らない。さらに、カメラの姿勢変化と道路形状の
変化とを同時に推定するために、非常に複雑な非線形連
立方程式を解く必要があり、計算量が膨大になる。計算
量を減らすために漸化式を使う工夫をしているが、その
場合は収束時間がかかるため、カメラの姿勢の急激な変
化には対応できない。

【０００５】また、画像処理側にジャイロセンサーを備
え、ブレを補正する装置が提案されている（例えば、特
開平４−１１４７０号公報参照）。しかしながら、この
装置にも次のような問題がある。例えばジャイロを使っ
たとしても、車両制御側でより多くのセンサー信号から
オブザーバーを使って推定する方法に比べ、挙動推定の
精度が低い。画像を取得した直後に補正を行なうので、
カメラ姿勢の値としては最新のデータが必要となる。し
たがって、むだ時間が発生しないように画像処理装置自
身でセンサーを持つとともに、測定値をリアルタイムで
処理する必要がある。また、センサーノイズを除去する
ためのフィルターを使う場合にも、位相遅れが発生しや
すく、設定が難しくなる。このため、画像処理側にもジ
ャイロセンサーが必要になる上に、処理自体にも高速の
ＣＰＵが必要になってコストアップする。

【０００６】本発明の目的は、安価な方法で車両の姿勢
変化に起因した画像のブレによる誤差を正確に補正する
車両用画像処理装置を提供することにある。

【０００７】

【課題を解決するための手段】

−本発明の概要− 本発明は、画像処理側では車両の姿勢変化に起因した画
像ブレによる誤差を補正せず、誤差を含んだままの画像
処理結果を車両制御側へ送る。そして、車両制御側でオ
ブザーバーなどを使って車両姿勢を正確に推定し、その
推定結果に基づいて画像処理結果に含まれる画像ブレに
よる誤差を補正するものである。

【０００８】−本発明の原理− 本発明の原理を説明する前に、車両固定座標系から画面
座標系への透視変換と、画面座標系から車両固定座標系
への逆透視変換について説明する。今、図２に示すよう
に、Ｘ−Ｙ平面を車両に対して水平な面とし、Ｚ軸が撮
像カメラのレンズ位置を通るような車両固定座標系ＸＹ
Ｚを設定する。また、カメラはＸ−Ｙ面から高さＨoの
位置Ｏ’（レンズ中心）に設置するものとし、カメラの
ピッチ角をθo、ロール角を０、焦点距離をｆとする
と、撮像カメラによる画面座標系ｘｙは、カメラのレン
ズの光軸Ｘ’に垂直で、Ｏ’からｆだけ離れた面に定ま
る。なお、Ｙ’軸はレンズ中心Ｏ’を通りＹ軸に平行な
線である。また、道路平面が平坦であるとすればＸ−Ｙ
平面は道路平面と同一面となる。

【０００９】透視変換と逆透視変換により、ＸＹＺ座標
系とＸ’Ｙ’Ｚ’座標系とｘｙ座標系との関係を求め
る。まず、Ｘ’Ｙ’Ｚ座標系上の任意の点（Ｘ’，
Ｙ’，Ｚ’）に対応する画面ｘｙ座標系の点（ｘ，ｙ）
は次式により求められる。

【数１】ｘ＝−ｆ・Ｙ’／Ｘ’，ｙ＝−ｆ・Ｚ’／Ｘ’ 次に、Ｘ’Ｙ’Ｚ’座標系の任意の点（Ｘ’，Ｙ’，
Ｚ’）と、対応するＸＹＺ座標系の点（Ｘ，Ｙ，Ｚ）と
の関係は、Ｚ軸方向へのＨoの平行移動と、Ｙ軸回りの
θo回転との組合せで得られるから、

【数２】Ｘ’＝Ｘcosθo−（Ｚ−Ｈo）sinθo，Ｙ’＝Ｙ，Ｚ’＝Ｘsinθo＋（Ｚ−Ｈo）cosθo となる。

【００１０】数式２を数式１に代入すると、

【数３】ｘ＝−ｆ・Ｙ／｛Ｘcosθo−（Ｚ−Ｈo）sinθ
o｝，ｙ＝−ｆ・｛Ｘsinθo＋（Ｚ−Ｈo）cosθo｝／｛Ｘcos
θo−（Ｚ−Ｈo）sinθo｝となる。特に、ＸＹＺ座標系上の点（Ｘ，Ｙ，Ｚ）が平
坦な道路上の点であるとき、

【数４】Ｚ＝０となるから、数式３は次のように表わされる。

【数５】ｘ＝−ｆ・Ｙ／｛Ｘcosθo＋Ｈosinθo｝，ｙ＝−ｆ・｛Ｘsinθo−Ｈocosθo｝／｛Ｘcosθo＋Ｈo
sinθo｝これは、平坦な道路上の点（Ｘ，Ｙ）に対応する画面上
の点（ｘ，ｙ）である。また、数式３を（Ｘ，Ｙ）につ
いて解けば、

【数６】Ｘ＝−Ｈo｛ｙsinθo−ｆcosθo｝／｛ｙcosθ
o＋ｆsinθo｝，Ｙ＝−Ｈo・ｘ／｛ｙcosθo＋ｆsinθo｝となり、画面上の点（ｘ，ｙ）から道路上の点（Ｘ，
Ｙ）を逆算することができる。

【００１１】次に、本発明の原理を説明する。なお、説
明を分かりやすくするために、車両の姿勢変化によって
カメラの光軸がピッチ方向に変化する場合を考察する。
車両の姿勢変化によってカメラの光軸がピッチ方向にΔ
θだけ変化した場合に、カメラのピッチ角θは、

【数７】θ＝θo＋Δθ になるので、数式７を数式６に代入してカメラの光軸が
ピッチ方向にΔθだけ変化した場合の逆透視変換式を求
める。

【数８】Ｘ’＝−Ｈo｛ｙsin（θo＋Δθ）−ｆcos（θ
o＋Δθ）｝／｛ｙcos（θo＋Δθ）＋ｆsin（θo＋Δ
θ）｝，Ｙ’＝−Ｈo・ｘ／｛ｙcos（θo＋Δθ）＋ｆsin（θo
＋Δθ）｝この値（Ｘ’，Ｙ’）とカメラの姿勢を補正せずに求め
た値（Ｘ，Ｙ）との関係を求めると、

【数９】Ｘ’＝Ｈo｛ＸcosΔθ−ＨosinΔθ｝／｛Ｈoc
osΔθ＋ＸsinΔθ｝，Ｙ’＝Ｈo・Ｙ／｛ＨocosΔθ＋ＸsinΔθ｝この数式９はカメラの光軸がピッチ方向に変化した場合
の補正式になる。さらに数式９から、

【数１０】ｄＹ’／ｄＸ’＝（ＨocosΔθ＋ＸsinΔ
θ）／Ｈo・ｄＹ／ｄＸ−ＹsinΔθ／Ｈo が得られ、この関係式を用いれば画像内で直線の傾きを
求めた場合もピッチ変化分の補正が可能である。さらに
は画像内で曲線の曲率、すなわち２次微分係数を求めた
場合も補正は可能であり、

【数１１】となる。また、ピッチ角変化Δθを微小と考え、数式９
および数式１０を線形近似すると、

【数１２】となる。ピッチ変化の原因として車両姿勢の変化だけを
考える場合は上式で十分である。

【００１２】次に、車両にバウンスが生じてカメラの高
さがΔＨだけ変化した場合を考察する。この場合の正確
な逆透視変換は数式６のＨoを（Ｈo＋ΔＨ）に置換し
て、

【数１３】Ｘ’＝−（Ｈo＋ΔＨ）｛ｙsinθo−ｆcosθ
o｝／｛ｙcosθo＋ｆsinθo｝，Ｙ’＝−（Ｈo＋ΔＨ）・ｘ／｛ｙcosθo＋ｆsinθo｝となる。この値（Ｘ’，Ｙ’）を数式６の（Ｘ，Ｙ）と
比較して次の関係式を得る。

【数１４】Ｘ’＝（１＋ΔＨ／Ｈo）Ｘ，Ｙ’＝（１＋ΔＨ／Ｈo）Ｙ，ｄＹ’／ｄＸ’＝ｄＹ／ｄＸこれらがカメラの高さが変化した場合の補正式になる。

【００１３】また、カメラの光軸がロール方向にΔφだ
け回転した場合でも補正は可能で、詳細な説明を省略す
るが、

【数１５】Ｘ’＝ｆ（Ｘ，Ｙ，Δφ），Ｙ’＝ｇ（Ｘ，Ｙ，Δφ），ｄＹ／ｄＸ＝ｈ（Ｘ，Ｙ，ｄＹ／ｄＸ，Δφ）となり、補正前の値（Ｘ，Ｙ）とロール変化分Δφから
補正値（Ｘ’，Ｙ’）を求めることができる。

【００１４】さらに、これらの補正を併用することも可
能であり、例えばピッチ補正と高さ補正を同時に行なう
場合は、数式１２と数式１４を組合せて、

【数１６】となる。さらに、ロール補正を加えても同様である。

【００１５】以上のように、画像を取得した際のカメラ
の姿勢変化代が解れば、画像自体を補正しなくても、補
正せずに画像処理を行なった結果に対して直接、姿勢変
化による誤差分を補正することができる。

【００１６】（１）請求項１の発明は、車両周辺を撮
像する撮像手段と、撮像手段により撮像した画像を処理
して先行車、障害物、車線を検出する画像処理手段と、
車両の状態を検出する車両状態検出手段と、車両状態検
出手段による検出結果に基づいて車両姿勢を推定する車
両姿勢推定手段と、車両姿勢推定手段による推定結果に
基づいて撮像手段の位置変化および／または姿勢変化を
推定する撮像姿勢推定手段と、撮像姿勢推定手段による
推定結果に応じて画像処理手段による検出結果を補正す
る補正手段と、補正手段による補正結果に基づいて車両
の走行制御または走行監視を行なう車両制御手段とを備
える。撮像手段により撮像した画像を処理して先行車、
障害物、車線を検出するととともに、車両の状態を検出
して車両姿勢を推定し、その推定結果に基づいて撮像手
段の位置変化および／または姿勢変化を推定する。そし
て、撮像姿勢の推定結果に応じて画像処理結果の先行
車、障害物、車線を補正し、補正結果に基づいて車両の
走行制御または走行監視を行なう。（２）請求項２の車両用画像処理装置は、車両状態検
出手段によって、車速、操舵角、横Ｇ、ヨーレート、上
下Ｇ、制駆動力指令値を検出するようにしたものであ
る。（３）請求項３の車両用画像処理装置は、車両姿勢推
定手段によって、車両姿勢としてピッチ角、ロール角お
よびバウンス量を推定するようにしたものである。（４）請求項４の車両用画像処理装置は、車両姿勢推
定手段によって、撮像手段が画像を撮像した時点ｔ１の
前後における車両姿勢を推定し、撮像姿勢推定手段によ
って、時点ｔ１における撮像手段の位置変化および／ま
たは姿勢変化を推定するようにしたものである。（５）請求項５の車両用画像処理装置は、車両姿勢推
定手段によって、撮像手段が画像を撮像した時点ｔ１の
前後における車両状態検出手段の検出結果に基づいて時
点ｔ１における車両姿勢を推定するようにしたものであ
る。（６）請求項６の車両用画像処理装置は、車両制御手
段によって、先行車との車間距離を一定に保つ先行車追
従制御を行なうようにしたものである。（７）請求項７の車両用画像処理装置は、車両制御手
段によって、車線内を走行するように制御するレーンキ
ープ制御を行なうようにしたものである。（８）請求項８の車両用画像処理装置は、車両制御手
段によって、ヨーレートおよび横速度を所定の値に保つ
車両挙動制御を行なうようにしたものである。（９）請求項９の車両用画像処理装置は、車両制御手
段によって、サスペンション特性を変化させるサスペン
ション制御を行なうようにしたものである。

【００１７】

【発明の効果】

（１）請求項１の発明によれば、安価な方法で車両の
姿勢変化に起因した画像のブレによる先行車、障害物、
車線などの検出誤差を正確に補正することができる。通
常、車両制御側にはジャイロ、Ｇセンサー、舵角センサ
ーなどの多くの車両状態検出用センサーが設置されてお
り、新たにセンサーを追加する必要がなく、それらの検
出結果に基づいて精度の高い車両姿勢の推定が行なえ、
その結果として精度の高い補正が可能になる。また、画
像自体を補正する従来の方法に比べてコンピューターの
演算量が減少し、高価な高速ＣＰＵを用いる必要がな
い。（２）請求項２の発明によれば、車両姿勢に影響を及
ぼす操舵角、横Ｇ、ヨーレート、上下Ｇ、制駆動力指令
値を用いれば車両姿勢が変化するのを予測することも可
能であり、車両の姿勢変化に起因した画像のブレによる
誤差を正確に補正することができる。（３）請求項３の発明によれば、車両のピッチ角、ロ
ール角、バウンス量を推定することにより、精度の高い
補正が可能になる。（４）請求項４の発明によれば、車両制御側で補正を
行なう場合、画像を取得した時点における撮像姿勢を使
う。これは補正を行なう時点からみると過去のことであ
り、それによって、車両状態検出値を取得してから実際
に補正を行なうまでに時間があるので、処理を高速で行
なう必要がなく、車両状態検出値として画像を取得した
時点以降の値も使用できるので、位相遅れのないフィル
ターが設計可能であり、精度も確保しやすい。（５）請求項５の発明によれば、撮像時点の前後にお
ける車両状態の検出結果に基づいて車両姿勢を推定する
ので、車両姿勢を正確に推定でき、画像ブレによる誤差
をさらに正確に補正することができる。（６）請求項６の発明によれば、車両の姿勢変化があ
っても先行車との車間距離を一定に保つことができ、先
行車追従制御の信頼性を向上させることができる。（７）請求項７の発明によれば、車両の姿勢変化があ
っても車線内を正確に走行することができ、レーンキー
プ制御の信頼性を向上させることができる。（８）請求項８の発明によれば、ヨーレートおよび横
速度を所定の値に保ち、車両挙動制御の信頼性を向上さ
せることができる。（９）請求項９の発明によれば、サスペンション制御
の信頼性を向上させることができる。

【００１８】

【発明の実施の形態】

−発明の第１の実施の形態− 本発明の車両用画像処理装置を、車両が白線で区分され
た車線内を走行するように制御するレーンキープ装置に
応用した第１の実施の形態を説明する。なお、この実施
の形態ではカメラの姿勢変化としてピッチ変化と高さ変
化のみを考慮するものとする。

【００１９】図３は第１の実施の形態の構成を示す。車
両１にはカメラ２、画像処理コントローラー１０、デー
タ通信部２０、車両制御コントローラー３０、車速セン
サー、舵角センサー、横Ｇセンサー、ヨーレートセンサ
ー、上下センサーなどのセンサー類が設置される。画像
処理コントローラー１０、データ通信部２０および車両
制御コントローラー３０はそれぞれ、マイクロコンピュ
ータとその周辺部品から構成される。

【００２０】カメラ２は、車両前方を撮像して画像処理
コントローラー１０に映像信号を出力する。画像処理コ
ントローラー１０は、カメラ２からの映像信号を記憶す
る画像メモリ１１と画像を処理する画像処理部１２とを
備え、カメラ２で撮像された画像を処理して車線を検出
する。データ通信部２０はコントローラー１０と３０と
の間のデータの送受信を行なう。車両制御コントローラ
ー３０は、車線の検出結果に基づいて車両が車線内を走
行するようにスロットルアクチュエータ、ブレーキアク
チュエータおよび操舵アクチュエータを駆動制御する。

【００２１】次に、図４〜図６に示すフローチャートに
より、第１の実施の形態の動作を説明する。図４は画像
処理コントローラー１０の処理を示すフローチャートで
ある。画像処理コントローラー１０は、１００ｍｓごと
に車両制御コントローラー３０から送られる同期信号に
同期してこの処理を実行する。ステップ１において、カ
メラ２で撮像を行なって画像データを入力し、画像メモ
リ１１に記憶する。なお、画像データはカメラ２の撮像
素子の各画素ごとの輝度情報として記憶される。ステッ
プ２で、画像データの中で輝度がしきい値以上の点（ｘ
ｉ，ｙｉ）を白線候補点として抽出する。ステップ３で
は、抽出された点に対し個別に逆透視変換を行なって車
両固定座標系に投影する。なお、変換の際はカメラの姿
勢変化を一切考慮せず、道路に対する高さをＨo、ピッ
チ角をθo、ロール角を０に固定して得られた数式６を
使う。

【数１７】Ｘｉ＝−Ｈo（ｙｉsinθo−ｆcosθo）／
（ｙｉcosθo＋ｆsinθo），Ｙｉ＝−Ｈo・ｘｉ／（ｙｉcosθo＋ｆsinθo）

【００２２】ステップ４において、投影された各点（Ｘ
ｉ，Ｙｉ）が道路の左右どちら側の白線であるかを識別
し、道路幅補正を行ない、各点を道路中心線上に移動さ
せる。すなわち、道路幅をＷとすると、

【数１８】道路左側の点に対しては、Ｙｉ＝Ｙｉ−Ｗｉ／２，道路右側の点に対しては、Ｙｉ＝Ｙｉ＋Ｗｉ／２となる。続くステップ５で、これらの補正した点から、
道路中心線を最小二乗法を用いて２次曲線で同定する。

【数１９】Ｙ＝ａＸ²＋ｂＸ＋Ｃすなわち、２次曲線の各係数（ａ，ｂ，ｃ）は連立方程
式

【数２０】の解として求められる。ここで、数式２０では総和記号
を省略しており、例えばＸｉは、

【数２１】の略である。次にステップ６で、２次曲線の係数（ａ，
ｂ，ｃ）を車両制御コントローラー３０に送信する。送
信されたデータは車両制御コントローラー３０のバッフ
ァに一時的に保管される。

【００２３】図５、図６は、車両制御コントローラー３
０の処理を示すフローチャートである。車両制御コント
ローラー３０は、内蔵タイマカウンタの１０ｍｓのサン
プリングタイムごとにこの処理を実行する。ステップ１
１において、内蔵タイマカウンタのカウント値をインク
リメントする。ただし、カウント値が０になったらクリ
ヤーする。すなわち、

【数２２】次に、ステップ１２でカウント値が０、すなわち１００
ｍｓが経過したかどうかを確認し、１００ｍｓが経過し
たらステップ１３、１４の処理を行なう。つまり、ステ
ップ１３、１４の処理は１００ｍｓごとに行なわれる。
ステップ１３で、画像処理コントローラー１０へ１００
ｍｓごとの同期信号を送る。上述したように、画像処理
コントローラー１０はこの同期信号に同期して画像の入
力とその処理を行なう。続くステップ１４で、画像処理
コントローラー１０から入力した道路同定パラメーター
をバッファから読み出す。なお、この道路同定パラメー
ターは１００ｍｓ前に撮像した画像に基づいて計算され
た値である。

【００２４】ステップ１５において、ヨーレートおよび
横速度を推定するためのオブザーバーで使う観測量とし
て、車速センサーから車速Ｖ、ヨーレートセンサーから
ヨーレート（ｄψ／ｄｔ）をそれぞれ読み込み、さらに
舵角センサーから舵角δを読み込む。また、ピッチ角お
よびバウンス量を推定するためのオブザーバーで使う観
測量として、前軸および後軸中心に取り付けられた上下
Ｇセンサーの値ＺG1、ＺG2を読み込み、さらに制駆動力
指令値Ｆ^*を読み込む。ステップ１６では、２輪モデル
を使って設計されたオブザーバーから、車両のヨーレー
ト（ｄψc／ｄｔ）および横速度ＶYを推定する。

【数２３】ただし、この実施の形態の場合、車両挙動制御は行なっ
ていないので、ヨーモーメントは０である。さらに、Ａ
1、Ｂ1、Ｃ1は２輪モデルを状態方程式

【数２４】で記述した時の係数行列であり、Ｋ1はオブザーバーゲ
インである。

【００２５】ステップ１７において、バウンス＋ピッチ
モデルを使って設計されたオブザーバーから、車両のピ
ッチ角θcおよびバウンス量Ｚcを推定する。

【数２５】なお、ストローク速度は上下Ｇセンサーの検出値を疑似
積分（積分＋時定数Ｔのハイパスフィルタリング）する
ことにより求める。

【数２６】また、ｕ2は入力となる加減速力Ｆであり、加減速指令
値Ｆ^*からアクチュエータ特性を時定数ＴAの一次遅れで
近似して求める。

【数２７】さらに、Ａ2、Ｂ2、Ｃ2はバウンス＋ピッチモデルを状
態方程式

【数２８】で記述した時の係数行列であり、Ｋ2はオブザーバーゲ
インである。ステップ１８で、車速Ｖ、横速度ＶY、ヨ
ーレート（ｄψ／ｄｔ）、バウンス量Ｚc、ピッチ角θc
の今回値を保存する。なお、それぞれの値は２００ｍｓ
前の値まで保存する。

【００２６】次に、ステップ１９でカウント値が０、す
なわち１００ｍｓが経過したかどうかを確認し、１００
ｍｓが経過したらステップ２０〜２２の処理を行なう。
つまり、ステップ２０〜２２の処理は１００ｍｓごとに
行なわれる。ステップ２０で、上述したバウンス量およ
びピッチ角の推定値を、それぞれ６０ｍｓ前の値から１
５０ｍｓ前の値まで１０個読み出す。ステップ２１で
は、バウンス量およびピッチ角の推定値について、それ
ぞれ５０ｍｓ前の値から１５０ｍｓ前の値の平均を取
り、１１０ｍｓ間移動平均値の１００ｍｓ前の値とす
る。

【数２９】なお、この移動平均は１００ｍｓ前を中心に前後の値を
取って平均化する、いわゆる対象型のフィルターである
から、未来の値を使わないフィルターと異なり、むだ時
間は発生しない。ステップ２２で、車両姿勢からカメラ
姿勢の変化としてピッチ変化Δθおよび高さ変化ΔＨを
求める。

【数３０】Δθ＝θc， ΔＨ＝Ｚc−Ｌaθc ここで、Ｌaは重心点からカメラの取り付け位置までの
距離である。数式３０から明らかなように、カメラのピ
ッチ変化は車両のピッチ角に等しく、高さ変化はバウン
スとともに車両ピッチによるカメラ位置の沈み込みを考
慮して求める。

【００２７】ステップ２３において、画像処理コントロ
ーラー１０から読み込んだ道路同定パラメーターが何１
０ｍｓ前に入力した画像のものであるかを算出する。図
７に示すように、処理遅れ時間Ｔdは、カメラが画像を
取り込んでからその処理結果である道路同定パラメータ
ーを車両制御コントローラー３０が受け取るまでの画像
処理時間Ｔv（この実施の形態では１００ｍｓ）と、車
両制御コントローラー３０が道路同定パラメーターを受
け取ってから実際にその値を使用するまでの保持時間Ｔ
hとの和として算出する。

【数３１】Ｔd＝Ｔv＋Ｔh ［１０ｍｓ］続くステップ２４で、処理遅れ時間Ｔdと車速Ｖとに基
づいて注視点距離Ｌを求める。注視点距離Ｌは処理遅れ
時間Ｔdの間に車両が進んだ空想距離に等しい。

【数３２】ただし、Ｔsはサンプリング間隔で、この実施の形態で
は１０ｍｓである。

【００２８】ステップ２５で、カメラの姿勢変化による
誤差を除去するため、注視点距離を補正して疑似注視点
距離を求める。具体的には、数式１６をＸoについて解
いた式でＸo→Ｌ’、Ｘ→Ｌとおく。

【数３３】ここで、ΔθおよびΔＨは上述した画像取得時のカメラ
の姿勢変化量である。ステップ２６では、画像処理コン
トローラー１０で求めた道路同定パラメーターに基づい
て、疑似注視点における道路中心線の横位置ＹLおよび
方向ψLを求める。

【数３４】続くステップ２７で、道路中心線の横位置ＹL’および
方向ψL’に対して、カメラの姿勢変化による誤差を補
正し、横位置および方向の補正値ＹL、ψLを求める。

【数３５】

【００２９】ステップ２８において、処理遅れ時間Ｔd
の間の自車両の移動量として、横移動量ΔＹcおよびヨ
ー角変化量Δψcを求める。具体的な方法としては、横
速度ＶYおよびヨーレート（ｄψc／ｄｔ）をそれぞれ積
分して求める。

【数３６】ステップ２９では、自車移動量と注視点での道路中心線
の位置／方向の差として、現在の車両の対道路位置およ
びヨー角を算出する。

【数３７】Ｙc＝ΔＹc−ＹL， ψc＝Δψc−ψL さらにステップ３０で、車両が白線に沿って走行するよ
うに操舵角を制御する。すなわち、対道路位置およびヨ
ー角の目標値は０であり、制御則としてＰＩ制御を用い
れば、目標操舵角δ^*は、

【数３８】となる。ここで、Ｋiは各種ゲイン、ｓはラプラス演算
子を表わす。

【００３０】ステップ３１において、目標操作角δ^*に
なるように操舵アクチュエータ（不図示）の位置制御を
行なう。続くステップ３２では、車両が与えられた車速
Ｖ^*を維持するように目標加減速力をＰＩ制御則により
決定する。

【数３９】となる。ここで、Ｋiは各種ゲイン、ｓはラプラス演算
子を表わす。ステップ３３で、目標加減速力が正、すな
わち加速指令が出された時、スロットルを開ける。その
開度はギア比ｎおよびエンジン回転ＮEからエンジン特
性マップを使って求める。

【数４０】ステップ３４において、目標加減速力が負、すなわち減
速指令が出された時、ブレーキをかける。その液圧Ｐ^*
はブレーキパッドのμおよび面積、ローター径から決ま
る比例定数ｋBを使って求める。

【数４１】

【００３１】なお、第１の実施の形態では本発明をレー
ンキープ装置へ適用した場合を例に上げて、画像処理で
検出した車線位置に対してカメラ姿勢の変化分を補正す
る方法を示したが、本発明の適用はレーンキープ装置に
限定されず、例えば上述した車線逸脱警報装置など、車
線位置を精度よく求める必要のある装置に対して広く適
用できる。

【００３２】−発明の第２の実施の形態− 第１の実施の形態では、車両姿勢であるバウンス量およ
びピッチ角に対して移動平均をとったが、センサー値お
よびアクチュエータ制御量に対して直接、移動平均をと
るようにした第２の実施の形態を説明する。なお、この
第２の実施の形態の構成は図３に示す構成と同様であ
り、説明を省略する。また、画像処理コントローラー１
０の処理は図４に示す処理と同様であり、説明を省略す
る。

【００３３】図８は車両制御コントローラー３０の処理
を示すフローチャートである。なお、図５に示す処理と
同様な処理を行なうステップに対しては同一のステップ
番号を付して相違点を中心に説明する。また、ステップ
２３以降の処理は図６に示す処理と同様であり、説明を
省略する。この第２の実施の形態では、ステップ１３〜
１８Ａまでの処理をカウンタが０、すなわちこの実施の
形態では１００ｍｓごとに行なう。ステップ１５Ａにお
いて、上述したように各種センサーから検出値と入力状
態を読み込んだ後、それぞれについて５０ｍｓ前の値か
ら１５０ｍｓ前の値の平均をとり、１１０ｍｓ間移動平
均値の１００ｍｓ前の値とする。続くステップ１６Ａと
１７Ａでは、各種センサー値の１１０ｍｓ間移動平均値
を使って上述したように車両のヨーレート（ｄψc／ｄ
ｔ）、横速度ＶY、ピッチ角θc、バウンス量Ｚcなどの
状態量を推定する。これらの推定値はもちろん１００ｍ
ｓ前の値である。ステップ１８Ａで１００ｍｓ前の状態
量を保存する。ステップ２０Ａにおいて、先に保存した
１００ｍｓ前のバウンス量およびピッチ角を読み込む。

【００３４】−発明の第３の実施の形態− ヨーレートおよび横速度を所定値に保つ車両挙動制御を
行なう第３の実施の形態を説明する。なお、この第３の
実施の形態の構成は図３に示す構成と同様であり、説明
を省略する。さらに、画像処理コントローラー１０の処
理は図４に示す処理と同様であり、説明を省略する。

【００３５】図９、図１０は車両制御コントローラーの
処理を示すフローチャートである。なお、図５、図６に
示す処理と同様な処理を行なうステップに対しては同一
のステップ番号を付して相違点を中心に説明する。ステ
ップ１６Ｂにおいて、図５のステップ１６と同様に数式
２３により車両のヨーレート（ｄψc／ｄｔ）と横速度
ＶYを推定する。ただし、ヨーモーメントは０ではな
く、ブレーキ片がけトルクによるヨーモーメントにな
る。なお、車両挙動制御の場合は、ヨーモーメントはヨ
ーレートおよび横速度が目標値に一致するように調整さ
れる。

【数４２】ここで、各種ゲインＫiは図５のステップ３０の値とは
異なる値である。この第３の実施の形態では操舵角は自
動制御をせず、乗員の操作によって決まる値になる。し
たがって、図６のステップ３０と３１の処理を行なわな
い。ステップ３４Ｂにおいて、ブレーキトルクの制御を
行なう。ブレーキの制御は、第１の実施の形態の車速制
御と異なり、ヨーモーメント制御のために行なわれる。
ブレーキ制御量は望ましいヨーモーメントが得られるよ
うに左右個別に求める。

【数４３】

【００３６】−発明の第４の実施の形態− 先行車追従制御を行なう第４の実施の形態を説明する。
なお、この第３の実施の形態の構成は図３に示す構成と
同様であり、説明を省略する。

【００３７】図１１は画像処理コントローラー１０の処
理を示すフローチャートである。なお、図４に示す処理
と同様な処理を行なうステップに対しては同一のステッ
プ番号を付して相違点を中心に説明する。ステップ２Ｃ
において、取得した画像データから先行車を抽出し、そ
の位置（ｘｃ，ｙｃ）を求める。ステップ３Ｃでは、先
行車位置ｙｃを座標変換し、カメラ姿勢の変化を無視し
た疑似車間距離Ｌ’を求める。

【数４４】Ｌ’＝−Ｈo（ｙcsinθo−ｆcosθo）／（ｙ
ccosθo＋ｆsinθo）続くステップ６Ｃで、疑似車間距離Ｌ’を車両制御コン
トローラー３０へ送る。車両制御コントローラー３０
は、送られた疑似車間距離Ｌ’をバッファに一時的に保
管する。

【００３８】図１２、図１３は、車両制御コントローラ
ー３０の処理を示すフローチャートである。なお、図
５、図６に示す処理と同様な処理を行なうステップに対
しては同一のステップ番号を付して相違点を中心に説明
する。ステップ１４Ｃにおいて、画像処理コントローラ
ー１０から送られた疑似車間距離Ｌ’をバッファから読
み出す。ステップ２５Ｃでは、疑似車間距離Ｌ’に対し
てカメラ姿勢の変化分を補正し、車間距離Ｌを求める。

【数４５】ステップ３２Ｃでは、与えられた車間距離Ｌ^*を維持す
るように目標加減速力をＰＩ制御則により決定する。

【数４６】ここで、各種ゲインＫiは第１の実施の形態とは異なる
ものである。

【００３９】−発明の第５の実施の形態− 車両姿勢であるバウンス量、ピッチ角およびロール角を
制御するために、サスペンションの反力を能動的に変化
させる能動型サスペンション装置と組合せた第５の実施
の形態を説明する。なお、この第５の実施の形態の構成
は図３に示す構成と同様であり、説明を省略する。ま
た、画像処理コントローラーの処理は図４に示す処理と
同様であり、説明を省略する。

【００４０】図１４、図１５は車両制御コントローラー
３０の処理を示すフローチャートである。なお、図５、
図６に示す処理と同様な処理を行なうステップに対して
は同一のステップ番号を付して相違点を中心に説明す
る。ステップ１７Ｄにおいて、上述したように車両のピ
ッチ角とバウンス量を推定する。入力ｕ２は、加減速力
Ｆに代えて、車体の前輪および後輪位置に車体を持上げ
る力として作用する強制力ＦF、ＦRとなる。

【数４７】なお、この強制力は状態量のＦ／Ｂ制御によって決めら
れる。

【数４８】この第５の実施の形態では、操舵角、スロットル、ブレ
ーキの制御は行なわない代りに、上式で決められた強制
力ＦF、ＦRを発生させるべく前後のサスペンションを駆
動する。

【００４１】以上の実施の形態の構成において、カメラ
２が撮像手段を、画像処理コントローラー１０が画像処
理手段を、車速センサー、舵角センサー、横Ｇセンサ
ー、ヨーレートセンサー、上下Ｇセンサーなどが車両状
態検出手段を、車両制御コントローラー３０が車両姿勢
推定手段、撮像姿勢推定手段、補正手段および車両制御
手段をそれぞれ構成する。

【図面の簡単な説明】

【図１】車両にピッチングが発生する前と後における
撮像画像を示す図である。

【図２】車両固定座標系と画面座標系との関係を示す
図である。

【図３】第１の実施の形態の構成を示す図である。

【図４】第１の実施の形態の画像処理コントローラー
の処理を示すフローチャートである。

【図５】第１の実施の形態の車両制御コントローラー
の処理を示すフローチャートである。

【図６】図５に続く、第１の実施の形態の車両制御コ
ントローラーの処理を示すフローチャートである。

【図７】処理遅れ時間を説明する図である。

【図８】第２の実施の形態の車両制御コントローラー
の処理を示すフローチャートである。

【図９】第３の実施の形態の車両制御コントローラー
の処理を示すフローチャートである。

【図１０】図９に続く、第３の実施の形態の車両制御
コントローラーの処理を示すフローチャートである。

【図１１】第４の実施の形態の画像処理コントローラ
ーの処理を示すフローチャートである。

【図１２】第４の実施の形態の車両制御コントローラ
ーの処理を示すフローチャートである。

【図１３】図１２に続く、第４の実施の形態の車両制
御コントローラーの処理を示すフローチャートである。

【図１４】第５の実施の形態の車両制御コントローラ
ーの処理を示すフローチャートである。

【図１５】図１４に続く、第５の実施の形態の車両制
御コントローラーの処理を示すフローチャートである。

【符号の説明】

１車両２カメラ１０画像処理コントローラー１１画像メモリ１２画像処理部２０データ通信部３０車両制御コントローラー

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 ＣＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ // Ｂ６２Ｄ 101:00 113:00 137:00

Claims

【特許請求の範囲】

【請求項１】車両周辺を撮像する撮像手段と、前記撮像手段により撮像した画像を処理して先行車、障
害物、車線を検出する画像処理手段と、車両の状態を検出する車両状態検出手段と、前記車両状態検出手段による検出結果に基づいて車両姿
勢を推定する車両姿勢推定手段と、前記車両姿勢推定手段による推定結果に基づいて前記撮
像手段の位置変化および／または姿勢変化を推定する撮
像姿勢推定手段と、前記撮像姿勢推定手段による推定結果に応じて前記画像
処理手段による検出結果を補正する補正手段と、前記補正手段による補正結果に基づいて車両の走行制御
または走行監視を行なう車両制御手段とを備えることを
特徴とする車両用画像処理装置。
【請求項２】請求項１に記載の車両用画像処理装置に
おいて、前記車両状態検出手段は、車速、操舵角、横Ｇ、ヨーレ
ート、上下Ｇ、制駆動力指令値を検出することを特徴と
する車両用画像処理装置。
【請求項３】請求項１または請求項２に記載の車両用
画像処理装置において、前記車両姿勢推定手段は、車両姿勢としてピッチ角、ロ
ール角およびバウンス量を推定することを特徴とする車
両用画像処理装置。
【請求項４】請求項１〜３のいずれかの項に記載の車
両用画像処理装置において、前記車両姿勢推定手段は、前記撮像手段が画像を撮像し
た時点ｔ１の前後における車両姿勢を推定し、前記撮像姿勢推定手段は、前記時点ｔ１における前記撮
像手段の位置変化および／または姿勢変化を推定するこ
とを特徴とする車両用画像処理装置。
【請求項５】請求項１〜３のいずれかの項に記載の車
両用画像処理装置において、前記車両姿勢推定手段は、前記撮像手段が画像を撮像し
た時点ｔ１の前後における前記車両状態検出手段の検出
結果に基づいて前記時点ｔ１における車両姿勢を推定す
ることを特徴とする車両用画像処理装置。
【請求項６】請求項１〜５のいずれかの項に記載の車
両用画像処理装置において、前記車両制御手段は先行車との車間距離を一定に保つ先
行車追従制御を行なうことを特徴とする車両用画像処理
装置。
【請求項７】請求項１〜５のいずれかの項に記載の車
両用画像処理装置において、前記車両制御手段は車線内を走行するように制御するレ
ーンキープ制御を行なうことを特徴とする車両用画像処
理装置。
【請求項８】請求項１〜５のいずれかの項に記載の車
両用画像処理装置において、前記車両制御手段はヨーレートおよび横速度を所定の値
に保つ車両挙動制御を行なうことを特徴とする車両用画
像処理装置。
【請求項９】請求項１〜５のいずれかの項に記載の車
両用画像処理装置において、前記車両制御手段はサスペンション特性を変化させるサ
スペンション制御を行なうことを特徴とする車両用画像
処理装置。