JP2514405B2 - 自動走行装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、走行路を探索しながら車両の自動走行を行
なわせる自動走行装置に関する。

従来技術 従来、この種の自動走行装置にあっては、路面上に車
両の走行を案内するための専用のガイドラインを予め設
けておき、車両前方の路面を撮像できるように車両に搭
載したビデオカメラによりガイドラインを追跡しなが
ら、そのガイドラインに沿って車両を走行させるような
車両の操舵制御を行なわせるようにしている（特公昭58
−42482号公報および特開昭62−140109号公報参照）。

しかしこのような従来の自動走行装置では、ガイドラ
インが設けられていない路面上で車両の走行を誘導する
ことができないものとなっている。

また従来では、例えば芝刈作業車にあって、車両に搭
載したビデオカメラにより車両の進行方向の領域を撮像
しながら、作業地と未作業地とのあいだにおける明度差
を強調して連続したエッジ情報を得るべく撮像された画
像の画像処理を適宜なすことにより作業地と未作業地と
の境界を検出し、その検出された境界に沿って走行する
ように車両の操舵制御を行なわせるようにしている（特
開昭62−70916号公報参照）。

しかしこのような自動走行装置では、前述のものとは
異なり、自ら走行のガイドラインを探索しながらそのラ
インに沿って走行する機能をもってはいるが、本質的に
は前述のものと同じく、車両の走行誘導を単純に１本の
ガイドラインに沿って行なわせるだけのものでしかない
ものとなっている。

目的 本発明は以上の点を考慮してなされたもので、撮像装
置により車両前方を撮像することにより道路を探索しな
がら、その探索された道路上を走行するように車両の走
行制御を行なわせるようにするとともに、車両が交差
点，直線道路，つづらおり道路などにさしかかったとき
に、撮像装置を広角，望遠に適宜切り換えて、車両前方
の道路の撮像を道路状況に応じて適切に行なわせること
ができるようにした自動走行装置を提供するものであ
る。

構成 本発明による自動走行装置は、その目的達成のため、
車両に取り付けられた撮像装置により前方を撮像するこ
とによって得られる画像の画像処理によって車両前方の
道路を認識する手段と、その認識された道路上を走行す
るように車両の走行制御を行なわせる手段と、走行予定
経路上における交差点，直線道路，つづらおり道路を指
示する情報を設定する手段と、車両が走行予定経路上に
おける交差点，つづらおり道路または直線道路にさしか
かったことを検知して前記情報を出力する手段と、その
出力された情報に応じて前記撮像装置の撮像特性を、交
差点またはつづらおり道路では広角に、直線道路では望
遠になるように適宜切り換える手段をとるようにしてい
る。

以下、添付図面を参照して本発明の一実施例について
記述する。

第１図は本発明による自動走行装置の基本的な構成を
示すもので、車両の進行方向の領域を撮像することがで
きるように車両に取り付けられたビデオカメラ１と、そ
のビデオカメラ１によって撮像された画像を画像処理す
ることによって、車両の進行方向における例えば道路な
どの走行可能領域を認識する走行可能領域認識部２と、
その走行可能領域認識部２によって認識された走行可能
領域内に車両走行の目標経路を設定する目標経路設定部
３と、車両の走行速度ｖを検出する車速センサ5,車両の
走行にともなうヨーレート（ヨ一方向変化の角速度）Υ
を検出するヨーレートセンサ６および車両の操舵による
タイヤ角度δを検出するタイヤ角センセ７の各センサ出
力に応じてそのときの車両の走行状態を認識して、その
認識された車両の走行状態にもとづいて車両が目標経路
上を走行するのに必要な制御目標量を所定の演算処理に
よって求める制御部４と、その求められた制御目標量に
したがって車両の操舵を行なわせるステアリング制御部
８およびステアリング駆動部９とによって構成されてい
る。実際には、走行可能領域認識部2,目標経路設定部３
および制御部４はコンピュータ制御装置によって置き換
えられる。また、そのコンピュータ制御装置内にステア
リング制御部８を含めることも可能である。

第２図に、走行可能領域認識部２の具体的な構成例を
示している。

ここでは、CPU211またはCPU212の制御下において、ビ
デオカメラ１から順次送られてくる各１画像分の入力画
像が、画像入力部22を通していったんバッファメモリ23
1または232に交互に蓄積される。しかるのち、そのバッ
ファメモリ231または232に蓄積された各１画像分の入力
画像が逐次読み出されて、画像処理部24において、後述
するような例えば道路エッジを抽出して車両の走行可能
領域を認識するための画像処理が行なわれる。次いで、
その画像処理によって認識された走行可能領域の画像情
報が、複数のメモリ251〜253が設けられた画像メモリ群
25または複数のメモリ261〜263が設けられた画像メモリ
群26における各メモリ部分に順次更新させながら格納さ
れていき、画像メモ群25または画像メモリ群26に車両の
一定距離走行にともなう連続した走行可能領域の画像情
報が蓄積されるようになっている。なお、その画像メモ
リ群25または画像メモリ群26に蓄積された走行可能領域
の画像情報が読み出されて目標経路設定部３に与えれる
ことになる。

ここで、２つのCPU211,212および２つのバッファメモ
リ231,232をそれぞれ並列的に設けることにより、例え
ば一方のCPU211の制御下でバッファメモリ231から先に
蓄積された入力画像の読み出しを行なっている間に、他
方のCPU212の制御下でバッファメモリ232に次の入力画
像の蓄積を行なわせて、入力画像の入力処理をリアルタ
イムで行なわせることができるようにしている。

また同様に、２つの画像メモリ群25,26を並列的に設
けることにより、各画像メモリ群25,26において交互に
なされる画像情報の書込みまたは読出しの処理をリアル
タイムで行なわせることができるようにしている。

第２図中、27は各メモリセレクト部、28は各デコード
部をそれぞれ示している。また、Ｓ−BUSはシステムバ
スを、Ｄ−BUSは高速データバスを、Ｍ−BUSは高速メモ
リアクセスバスをそれぞれ示している。

このように構成されたものにあって、走行可能領域認
識部２における車両の走行可能領域の認識は、以下のよ
うにして行なわれる。

まず、車両前方の路面を撮像するビデオカメラ１から
送られてくる入力画像を微分処理することによって画像
のエッジ検出の処理を行なわせたうえで、走行可能領域
認識部２内に設けられた一般的な自動しきい値設定回路
により、そのときの入力画像の濃淡の程度に応じた最適
しきい値を自動的に設定して、そのエッジ画像の２値化
を行なわせる。

なおその際、入力画像の２値化を先に行なわせたうえ
で、エッジ検出のための微分処理を行なわせるようにし
てもよい。また、２値化を行なわせる代わりに、画像の
濃淡を表現した多値化を行なわせるようにしてもよい。

次いで、そのエッジ検出され、２値化または多値化さ
れた処理画像にもとづいて、Ｘ−Ｙ座標上の線分をρ−
θ座標上の点であらわす座標変換を行なわせる公知手法
であるHough変換処理を行なわせることにより、連続性
のある点列を結合したり、連続性のない独立した点を除
去したりして、例えば第３図に示すような連続した道路
エッジの情報を得る。

ここで、θはＸ−Ｙ座標上の直線からその座標の原点
におろした垂線の角度であり、またρはその垂線の長さ
である。例えば、第12図に示すＸ−Ｙ座標上の線分Ｌ
は、第13図に示すようにρ−θ座標上におけるO1として
あらわされる。

なおその際、２値化された処理画像にもとづいて、エ
ッジ追跡の処理を行なわせて連続性をもった画像のエッ
ジ部分をわり出すようにしてもよい。また、画像エッジ
の連続性を求めるためのHough変換処理およびエッジ追
跡処理などの複数の処理を並列的に行なわせ、それら各
処理結果から総合的に判断するようにすれば、より精度
の高い道路エッジの情報を求めることができるようにな
る。さらに、車両の走行にともなって入力画像の領域成
長を行ないながら前述の連続性ある画像エッジの抽出の
ための処理を行えば、より精度の高い道路エッジの情報
の抽出を行なうことができるようになる。

最終的に、ビデオカメラ１によって撮像される画像が
遠近投影によるものであるため、第３図に示すような遠
近投影による道路エッジの画像を第４図に示すような遠
近投影の影響をなくした道路エッジの画像に変換する公
知手段である射影変換処理を行なわせ、その連続した道
路エッジ間を車両の走行可能領域として認識する。

なおその射影変換特性は、ビデオカメラ１の遠近投影
の特性にしたがって、予め走行可能領域認識部２に設定
されている。

次に、走行可能領域認識部２において車両の進行方向
の走行可能領域となる道路が認識されると、目標経路設
定部３において、その認識された道路内における車両の
最適な走行経路となる目標経路が設定される。

その目標経路は、後述するように、道路形状および車
速をも考慮したうえで、そのときの車両の走行状況に適
するように設定されるのが望ましいが、基本的には、認
識された道路が狭いかまたは広いかによって以下のよう
にして一律に設定される。

すなわち、目標経路設定部３において、道路幅が一定
以上の広軌であると判断された場合には、例えば第５図
に示すように、左通行道路の場合、道路の左端で道路の
基準エッジから例えば1.5m程度の所定の隔離幅ｗをもっ
てその基準エッジに沿う目標例路OCを設定する。

また、目標経路設定部３において、道路幅が一定未満
の狭軌であると判断された場合には、特に図示しない
が、その道路の中央に目標経路を設定する。

そして、その設定された目標経路のＸ−Ｙ座標上の位
置が、目標経路設定部３の内部メモリに、車両の走行が
進むにしたがって逐次更新されながら記憶される。その
際、Ｘ−Ｙ座標上の尺度は、ビデオカメラ１の倍率によ
って決定される。

なお、第５図において、Ｐ点は車両の現在位置を示す
もので、例えばビデオカメラ１による撮像面の中央下端
がＰ点となるように、予めそのビデオカメラ１の車両に
おける搭載位置が設定されている。図中、Ｐ点からＯ点
に至るまでの軌跡は、後述するように、制御部４の制御
下において車両の操舵制御がなされることにより、Ｐ点
にいる車両が目標経路OCに合流するまでの走行経路を示
している。Ｏ点は、そのときの車輌の目標経路OCへの合
流位置となる。

また本発明では、車両の走行状態を検出して、その検
出された走行状態にしたがい、以下のように道路におけ
る最適な車両の目標経路を設定するようにすることも可
能である。

すなわち、目標経路設定部３において、例えば、車速
センサ５によって検出される車両の走行速度を読み込ん
で、そのときの車速が予め設定されたしきい値以下の低
速域内にあれば、第６図（ａ）に示すように、道路の形
状に沿うように目標経路OCを設定する。

同様に、そのときの車速が予め設定されたしきい値を
越える高速域内にあれば、第６図（ｂ）に示すように、
曲りくねった道路を走行する場合、車両に作用する横方
向の加速度ができるだけ軽減されるような緩い曲率をも
った目標経路OCを道路内に設定する。

次に、道路上における目標経路が設定されたら、制御
部４において、車両をその目標経路に合流させるための
制御目標量が、以下のように演算処理によって求められ
る。

いま、例えば第７図に示すように、Ｐ点にある車両13
を目標経路OCに合流させる場合を考えてみる。

まず、車速センサ５によって検出された車両の現在車
速ｖ（m/s）にもとづいて、Ｐ点にある車両のＴ秒後に
おけるＸ軸上の距離Ｌ（ｍ）（Ｌ＝ｖ×Ｔ）が求めら
れ、そのＸ軸上におけるＰ点から距離Ｌだけ離れたＣ点
と目標経路OCとの間の偏差yl、すなわちＴ秒後における
目標経路OC上の位置に比例した値がわり出される。

同様に、ヨーレートセンサ６によって検出される車両
のヨーレートΥ（rad/s）にもとづいて車両の予測経路A
Cがわり出され、Ｘ軸上のＣ点からの予測経路ACの偏差y
m、すなわちＴ秒後における予測経路AC上の位置に比例
した値が下記式にしたがって求められる。

ym＝（−ｖ×T²/2）×Υ …（１） なお、ヨーレートΥの符号としては、例えば予測経路
ACが左曲りのときを正とする。

そして、各求められた偏差ylとymとの差に応じて車両
の修正すべきヨーレートΥ′が下記式にしたがって求め
られる。

Υ′＝（ym−yl）×2/（ｖ×T²） …（２） 最終的に、タイヤ角センサ７によって検出されたＰ点
における車両のタイヤ角度δがとり込まれ、下記式にし
たがって車両を目標経路OCに合流させるためのタイヤ角
度の制御目標量δ′が決定される。

δ′＝δ＋（Υ′/v）×Ｗ・（１＋Kv²） …（３） ここで、Ｗはホイールベースであり、Ｋはタイヤ特性
やホイールベースなどの車両特性によって決まる一定の
係数である。

そして、ステアリング制御部８は、制御部４から与え
られる制御目標量δ′に応じてステアリング駆動部９に
駆動指令を出し、それによりステアリング駆動部９がス
テアリングの駆動を適宜なして車両を目標経路OCへ合流
させるような操舵を行なう。

なお、第７図の関係にあって、Ｘ軸上の距離Ｌ（目標
合流距離）を設定する場合、制御部４の制御下におい
て、車速センサ５によって検出される車両の走行速度ｖ
に応じてその設定距離Ｌを可変にすることができる。す
なわち、走行速度ｖが低速であるほどその距離Ｌを短く
設定し、Ｐ点にいる車両が目標経路OCに合流するまでの
走行経路が短くなるようにして、車両の目標経路OCへの
合流を速やかに行なわせる。また、走行速度ｖが高速で
あるほどその距離Ｌを長く設定し、Ｐ点にいる車両が目
標経路OCに合流するまでの走行経路が長くなるようにし
て、車両の目標経路OCへの合流を緩やかに行なわせる。

さらに、曲がりくねった道路を走行する場合、その曲
率が小さいほど距離Ｌを短く設定して、車両の目標経路
OCへの合流を速やかに行なわせるようにすることも可能
である。

また、目標経路OCに車両を合流させる際のＰ点からＯ
点に至るまでの走行経路の曲線モデルを用いて、目標合
流距離Ｌおよび車速ｖに応じて制御部４において求めら
れる経路曲率にしたがって所定の曲線のパターンによる
走行経路を近似的な解析によってわり出し、そのわり出
された走行経路のパターンをもって目標経路OCへの合流
をスムーズに行なわせるようにすることも可能である なお、走行経路の曲線モデルとしては、例えば関数ｙ
＝ｘ−sinxまでは関数ｙ＝x³などが用いられる。

第８図に、関数ｙ＝ｘ−sinxによる走行経路の曲線モ
デルを用いたときの走行経路のパターンを示している。

以上の処理が予め設定された数秒オーダの所定時間ご
とにくり返し行なわれ、それにより車両を目標経路OC上
に沿って自動的に走行させることができるようになる。

このように本発明による自動走行装置では、撮像装置
により車両前方の路面を撮像した画像にもとづいて道路
エッジを認識することにより自ら走行可能領域を探索し
ながら、その走行可能領域内に適切な目標経路を設定
し、そのときの車両の走行状態にしたがって車両をその
目標経路に合流させるための最適な制御目標量を求め
て、その制御目標量に応じて車両の走行制御を精度良く
行なわせることができるものとなっている。

その際、車両の走行可能領域内に目標経路を設定した
うえで、車両をその目標経路に合流させるための走行経
路をわり出すという２段階の経路成成過程をとるように
しているため、車両の自動走行を精度良く行なわせるこ
とができる。

以上のように構成された自動走行装置にあって、特に
本発明では、ビデオカメラ１として、望遠カメラ11およ
び広角カメラ12を併設して、別途設けられたナビゲーシ
ョンシステム（第９図参照）から与えられる交差点，直
線道路，つづらおり道路を指示する情報RDに応じて、走
行可能領域認識部２の制御下で望遠カメラ11および広角
カメラ12の切り換えを選択的に行なわせることができる
ようにしたことを特徴としている。

そのナビゲーションシステムは、後述するように、車
両の走行距離と進行方向の変化を検出しながらＸ−Ｙ座
標上の位置を演算処理によって逐次求めながら、予め道
路地図が写し出された画面上に車両の現在位置を表示さ
せるようにしたものである。そして、そのナビゲーショ
ンシステムは、予め画面に写し出された道路地図上に走
行予定経路を設定して、その走行予定経路上における交
差点，直線道路，つづらおり道路などを指示する情報RD
を予め入力させることができるようになっており、画面
の道路地図上に表示される車両の現在位置から車両がそ
の指示された交差点などにさしかかったことが検知され
ると、所定の情報RDが出力されるようになっている。

なおその際、地図上における出発点と目的地点とを入
力指定すれば、あとはナビゲーションシステムにおける
コンピュータ処理によって出発点から目標地点までに至
る例えば最短の走行予定経路を自動的に設定させるよう
にすることもできる。

しかして走行可能領域認識部２は、例えば、ナビゲー
ションシステムから交差点を指示する情報RDを受ける
と、それに応じて広角カメラ12に切り換えて、その指示
された交差点の探索を広範囲に行なう。また、走行可能
領域認識部２が直線道路を指示する情報RDを受けたとき
には、望遠カメラ11に切り換えて、先方を見通した直線
道路の撮像を最適に行なわせる。さらに、走行可能領域
認識部２がつづらおり道路を指示する情報RDを受けたと
きには、広角カメラ12に切り換えて、曲りくねった道路
の撮像を最適に行なわせる。

なお、望遠カメラ11にズーム機能をもたせ、例えば直
線道路における直線の長さの程度にしたがった適宜ズー
ム機能を働かせるようにすることが可能である。

第９図はナビゲーションシステムの構成例を示すもの
で、例えば車両のタイヤの回転に応じて単位走行距離ご
とのパルス信号を出力する光電式，電磁式または機械接
点式などによる距離センサ91と、例えば車両の走行にと
もなうヨー方向の角速度の変化量に比例した信号を出力
するジャイロスコープなどからなるヨーレートセンサ92
と、距離センサ91からのパルス信号数をカウントして車
両の走行距離を計測するとともに、ヨーレートセンサ92
の出力信号にしたがって車両の進行方向の変化を求め
て、車両の単位走行距離ごとにおけるＸ−Ｙ座標上の位
置を逐次演算によって求め、かつシステム全体の集中制
御を行なわせるCPU,プムグラム用ROMおよび制御用RAMな
どからなる信号処理装置（コンピュータ制御装置）93
と、その信号処理装置93によって求められた刻々変化す
るＸ−Ｙ座標上の位置のデータを順次格納し、車両の現
在位置に対応する有限の連続位置情報としてそれを保持
する走行軌跡記憶装置94と、予めデジタル化された地図
情報がファイル単位で複数格納されている地図情報記憶
媒体95と、その記憶媒体95から必要な地図情報を選択的
に読み出す記憶媒体再生装置96と、その読み出された地
図情報に応じて地図画像を画面に表示させるとともに走
行軌跡記憶装置94に格納された位置データにもとづいて
車両の現在位置，それまでの走行軌跡および現在の進行
方向などを同一画面に刻々更新表示させる表示装置97
と、信号処理装置93へ動作指令を与えるとともに、表示
装置97に表示させる地図の選択指定およびその表示され
た地図上における車両の出発点の設定を行なわせ、また
表示される地図上に走行予定経路を設定するとともに、
その走行予定経路上における交差点，直線道路，つづら
おり道路を指示する情報RDを予め入力させることできる
操作装置98とによって構成されている。

このように構成されたものでは、第10図に示すよう
に、選択的に読み出された地図が表示装置97の画面に映
し出されるとともに、その地図上において設定された出
発点からの車両の走行にしたがって信号処理装置93によ
り予め設定された地図の縮尺率に応じてＸ−Ｙ座標上に
車両の現在位置を示す表示マークM1,その現在位置にお
ける車両の進行方向を示す表示マークM2および出発点Ｓ
から現在位置に至るまでの走行軌跡表示マークM3が車両
の走行状態に追従して模擬的に表示される。

また操作装置98の入力操作によって、画面に映し出さ
れた地図上に走行予定経路を設定する際、例えば第11図
に示すように、地図上の走行予定経路における主要な交
差点や分岐点に目標点a,b,c,…を設定するとともに、そ
の各目標点で右，左折などの指示を与えることができる
ようにしている。

そして、信号処理装置93は、例えば車両の現在位置の
表示マークM1が目標点ａの一定の距離手前の位置Ｄにさ
しかかったときに、「前方にＹ字路を右方に進め」など
のナビゲーション情報を、例えば音声発生装置（図示せ
ず）を通して運転者に発するとともに、交差点としての
Ｙ字路を指示する情報RDを走行可能領域認識２に与え
る。

また、前述したように、操作装置98の入力操作によ
り、走行予定経路上における交差点などを指定して、そ
の指定された交差点などの指定情報RDを入力するような
ことなく、地図情報記憶媒体95に予め地図情報とともに
その地図上における交差点などの位置およびその指定情
報RDを登録しておき、信号処理装置93の制御下におい
て、画面に表示された地図上における所定の交差点など
に車両の現在位置の表示マークがきたときに、その位置
に応じて予め登録されている指示情報RDを走行可能領域
認識部２に与えるようにしてもよい。

なお、ナビゲーションシステムにおいて、距離センサ
91を特に設けることなく、第１図に示す自動走行装置に
おける車速センサ５の出力にもとづいて車両の走行距離
を求めるようにすることができる。またヨーレートセン
サ92を別途設けることなく、第１図に示す自動走行装置
におけるヨーレートセンサ６を併用することが可能であ
る。

効果 以上、本発明による自動走行装置にあっては、撮像装
置により車両の進行方向の領域を撮像した画像にもとづ
いて自ら走行するべき道路そのものを探索することがで
き、その際特に、車両が走行予定経路上の交差点，直線
道路，つづらおり道路などにさしかかったときに、撮像
装置の広角，望遠を適宜切り換えて交差点，直線道路，
つづらおり道路などの撮像を行なわせることにより、道
路状況に応じた道路の撮像を最適になして、その撮像さ
れた画像から交差点，直線道路，つづらおり道路などの
認識を適切に行なわせることができるという優れた利点
を有している。

【図面の簡単な説明】

第１図は本発明による自動走行装置の一実施例を示すブ
ロック構成図、第２図は同実施例における走行可能領域
認識部の具体的な構成例を示すブロック図、第３図はビ
デオカメラにより撮像された画像のなかから認識された
道路の一例を示す図、第４図は第３図の画像を射影変換
処理したときの画像を示す図、第５図は道路上に設定さ
れた目標経路の一例を示す図、第６図（ａ），（ｂ）は
車両の低速時および高速時に道路上に設定される各目標
経路をそれぞれ示す図、第７図は目標経路と車両の予測
経路との関係を示す図、第８図は目標経路に合流すると
きの車両の走行経路の一例を示す図、第９図はナビゲー
ションシステムの一構成例を示すブロック図、第10図は
ナビゲーションシステムにおける表示画面の一例を示す
図、第11図はナビゲーションシステムにおける走行予定
経路上へのナビゲーション情報の入力状態を示す図、第
12図はＸ−Ｙ座標上の線分を示す図、第13図は第12図の
線分をHough変換したときのρ−θ座標上の点を示す図
である。 １……ビデオカメラ、２……走行可能領域認識部、３…
…目標経路設定部、４……制御部、５……車速センサ、
６……ヨーレートセンサ、７……タイヤ角センサ、８…
…ステアリング制御部、９……ステアリング駆動部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両に取り付けられた撮像装置により前方
   を撮像することによって得られる画像の画像処理によっ
   て車両前方の道路を認識する手段と、その認識された道
   路上を走行するように車両の走行制御を行わせる手段
   と、走行予定経路上における交差点、つづらおり道路ま
   たは直線道路の各指示情報を設定する手段と、車両が走
   行予定経路上における交差点、つづらおり道路または直
   線道路にさしかかったことを検知して所定の指示情報を
   出力する手段と、その出力された指示情報に応じて前記
   撮像装置の撮像特性を、交差点またはつづらおり道路で
   は広角に、直線道路では望遠になるように、適宜切り換
   える手段とによって構成された自動走行装置。