JPH09106500A - 車輌の運転支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 狭路走行に際し、障害物と自車輌との接触可
能性を迅速且つ円滑に運転者に伝達し、運転者の負担を
軽減して安全を確保する。 【解決手段】 ステレオ光学系１０によって撮像したス
テレオ画像対から画像全体に渡る３次元の距離分布を距
離画像生成装置２０で算出すると、画像処理装置４０
で、距離分布情報に基づいて道路上の立体物の３次元位
置を検出し、さらに、検出した前方の側壁や立体物の縁
と自車輌１側部の延長線との相対位置関係に基づいて自
車輌１が現在の操舵状態のまま進行した場合の接触可能
性を判断し、その判断結果に応じた表示信号を車輌前部
の左右フェンダ上端に配設される表示装置５０に出力す
る。これにより、狭路を通過する際、前方に視線を据え
た状態から最小限の視線変化で安全を確認することがで
き、運転者の負担を軽減して接触事故等を未然に回避す
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、狭路通過時の運転
者の負担を軽減し、安全を確保する車輌の運転支援装置
に関する。

【０００２】

【従来の技術】従来、自動車等の車輌においては、塀、
ガードレール、電柱、駐車車輌等が多数存在する狭路を
通過する際の運転者の感覚を補うものとして、例えば、
コーナーポールや、棒状の部材が障害物に触れるとスイ
ッチがオンする接触式スイッチからなる触覚センサ等を
車体に取り付ける場合があり、これにより、車幅や左右
障害物との間の隙間を確認することができる。

【０００３】また、最近では、車輌の側面や四隅に超音
波センサを取り付け、超音波を発射して障害物からの反
射波を受信することにより距離を計測し、計測した距離
を運転者に知らせて狭路を通過する際の負担を軽減しよ
うとする技術や、先に本出願人によって提出された特開
平７−１９２１９９号公報に開示されているように、車
輌に搭載したＣＣＤカメラ等からなるステレオ撮像系に
よって得られるステレオ画像対を処理して周囲の障害物
を認識し、狭路走行における自車輌と障害物との隙間距
離に係わる情報を運転者に知らせることにより、運転者
の負担を軽減して安全を確保する技術が開発されてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、従来、
周囲の障害物と自車輌側部との間隔や障害物に接触しそ
うか否かの情報を運転者に知らせる場合には、この情報
の表示装置をインストルメントパネル内に設けるのが一
般的であり、運転者は進行方向とインストルメントパネ
ル内とに交互に視線を移さなければならず、情報の伝達
という点で円滑さに欠ける傾向があった。

【０００５】本発明は上記事情に鑑みてなされたもの
で、狭路走行に際し、障害物と自車輌との接触可能性を
迅速且つ円滑に運転者に伝達することができ、運転者の
負担を軽減して安全を確保することのできる車輌の運転
支援装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
図１の基本構成図に示すように、自車輌の走行方向に存
在する物体を検出し、検出した物体の位置情報を算出す
る物体検出手段と、上記物体検出手段で検出した物体の
位置情報に基づいて自車輌と検出した物体との接触可能
性を判断し、判断結果に応じた表示信号を出力する接触
表示制御手段と、上記接触表示制御手段からの表示信号
によって接触可能性の判断結果を表示し、車輌のインス
トルメントパネル外の位置で運転時における運転者の視
線変化を最小限に抑えて視認可能な位置に配設される表
示手段とを備えることを特徴とする。

【０００７】請求項２記載の発明は、請求項１記載の発
明において、上記表示手段は、車輌前部フェンダ上ある
いはボンネット上に配設されることを特徴とする。

【０００８】請求項３記載の発明は、請求項１記載の発
明において、上記表示手段は、サイドミラー近傍に配設
されることを特徴とする。

【０００９】請求項４記載の発明は、請求項１記載の発
明において、上記表示手段は、車室内インストルメント
パネルの上側に配設されることを特徴とする。

【００１０】請求項５記載の発明は、請求項１〜４のい
ずれか一に記載の発明において、上記表示手段は、発光
物の色によって接触可能性の判断結果を表示することを
特徴とする。

【００１１】請求項６記載の発明は、請求項１〜４のい
ずれか一に記載の発明において、上記表示手段は、発光
物の明るさによって接触可能性の判断結果を表示するこ
とを特徴とする。

【００１２】請求項７記載の発明は、請求項１記載の発
明において、上記接触表示制御手段は、自車輌側部の走
行軌跡を直進状態での自車輌側部の延長線によって近似
し、この自車輌側部の延長線と検出した物体の自車輌側
の縁との相対位置関係に基づいて接触可能性を判断する
ことを特徴とする。

【００１３】請求項８記載の発明は、請求項１記載の発
明において、上記物体検出手段は、車外の対象を異なる
視点から撮像したステレオ画像対を処理して画像全体に
渡る三次元の距離分布を算出し、この三次元の距離分布
に基づいて、自車輌周辺に存在する物体を検出するとと
もに、検出した物体の位置情報を算出することを特徴と
する。

【００１４】すなわち、請求項１記載の発明では、自車
輌の走行方向に存在する物体を検出した後、検出した物
体の位置情報に基づいて自車輌と検出した物体との接触
可能性を判断し、その接触可能性の判断結果を、車輌の
インストルメントパネル外に配設された表示手段に運転
時における運転者の視線変化を最小限に抑えて視認可能
に表示する。

【００１５】この場合、請求項２の発明では、車輌前部
フェンダ上あるいはボンネット上に表示手段を配設して
自車輌の走行方向に存在する物体と自車輌との接触可能
性の判断結果を表示し、請求項３記載の発明では、サイ
ドミラー近傍に表示手段を配設して自車輌の走行方向に
存在する物体と自車輌との接触可能性の判断結果を表示
し、請求項４記載の発明では、車室内インストルメント
パネルの上側に表示手段を配設して自車輌の走行方向に
存在する物体と自車輌との接触可能性の判断結果を表示
する。そして、請求項５記載の発明では発光物の色によ
って接触可能性の判断結果を表示し、請求項６記載の発
明では発光物の明るさによって接触可能性の判断結果を
表示する。

【００１６】また、請求項７の発明では、自車輌側部の
走行軌跡を直進状態での自車輌側部の延長線によって近
似し、この自車輌側部の延長線と、走行方向に存在する
物体の自車輌側の縁との相対位置関係に基づいて、物体
と自車輌との接触可能性を判断する。さらに、請求項８
記載の発明では、自車輌の走行方向に存在する物体の検
出及び位置情報の算出を、車外の対象を異なる視点から
撮像したステレオ画像対を処理して算出した画像全体に
渡る三次元の距離分布に基づいて行う。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図２〜図３０は本発明の実施の第
１の形態に係り、図２は運転支援装置の全体構成図、図
３は表示装置の配置を示す車輌の上面図、図４は表示装
置の構成を示す説明図、図５は運転支援装置の回路ブロ
ック図、図６は車載のＣＣＤカメラで撮像した画像の例
を示す説明図、図７は距離画像の例を示す説明図、図８
は距離画像処理用コンピュータの機能ブロック図、図９
は画像の区分方法を示す説明図、図１０は検出物体とヒ
ストグラムの関係を示す説明図、図１１は物体の存在領
域の検出結果と検出距離の例を示す説明図、図１２は物
体検出用の３次元ウインドウの形状を示す説明図、図１
３は物体検出用の２次元ウインドウの形状を示す説明
図、図１４は物体の輪郭を構成するデータの例を示す説
明図、図１５は物体の輪郭像と検出された外形寸法の例
を示す説明図、図１６は側壁検出における探索領域の形
状を示す説明図、図１７は画像上の側壁探索領域を示す
説明図、図１８は立体物データの分布状況を示す説明
図、図１９はハフ変換での直線の想定を示す説明図、図
２０はパラメータ空間の投票領域を示す説明図、図２１
は側壁候補領域を示す説明図、図２２はヒストグラムと
側壁の存在範囲の関係を示す説明図、図２３は側壁の検
出結果を示す説明図、図２４は接触危険度判定線を示す
説明図、図２５はイメージプロセッサの動作を示すフロ
ーチャート、図２６及び図２７は距離画像処理用コンピ
ュータにおける物体検出処理のフローチャート、図２８
及び図２９は距離画像処理用コンピュータにおける側壁
検出処理のフローチャート、図３０は距離画像処理用コ
ンピュータにおける接触判断処理のフローチャートであ
る。

【００１８】図２において、符号１は自動車等の車輌で
あり、この車輌１に、塀、ガードレール、電柱、駐車車
輌等の障害物が存在する狭路を通過する際の障害物との
接触可能性を判断し、その判断結果を表示することによ
り、運転者の負担を軽減して安全を確保する運転支援装
置２が搭載されている。

【００１９】上記運転支援装置２には、自車輌１の走行
方向に存在する物体を検出し、検出した物体の位置情報
を算出する物体検出手段の機能を実現する構成要件とし
て、ステレオ光学系１０、距離画像生成装置２０、画像
処理装置４０が備えられるとともに、検出した物体の位
置情報に基づいて自車輌１と検出した物体との接触可能
性を判断し、判断結果に応じた表示信号を出力する接触
表示制御手段の機能を実現する構成要件として上記画像
処理装置４０が備えられており、さらに、表示手段とし
て車輌前部の左右フェンダ上端に配設される表示装置５
０が備えられている。

【００２０】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣ
Ｄカメラからなり、図３に示すように、左右のＣＣＤカ
メラ１１ａ，１１ｂが、それぞれ車室内の天井前方に一
定の間隔をもって取り付けられ、車外の対象を異なる視
点からステレオ撮像するようになっている。

【００２１】上記距離画像生成装置２０では、上記ステ
レオ光学系１０によって撮像した１組のステレオ画像対
を処理し、画像全体に渡る三次元の距離分布を表す距離
画像を生成する。この距離画像は、上記画像処理装置４
０で処理され、塀、ガードレール等の道路の境界となる
連続した立体物としての側壁や、他の車輌、歩行者、建
築物等の道路上の立体物の三次元位置が高速で算出され
る。

【００２２】また、上記画像処理装置４０では、検出し
た側壁や立体物の縁と自車輌１側部の走行方向への延長
線との相対位置関係に基づいて、自車輌１が現在の操舵
状態のまま進行した場合の接触可能性を判断し、その判
断結果に応じた表示信号を上記表示装置５０に出力す
る。

【００２３】上記表示装置５０は、図３に示すように、
車体の左右フェンダ上端に配設される各表示部５０ａ，
５０ｂからなり、各表示部５０ａ，５０ｂは、ランプや
発光ダイオード等からなる複数の発光物が配設された構
成となっている。各表示部５０ａ，５０ｂは、例えば、
図４（ａ）に示すように、車室側の表示面に向かって横
一列に内側から順に、緑色ランプＬＧ、黄色ランプＬ
Ｙ、赤色ランプＬＲが配列されている。そして、各ラン
プＬＧ，ＬＹ，ＬＲは、図４（ｂ）に示すように、透明
のカバー５０ｃによって覆われている。

【００２４】尚、図３に破線で示すように、上記表示装
置５０は、左右フェンダ上端の各表示部５０ａ，５０ｂ
のみならず、運転席側に比較して車体位置を把握し難い
助手席側のサイドミラー近傍に表示部５０ｄを設けても
良い。

【００２５】すなわち、多数の立体物が存在する狭路を
通過しなければならないような状況になったとき、例え
ば運転者が図示しないスイッチ等を操作して上記運転支
援装置２を作動させると、上記運転支援装置２では、上
記ステレオ光学系１０で撮像したステレオ画像対から得
られる距離画像に基づいて、側壁、電柱、駐車車輌等の
道路周辺の立体物の位置を求め、自車輌１を現在の操舵
状態で進行させる場合の接触可能性を判断する。

【００２６】そして、接触すると判断した場合には、車
体の左右フェンダ上端に配設される各表示部５０ａ，５
０ｂのうち、該当する側の赤色ランプＬＲを点灯させ、
また、運転者のハンドル操作によっては接触の虞がある
と判断した場合には、車体の左右フェンダ上端に配設さ
れる各表示部５０ａ，５０ｂのうち、該当する側の黄色
ランプＬＹを点灯する。さらに、立体物と自車輌１との
間隔が十分にあり、そのまま進行しても接触のおそれが
ないと判断したときには、車体の左右フェンダ上端に配
設される各表示部５０ａ，５０ｂのうち、該当する側の
緑色ランプＬＧを点灯する。

【００２７】従って、側壁、電柱、駐車車輌等が存在す
る狭路を通過する際、インストルメントパネル内に情報
を表示する場合のように運転者は前方とインストルメン
トパネル内とに交互に視線を移す必要がなく、左右フェ
ンダ上端の各表示部５０ａ，５０ｂのいずれのランプが
点灯するかを見て、安全に狭路を通過できるか、あるい
は、接触回避のための操舵が必要か否かを、前方に視線
を据えた状態から最小限の視線変化で確認することがで
きる。

【００２８】これにより、狭路走行に際し、自車輌１と
障害物との接触可能性に係わる情報を、視認性良く且つ
安価な構成で表示することができ、運転者の負担を軽減
して接触事故等を未然に回避することができるばかりで
なく、車輌位置感覚の学習を補助して安全運転の促進を
図ることができる。

【００２９】図５は上記運転支援装置２の具体的回路例
であり、この回路例では、距離画像生成装置２０を構成
するステレオイメージプロセッサ３０に、画像処理装置
４０を構成する距離画像処理用コンピュータ１００が接
続されている。この距離画像処理用コンピュータ１００
は、主として個々の物体を検出する処理を行うためのマ
イクロプロセッサ１１０、主として側壁を検出する処理
を行うためのマイクロプロセッサ１２０、主として接触
判断処理を行うためのマイクロプロセッサ１３０がシス
テムバス１０１を介して並列に接続されたマルチマイク
ロプロセッサのシステム構成となっている。

【００３０】そして、上記システムバス１０１には、上
記距離画像メモリ９０に接続されるインターフェース回
路１０２、制御プログラムを格納するＲＯＭ１０３、計
算処理途中の各種パラメータを記憶するＲＡＭ１０４、
処理結果のパラメータを記憶する出力用メモリ１０５、
及び、車速センサ３、ステアリングの操舵角を検出する
舵角センサ４等の車輌１に備えられたセンサ・スイッチ
類からの信号を入力し、また、駆動回路１０７を介して
表示部５０ａ，５０ｂの各ランプＬＧ，ＬＹ，ＬＲを点
灯させるためのインターフェース回路１０６が接続され
ている。

【００３１】以上の回路例におけるイメージプロセッサ
３０は、ステレオ光学系１０で撮像したステレオ画像対
に対し、対応する位置のずれ量から三角測量の原理によ
って画像全体に渡る距離情報を求める処理を行って三次
元の距離画像を生成する専用のプロセッサであり、画像
を小領域に分割し、それぞれの小領域内の輝度あるいは
色のパターンを左右画像で比較して一致する領域を見つ
け出すことにより、小領域毎の距離分布を全画面に渡っ
て求める。

【００３２】また、上記距離画像処理用コンピュータ１
００においては、各マイクロプロセッサ１１０，１２
０，１３０が使用するメモリの領域が分けられており、
上記イメージプロセッサ３０からの距離情報に基づいて
物体検出処理と側壁検出処理とを並列に実行し、検出し
た立体物のデータから運転者の狭路走行の安全を確保す
るための接触判断処理を行い、自車輌１と障害物との接
触可能性の判断結果に応じて表示部５０ａ，５０ｂの該
当するランプを点灯させる。

【００３３】上記イメージプロセッサ３０における左右
画像の一致度評価すなわちステレオマッチングは、右画
像、左画像のｉ番目画素の輝度（色を用いても良い）
を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の
(1)式に示すシティブロック距離Ｈに基づいて行われ、
左右画像の各小領域間のシティブロック距離Ｈの最小値
が所定の条件を満たすとき、互いの小領域が対応すると
判断することができる。 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ … (1)

【００３４】このため、上記イメージプロセッサ３０に
は、ステレオ光学系１０で撮像したアナログ画像を所定
のデジタル画像に変換する画像変換部６０、この画像変
換部６０からの画像データに対し、左右画像の対応する
小領域のずれ量を決定するためのシティブロック距離Ｈ
を画素を一つずつずらしながら次々と計算するシティブ
ロック距離計算部７０、このシティブロック距離Ｈの最
小値を検出し、得られた最小値が左右小領域の一致を示
すものであるか否かをチェックしてずれ量を決定する最
小値検出・チェック回路８０、この最小値検出・チェッ
ク回路８０で決定したずれ量に基づく距離分布情報（距
離画像）を記憶する距離画像メモリ９０が備えられてい
る。

【００３５】上記画像変換部６０には、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応して、Ａ／Ｄコンバー
タ６１ａ，６１ｂが備えられ、各Ａ／Ｄコンバータ６１
ａ，６１ｂに、それぞれ、ＲＯＭからなるルックアップ
テーブル（ＬＵＴ）６２ａ，６２ｂが接続され、低輝度
部分に対するコントラスト補正、ＣＣＤアンプの固有ゲ
インの補正等が行われる。さらに、各ＬＵＴ６２ａ，６
２ｂには、左画像メモリ６３ａ、右画像メモリ６３ｂが
それぞれ接続されている。

【００３６】上記左右画像メモリ６３ａ，６３ｂに記録
された画像データは、シティブロック距離計算部７０で
画像の一部が繰り返し取り出されて処理される。このシ
ティブロック距離計算部７０は、上記左画像メモリ６３
ａからの画像データが入力される２組の左画像用入力バ
ッファメモリ７１ａ，７１ｂに、左画像用シフトレジス
タ７３が接続されるとともに、上記右画像メモリ６３ｂ
からの画像データが入力される２組の右画像用入力バッ
ファメモリ７２ａ，７２ｂに、右画像用シフトレジスタ
７４が接続され、各シフトレジスタ７３，７４がシティ
ブロック距離計算回路７５に接続されて構成されてい
る。

【００３７】上記シティブロック距離計算回路７５は、
例えば、加減算器に入出力ラッチをつなげた高速演算器
を組み合わせ、ピラミッド状に接続したパイプライン構
造となっており、数画素分を同時に入力して計算するよ
うになっている。このピラミッド型構造の初段は絶対値
演算器であり、中間段はそれぞれが加算器を構成し、最
終段は総和加算器となっている。

【００３８】また、最小値検出・チェック回路８０は、
上記シティブロック距離計算回路７５の出力と同期して
シティブロック距離Ｈの最小値ＨMIN及び最大値ＨMAXを
検出し、得られたシティブロック距離Ｈの最小値ＨMIN
が本当に左右小領域の一致を示しているものかどうかチ
ェックを行い、条件を満たしたもののみ、上記距離画像
処理用コンピュータ１００とのインターフェースとなる
デュアルポートメモリ等からなる距離画像メモリ９０の
対応する画素の位置にずれ量を出力する。

【００３９】以上のイメージプロセッサ３０から出力さ
れる距離分布情報は、画像のような形態をしており（距
離画像）、ＣＣＤカメラ１１ａ，１１ｂで撮影した画
像、例えば図６に示すように、駐車車輌２００，３００
やガードレール４００等の立体物を撮像した画像（図６
は片方のカメラで撮像した画像を示す）を上記イメージ
プロセッサ３０で処理すると、図７のような画像とな
る。

【００４０】図７に示す距離画像の例では、画像サイズ
は横４００画素×縦２００画素であり、距離データを持
っているのは黒点の部分で、これは図６の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。画像上の座標系は、図７に示すように、左上
隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸と
し、単位は画素である。

【００４１】この距離画像は、距離画像処理用コンピュ
ータ１００に読み込まれ、前方に存在する他の車輌や障
害物等の複数の物体が検出され、その位置と大きさが算
出され、検出した物体の輪郭像が抽出される。さらに
は、位置の時間変化による自車との相対速度等も算出す
ることができる。

【００４２】この場合、上記距離画像処理用コンピュー
タ１００では、物体の３次元的な位置情報を利用し、道
路と物体の区別は道路表面からの高さによって行い、物
体と背景の区別は距離の値によって行う。そのため、上
記距離画像処理用コンピュータ１００では、まず、上記
イメージプロセッサ３０からの距離画像の座標系を、自
車（車輌１）を取り巻く実空間の座標系に変換し、検出
した立体物に対し、位置や大きさを計算する。

【００４３】すなわち、実空間の座標系を車輌１固定の
座標系とし、Ｘ軸を車輌１の右側側方、Ｙ軸を車輌１の
上方、Ｚ軸を車輌１の前方、原点を車輌中央の真下の道
路面とすると、ＸＺ平面（Ｙ＝０）は、道路が平坦な場
合、道路面と一致することになり、画像中の距離情報
（ｉ，ｊ，Ｚ）から被写体の３次元位置（Ｘ，Ｙ，Ｚ）
を算出するには、以下の(2),(3)式により一種の座標変
換を行う。 Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ） … (2) Ｘ＝ｒ／２−ρ＋Ｚ×ＰＷ×（ｉ−ＩＶ） … (3) ここで、ＣＨ ：ＣＣＤカメラの取付け高さ ＰＷ ：１画素当たりの視野角 ＪＶ，ＩＶ：車輌１の真正面の無限遠点の画像上の座標 ｒ：２台のＣＣＤカメラの取付間隔 ρ：２台のＣＣＤカメラの取付間隔の中心と車輌中心と
のずれ

【００４４】また、実空間の３次元座標（Ｘ，Ｙ，Ｚ）
から画像上の位置（ｉ，ｊ）を算出する式も、上記(2),
(3)式を変形し、次のようになる。 ｊ＝（ＣＨ−Ｙ）／（Ｚ×ＰＷ）＋ＪＶ … (4) ｉ＝（Ｘ−ｒ／２＋ρ）／（Ｚ×ＰＷ）＋ＩＶ … (5)

【００４５】図８は、上記距離画像処理用コンピュータ
１００の機能構成を示すものであり、主として、マイク
ロプロセッサ１１０による物体認識部１４０、マイクロ
プロセッサ１２０による側壁検出部１５０、マイクロプ
ロセッサ１３０による接触判断処理部１６０に大別さ
れ、物体認識部１４０及び側壁検出部１５０の処理結果
が、出力用メモリ１０５からなる立体物パラメータ記憶
部１５５に記憶され、マイクロプロセッサ１３０（接触
判断処理部１６０）に読み込まれる。

【００４６】さらに、上記物体認識部１４０の機能は、
物体検出部１４１、３次元ウインドウ発生部１４２、及
び、物体輪郭像抽出部１４３に細分され、物体検出部１
４１では、イメージプロセッサ３０からの距離画像を格
子状に所定の間隔（例えば、８〜２０画素間隔）で区分
し、各領域毎に、走行の障害となる可能性のある立体物
のデータのみを選別し、その検出距離を算出する。

【００４７】図９は、車輌１から前方風景を撮像した明
暗画像の上に、格子状の領域を設定した説明図であり、
実際には、図７の距離画像を、このように区分する。本
形態では、１２画素間隔で３３個の小領域ＡＲ1〜ＡＲ3
3に区分する。すなわち、画像を多数の領域に分割して
物体を探すことにより、複数の物体を同時に検出するこ
とができるようになっている。

【００４８】各領域における被写体は、画像上の座標
（ｉ，ｊ）と距離データＺから、前述の(2),(3)式を使
って実空間の３次元位置（Ｘ，Ｙ，Ｚ）が算出され、さ
らに、距離Ｚに於ける被写体の道路表面からの高さＨ
は、道路表面の高さをＹｒとすると、次の(6)式で計算
することができるが、前述したように実空間の座標系が
設定されているため、車輌１に特別な傾きや上下移動が
無い限り、Ｙｒ＝０．０ｍと設定することができる。 Ｈ＝Ｙ−Ｙｒ … (6)

【００４９】高さＨが０．１ｍ程度以下の被写体は、道
路上の白線や汚れ、影などであり、走行の障害になる物
体ではないと考えられるため、この被写体のデータは棄
却する。また、車輌の高さより上にある被写体も、歩道
橋や標識などと考えられるので棄却し、道路上の障害と
なる立体物のデータのみを選別する。これにより、２次
元の画像上で物体が道路などと重なり合っていても、道
路表面からの高さによってデータを区別し、物体のみを
検出できる。

【００５０】次に、このようにして抽出された立体物の
データに対して、予め設定された距離Ｚの区間に含まれ
るデータの個数を数え、距離Ｚを横軸とするヒストグラ
ムを作成する。図１０は、例えば図６の画像例における
前方右側の駐車車輌３００を検出物体とするヒストグラ
ムであり、設定する距離Ｚの区間の長さや区間の個数
は、距離Ｚの検出限界や精度および検出対象の物体の形
状などを考慮して決定する。

【００５１】上記ヒストグラムにおいては、入力される
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。

【００５２】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。

【００５３】物体が存在すると判断されると、検出され
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Ｚの平均値を計算し、この値を物体ま
での距離と見なす。このような物体までの距離検出の処
理を全領域について行った後、各領域の物体の検出距離
を調べ、隣接する領域において物体までの検出距離の差
異が設定値以下の場合は同一の物体と見なし、一方、設
定値以上の場合は別々の物体と見なす。

【００５４】具体的には、まず、左端の領域ＡＲ1を調
べ、物体が検出されている場合には、それを物体Ｓ1、
距離をＺ1とする。次に右隣の領域ＡＲ2を調べ、物体が
検出されていない場合には、物体Ｓ1は領域ＡＲ1の内部
とその近辺に存在し、その距離はＺ1と判定し、物体が
検出され、その検出距離がＺ2である場合には、距離Ｚ1
とＺ2の差を調べる。

【００５５】そして、距離Ｚ1とＺ2の差が設定値以上の
場合、領域ＡＲ2で検出された物体は、先に検出された
物体Ｓ1とは異なると判定し、新たに物体Ｓ2、距離Ｚ2
とし、さらに右隣の領域を調べて行く。

【００５６】一方、距離Ｚ1とＺ2の差が設定値以下の場
合には、領域ＡＲ2で検出された物体は、先に検出され
た物体Ｓ1であると判定し、その距離はＺ1とＺ2の平均
値とし、さらに右隣の領域を順次調べて行き、連続して
物体Ｓ1があると判定されれば、距離と存在領域を更新
してゆく。

【００５７】従来、２次元の画像上で物体の周囲に遠方
の背景が写っている場合には物体のデータだけを抽出す
ることは困難であったが、以上のような処理を左端の領
域ＡＲ1から右端の領域ＡＲ33まで行って距離の値によ
ってデータを区別することにより、複数の物体とその距
離、存在領域を背景と区別して検出することができ、さ
らに、２次元の画像上で複数の物体が重なり合って写っ
ている場合においても、各々の物体の距離の違いによっ
て、それらを区別して検出できる。

【００５８】尚、上記設定値は、自動車を検出する場合
には４ｍ〜６ｍ程度、歩行者を検出する場合には１ｍ〜
２ｍ程度にすると良いことが実験的に得られている。

【００５９】図１１は、以上の処理で検出した物体の存
在領域を枠線で示したものであり、この例では左側の車
輌２００及び右側の車輌３００の２個の物体が検出され
ている。図の下側に示される数値は各物体の検出距離で
ある。

【００６０】３次元ウインドウ発生部１４２では、上記
物体検出部１４１で検出された各々の物体について、図
１２に示すような３次元空間で、検出物体（駐車車輌３
００）を包含する直方体状の３次元空間領域すなわち３
次元ウインドウＷＤ3を設定し、この設定した３次元ウ
インドウＷＤ3が２次元の画像上でどのように見えるか
を計算し、ウインドウ輪郭線の内側を２次元ウインドウ
ＷＤ2として、この中のデータのみを検出対象とする。

【００６１】上記３次元ウインドウＷＤ3の横幅は、物
体の存在領域より左右に１領域分だけ拡張した範囲とす
る。これは、ある領域に物体の左右端の一部分のみが掛
かっている場合には、その物体はヒストグラム上で大き
な値とならず、別の物体が検出される可能性があるた
め、このような場合を考慮してウインドウの範囲を拡大
しておくものである。

【００６２】また、３次元ウインドウＷＤ3の距離Ｚ方
向の長さは、その物体の検出距離におけるヒストグラム
の区間長さを、その検出距離の前後に加えた範囲とす
る。３次元ウインドウＷＤ3の下端は、道路表面の高さ
に約０．１ｍを加えた位置とし、上端は物体検出のため
に区分した各領域の上端とする。

【００６３】上記３次元ウインドウＷＤ3から上記２次
元ウインドウＷＤ2を求めるには、３次元ウィンドウＷ
Ｄ3の８個の頂点の各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、
前述の(4),(5)式を用いて画像上の座標（ｉｎ，ｊｎ）
を計算し、これらの点を包絡する多角形を計算する。図
１３は、先に図１１で示した検出物体の内の１個（駐車
車輌３００）について、２次元ウインドウＷＤ2を設定
した例を示したものである。

【００６４】物体輪郭像抽出部１４３では、上記２次元
ウインドウＷＤ2内の各データを順次サーベイし、３次
元ウインドウＷＤ3に含まれるデータのみを選別し、検
出した物体の輪郭像を抽出する処理を行い、検出物体の
自車輌１との位置関係を検出する。

【００６５】すなわち、まず、物体毎に２次元ウインド
ウＷＤ2内の各データを順次サーベイし、距離データを
持っている画素について、前述の(2),(3)式を用いて３
次元位置（Ｘ，Ｙ，Ｚ）を計算した後、距離や高さの値
が３次元ウインドウＷＤ3の範囲内にあるデータのみを
抽出し、他は棄却する。

【００６６】このようにして抽出したデータを、２次元
の画像上に投影して表示すると図１４のようになる。さ
らに、これらのデータの外形を線分で連結すると、図１
５に示すような物体の輪郭像が得られる。この輪郭像の
左右端および上端の画像上での座標（ｉ，ｊ）を検出
し、続いて、その物体の検出距離Ｚと(2),(3)式を用い
て、３次元空間での物体の左右端と上端の位置を算出す
ると、左右端の位置から物体の横幅が求まり、上端の位
置から物体の高さが求まる。図１５においては、幅１．
７ｍ、高さ１．３ｍの物体と判別できる。

【００６７】一方、マイクロプロセッサ１２０による側
壁検出部１５０の機能は、立体物データ抽出部１５１、
側壁直線検出部１５２、及び、側壁範囲検出部１５３に
細分され、側壁と道路との区別を道路表面からの高さに
よって行い、側壁と遠方の背景との区別を、前後方向と
横方向の距離によって行うことにより、側壁が存在する
と推定される周辺のデータのみを抽出し、続いて側壁の
データは水平方向に直線的に並んでいる特徴に注目して
これをハフ変換によって検出し、位置を求める。

【００６８】すなわち、上記立体物データ抽出部１５１
は、上記距離分布の情報の中から予め設定された道路表
面より上にあるデータのみを抽出し、上記側壁直線検出
部１５２は、抽出した立体物データの中から、予め設定
された側壁の探索領域内のデータのみを抽出し、これを
ハフ変換で処理して側壁の有無と側壁の位置を示す直線
式とを検出する。また、上記側壁範囲検出部１５３は、
側壁の位置を示す直線式に基づいて、側壁が存在すると
推定される側壁候補領域を設定し、この側壁候補領域内
の立体物データの分布状態から側壁の前後端の位置を検
出する。

【００６９】詳細には、側壁は立体物の一種であるか
ら、まず、立体物データ抽出部１５１で、道路表面より
上にある立体物のデータを距離画像の中から抽出する。
この際、高さＨが０．１ｍ程度以下の立体物は、前述し
たように、道路上の白線や汚れ、影等と考えられるた
め、この立体物のデータは棄却する。また、車輌の高さ
より上にある立体物も、歩道橋や標識等と考えられるの
で棄却し、道路上の立体物のデータのみを選別する。

【００７０】また、上記立体物データ抽出部１５１では
画面に写っている広範囲の立体物のデータが抽出される
が、これら全てを処理することは合理的でないため、側
壁直線検出部１５２では側壁を探索する領域に制限を設
ける。

【００７１】この場合、距離画像が計測される範囲を上
から見ると、ＣＣＤカメラ１１ａ，１１ｂの視野に制限
されて図１６のようになっており、道路を通常走行して
いる場合には、側壁は車輌１の左側と右側に、車輌１と
概ね平行に存在する。一方、遠くの側壁は、距離データ
の精度の面から検出が困難になり、且つ、検出の必要性
も小さい。そこで、これらを考慮し、図示したような左
側と右側の２つの探索領域ＳＬ，ＳＲを設定し、左側と
右側の側壁を別々に検出して行く。

【００７２】すなわち、左右両側の側壁を検出するに
は、まず、側壁直線検出部１５２で左側の探索領域ＳＬ
を設定して側壁直線検出処理及び側壁範囲検出処理を行
って左側の側壁を検出した後、再び側壁直線検出部１５
２で右側の探索領域ＳＲを設定し、同様の処理を繰り返
して右側の側壁を検出するのである。

【００７３】各探索領域ＳＬ，ＳＲに含まれる立体物デ
ータを抽出するには、上記立体物データ抽出部１５１で
抽出された各データの被写体の３次元位置（Ｘ，Ｚ座
標）を計算し、この３次元位置（Ｘ，Ｚ）と各探索領域
ＳＬ，ＳＲとを、それぞれ比較して判定する。

【００７４】例えば図１７に示すような状況では、画像
上に上記各探索領域ＳＬ，ＳＲを図示すると破線のよう
になり、これらの探索領域内にも、目的とする側壁の他
に様々な立体物が存在する。さらに、距離画像にはノイ
ズ状の偽データも含まれており、実際には物体が存在し
ない空間にデータのみが分散して存在する。これらのデ
ータを模式的に示すと図１８のようになり、この中で側
壁は、そのデータが直線状に並んでいる特徴がある。そ
こで、ハフ変換を使用してデータの列の直線式を検出す
ることによって側壁の検出を行う。

【００７５】このハフ変換による直線式の検出について
説明すると、まず、図１９の立体物データＰi（座標Ｘ
i，Ｚi）に対し、このデータＰiの点を通る直線Ｆiを想
定する。この直線の式は、以下の(7)式で示される。 Ｘ＝ａｆi×Ｚ＋ｂｆi … (7)

【００７６】次に図２０に示すように、縦軸が(7)式の
傾きａｆ、横軸が切片ｂｆのパラメータ空間を設定し、
(7)式のパラメータａｆi，ｂｆiに相当する位置に投票
を行う。

【００７７】ここで、傾きａｆiの値は、前述したよう
に側壁は車輌１と概ね平行と考えられるため、一般道路
では、例えば±２０゜(ａｆi：±０．３６）程度の範囲
で変化させれば実用上十分である。また、切片ｂｆi の
値は、左側の側壁を検出する場合、車輌１の左脇である
例えばＸ＝−１ｍから−１０ｍ程度の範囲、右側の側壁
を検出する場合には、例えばＸ＝＋１ｍから＋１０ｍ程
度の範囲に制限する。このように、制限範囲を例えば±
１０ｍ程度にするのは、あまり遠く離れた側壁の検出は
実用面の必要性が小さいためである。

【００７８】このような制限により、パラメータ空間上
で投票が行われる範囲は、図２０に示すような矩形領域
となり、この矩形領域はさらに格子状に分割されて各格
子毎に投票される。(7)式の傾きａｆiは、所定の変化範
囲内（例えば±１０゜〜±２０゜）であり、格子間隔Δ
ａｆ毎に順次変化させて設定する。切片ｂｆiは、設定
された傾きａｆiと立体物データＰiの座標（Ｘi，Ｚi）
を(7)式に代入して算出され、これが上記制限範囲内で
あればパラメータ空間の該当する格子に投票される。

【００７９】検出される側壁の位置、すなわち直線式の
傾きと切片の検出精度は、格子間隔Δａｆ，Δｂｆによ
って決定され、格子間隔Δａｆ，Δｂｆの設定は、側壁
の情報を利用する外部装置側の要求に基づいて行われ
る。例えば、道路を通常走行する場合の衝突等の危険の
検知として利用する場合には、格子間隔Δａｆは１〜２
゜程度、格子間隔Δｂｆは０．３〜０．６ｍ程度が良
い。

【００８０】以上のようにして探索領域内の全立体物デ
ータに対してパラメータ空間への投票を行う際、図１９
に示すように、直線的に並んだデータが存在すると、こ
のデータの列と一致するように設定した直線のパラメー
タａｆi,ｂｆiに相当するパラメータ空間の格子は多く
の得票を得て、左右の投票領域ＳＬ，ＳＲ毎に局所極大
値が現れる。

【００８１】側壁が存在し、明確な立体物データの列が
あるとパラメータ空間の局所極大値は大きな値を示し、
一方、側壁が無く、複数の物体が分散して存在する状態
では局所極大値は小さい値を示す。従って、パラメータ
空間の左右の投票領域ＳＬ，ＳＲ毎に局所極大値を検出
し、検出した局所極大値が判定値以上であれば側壁が存
在すると判定することができる。判定値は設定する探索
領域の大きさや格子の間隔等を考慮して設定する。

【００８２】次に、上記側壁直線検出部１５２で側壁有
りと判定された場合には、側壁範囲検出部１５３で側壁
の前後端の位置を検出する。局所極大値の格子に相当す
るパラメータａｆ，ｂｆを読み出すと、側壁は、次の直
線式(8)に沿って存在すると推定され、図１９の例で検
出された直線式を図示すると図２１に示す直線Ｆfとな
る。 Ｘ＝ａｆ×Ｚ＋ｂｆ … (8)

【００８３】まず、直線Ｆｆを中心として幅０．３ｍ〜
１．０ｍ程度の領域を側壁候補領域Ｔｆとすると、この
領域は、さらに図２１のようにＺ方向に区分される。側
壁候補領域Ｔｆの幅は、上記パラメータ空間の格子の間
隔Δｂｆにデータの誤差等を考慮して設定する。

【００８４】次に、上記探索領域内の立体物データを順
次サーベイし、側壁候補領域Ｔｆ内にあるデータのみを
抽出した後、区分毎に立体物データの個数をカウント
し、ヒストグラムを作成する。これを模式的に示すと図
２２のようになり、側壁が存在する部分では大きな度数
を示す。従って、度数が判定値以上の区分を検出するこ
とによって、この範囲に側壁が存在すると判断すること
ができ、その両端の３次元位置を計算して側壁の前後端
位置とする。図１９の例では、探索領域ＳＲの上端が側
壁（ガードレール４００）の後端位置とみなされる。ま
た、図２３は以上の処理で検出した側壁を枠線で示した
ものであり、この例では、右側のガードレール４００が
検出される。

【００８５】以上のようにして、距離画像から道路上の
各物体の位置、形状等のパラメータが求められ、立体物
パラメータ記憶部１５５に書き込まれると、マイクロプ
ロセッサ１３０からなる接触判断処理部１６０にそのパ
ラメータが読み込まれる。

【００８６】上記接触判断処理部１６０は、障害物抽出
部１６１、接触判定線設定部１６２、及び、接触判断部
１６３からなり、障害物抽出部１６１で左右の検出限界
内で設定距離内にある物体（障害物）を抽出すると、接
触判定線設定部１６２で車速センサ３からの車速及び舵
角センサ４からの舵角に基づいて、自車輌１の走行軌跡
を推測し、車体左右側部の軌跡に対して設定距離だけ離
れた接触危険度判定線を設定する。

【００８７】この場合、狭路走行においては、低速であ
ること、比較的短距離の範囲内に存在する障害物に対す
る接触危険度を判断すれば良いこと等から、図２４に示
すように、自車輌１側部の走行軌跡を直進状態での自車
輌側部の延長線によって近似し、左右の延長線から設定
距離Ａ１以内の範囲を自車輌１が障害物に接触あるいは
衝突する範囲として、左側接触危険度判定線ＬＡ及び右
側危険度判定線ＲＡを設定する。

【００８８】また、上記各判定線ＬＡ，ＲＡから設定距
離Ａ２以内の範囲（すなわち、自車輌１側部の左右の延
長線から距離（Ａ１＋Ａ２）の範囲）を、運転者のハン
ドル操作によっては接触の可能性がある範囲として、左
側接触危険度判定線ＬＢ及び右側接触危険度判定線ＲＢ
を設定する。

【００８９】接触判断部１６３では、各接触危険度判定
線ＬＡ，ＲＡ，ＬＢ，ＲＢに対する障害物の位置から自
車輌１と障害物との接触可能性を判断し、表示装置５０
に表示信号を出力する。すなわち、障害物の縁が車輌中
心線より左側で左側接触危険度判定線ＬＡより内側にあ
るとき、あるいは、車輌中心線より右側で右側接触危険
度判定線ＲＡより内側にあるときには、接触の危険性が
あると判断して左側表示部５０ａあるいは右側表示部５
０ｂの赤色ランプＬＲを点灯させて運転者に警告を発
し、障害物の縁が車輌中心線より左側で左側接触危険度
判定線ＬＡと左側接触危険度判定線ＬＢとの間にあると
き、あるいは、車輌中心線より右側で右側接触危険度判
定線ＲＡと右側接触危険度判定線ＲＢとの間にあるとき
には、運転状況によっては接触の可能性があると判断し
て左側表示部５０ａあるいは右側表示部５０ｂの黄色ラ
ンプＬＹを点灯させて運転者の注意を喚起する。

【００９０】さらに、障害物の縁が車輌中心線より左側
で左側接触危険度判定線ＬＢより外側にあるとき、ある
いは、車輌中心線より右側で右側接触危険度判定線ＲＢ
より外側にあるときには、接触の可能性はないと判断
し、左側表示部５０ａあるいは右側表示部５０ｂの緑色
ランプＬＧを点灯させて運転者に安全であることを告知
する。

【００９１】以下、上記イメージプロセッサ３０及び距
離画像処理用コンピュータ１００によって構成される運
転支援装置２の動作について説明する。

【００９２】図２５は、イメージプロセッサ３０の動作
の流れを示すフローチャートであり、まず、ステップS1
01で左右のカメラ１１ａ，１１ｂによって撮像した画像
を入力すると、ステップS102へ進み、入力したアナログ
画像をＡ／Ｄコンバータ６１ａ，６１ｂで所定の輝度階
調（例えば２５６階調のグレースケール）を有するデジ
タル画像に変換する。

【００９３】上記各Ａ／Ｄコンバータ６１ａ，６１ｂに
よって変換されたデジタル画像は、ＬＵＴ６２ａ，６２
ｂで、低輝度部分のコントラスト増強、左右のカメラ１
１ａ，１１ｂの特性補償等が行われ、画像メモリ６３
ａ，６３ｂに記録される。尚、上記画像メモリ６３ａ，
６３ｂに記憶される画像は、カメラ１１ａ，１１ｂのＣ
ＣＤ素子の全ラインのうち、その後の処理に必要なライ
ンのみであり、所定時間毎に書換えられる。

【００９４】その後、左右の画像メモリ６３ａ，６３ｂ
に記録された画像データは、ステップS103で、各画像メ
モリ６３ａ，６３ｂから数ラインずつ入力バッファメモ
リ７１ａ，７１ｂ，７２ａ，７２ｂへ転送され、左右画
像のマッチング、すなわち一致度の評価が行われる。

【００９５】その際、左右の画像毎に、上記画像メモリ
６３ａ，６３ｂから上記入力バッファメモリ７１ａ，７
１ｂ，７２ａ，７２ｂへの読込み動作と、シフトレジス
タ７３，７４に対する書込み動作とが交互に行われる。
例えば、左画像メモリ６３ａから一方の入力バッファメ
モリ７１ａに画像データが読込まれている間に、他方の
入力バッファメモリ７１ｂからシフトレジスタ７３へ読
込んだ画像データの書出しが行われ、右画像メモリ６３
ｂから一方の入力バッファメモリ７２ａに画像データが
読込まれている間に、他方の入力バッファメモリ７２ｂ
からシフトレジスタ７４へ読込んだ画像データの書出し
が行われる。

【００９６】そして、各シフトレジスタ７３，７４は、
偶数段の内容を同時にシティブロック距離計算回路７５
に出力し、シティブロック距離Ｈの計算が始まると、右
画像のデータはシフトレジスタ７４内に保持されて、ク
ロック毎に奇数ライン、偶数ラインのデータが交互に出
力される。

【００９７】一方、左画像のデータはシフトレジスタ７
３に転送され続け、奇数ライン、偶数ラインのデータが
交互に出力されつつ、数クロック毎に１画素分右のほう
にずれたデータに置き換わっていく。この動作を繰り返
し、その後、一つの小領域に対する転送が終了すると、
図示しないアドレスカウンタ内の左画像用アドレスカウ
ンタに右画像用アドレスカウンタの内容（次の小領域の
先頭アドレス）がセットされ、次の小領域の処理が始ま
る。

【００９８】シティブロック距離計算回路７５では、ピ
ラミッド型構造初段の絶対値演算器に数画素分のデータ
を入力し、左右画像の輝度差の絶対値を計算する。すな
わち、右画素の輝度から対応する左画素の輝度を引き算
し、結果が負になった場合、演算命令を変えることによ
り、引く方と引かれる方を逆にして再び引き算を行うこ
とにより、絶対値の計算を行う。従って、初段では引き
算を２回行う場合がある。

【００９９】次いで、初段を通過すると、中間段の各加
算器で二つの同時入力データを次々と加算し、最終段の
総和加算器で二つの連続するデータを加え合わせて総和
を計算する。そして、小領域を形成する画素分のシティ
ブロック距離Ｈを数クロック毎に最小値検出・チェック
回路８０へ出力する。

【０１００】次に、ステップS104へ進み、上記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を最小値検出・チェック回路８０で検出す
る。この最小値検出・チェック回路８０では、最初に出
力されてきたシティブロック距離Ｈ（ずれ量ｄ＝０）
と、次のクロックで出力されてきたシティブロック距離
Ｈ（ずれ量ｄ＝１）とを比較し、比較結果が小のときに
のみ、ずれ量ｄを保存する。そして、この比較演算を繰
り返し、計算途中での最大値、最小値、及び、そのとき
のずれ量ｄを保存して、これまでの値の最大値ＨMAX 、
最小値ＨMIN を更新し、ずれ量ｄが所定画素数になるま
で計算を続ける。

【０１０１】計算が終了すると（最後のシティブロック
距離Ｈが出力されてから１クロック後）、ステップS105
で、得られた最小値ＨMINが本当に左右小領域の一致を
示すものであるか否かを、以下の３つの条件によりチェ
ックする。 （１）ＨMIN ≦Ｈa（最小値ＨMIN がしきい値Ｈa より
大きいときには距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb（得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMINの近傍の
値との差でなく、最大値ＨMAX と最小値ＨMINとの差を
しきい値Ｈbと比較してチェックを行うことにより、曲
面などの緩やかに輝度の変わる物体に対しても距離検出
が行える。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc（しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行えないという基本的な原理に基づいて
おり、小領域中の画素毎に行われるため、小領域の中で
も実際に距離の検出された画素のみが採用されることに
なり、自然な結果が得られる。）

【０１０２】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｄとなる訳であるが、以上の
３つのチェック条件を満足した場合に、ステップS106
で、ずれ量ｄを距離画像メモリ９０へ出力し、満足しな
い場合には、データを採用せずに“０”を距離画像メモ
リ９０へ出力し、処理を抜ける。

【０１０３】上記距離画像メモリ９０へ書き込まれた距
離分布情報からは、ＣＣＤカメラ１１ａ，１１ｂの取付
け位置と焦点距離等のレンズパラメータとから、各画素
に対応する物体のＸＹＺ空間における３次元位置を算出
することができ、情報量の低下なく車外の対象物までの
距離を正確に検出することができる。

【０１０４】一方、図２６及び図２７のフローチャート
は、マイクロプロセッサ１１０で実行される物体検出処
理であり、ステップS201で道路表面の位置を設定する
と、ステップS202で、イメージプロセッサ３０からの距
離画像を格子状の領域に区分し、ステップS203で、最初
の領域のデータを読み込む。

【０１０５】次に、ステップS204へ進んで、領域内の最
初のデータをセットすると、ステップS205で、被写体の
３次元位置（Ｘ，Ｙ，Ｚ）、すなわち距離と高さを算出
し、ステップS206で、距離Ｚに於ける道路表面の高さを
算出し、ステップS207で、道路面より上にあるデータを
選別する。

【０１０６】そして、ステップS208へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS209で
領域内の次のデータをセットすると、前述のステップS2
05へ戻って処理を繰り返し、最終データの場合にはステ
ップS208からステップS210へ進む。

【０１０７】ステップS210では、ヒストグラムを作成
し、ステップS211で、このヒストグラムの度数が判定値
以上で、かつ最大値となる区間を検出する。ヒストグラ
ムの度数が判定値以上で、かつ最大値となる区間が検出
された場合、ステップS212で、その区間に物体が存在す
ると判断し、その物体までの距離を検出する。

【０１０８】そして、ステップS213で、最終領域か否か
を調べ、最終領域でない場合には、ステップS214で、次
の領域のデータを読み込み、前述のステップS204へ戻っ
て同様の処理を続行し、最終領域である場合には、ステ
ップS215へ進み、各物体の距離と存在領域の検出を終了
し、ステップS216以降へ進む。

【０１０９】ステップS216では、最初の物体のパラメー
タをセットし、次いで、ステップS217で、３次元ウイン
ドウＷＤ3の下端の高さ及び距離範囲を設定し、ステッ
プS218で、この３次元ウインドウＷＤ3に基づいて２次
元ウインドウＷＤ2の形状を算出してステップS219へ進
む。

【０１１０】ステップS219では、２次元ウインドウＷＤ
2内のデータを読み出し、ステップS220で被写体の３次
元位置を算出すると、ステップS221へ進んで、３次元ウ
インドウＷＤ3内に含まれるデータを選別して抽出す
る。

【０１１１】その後、ステップS222へ進み、上記ステッ
プS221で抽出したデータを２次元の画像上に投影する
と、ステップS223で、各データを線分で連結して輪郭像
を作成する。続いて、ステップS224で、物体の形状、寸
法、位置等を算出し、ステップS225で、最終物体か否か
を調べる。

【０１１２】最終物体でない場合には、ステップS226で
次の物体のパラメータをセットして前述のステップS217
へ戻り、最終物体である場合には、ステップS227へ進ん
で、各物体の形状、寸法、位置等のパラメータを出力用
メモリ１０５に書き込み、処理を終了する。

【０１１３】また、マイクロプロセッサ１２０では、上
記マイクロプロセッサ１１０による物体検出処理と並列
して図２８及び図２９に示す側壁検出処理を行う。この
側壁検出処理では、最初に、ステップS301で道路表面の
位置を設定すると、ステップS302で、距離画像から最初
の距離データを読み込む。

【０１１４】次に、ステップS303へ進み、被写体の位置
（Ｘ，Ｚ座標）と高さ（Ｙ座標）とを計算し、ステップ
S304で、距離Ｚに於ける道路表面の高さＨ（Ｙ座標）を
計算し、ステップS305で、道路面より上、且つ自車輌１
の高さ以下にあるデータを立体物データとして抽出す
る。

【０１１５】そして、ステップS306へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS307で
次の距離データを読み込むと前述のステップS303へ戻っ
て処理を繰り返し、最終データの場合にはステップS306
からステップS308へ進む。

【０１１６】ステップS308では、最初の立体物データを
読み込み、ステップS309で、被写体の位置（Ｘ，Ｚ座
標）を計算すると、続くステップS310で、計算した位置
（Ｘ，Ｚ座標）が探索領域内か否かを調べる。

【０１１７】計算した位置（Ｘ，Ｚ座標）が探索領域外
であるときには、上記ステップS310からステップS312へ
ジャンプし、探索領域内のとき、上記ステップS310から
ステップS311へ進んでパラメータ空間へ投票し、ステッ
プS312へ進む。

【０１１８】ステップS312では、処理した立体物データ
が最終データか否かを調べ、最終データでないときに
は、ステップS313で、次の立体物データを読み込んで、
前述のステップS309からの処理を繰り返し、最終データ
のとき、ステップS314へ進んで、パラメータ空間上の局
所極大値を検出する。

【０１１９】次いで、ステップS315へ進むと、検出した
局所極大値が判定値以上か否かを調べ、判定値よりも小
さいとき、ステップS316で側壁は存在しないと判定し、
判定値以上のとき、ステップS317で、側壁が存在すると
判定して、ステップS318へ進む。

【０１２０】ステップS318では、上記ステップS314で検
出した局所極大値の格子に相当するパラメータ、すなわ
ち局所極大点が示す直線式のパラメータ（ａｆ，ｂｆ）
を読み込み、次いで、ステップS319で側壁候補領域を設
定する。

【０１２１】そして、ステップS320へ進み、探索領域内
の最初の立体物データを読み込むと、ステップS321で、
被写体の位置（Ｘ，Ｚ座標）を計算し、ステップS322
で、側壁候補領域内にあるデータを抽出した後、ステッ
プS323で、処理したデータが探索領域内の最終データか
否かを調べる。

【０１２２】探索領域内の最終データでないときには、
上記ステップS323からステップS324へ分岐して探索領域
内の次の立体物データを読み込んで、前述のステップS3
21へ戻り、探索領域内の最終データであるときには、上
記ステップS323からステップS325へ進んで、側壁候補領
域内のデータを使ってヒストグラムを作成する。

【０１２３】次に、ステップS326へ進み、作成したヒス
トグラムの度数が判定値以上の区分を検出すると、ステ
ップS327で、ヒストグラムの度数が判定値以上の区間の
両端の３次元位置、すなわち側壁の前後端位置を算出
し、ステップS328で、側壁の有無、位置、方向、前後端
の位置等のパラメータを出力用メモリ１０５へ書き込ん
でプログラムを終了する。尚、このプログラムは、左側
の側壁について実行した後、右側の側壁について実行す
る。

【０１２４】以上の処理により、前方に存在する壁、駐
車車輌等の自車輌１からの位置と大きさが求められる
と、マイクロプロセッサ１３０において図３０に示す接
触判断処理のプログラムが実行される。

【０１２５】この接触判断処理では、まず、ステップS4
01で、出力用メモリ１０５から道路上に存在する立体物
や側壁等の物体の位置を入力すると、設定距離内にある
物体を狭路走行における障害物として抽出し、ステップ
S402で、障害物が車輌中心線より左側に存在し（Ｘ座標
が負）、且つ、その自車輌１側の縁が左側接触危険度判
定線ＬＡより右側（内側）にあるか否かを調べる。

【０１２６】そして、上記ステップS402でＹＥＳのとき
には、車体の左側が障害物に接触する危険性があるた
め、ステップS403へ進んで、左側表示部５０ａの黄色ラ
ンプＬＹ及び緑色ランプＬＧを消灯させて赤色ランプＬ
Ｒを点灯させることにより、運転者に警告を発した後、
ステップS407へ進み、ＮＯのとき、ステップS404へ進ん
で、障害物が車輌中心線より左側に存在し、その自車輌
１側の縁が左側接触危険度判定線ＬＢよりも右側（内
側）にあるか否かを調べる。

【０１２７】その結果、上記ステップS404でＹＥＳのと
き、すなわち、障害物の自車輌１側の縁が左側接触危険
度判定線ＬＡと左側接触危険度判定線ＬＢとの間にある
ときには、運転状況によって車体の左側が障害物に接触
する可能性があるため、ステップS405へ進んで左側表示
部５０ａの赤色ランプＬＲ及び緑色ランプＬＧを消灯状
態として黄色ランプＬＹを点灯させることにより運転者
に警告を発した後、ステップS407へ進み、ＮＯのときに
は、現在の舵角で進行する限り車体の左側と障害物との
間には余裕があるため、ステップS406で左側表示部５０
ａの黄色ランプＬＹ及び赤色ランプＬＲを消灯させて緑
色ランプＬＧを点灯させた後、ステップS407へ進む。

【０１２８】ステップS407では、障害物が車輌中心線よ
り右側に存在し（Ｘ座標が正）、その自車輌１側の縁が
右側接触危険度判定線ＲＡよりも左側（内側）にあるか
否かを調べ、ＹＥＳのとき、車体の右側が障害物に接触
する危険性があるため、ステップS408へ進んで右側表示
部５０ｂの赤色ランプＬＲを点灯させて黄色ランプＬＹ
及び緑色ランプＬＧを消灯させ、運転者に警告を発して
ルーチンを抜ける。

【０１２９】一方、上記ステップS407での判別結果がＮ
Ｏのときには、上記ステップS407からステップS409へ進
み、障害物が車輌中心線より右側に存在し、その自車輌
１側の縁が右側接触危険度判定線ＲＢよりも左側にある
か否かを調べる。そして、ＹＥＳのとき、すなわち、障
害物の自車輌１側の縁が右側接触危険度判定線ＲＡと右
側接触危険度判定線ＲＢとの間にあるときには、運転状
況によって車体の右側が障害物に接触する可能性がある
ため上記ステップS409からステップS410へ進み、右側表
示部５０ｂの緑色ランプＬＧ及び赤色ランプＬＲを消灯
させて黄色ランプＬＹを点灯させることにより運転者に
警告を発し、ルーチンを抜ける。

【０１３０】また、上記ステップS409でＮＯのとき、す
なわち、障害物の自車輌１側の縁が右側接触危険度判定
線ＲＢよりも右側（外側）にあるときには、現在の舵角
で進行する限り車体の右側と障害物との間には余裕があ
り、接触の虞はないため、ステップS411で右側表示部５
０ｂの緑色ランプＬＧを点灯させて黄色ランプＬＹ及び
赤色ランプＬＲを消灯させた後、ルーチンを抜ける。

【０１３１】以上の処理により、狭路走行に際して左右
フェンダ上端の各表示部５０ａ，５０ｂの該当するラン
プが点灯されると、運転者は進行方向から視線を移すこ
となく左右のいずれのランプが点灯しているかを見るだ
けで、障害物に接触することなく安全に進行できるか、
あるいは障害物との接触回避のための操舵が必要か否か
を確認することができ、余裕をもって運転操作を行うこ
とができる。

【０１３２】図３１及び図３２は本発明の実施の第２の
形態に係わり、図３１は表示装置の構成を示す説明図、
図３２は距離画像処理用コンピュータにおける接触判断
処理のフローチャートである。

【０１３３】本形態は、前述の第１の形態に対し、表示
装置５０の構成を変更し、図３１に示すように、左右フ
ェンダ上端に配設される各表示部５００ａ，５００ｂ
を、それぞれ、１個の赤色ランプＬＲで構成し、透明の
カバー５００ｃによって覆った表示装置５００とするも
のである。

【０１３４】すなわち、前述の第１の形態では、狭路走
行に際し、緑色ランプＬＧ、黄色ランプＬＹ、赤色ラン
プＬＲを接触可能性の判断結果に応じて点灯するといっ
たように発光物の色によって表示するようにしている
が、本形態においては、障害物と接触する虞がないとき
赤色ランプＬＲを消灯、運転状況によって障害物と接触
する可能性があるとき赤色ランプＬＲを点滅、接触の危
険性があるとき赤色ランプＬＲを点灯といったように発
光物を明滅させ、発光物の明るさによって障害物との接
触可能性を表示するようになっている。尚、各表示部５
００ａ，５００ｂは、障害物と接触する虞がないとき発
光物を消光状態とする一方、運転状況によって障害物と
接触する可能性があるとき、発光物を低輝度で発光さ
せ、接触の危険性があるとき発光物を高輝度で発光させ
るようにしても良い。

【０１３５】このため、本形態では、距離画像処理用コ
ンピュータ１００のマイクロプロセッサ１３０において
実行される接触判断処理のランプ点灯制御部分を変更
し、第１の形態における接触判断処理（図３０参照）の
ステップS403,S405,S406、及び、ステップS408,S410,S4
11を、図３２に示すように、ステップS4030,S4050,S406
0、及び、ステップS4080,S4100,S4110とする。

【０１３６】従って、本形態の接触判断処理では、ステ
ップS402における障害物の位置の判別結果、障害物が車
輌中心線より左側で、その自車輌１側の縁が左側接触危
険度判定線ＬＡより右側（内側）にあり、車体の左側が
障害物と接触する危険性があるときには、ステップS402
からステップS4030へ進んで、左側表示部５００ａの赤
色ランプＬＲを連続点灯状態として運転者に警告を発す
る。

【０１３７】また、ステップS404における障害物の位置
の判別結果、障害物が車輌中心線より左側で、その自車
輌１側の縁が左側接触危険度判定線ＬＢよりも右側（内
側）、すなわち、障害物の自車輌１側の縁が左側接触危
険度判定線ＬＡと左側接触危険度判定線ＬＢとの間にあ
り、運転状況によっては接触する虞があるときには、ス
テップS404からステップS4050へ進んで、左側表示部５
００ａの赤色ランプＬＲを点滅させて運転者に警告を発
し、障害物が左側接触危険度判定線ＬＢよりも左側（外
側）にあり、現在の舵角で進行する限り車体の左側と障
害物との間に余裕があるときには、ステップS404からス
テップS4060へ進んで左側表示部５００ａの赤色ランプ
ＬＲを消灯状態とする。

【０１３８】一方、ステップS407における障害物の位置
の判別結果、障害物が車輌中心線より右側で、その自車
輌１側の縁が右側接触危険度判定線ＲＡよりも左側（内
側）にあり、車体の右側が障害物に接触する危険性があ
るときには、ステップS407からステップS4080へ進んで
右側表示部５００ｂの赤色ランプＬＲを連続点灯状態と
して運転者に警告を発し、ステップS409における障害物
の位置の判別結果、障害物が車輌中心線より右側で、そ
の自車輌１側の縁が右側接触危険度判定線ＲＢよりも左
側、すなわち、障害物の自車輌１側の縁が右側接触危険
度判定線ＲＡと右側接触危険度判定線ＲＢとの間にあ
り、運転状況によって車体の右側が障害物に接触する可
能性があるときには、ステップS409からステップS4100
へ進み、右側表示部５００ｂの赤色ランプＬＲを点滅さ
せて運転者に警告を発する。

【０１３９】さらに、ステップS409での障害物の位置の
判別結果、障害物の自車輌１側の縁が右側接触危険度判
定線ＲＢよりも右側（外側）にあり、現在の舵角で進行
する限り車体の右側と障害物との間には余裕があるとき
には、ステップS409からステップS4110へ進んで右側表
示部５００ｂの赤色ランプＬＲを消灯させる。

【０１４０】本形態では、前述の第１の形態における表
示装置５０を更に簡略化して安価な構成とし、運転者は
左右フェンダ上端に設けられた表示装置５００による発
光物の明るさを見て、安全に狭路を通過できるか、ある
いは、接触回避のための操舵が必要か否かを、前方に視
線を据えた状態から最小限の視線変化で確認することが
できる。

【０１４１】図３３は、本発明の実施の第３の形態に係
わり、表示装置の配置を示す説明図である。

【０１４２】本形態は、表示装置５０（５００）の配置
位置を変更し、図３３に示すように車室内のインストル
メントパネル６００の上側にそれぞれ表示部５０ａ（５
００ａ）、５０ｂ（５００ｂ）を配設したものである。

【０１４３】本形態では、表示装置５０（５００）を車
室内に配設したので、各表示部５０ａ（５００ａ）、５
０ｂ（５００ｂ）の汚損が防止され、表示部５０ａ（５
００ａ）、５０ｂ（５００ｂ）に対する経時的な視認性
が向上すると共に、インストルメントパネル６００の上
側に配設したので、前述の各実施の形態と同様に、安全
に狭路を通過できるか或いは接触回避のための操舵が必
要か否かを前方に視線を控えた状態から最小限の視線変
化で確認することができる。

【０１４４】

【発明の効果】以上説明したように本発明によれば、自
車輌の走行方向に存在する物体を検出した後、検出した
物体の位置情報に基づいて自車輌と検出した物体との接
触可能性を判断し、接触可能性の判断結果を車輌のイン
ストルメントパネル外に配設された表示手段に運転時に
おける運転者の視線変化を最小限に抑えて視認可能に表
示するため、インストルメントパネル内に情報を表示す
る場合のように運転者は進行方向とインストルメントパ
ネル内とに交互に視線を移す必要がなく、狭路走行の際
に障害物と自車輌との接触可能性を迅速且つ円滑に運転
者に知らせることができ、運転者の負担を軽減して安全
を確保することができる。

【図面の簡単な説明】

【図１】本発明の基本構成図

【図２】本発明の実施の第１の形態に係わり、運転支援
装置の全体構成図

【図３】同上、表示装置の配置を示す車輌の上面図

【図４】同上、表示装置の構成を示す説明図

【図５】同上、運転支援装置の回路ブロック図

【図６】同上、車載のＣＣＤカメラで撮像した画像の例
を示す説明図

【図７】同上、距離画像の例を示す説明図

【図８】同上、距離画像処理用コンピュータの機能ブロ
ック図

【図９】同上、画像の区分方法を示す説明図

【図１０】同上、検出物体とヒストグラムの関係を示す
説明図

【図１１】同上、物体の存在領域の検出結果と検出距離
の例を示す説明図

【図１２】同上、物体検出用の３次元ウインドウの形状
を示す説明図

【図１３】同上、物体検出用の２次元ウインドウの形状
を示す説明図

【図１４】同上、物体の輪郭を構成するデータの例を示
す説明図

【図１５】同上、物体の輪郭像と検出された外形寸法の
例を示す説明図

【図１６】同上、側壁検出における探索領域の形状を示
す説明図

【図１７】同上、画像上の側壁探索領域を示す説明図

【図１８】同上、立体物データの分布状況を示す説明図

【図１９】同上、ハフ変換での直線の想定を示す説明図

【図２０】同上、パラメータ空間の投票領域を示す説明
図

【図２１】同上、側壁候補領域を示す説明図

【図２２】同上、ヒストグラムと側壁の存在範囲の関係
を示す説明図

【図２３】同上、側壁の検出結果を示す説明図

【図２４】同上、接触危険度判定線を示す説明図

【図２５】同上、イメージプロセッサの動作を示すフロ
ーチャート

【図２６】同上、距離画像処理用コンピュータにおける
物体検出処理のフローチャート（その１）

【図２７】同上、距離画像処理用コンピュータにおける
物体検出処理のフローチャート（その２）

【図２８】同上、距離画像処理用コンピュータにおける
側壁検出処理のフローチャート（その１）

【図２９】同上、距離画像処理用コンピュータにおける
側壁検出処理のフローチャート（その２）

【図３０】同上、距離画像処理用コンピュータにおける
接触判断処理のフローチャート

【図３１】本発明の実施の第２の形態に係わり、表示装
置の構成を示す説明図

【図３２】同上、距離画像処理用コンピュータにおける
接触判断処理のフローチャート

【図３３】本発明の実施の第３の形態に係わり、表示装
置の配置を示す説明図

【符号の説明】

１ …車輌 ２ …運転支援装置 １０ …ステレオ光学系（物体検出手段の構成要
件） ２０ …距離画像生成装置（物体検出手段の構成
要件） ４０ …画像処理装置（物体検出手段、接触表示
制御手段の構成要件） ５０，５００…表示装置（表示手段）

Claims (8)

【特許請求の範囲】
1. 【請求項１】 自車輌の走行方向に存在する物体を検出
   し、検出した物体の位置情報を算出する物体検出手段
   と、 上記物体検出手段で検出した物体の位置情報に基づいて
   自車輌と検出した物体との接触可能性を判断し、判断結
   果に応じた表示信号を出力する接触表示制御手段と、 上記接触表示制御手段からの表示信号によって接触可能
   性の判断結果を表示し、車輌のインストルメントパネル
   外の位置で運転時における運転者の視線変化を最小限に
   抑えて視認可能な位置に配設される表示手段とを備える
   ことを特徴とする車輌の運転支援装置。
2. 【請求項２】 上記表示手段は、車輌前部フェンダ上あ
   るいはボンネット上に配設されることを特徴とする請求
   項１記載の車輌の運転支援装置。
3. 【請求項３】 上記表示手段は、サイドミラー近傍に配
   設されることを特徴とする請求項１記載の車輌の運転支
   援装置。
4. 【請求項４】 上記表示手段は、車室内インストルメン
   トパネルの上側に配設されることを特徴とする請求項１
   記載の車輌の運転支援装置。
5. 【請求項５】 上記表示手段は、発光物の色によって接
   触可能性の判断結果を表示することを特徴とする請求項
   １〜４のいずれか一に記載の車輌の運転支援装置。
6. 【請求項６】 上記表示手段は、発光物の明るさによっ
   て接触可能性の判断結果を表示することを特徴とする請
   求項１〜４のいずれか一に記載の車輌の運転支援装置。
7. 【請求項７】 上記接触表示制御手段は、自車輌側部の
   走行軌跡を直進状態での自車輌側部の延長線によって近
   似し、この自車輌側部の延長線と検出した物体の自車輌
   側の縁との相対位置関係に基づいて接触可能性を判断す
   ることを特徴とする請求項１記載の車輌の運転支援装
   置。
8. 【請求項８】 上記物体検出手段は、車外の対象を異な
   る視点から撮像したステレオ画像対を処理して画像全体
   に渡る三次元の距離分布を算出し、この三次元の距離分
   布に基づいて、自車輌周辺に存在する物体を検出すると
   ともに、検出した物体の位置情報を算出することを特徴
   とする請求項１記載の車輌の運転支援装置。