JP3827804B2 - Vehicle driving support device - Google Patents
Vehicle driving support device Download PDFInfo
- Publication number
- JP3827804B2 JP3827804B2 JP09103797A JP9103797A JP3827804B2 JP 3827804 B2 JP3827804 B2 JP 3827804B2 JP 09103797 A JP09103797 A JP 09103797A JP 9103797 A JP9103797 A JP 9103797A JP 3827804 B2 JP3827804 B2 JP 3827804B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- contact
- host vehicle
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ガードレール、側壁、駐車車両等の障害物との接触の可能性についての正確な情報を提供して狭路等への進入、及びに狭路等の走行が容易に行なえるようにドライバの運転を支援する車両用運転支援装置に関する。
【0002】
【従来の技術】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する総合的な運転支援システム(ADA;Active Drive Assist system)が開発されている。このADAシステムは、車両の走行環境情報や自車両の走行状態から先行車両との衝突、障害物との接触、車線逸脱等の様々な可能性を推定して、安全を維持できないと予測される場合に、ドライバに対して報知、その他制御等を行なうものである。
【0003】
上記車両の走行環境情報を得るための装置としては、レーザ・レーダ装置等が従来より公知であるが、最近では車両に搭載した複数のカメラにより捉えた車両前方の風景や物体の画像情報を処理して、道路、交通環境を実用上十分な精度と時間で三次元的に認識することが可能になってきている。
【0004】
上記ADAシステムの機能の一つである狭路進入の可否の判定や、障害物との接触防止を図る機能を有するものとして、駐車空間を決定し、この駐車空間の情報に基づく様々な駐車補助制御を行って駐車の際のドライバの負担を軽減するものがある。
【0005】
この駐車補助制御装置では駐車空間を正確に決定するため、例えば、特開平6−274796号公報に示されるような技術が提案されている。この技術は、車体後部のCCDカメラにて得た画像データを距離データに変換して既駐車車両のコーナーを検出し、さらに距離データを用いて算出される駐車入口直線及び検出したコーナー点に基づき、既駐車車両の側面を近似した直線等を算出して誘導すべき駐車空間を決定するものである。
【0006】
【発明が解決しようとする課題】
しかしながら、既駐車車両の側面を高さ方向の凹凸の分布のない直線等で近似するだけでは、既駐車車両が例えば、横にドアミラー等の部分的な突起部を有する際に有効に対処することが難しい。すなわち、障害物と自車両との接触は、障害物の外形の高さ方向の凹凸の分布と、自車両の高さ方向の凹凸の分布によっても決定されるものであって、例え障害物に一部突出している部分があったとしても、その部分の高さの自車両の外形が凹んでいたり、あるいはその部分の高さに自車両の外形が無く衝突する可能性が無い場合がある。
【0007】
また、障害物の外形を上から投影した線で代表して、この障害物の横を自車両が走行可能か否かの処理も狭路進入の可否の判定においてよく用いられる手法であるが、例えば、図9に示すような自車両1がトラック2の横を通過しようとする際に、このトラック2のドアミラー2aは高さ方向の一部であっても、上からの投影だけでは上記トラック2の上から下まで突起が存在するように表現されるため、自車両1の高さが上記トラック2のドアミラー2aより低いにもかかわらず、通行できないと判定されてしまう可能性がある。
【0008】
本発明は上記事情に鑑みてなされたもので、狭路進入の可否の判定や、障害物との接触防止を図るにあたり、狭路進入の可否の判定が正確に行え、確実に障害物との接触を防止してドライバの運転を有効に支援する車両用運転支援装置を提供することを目的としている。
【0009】
上記目的を達成するため本発明による車両用運転支援装置は、自車両の進行方向の環境を距離分布の三次元画像データとして得る画像認識手段と、上記三次元画像データから上記自車両の進行方向の道路の形状と障害物を三次元に認識する道路形状・障害物認識手段と、上記認識した道路と障害物の予め設定しておいた三次元空間での位置を算出して記憶する道路・障害物位置算出記憶手段と、上記道路・障害物と相対的な位置にある上記自車両の上記予め設定しておいた三次元空間での位置を算出して記憶する自車両位置算出記憶手段と、上記自車両の運転状態から上記自車両の上記予め設定しておいた三次元空間での予想進路を算出する自車両予想進路算出手段と、上記自車両の予想進路と平面上における上記自車両の予め設定しておいたドアミラーの突出を考慮した車両外形に基づき上記障害物と上記自車両との平面上での接触可能性を求める一方、上記自車両の予想進路と高さ方向における上記自車両の予め設定しておいたドアミラーの突出を考慮した車両外形に基づき上記障害物と上記自車両との高さ方向での接触可能性を求め、上記平面上での接触可能性が有り、且つ、上記高さ方向での接触可能性が有ると判定した場合に上記障害物と上記自車両との接触可能性が有ると判定する接触判定手段と、上記接触判定手段での接触判定結果に基づき運転者に報知する報知手段とを備えたものであり、望ましくは、上記道路・障害物位置算出記憶手段は、道路面より下の障害物の情報を検出する手段を有し、上記予め設定しておいた三次元空間での位置を算出して記憶するように形成し、また、望ましくは、上記接触判定手段は、上記ドアミラーの予め設定しておいた格納状態と復帰状態とによる複数の上記車両外形の情報を有し、上記各設定状態に応じて対応する車両外形情報で接触の判定を行うように形成し、さらに望ましくは、上記報知手段は、上記障害物と上記自車両との状態を、俯瞰図と上記自車両後方からの投影図の少なくとも一方の視覚的表示部と、音声で報知する音声発生部と、警報音で報知する警報音発生部の少なくとも一つで形成したものである。
【0010】
上記構成により、画像認識手段で自車両の進行方向の環境を距離分布の三次元画像データとして得て、道路形状・障害物認識手段で上記三次元画像データから上記自車両の進行方向の道路の形状と障害物を三次元に認識し、道路・障害物位置算出記憶手段で上記認識した道路と障害物の予め設定しておいた三次元空間での位置を算出して記憶する。また、自車両位置算出記憶手段で上記道路・障害物と相対的な位置にある上記自車両の上記予め設定しておいた三次元空間での位置を算出して記憶する。自車両予想進路算出手段では、上記自車両の運転状態から上記自車両の上記予め設定しておいた三次元空間での予想進路を算出する。そして、接触判定手段が、上記自車両の予想進路と平面上における上記自車両の予め設定しておいたドアミラーの突出を考慮した車両外形に基づき上記障害物と上記自車両との平面上での接触可能性を求める一方、上記自車両の予想進路と高さ方向における上記自車両の予め設定しておいたドアミラーの突出を考慮した車両外形に基づき上記障害物と上記自車両との高さ方向での接触可能性を求め、上記平面上での接触可能性が有り、且つ、上記高さ方向での接触可能性が有ると判定した場合に上記障害物と上記自車両との接触可能性が有ると判定して、上記接触判定手段での接触判定結果に基づき報知手段は必要な情報を運転者に報知する。上記道路・障害物位置算出記憶手段は、道路面より下の障害物の情報をも検出し、上記予め設定しておいた三次元空間での位置を算出して記憶するように形成すれば、特に道路面より下の側溝、縁石等の位置認識も正確に行えて好ましい。また、上記接触判定手段は、上記ドアミラーの予め設定しておいた格納状態と復帰状態とによる複数の上記車両外形の情報を有し、上記各設定状態に応じて対応する車両外形情報で接触の判定を行うように形成すれば、車両のドアミラーの格納状態と復帰状態に合った適切な車両外形情報で接触の判定が行えるため好ましい。さらに、上記報知手段は、上記障害物と上記自車両との状態を、俯瞰図と上記自車両後方からの投影図の少なくとも一方の視覚的表示部と、音声で報知する音声発生部と、警報音で報知する警報音発生部の少なくとも一つで形成すれば、ドライバに対しての報知が素早く行え、ドライバも状況認識が的確に行えるので好ましい。
【0011】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
図2は車両用運転支援装置の概略構成図で、この図2において、符号1は自動車等の車両(自車両)であり、この自車両1に、狭路進入の可否の判定や、障害物との接触防止を図る機能を一つの機能として有し、ドライバの運転を支援する車両用運転支援装置3が搭載されている。以下、本発明の実施の形態では、車両用運転支援装置3の狭路進入の可否の判定や、障害物との接触防止を図る機能の部分についてのみ説明し、他の機能の部分については説明を省略する。
【0012】
上記車両用運転支援装置3は、ステレオ光学系として例えば電荷結合素子(CCD)等の固体撮像素子を用いた1組の(左右の)CCDカメラ4を有し、これら左右のCCDカメラ4は、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像するようになっている。そして、上記1組のCCDカメラ4で撮像した自車両1の走行(進入)方向の映像信号は、制御装置5に入力されるようになっている。
【0013】
また、上記車両用運転支援装置3には、上記自車両1の4隅に超音波センサ6,7(左右前端側超音波センサ6,左右後端側超音波センサ7)が配設されている。上記超音波センサ6,7は、図3に示すように、道路下の斜め側方の形状を検出するようにそれぞれ設けられており、図4に示すような状況、すなわち上記自車両1の道路下斜め側方に側溝8等がある場合に、この側溝8等の位置が正確に検出されるようになっている。
【0014】
上記超音波センサ6,7は、例えば、上記各超音波センサ6,7の超音波振動子(図示せず)が発振器及び受信器を兼ねて構成される周知のものであり、指向性の強い音波を所定の範囲内で方向を変えながら発し超音波振動子の発振開始時刻を検出し、次に反射波入力時刻を検出して両時刻の差と音波を発する方向から上記各超音波センサ6,7と道路下斜め側方の障害物(側溝8等)との間の距離と方向を検出するもので、これら上記超音波センサ6,7からの信号は上記制御装置5に入力されるようになっている。
【0015】
さらに、上記車両用運転支援装置3は、上記自車両1の速度を検出する車速センサ9、ハンドル角を検出するハンドル角センサ10およびドアミラー1aの格納・復帰を指令するミラースイッチ11からの各信号が上記制御装置5に入力されるように形成されており、上記制御装置5は上述の各情報(CCDカメラ4からの映像信号、超音波センサ6,7、車速センサ9、ハンドル角センサ10、およびミラースイッチ11からの各信号)に基づいて狭路進入の可否の判定や、障害物との接触防止を図る機能を達成すべく報知手段としての警報発生部12、音声発生部13、第1の表示部14、第2の表示部15に制御出力するように構成されている。
【0016】
上記警報発生部12は、例えばブザー等であり、進入ができない寸法の狭路に走行していった場合や、走行を続けると障害物との接触の可能性が有る場合に上記制御装置5からの出力信号により警報音を発してドライバに報知するようになっている。
【0017】
上記音声発生部13は、上記制御装置5からの出力信号に応じて予め録音しておいた音声の中(例えば、「前方は通過困難」、「左前方注意」、「左側方注意」、「右前方注意」、「右側方注意」…等)から所定の音声を選択し、車室内に設けた図示しないスピーカから車室内に音声を発するように形成されている。
【0018】
上記第1の表示部14と上記第2の表示部15は、上記制御装置5からの出力信号に応じて、車内に設けたそれぞれのモニタに、自車両1と障害物との位置関係を視覚的に表示するものである。
【0019】
すなわち、上記第1の表示部14と上記第2の表示部15のそれぞれのモニタは、図5に示すように隣り合って、1モニタ2画面上で設けられ、上記第1の表示部14では自車両1を上から見た俯瞰図を表示する画面上に、自車両1と障害物(図5ではトラック2と電柱17を例にしている)との平面上での接触可能性を表示するようになっている。また、上記第2の表示部15では自車両1を後方から投影した図をを表示する画面上に、自車両1と障害物との高さ方向での接触可能性を表示するようになっている。尚、画面上に映し出される障害物の形状は、予めメモリ内に記憶しておいた物体形状の中から選択して表示するものであっても、上記CCDカメラ4で撮影した映像をそのまま用いるものであってもどちらでも良い。
【0020】
上記警報発生部12、音声発生部13、および第1の表示部14と第2の表示部15は、上記制御装置5によってドライバが効果的に認識できるように作動されるようになっており、例えば自車両1と障害物との状況を、常時、上記第1の表示部14と第2の表示部15で提供し、所定の距離から障害物へ向けて走行する場合に上記音声発生部13による情報提供を行ない、障害物との接触可能性が所定に高まった場合に上記警報発生部12による警報が行われるようになっている。
【0021】
上記制御装置5は、マイクロコンピュータとその周辺回路で形成され、図1に示すように、画像認識部21、道路形状・障害物認識部22、道路・障害物位置算出記憶部23、自車両位置算出記憶部24、自車両予想進路算出部25、接触判定部26で主に構成されている。
【0022】
上記画像認識部21は、上記CCDカメラ4で撮像した自車両の進入方向の環境の1組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成して上記道路形状・障害物認識部22に出力する画像認識手段として形成されている。
【0023】
上記道路形状・障害物認識部22は、上記画像認識部21からの三次元画像データから上記自車両1の進入方向の道路の形状を認識し、同時に障害物を三次元的に認識して上記道路・障害物位置算出記憶部23に出力する道路形状・障害物認識手段として形成されている。
【0024】
即ち、個々の物体の三次元距離データにより、物体が重なっている場合にも容易に分離して、何であるかを認識することができ、これにより白線、ガードレール、縁石等が抽出される。そして例えば白線を折れ線で近似して、左右の折れ線で囲まれた範囲を自車線と判断し、この自車線のデータの水平成分で道路のカーブを、垂直成分で道路の上りや下りを検出して、手前から遠方に向かって道路形状を三次元的に検出するのである。
【0025】
また、画像データから障害となる立体物のみを選別し、この選別された物体が自車両1に対しての障害物であるのかを判断すると共に、その障害物までの距離(相対的な距離)、大きさ、左右端の位置を検出するのであり、この道路形状と障害物のデータが上記道路・障害物位置算出記憶部23に出力されるようになっている。
【0026】
上記道路・障害物位置算出記憶部23は、上記道路形状・障害物認識部22で抽出した道路形状と障害物を予め設定しておいた三次元座標上の位置を算出して記憶する道路・障害物位置算出記憶手段として形成されている。上記予め設定しておいた三次元座標は、自車両1と障害物とが平面、高さ方向で十分に収まる範囲で形成されている。
【0027】
また、上記道路・障害物位置算出記憶部23には、前記超音波センサ6,7からの信号が入力され、道路面より下にある側溝あるいは縁石等の位置が正確に三次元座標に表現されるようになっている。
【0028】
上記自車両位置算出記憶部24は、上記道路・障害物位置算出記憶部23で道路形状と障害物の位置を設定した三次元座標上に、上記道路・障害物と相対的な位置にある自車両1の位置を算出して記憶する自車両位置算出記憶手段としてのもので、道路形状と障害物の位置および自車両1の位置が設定された三次元座標のデータは上記自車両予想進路算出部25に出力されるようになっている。
【0029】
尚、上記道路・障害物位置算出記憶部23と上記自車両位置算出記憶部24で形成する座標は、例えば、上記道路形状・障害物認識部22で得られる新たな自車両から見た道路・障害物の相対位置の座標を、前回までに計算した道路・障害物の座標に車両運動を考慮して繰り返し加えていくことにより形成するようにしても良い。これはすなわち、ハンドル角により自車両1の直進・旋回を判断し、直進の場合、車両移動量(例えば車速と経過時間とで算出する)を前回までに計算した全ての道路形状・障害物の座標の車両前後方向成分に加算し、また、旋回の場合は、移動量とハンドル角から自車両1の回転中心と回転角を求め、前回までに計算した全ての道路形状・障害物の座標を上記回転中心に対して回転させる。この処理後、記憶してある全ての道路形状・障害物の座標のなかで記憶領域外に出たもののデータと前記CCDカメラ4の視野内にあるデータを消去し、新たに上記CCDカメラ4の視野内で計算された相対位置の座標を記憶データに追加するものである。
【0030】
上記自車両予想進路算出部25は、自車両予想進路算出手段としてのもので、前記車速センサ9からの車両速度、前記ハンドル角センサ10からのハンドル角、上記自車両位置算出記憶部24からの自車両1と道路・障害物の位置を示す三次元座標のデータを基に、この三次元座標上で自車両1がどのような進路で走行されるかを、自車両1の車両諸元で予め設定しておいた車両の運動方程式等により求めて予想するようになっており、求めた予想進路は上記接触判定部26に出力される。
【0031】
上記接触判定部26は、上記自車両予想進路算出部25で設定した上記自車両1の予想進路と前記ミラースイッチ11からの信号が入力され、 上記自車両1の予想進路と上記ミラースイッチ11からの信号で選択される予め記憶しておいた自車両1の車両外形に基づき障害物と自車両1との平面上での接触可能性と高さ方向での接触可能性を求め、これらの結果で上記障害物と自車両1との接触を判定し、必要に応じて上記警報発生部12、音声発生部13、および第1の表示部14と第2の表示部15に出力してドライバに報知する接触判定手段として形成されている。
【0032】
すなわち、接触判定は自車両1の車両外形に基づき予め設定しておいた接触判定外形線を上記予想進路に従って移動させ、この移動した接触外形線と障害物とが接触するか否かで行われるようになっている。
【0033】
平面上での接触可能性を判定するための上記接触判定外形線は、上面から見てドアミラー1aの復帰・格納の際の突出を考慮するとともに、車両バンパーの形状に合わせてドライバの感覚に沿って形成され、図6(b)に示すように、ドアミラー1aを復帰した状態の接触判定外形線31bと、図7(b)に示すように、ドアミラー1aを格納した状態の接触判定外形線32bの2種類が設定され、上記ミラースイッチ11からの信号でどちらかが選択されるようになっている。
【0034】
また、高さ方向での接触可能性を判定するための上記接触判定外形線は、正面から見てドアミラー1aの復帰・格納の際の突出を考慮して車両形状をドライバの感覚に沿って形成され、図6(a)に示すように、ドアミラー1aを復帰した状態の接触判定外形線31aと、図7(a)に示すように、ドアミラー1aを格納した状態の接触判定外形線32aの2種類が設定されており、上記ミラースイッチ11からの信号でどちらかが選択されるようになっている。
【0035】
上記接触判定部26で、例えば平面上でのドアミラー1aを復帰した自車両1の障害物との接触可能性を判定する場合には、図8に示すように、上記接触判定外形線31bを上記自車両予想進路算出部25で求めた予想進路に基づき内輪差等を考慮して移動させ、移動させるエリア内に障害物が有る場合は平面上の判定では接触すると結果を出力するものである。また、平面上でのドアミラー1aを格納した自車両1の障害物との接触可能性の判定、高さ方向でのドアミラー1aを復帰・格納した自車両1の障害物との接触可能性の判定も、特に図示しないが同様に行われるようになっている。
【0036】
そして、上記接触判定部26での平面上での接触可能性の判定結果は前記第1の表示部14の画面上に表示され、高さ方向での接触可能性の判定結果は前記第2の表示部15の画面上に表示される。ここで、例えば図5に示すように、平面上での接触可能性の判定結果が接触の可能性が有りとなっても、高さ方向での接触可能性の判定結果は接触の可能性が無いとの結果となっているため、上記接触判定部26は自車両1と障害物とは接触しないと判定する。すなわち、上記接触判定部26は、平面上での接触可能性の判定結果と高さ方向での接触可能性の判定結果の両方が接触可能性有りの場合に自車両1と障害物とは接触する可能性ありと判定し、上記警報発生部12および上記音声発生部13に対して出力してドライバに報知するようになっている。
【0037】
次に、上記構成による車両用運転支援装置の作用について説明する。
まず、車両が走行する際、CCDカメラ4で撮像された自車両1の走行(進入)方向の映像信号、超音波センサ6,7による道路下斜め側方の障害物(側溝8等)との距離を示す信号、車速センサ9による自車両速度の信号、ハンドル角センサ10によるハンドル角の信号、およびミラースイッチ11による自車両1のドアミラー1aの復帰・格納の状態を示す信号の各信号が制御装置5に入力される。
【0038】
上記制御装置5では、画像認識部21において、上記CCDカメラ4で撮像した自車両の進入方向の環境の1組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成して道路形状・障害物認識部22に出力する。
【0039】
上記道路形状・障害物認識部22は、上記画像認識部21からの三次元画像データから上記自車両1の進入方向の道路の形状を認識し、同時に障害物を三次元的に認識して道路・障害物位置算出記憶部23に出力する。
【0040】
上記道路・障害物位置算出記憶部23は、上記道路形状・障害物認識部22で抽出した道路形状と障害物を予め設定しておいた三次元座標上の位置を算出して記憶する。また、上記道路・障害物位置算出記憶部23には、前記超音波センサ6,7からの信号が入力され、道路面より下にある側溝あるいは縁石等の位置が正確に三次元座標上に表現される。
【0041】
次いで、自車両位置算出記憶部24は、上記道路・障害物位置算出記憶部23で道路形状と障害物の位置を設定した三次元座標上に、上記道路・障害物と相対的な位置にある自車両1の位置を算出して記憶し、この道路形状と障害物の位置および自車両1の位置が設定された三次元座標のデータは自車両予想進路算出部25に出力される。
【0042】
上記自車両予想進路算出部25は、前記車速センサ9からの車両速度、前記ハンドル角センサ10からのハンドル角、上記自車両位置算出記憶部24からの自車両1と道路・障害物の位置を示す三次元座標のデータを基に、この三次元座標上で自車両1がどうのような進路で走行されるかを、自車両1の車両諸元で予め設定しておいた車両の運動方程式等により求めて予想し、この求めた予想進路は接触判定部26に出力される。
【0043】
上記接触判定部26は、上記自車両予想進路算出部25で設定した上記自車両1の予想進路と前記ミラースイッチ11からの信号が入力され、 上記自車両1の予想進路と上記ミラースイッチ11からの信号で選択される予め記憶しておいた自車両1の車両外形(ドアミラー1aが復帰された状態か、あるいは格納された状態か)に基づき障害物と自車両1との平面上での接触可能性と高さ方向での接触可能性を求め、これらの結果で上記障害物と自車両1との接触を判定し、必要に応じて上記警報発生部12、音声発生部13、および第1の表示部14と第2の表示部15に出力してドライバに報知する。
【0044】
すなわち、接触判定は自車両1の車両外形に基づき予め設定しておいた接触判定外形線を上記予想進路に従って移動させ、この移動した接触外形線と障害物とが接触するか否かで行われる。
【0045】
上記接触判定部26で、例えば平面上でのドアミラー1aを復帰した自車両1の障害物との接触可能性を判定する場合には、図8に示すように、接触判定外形線31bを上記自車両予想進路算出部25で求めた予想進路に基づき内輪差等を考慮して移動させ、移動させるエリア内に障害物が有る場合は平面上の判定では接触すると結果を出力する。また、平面上でのドアミラー1aを格納した自車両1の障害物との接触可能性の判定、高さ方向でのドアミラー1aを復帰・格納した自車両1の障害物との接触可能性の判定も同様に行われる。
【0046】
そして、上記接触判定部26での平面上での接触可能性の判定結果は前記第1の表示部14の画面上に表示され、高さ方向での接触可能性の判定結果は前記第2の表示部15の画面上に表示される。ここで、例えば図5に示すように、平面上での接触可能性の判定結果が接触の可能性が有りとなっても、高さ方向での接触可能性の判定結果は接触の可能性が無いとの結果となっているため、上記接触判定部26は自車両1と障害物とは接触しないと判定する。すなわち、上記接触判定部26は、平面上での接触可能性の判定結果と高さ方向での接触可能性の判定結果の両方が接触可能性有りの場合に自車両1と障害物とは接触する可能性ありと判定し、上記警報発生部12および上記音声発生部13に対して出力してドライバに報知する。
【0047】
上記警報発生部12、音声発生部13、および第1の表示部14と第2の表示部15は、上記制御装置5の上記接触判定部26によってドライバが効果的に認識できるように作動される。
【0048】
すなわち、自車両1と障害物との状況は、常時、上記第1の表示部14と第2の表示部15で提供され、所定の距離から障害物へ向けて走行する場合に上記音声発生部13による予め用意しておいた所定の音声による情報提供を行ない、障害物との接触可能性が所定に高まった場合に上記警報発生部12によるブザー音等による警報が行われる。
【0049】
このように本発明の実施の形態によれば、自車両の障害物との接触可能性を、平面上での接触可能性と高さ方向での接触可能性を求め、これら両方の結果で判定するので、狭路進入の可否の判定や障害物との接触判定が正確に行える。
【0050】
また、超音波センサで道路面より下の障害物の情報も取り込んで接触判定するので、進入しようとする通路にある略全ての障害物について対応でき、一層正確な判定ができる。
【0051】
さらに、ドアミラーの復帰・格納状態で変化する車両外形も考慮することで、例えばドアミラーを格納すれば通行できる場合等も確実にドライバに報知できる。
【0052】
また、モニターの画面に、障害物と上記自車両との状態を、俯瞰図と自車両後方からの投影図で視覚的に示すことにより、ドライバが現在の状態を素早く感覚的に理解して判断しやすい。
【0053】
さらに、自車両と障害物との状況は、常時、上記第1の表示部と第2の表示部で提供され、所定の距離から障害物へ向けて走行する場合に音声発生部による予め用意しておいた所定の音声による情報提供を行ない、障害物との接触可能性が所定に高まった場合に警報発生部によるブザー音等による警報が行われるため、ドライバが現在の状態をいち早く理解して判断しやすい。
【0054】
また、自車両と障害物との接触判定に用いる接触判定外形線は、ドアミラーの形状とバンパーの形状を考慮して形成されるため、ドライバの車両感覚に合った接触判定が行われる。そして、この接触判定外形線を内輪差等考慮して移動して接触判定に用いるため、正確な判定が行える。
【0055】
尚、本発明の実施の形態では、道路面より下の障害物の情報を超音波センサで得るようにしているが、他の例えばCCDカメラ等で情報を得るようにしても良い。
【0056】
また、本発明の実施の形態では、車両が前進する場合を制御する例を示しているが、車両が後進する場合も車両の進行方向(後方)をCCDカメラで検出して同様に制御できる。
【0057】
【発明の効果】
以上説明したように本発明によれば、自車両の障害物との接触可能性を、平面上での接触可能性と高さ方向での接触可能性を求め、これら両方の結果で判定するので、狭路進入の可否の判定が正確に行え、確実に障害物との接触を防止してドライバの運転を有効に支援することができる。また、道路面より下の障害物の情報をも検出して接触判定することにより、道路面より下の側溝、縁石等の位置認識も正確に行えて信頼性が向上する。さらに、車両の予め設定しておいた各状態に応じて対応する車両外形情報で接触判定を行うことで、車両の様々な状態に合った適切な車両外形情報で接触の判定が行える。また、障害物と自車両との状態を、俯瞰図と自車両後方からの投影図の少なくとも一方の視覚的表示部と、音声で報知する音声発生部と、警報音で報知する警報音発生部の少なくとも一つで形成すれば、ドライバに対しての報知が素早く行え、ドライバも状況認識が的確に行える。
【図面の簡単な説明】
【図1】車両用運転支援装置の機能ブロック図
【図2】車両用運転支援装置の概略構成図
【図3】超音波センサの取り付け説明図
【図4】側溝のある状況での走行の一例を示す説明図
【図5】表示部の表示の説明図
【図6】ドアミラーを復帰させた状態での接触判定外形線の説明図
【図7】ドアミラーを格納した状態での接触判定外形線の説明図
【図8】実際の予想進路に基づく接触判定外形線の説明図
【図9】トラックの横を通過する状況での走行の一例を示す説明図
【符号の説明】
1 自車両
1a 自車両のドアミラー
2 トラック(障害物)
2a トラックのドアミラー
3 車両用運転支援装置
4 CCDカメラ
5 制御装置
6 左右前端側超音波センサ
7 左右後端側超音波センサ
8 側溝
9 車速センサ
10 ハンドル角センサ
11 ミラースイッチ
12 警報発生部(報知手段)
13 音声発生部(報知手段)
14 第1の表示部(報知手段)
15 第2の表示部(報知手段)
21 画像認識部(画像認識手段)
22 道路形状・障害物認識部(道路形状・障害物認識手段)
23 道路・障害物位置算出記憶部(道路・障害物位置算出記憶手段)
24 自車両位置算出記憶部(自車両位置算出記憶手段)
25 自車両予想進路算出部(自車両予想進路算出手段)
26 接触判定部(接触判定手段)[0001]
BACKGROUND OF THE INVENTION
The present invention provides accurate information about the possibility of contact with obstacles such as guardrails, side walls, and parked vehicles so that entry into narrow roads and traveling on narrow roads can be easily performed. The present invention relates to a vehicle driving support device that supports driving of a driver.
[0002]
[Prior art]
In recent years, in order to improve the safety of vehicles, a comprehensive driving assistance system (ADA) that actively supports driving operation of a driver has been developed. This ADA system is estimated to be unable to maintain safety by estimating various possibilities, such as collision with a preceding vehicle, contact with an obstacle, lane departure, etc., from the traveling environment information of the vehicle and the traveling state of the host vehicle. In this case, the driver is notified and other controls are performed.
[0003]
As a device for obtaining the traveling environment information of the vehicle, a laser / radar device or the like has been conventionally known, but recently, image information of a landscape or an object in front of the vehicle captured by a plurality of cameras mounted on the vehicle is processed. It has become possible to recognize roads and traffic environments three-dimensionally with sufficient accuracy and time for practical use.
[0004]
A parking space is determined as one of the functions of the ADA system, which has a function of determining whether or not it is possible to enter a narrow road and preventing contact with an obstacle, and various parking assistances based on information on the parking space. There is one that reduces the burden on the driver when parking by performing control.
[0005]
In this parking assist control device, in order to accurately determine the parking space, for example, a technique as disclosed in JP-A-6-27496 has been proposed. This technology detects the corner of a parked vehicle by converting image data obtained by a CCD camera at the rear of the vehicle body into distance data, and further, based on the parking entrance straight line calculated using the distance data and the detected corner point. The parking space to be guided is determined by calculating a straight line approximating the side surface of the parked vehicle.
[0006]
[Problems to be solved by the invention]
However, only by approximating the side of the parked vehicle with a straight line with no unevenness in the height direction, the parked vehicle can effectively cope with, for example, a side projection such as a door mirror on the side. Is difficult. That is, the contact between the obstacle and the own vehicle is determined by the height distribution of the contour of the obstacle and the height distribution of the own vehicle. Even if there is a part protruding partly, there is a possibility that the contour of the vehicle at the height of the part is recessed, or there is no possibility of collision because there is no contour of the vehicle at the height of the part.
[0007]
In addition, representing the outline of the obstacle from the top, the process of whether or not the host vehicle can run along the obstacle is also a method often used in determining whether or not a narrow road can be entered, For example, when the
[0008]
The present invention has been made in view of the above circumstances, and in determining whether or not to enter a narrow road and preventing contact with an obstacle, it is possible to accurately determine whether or not to enter a narrow road and reliably An object of the present invention is to provide a vehicle driving support device that effectively prevents a contact and supports driving of a driver effectively.
[0009]
In order to achieve the above object, a vehicle driving support apparatus according to the present invention includes an image recognition means for obtaining an environment in the traveling direction of the host vehicle as three-dimensional image data of a distance distribution, and the traveling direction of the host vehicle from the three-dimensional image data. Road shape / obstacle recognition means for three-dimensionally recognizing the shape and obstacle of the road, and a road for calculating and storing the position of the recognized road and obstacle in a preset three-dimensional space Obstacle position calculation storage means, and own vehicle position calculation storage means for calculating and storing the position of the own vehicle in the preset three-dimensional space relative to the road / obstacle. An own vehicle predicted course calculating means for calculating an expected course of the host vehicle in the preset three-dimensional space from the driving state of the host vehicle; and an expected course of the host vehicle; Considering the projection of the door mirror set in advance on the plane Possibility of contact between the obstacle and the vehicle on the plane based on the vehicle outline On the other hand, between the obstacle and the host vehicle based on the vehicle outer shape in consideration of the projected course of the host vehicle and the preset projection of the door mirror of the host vehicle in the height direction. Find contact possibility in the height direction, When there is a possibility of contact on the plane, and there is a possibility of contact between the obstacle and the host vehicle when it is determined that there is a possibility of contact in the height direction. Contact determination means for determining, and notification means for notifying the driver based on the contact determination result in the contact determination means, and preferably the road / obstacle position calculation storage means from the road surface It has a means for detecting information of the lower obstacle, and is formed so as to calculate and store the position in the preset three-dimensional space. Depending on the door mirror's preset retracted state and return state It has a plurality of information about the vehicle outer shape, and is formed so as to determine contact based on the vehicle outer shape information corresponding to each of the set states, and more preferably, the notification means includes the obstacle and the host vehicle. The state is formed by at least one of a visual display unit of the overhead view and the projected view from the rear of the host vehicle, a sound generation unit that notifies by sound, and an alarm sound generation unit that notifies by alarm sound It is a thing.
[0010]
With the above configuration, the environment in the traveling direction of the host vehicle is obtained as the three-dimensional image data of the distance distribution by the image recognition unit, and the road in the traveling direction of the host vehicle is obtained from the three-dimensional image data by the road shape / obstacle recognition unit. The shape and the obstacle are recognized in three dimensions, and the road / obstacle position calculation storage unit calculates and stores the position of the recognized road and obstacle in a preset three-dimensional space. Further, the own vehicle position calculation storage means calculates and stores the position of the own vehicle in the preset three-dimensional space at a position relative to the road / obstacle. The own vehicle predicted course calculation means calculates the predicted course of the host vehicle in the preset three-dimensional space from the driving state of the host vehicle. Then, the contact determination means and the predicted course of the host vehicle Considering the projection of the door mirror set in advance on the plane Possibility of contact between the obstacle and the vehicle on the plane based on the vehicle outline On the other hand, between the obstacle and the host vehicle based on the vehicle outer shape in consideration of the projected course of the host vehicle and the preset projection of the door mirror of the host vehicle in the height direction. Find contact possibility in the height direction, When there is a possibility of contact on the plane, and there is a possibility of contact between the obstacle and the host vehicle when it is determined that there is a possibility of contact in the height direction. Based on the contact determination result in the contact determination means, the notification means notifies the driver of necessary information. If the road / obstacle position calculation storage means is also configured to detect information on obstacles below the road surface and calculate and store the position in the preset three-dimensional space, In particular, it is preferable that the position of a gutter, curbstone and the like below the road surface can be accurately recognized. In addition, the contact determination means includes the above Depending on the door mirror's preset retracted state and return state If it is configured to have a plurality of information on the vehicle outer shape and determine contact based on the vehicle outer shape information corresponding to each setting state, Door mirror retracted and restored This is preferable because it is possible to determine contact with appropriate vehicle outer shape information suitable for the vehicle. Furthermore, the notification means includes at least one visual display unit of a bird's-eye view and a projection view from the rear of the host vehicle, a voice generation unit that reports by voice, a warning, and a state of the obstacle and the host vehicle. If it is formed by at least one of the alarm sound generating sections that notify by sound, it is preferable because the notification to the driver can be performed quickly and the situation can be recognized accurately by the driver.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 2 is a schematic configuration diagram of a vehicle driving support device. In FIG. 2,
[0012]
The vehicle driving support device 3 includes a pair of (left and right)
[0013]
In the vehicle driving support apparatus 3,
[0014]
The
[0015]
Further, the vehicle driving support device 3 includes signals from a
[0016]
The
[0017]
The
[0018]
The
[0019]
That is, the monitors of the
[0020]
The
[0021]
The control device 5 is formed of a microcomputer and its peripheral circuits. As shown in FIG. 1, the control device 5 includes an
[0022]
The
[0023]
The road shape /
[0024]
That is, the three-dimensional distance data of individual objects can be easily separated even when the objects are overlapped to recognize what is, thereby extracting white lines, guardrails, curbs, and the like. For example, the white line is approximated by a broken line, the range enclosed by the left and right broken lines is determined as the own lane, the road curve is detected with the horizontal component of this lane data, and the up and down of the road is detected with the vertical component. Thus, the road shape is detected three-dimensionally from the near side to the far side.
[0025]
Further, only the three-dimensional object that becomes an obstacle is selected from the image data, it is determined whether or not the selected object is an obstacle to the
[0026]
The road / obstacle position
[0027]
The road / obstacle position
[0028]
The own vehicle position
[0029]
Note that the coordinates formed by the road / obstacle position
[0030]
The host vehicle predicted
[0031]
The
[0032]
That is, the contact determination is performed based on whether or not the contact determination outline that has been set in advance based on the vehicle outer shape of the
[0033]
The contact determination outline for determining the possibility of contact on a flat surface takes into account the protrusion when the door mirror 1a is restored and retracted when viewed from above, and conforms to the driver's feeling in accordance with the shape of the vehicle bumper. 6B, the
[0034]
In addition, the contact determination outline for determining the possibility of contact in the height direction is formed in accordance with the driver's sensation in consideration of the protrusion when the door mirror 1a is restored and retracted when viewed from the front. 6A, the contact determination outline 31a when the door mirror 1a is restored and the
[0035]
When the
[0036]
Then, the determination result of the contact possibility on the plane by the
[0037]
Next, the operation of the vehicle driving support apparatus having the above configuration will be described.
First, when the vehicle travels, an image signal of the traveling (entrance) direction of the
[0038]
In the control device 5, the entire image is imaged by the
[0039]
The road shape /
[0040]
The road / obstacle position
[0041]
Next, the host vehicle position
[0042]
The host vehicle expected
[0043]
The
[0044]
That is, the contact determination is performed based on whether or not the contact determination outline that has been set in advance based on the vehicle outer shape of the
[0045]
When the
[0046]
Then, the determination result of the contact possibility on the plane by the
[0047]
The
[0048]
That is, the situation of the
[0049]
As described above, according to the embodiment of the present invention, the possibility of contact with the obstacle of the host vehicle is obtained by determining the contact possibility on the plane and the contact possibility in the height direction, and determining by both the results. Therefore, it is possible to accurately determine whether or not a narrow road can be entered and to determine contact with an obstacle.
[0050]
In addition, since information on obstacles below the road surface is captured by the ultrasonic sensor and contact determination is made, it is possible to deal with almost all obstacles in the path to be entered and to make more accurate determination.
[0051]
Further, by taking into account the vehicle outer shape that changes depending on the return / retracted state of the door mirror, for example, it is possible to reliably notify the driver when the door mirror can be stored.
[0052]
In addition, by visually showing the state of the obstacle and the host vehicle on the monitor screen with a bird's-eye view and a projection view from the rear of the host vehicle, the driver can quickly and intuitively understand and judge the current state. It's easy to do.
[0053]
Further, the situation of the host vehicle and the obstacle is always provided by the first display unit and the second display unit, and is prepared in advance by the sound generation unit when traveling toward the obstacle from a predetermined distance. The information provided by the specified voice is provided, and when the possibility of contact with the obstacle increases to a predetermined level, a warning is given by a buzzer sound etc. by the alarm generation unit, so the driver understands the current state quickly Easy to judge.
[0054]
In addition, since the contact determination outline used for determining contact between the host vehicle and the obstacle is formed in consideration of the shape of the door mirror and the shape of the bumper, contact determination that matches the driver's sense of vehicle is performed. And since this contact determination outline is moved in consideration of an inner ring difference etc. and used for contact determination, an accurate determination can be performed.
[0055]
In the embodiment of the present invention, the information on the obstacle below the road surface is obtained by the ultrasonic sensor, but the information may be obtained by another CCD camera or the like.
[0056]
In the embodiment of the present invention, an example of controlling the case where the vehicle moves forward is shown. However, when the vehicle moves backward, the traveling direction (rear) of the vehicle can be detected by the CCD camera and similarly controlled.
[0057]
【The invention's effect】
As described above, according to the present invention, the possibility of contact with the obstacle of the own vehicle is determined by obtaining the contact possibility on the plane and the contact possibility in the height direction, and determining both of these results. Therefore, it is possible to accurately determine whether or not the narrow road can be entered, and to reliably prevent the contact with the obstacle and to effectively support the driving of the driver. Further, by detecting information on obstacles below the road surface and making contact determination, the positions of the side grooves, curbs, etc. below the road surface can be accurately recognized, and reliability is improved. Furthermore, contact determination can be performed with appropriate vehicle outer shape information suitable for various states of the vehicle by performing contact determination with vehicle outer shape information corresponding to each state set in advance of the vehicle. Also, the state of the obstacle and the host vehicle is a visual display unit of at least one of an overhead view and a projected view from the rear of the host vehicle, a sound generating unit for notifying by sound, and an alarm sound generating unit for notifying by an alarm sound. If at least one of them is formed, notification to the driver can be performed quickly, and the driver can accurately recognize the situation.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a driving support apparatus for a vehicle.
FIG. 2 is a schematic configuration diagram of a vehicle driving support device.
FIG. 3 is an explanatory view of installation of an ultrasonic sensor.
FIG. 4 is an explanatory diagram showing an example of traveling in a situation where there is a side groove.
FIG. 5 is an explanatory diagram of display on the display unit.
FIG. 6 is an explanatory diagram of a contact determination outline when the door mirror is returned.
FIG. 7 is an explanatory diagram of a contact determination outline in a state in which a door mirror is stored.
FIG. 8 is an explanatory diagram of a contact determination outline based on an actual expected course
FIG. 9 is an explanatory diagram showing an example of traveling in a situation where the vehicle passes by a track
[Explanation of symbols]
1 Vehicle
1a Door mirror of own vehicle
2 trucks (obstacles)
2a Truck door mirror
3 Vehicle driving support device
4 CCD camera
5 Control device
6 Left and right front end ultrasonic sensors
7 Left and right rear end ultrasonic sensors
8 Side groove
9 Vehicle speed sensor
10 Handle angle sensor
11 Mirror switch
12 Alarm generator (notification means)
13 Voice generator (notification means)
14 1st display part (notification means)
15 2nd display part (notification means)
21 Image recognition unit (image recognition means)
22 Road shape / obstacle recognition unit (road shape / obstacle recognition means)
23 Road / obstacle position calculation storage unit (road / obstacle position calculation storage means)
24 Own vehicle position calculation storage unit (own vehicle position calculation storage means)
25 Own vehicle expected course calculation unit (own vehicle expected course calculation means)
26 Contact determination unit (contact determination means)
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09103797A JP3827804B2 (en) | 1997-04-09 | 1997-04-09 | Vehicle driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09103797A JP3827804B2 (en) | 1997-04-09 | 1997-04-09 | Vehicle driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10283592A JPH10283592A (en) | 1998-10-23 |
JP3827804B2 true JP3827804B2 (en) | 2006-09-27 |
Family
ID=14015316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09103797A Expired - Lifetime JP3827804B2 (en) | 1997-04-09 | 1997-04-09 | Vehicle driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3827804B2 (en) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366595B1 (en) | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP4723703B2 (en) * | 1999-06-25 | 2011-07-13 | 富士通テン株式会社 | Vehicle driving support device |
US6411867B1 (en) | 1999-10-27 | 2002-06-25 | Fujitsu Ten Limited | Vehicle driving support system, and steering angle detection device |
JP4089674B2 (en) * | 2004-09-29 | 2008-05-28 | 株式会社デンソー | Contact derailment avoidance navigation system |
JP4573242B2 (en) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | Driving assistance device |
DE102004057296A1 (en) * | 2004-11-26 | 2006-06-08 | Daimlerchrysler Ag | Lane departure warning with distinction between lane markings and the construction boundary of the lane |
JP2007142765A (en) * | 2005-11-17 | 2007-06-07 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery monitoring device |
JP6168380B2 (en) * | 2012-05-23 | 2017-07-26 | 国際航業株式会社 | Obstacle detection method and obstacle detection system |
KR102042279B1 (en) * | 2012-12-26 | 2019-11-07 | 현대모비스 주식회사 | Assistant system for backward driving of vehicle |
KR101628503B1 (en) | 2014-10-27 | 2016-06-08 | 현대자동차주식회사 | Driver assistance apparatus and method for operating thereof |
JP6885022B2 (en) * | 2016-11-14 | 2021-06-09 | スズキ株式会社 | Driving support device |
KR102406502B1 (en) * | 2016-12-14 | 2022-06-10 | 현대자동차주식회사 | Apparatus and method for controlling narrow road driving of vehicle |
JP6796041B2 (en) * | 2017-09-07 | 2020-12-02 | 日立建機株式会社 | Safe driving support device |
JP2020149672A (en) * | 2019-03-11 | 2020-09-17 | 株式会社ミツトヨ | Measurement result display device and program |
US11804135B2 (en) | 2019-11-28 | 2023-10-31 | Mitsubishi Electric Corporation | Object recognition apparatus, object recognition method, and computer readable medium |
US20220101022A1 (en) * | 2020-09-29 | 2022-03-31 | Rivian Ip Holdings, Llc | Vehicle cliff and crevasse detection systems and methods |
CN113071418A (en) * | 2021-04-28 | 2021-07-06 | 中国第一汽车股份有限公司 | Vehicle rearview mirror control method and device, electronic equipment and storage medium |
CN113391368B (en) * | 2021-06-30 | 2022-10-21 | 山东国瑞新能源有限公司 | Road exploration method and equipment based on virtual imaging technology |
CN114550131A (en) * | 2022-01-29 | 2022-05-27 | 北京百度网讯科技有限公司 | Electronic map processing method and device, electronic equipment and storage medium |
CN114537425B (en) * | 2022-02-28 | 2024-05-24 | 重庆长安汽车股份有限公司 | Detection and early warning method and device for front deceleration strip and ditch during driving and vehicle |
CN114771408A (en) * | 2022-03-28 | 2022-07-22 | 海尔(深圳)研发有限责任公司 | Overhead air conditioner for vehicle and control method thereof |
CN119348624B (en) * | 2024-12-24 | 2025-03-14 | 爱动超越人工智能科技(北京)有限责任公司 | Obstacle sensing method of industrial vehicle ADAS (advanced automatic analysis and attachment system) fused with large model |
-
1997
- 1997-04-09 JP JP09103797A patent/JP3827804B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10283592A (en) | 1998-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3827804B2 (en) | Vehicle driving support device | |
CN202686359U (en) | Narrow road detection device | |
CN110316182B (en) | Automatic parking system and method | |
JP5620472B2 (en) | Camera system for use in vehicle parking | |
JP3358709B2 (en) | Driving support device for vehicles | |
US6714139B2 (en) | Periphery monitoring device for motor vehicle and recording medium containing program for determining danger of collision for motor vehicle | |
JP6115576B2 (en) | Vehicle travel control device | |
JP3853542B2 (en) | Image processing apparatus, image processing method, and navigation apparatus | |
US8872919B2 (en) | Vehicle surrounding monitoring device | |
JP4043416B2 (en) | Safe movement support device | |
JP3917241B2 (en) | Vehicle driving support device | |
US20070233386A1 (en) | Traffic lane deviation preventing system for a vehicle | |
KR20210127267A (en) | Vehicle and method for controlling thereof | |
JP4145644B2 (en) | Vehicle travel control device | |
JP4223320B2 (en) | Vehicle driving support device | |
JP4687160B2 (en) | Perimeter monitoring device | |
US11794809B1 (en) | Vehicle and trailer wheel path collision detection and alert | |
JP2007226666A (en) | Driving support method and driving support device | |
JP2018090108A (en) | Parking support device and parking support method | |
JP2004056219A (en) | Vehicle surroundings monitoring apparatus | |
JP2021126950A (en) | Parking support device | |
JP5803757B2 (en) | Perimeter monitoring device and perimeter monitoring method | |
JPH10315888A (en) | Alarm device for over-situated obstacle of vehiclecar | |
JP2007124097A (en) | Vehicle periphery visual recognition device | |
JP5691339B2 (en) | Driving assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060705 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |