JP2006273190A - On-vehicle navigation device - Google Patents
On-vehicle navigation device Download PDFInfo
- Publication number
- JP2006273190A JP2006273190A JP2005097230A JP2005097230A JP2006273190A JP 2006273190 A JP2006273190 A JP 2006273190A JP 2005097230 A JP2005097230 A JP 2005097230A JP 2005097230 A JP2005097230 A JP 2005097230A JP 2006273190 A JP2006273190 A JP 2006273190A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- information
- detected
- foreign object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 6
- 239000000725 suspension Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は車載用ナビゲーション装置に関し、特に、車両を運転中に異物を踏んでしまった場合にその異物が何であるかの情報をユーザ(運転者)に提供するように適応された車載用ナビゲーション装置に関する。 The present invention relates to an in-vehicle navigation device, and more particularly to an in-vehicle navigation device adapted to provide a user (driver) with information on what the foreign object is when a foreign object is stepped on while driving the vehicle. About.
従来の車載用ナビゲーション装置には、ナビゲーションに係る一切の処理を制御するCPU、地図データを格納したCD−ROMやDVD−ROM等の記憶装置、LCDモニタ等のディスプレイ装置、自車の現在位置を検出するためのGPS受信機、自車の進行方位や走行速度等を検出するためのジャイロや車速センサ等が設けられている。そして、CPUにより、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像をディスプレイ装置の画面に描画すると共に、自車の現在位置を指示する自車位置マークを画面に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目で判るようにしている。 Conventional in-vehicle navigation devices include a CPU that controls all processing related to navigation, a storage device such as a CD-ROM or DVD-ROM that stores map data, a display device such as an LCD monitor, and the current position of the vehicle. A GPS receiver for detection, a gyro, a vehicle speed sensor, and the like for detecting the traveling direction and traveling speed of the host vehicle are provided. Then, the CPU reads out map data including the current position of the own vehicle from the storage device, draws a map image around the own vehicle position on the screen of the display device based on the map data, and determines the current position of the own vehicle. The vehicle position mark to be indicated is displayed superimposed on the screen, the map image is scrolled according to the movement of the vehicle, the map image is fixed on the screen, and the vehicle position mark is moved. You can see at a glance where the car is currently driving.
また、車載用ナビゲーション装置には、通常、ユーザが目的地に向けて道路を間違うことなく容易に走行できるように案内する機能(経路誘導機能)が搭載されている。この経路誘導機能によれば、CPUにより、地図データを用いて出発地(典型的には自車の現在位置)から目的地までを結ぶ最適な経路を、横型探索法やダイクストラ法等のシミュレーション計算を行って探索し、探索した経路を誘導経路として記憶しておき、走行中、地図画像上にその誘導経路を他の道路とは識別可能に(例えば、色を変えたり、線幅を太くして)表示したり、また自車が誘導経路上で進路を変更すべき交差点に所定距離内に近づいたとき、地図画像上にその交差点の拡大図(交差点での進行方向を示す矢印等を含む)を表示したりすることで、目的地に向けた最適な経路をユーザが把握できるようになっている。 In-vehicle navigation devices are usually equipped with a function (route guidance function) that guides a user so that the user can easily travel on the road without making a mistake. According to this route guidance function, the CPU calculates the optimal route from the departure point (typically the current position of the vehicle) to the destination using map data, such as a horizontal search method or a Dijkstra method. The route searched is stored as a guide route, and the route can be distinguished from other roads on the map image while traveling (for example, the color is changed or the line width is increased). When the vehicle approaches within a predetermined distance to the intersection whose course is to be changed on the guidance route, the map image includes an enlarged view of the intersection (an arrow indicating the direction of travel at the intersection, etc.) ) Or the like, the user can grasp the optimum route toward the destination.
このようなナビゲーション装置を搭載した車両を運転中に異物を踏んでしまった場合、あるいは踏んだと思った場合、運転者は何を踏んだのか気になり、それを確認するために後ろを振り返ったり、バックミラーを覗いたりすることがある。また、異物を踏んだときの衝撃が大きかった場合にはいったん停車して確認することもある。いずれにせよ、現状の技術では、運転中に異物を踏んでしまった場合には、その場所に戻らない限り踏んだ物が何であったかは分からない。 If you step on or think that you have stepped on a foreign object while driving a vehicle equipped with such a navigation device, the driver will be wondering what he has stepped on and look back to confirm it. Or look into the rearview mirror. In addition, when the shock when stepping on a foreign object is large, the vehicle may be stopped and confirmed. In any case, with the current technology, if a foreign object is stepped on while driving, it is not known what the step is on unless it returns to that place.
これとは反対に、走行の障害となる路上の障害物(異物)を事前に検知してそれを回避する(踏まないようにする)技術もある。例えば、特許文献1に記載されるように、ナビゲーションシステムから読み込んだ道路データ等に基づいて作成した車両前方の道路領域の画像に、赤外線カメラ等で検出した温度分布を重ね合わせることで、前方の道路上に存在する雪や氷(低温部分)、人間や動物(高温部分)を認識して、その障害物を回避すべく警報を発するようにした技術がある。また、特許文献2に記載されるように、CCDカメラ等によって得られる自車の周囲状況を示す画像情報を、ナビゲーション装置のディスプレイ上に道路地図及び自車位置と共に表示し、さらにレーダ等による周辺対象物との距離検出結果と合わせて車両の走行の障害となる障害物を識別可能に表示させるようにした技術もある。
上述したように従来の技術では、車両を運転中に異物を踏んでしまった場合、運転者は何を踏んだのか気になるため、それを確認するために後ろを振り返ったり、バックミラーを覗いたりすることがあった。しかし、このような運転中の確認は、低速で走行中のときは可能であるかも知れないが、高速で走行中のときは実質上困難であり、また危険でもあった。 As described above, in the conventional technology, if a foreign object is stepped on while driving the vehicle, the driver is wondering what he / she has stepped on. Therefore, to confirm it, look back or look into the rearview mirror. Sometimes happened. However, such confirmation during operation may be possible when traveling at low speed, but it is substantially difficult and dangerous when traveling at high speed.
また、異物を踏んでしまったときにそれが確認できなかった場合、その後、運転者は何を踏んだのか気にしながら運転を継続することになるため、運転に集中できず、危険であった。特に、踏んだ異物が鋭利なものであった場合には、タイヤが損傷している可能性もあり、事故につながる危険性もあった。 Also, if you could not confirm it when you stepped on a foreign object, then the driver would continue driving while caring about what you stepped on, so it was dangerous because you could not concentrate on driving . In particular, if the stepped foreign object is sharp, there is a possibility that the tire is damaged and there is a risk of causing an accident.
このため、運転中に異物を踏んでしまった場合には、その場所に戻って安全に確認するのが望ましい。しかしながら、その異物がこのまま運転を継続して支障となるような物であれば、わざわざその場所まで戻って確認するだけの価値はあるが、そうでなければ、異物の場所まで戻ることは時間的にも無駄である。特に、高速道路などにおいては既に通過した場所まで戻ることは困難である。 For this reason, if a foreign object is stepped on during driving, it is desirable to return to that place and confirm it safely. However, if the foreign object is something that will continue to interfere with the operation, it is worthwhile to go back to the place and check it. Even useless. Especially on highways, it is difficult to return to places that have already passed.
本発明は、かかる従来技術における課題に鑑み創作されたもので、車両を運転中に異物を踏んでしまった場合にその異物が何であるかを静止画像で確認できるようにし、ひいてはその後の安全運転に寄与することができる車載用ナビゲーション装置を提供することを目的とする。 The present invention has been created in view of the problems in the prior art, and when a foreign object is stepped on while driving a vehicle, it is possible to confirm with a still image what the foreign object is, and thus safe driving thereafter. It is an object to provide an in-vehicle navigation device that can contribute to the above.
上述した従来技術の課題を解決するため、本発明によれば、画面を通して情報を提供する表示手段と、走行中の自車両の前方又は後方の画像を継続的に取得する撮像手段と、前記撮像手段により取得された画像の情報をその取得時の時間情報と共に格納しておくための記憶手段と、自車両の走行状態を検出するための走行状態検出手段と、前記表示手段、撮像手段、記憶手段及び走行状態検出手段に動作可能に接続された制御手段とを具備し、前記制御手段は、前記走行状態検出手段により検出された走行状態に基づいて自車両に挙動変化があったことを検出したときに、異物を踏んだものと判断し、前記記憶手段に格納されている画像情報のうち前記挙動変化の検出時点から所定時間前まで、又は所定時間後までの画像情報から当該異物を検出したときに、当該検出した異物が当該画像内のどの部分にあるのかを識別可能な表示態様で当該画像を前記表示手段の画面上に表示させることを特徴とする車載用ナビゲーション装置が提供される。 In order to solve the above-described problems of the prior art, according to the present invention, a display unit that provides information through a screen, an imaging unit that continuously acquires a front or rear image of the traveling vehicle, and the imaging Storage means for storing image information acquired by the means together with time information at the time of acquisition, traveling state detection means for detecting the traveling state of the host vehicle, the display means, imaging means, storage And a control means operably connected to the travel state detection means, wherein the control means detects that the own vehicle has changed in behavior based on the travel state detected by the travel state detection means. It is determined that a foreign object has been stepped on, and the foreign object is detected from the image information stored in the storage means until the predetermined time before or after the predetermined time from the detection of the behavior change. An in-vehicle navigation device is provided that displays the image on the screen of the display unit in a display mode that can identify which portion of the image the detected foreign object is in The
本発明に係る車載用ナビゲーション装置によれば、走行中の自車両の前方(又は後方)の画像を継続的に取得する撮像手段と、取得した画像の情報をその取得時の時間情報と共に格納する記憶手段とにより、ドライブレコーダ機能を実現している。そして、制御手段により、自車両の挙動変化を検出したときに「異物を踏んだ」ものと判断し、記憶手段に格納されているドライブレコーダ情報のうち、その検出時点から所定時間前(又は所定時間後)までの画像情報から当該異物の検出を行い、その検出部分(異物)が当該画像内のどの部分にあるのかを識別できるような表示態様で当該画像を画面に表示するようにしている。つまり、記憶手段に格納されたドライブレコーダ情報をそのまま読み出して動画再生するのではなく、ユーザが欲しい情報(この場合、踏んだ異物)のみを抽出し、画面を通して静止画像の態様で情報提供を行うようにしている。 According to the vehicle-mounted navigation device according to the present invention, the image capturing means for continuously acquiring the front (or rear) image of the traveling vehicle and the information on the acquired image are stored together with the time information at the time of acquisition. The drive recorder function is realized by the storage means. Then, when the behavior change of the host vehicle is detected by the control means, it is determined that the vehicle has stepped on a foreign object, and among the drive recorder information stored in the storage means, a predetermined time before the detection time (or a predetermined time) The foreign object is detected from the image information up to (after time), and the image is displayed on the screen in a display mode in which the detected part (foreign substance) can be identified in the image. . In other words, the drive recorder information stored in the storage means is not read as it is and the moving image is reproduced, but only the information that the user wants (in this case, the stepped foreign object) is extracted and information is provided in the form of a still image through the screen. I am doing so.
これにより、ユーザは、車両を運転中に異物を踏んでしまった場合に、わざわざその場所まで戻らなくても、画面に表示された画像(この画像内に含まれる検出部分(異物))を確認することで、その異物が何であったのかを認識することができる。これによって、このまま運転を継続しても支障がないかどうかを確認することができ、その後の安全運転に寄与することができる。 As a result, if the user steps on a foreign object while driving the vehicle, the user can confirm the image displayed on the screen (the detected part (foreign object) included in this image) without having to bother to return to that location. By doing so, it is possible to recognize what the foreign substance was. Thereby, it can be confirmed whether there is no problem even if the operation is continued as it is, and it can contribute to the subsequent safe driving.
また、上記の車載用ナビゲーション装置において、ユーザの指示を入力する入力手段をさらに具備し、前記制御手段は、当該検出した異物が当該画像内のどの部分にあるのかを識別可能な表示態様で当該画像を前記表示手段の画面上に表示させている状態で、さらに前記入力手段を介してユーザ指示があったときに、当該検出した異物をズームアップして表示させるようにしてもよい。 The vehicle-mounted navigation device further includes an input unit that inputs a user instruction, and the control unit is configured to display the detected foreign object in a display mode that can identify the portion in the image. In a state where the image is displayed on the screen of the display means, when the user gives an instruction via the input means, the detected foreign matter may be zoomed up and displayed.
この形態によれば、上記の車載用ナビゲーション装置において画面に表示された画像からは肉眼でその異物が何であるかを容易に認識できなかった場合でも、ズームアップ表示によりその異物が何であるかを確実に認識することができる。 According to this aspect, even if the foreign matter cannot be easily recognized with the naked eye from the image displayed on the screen in the above-described vehicle-mounted navigation device, the zoom-up display can show what the foreign matter is. Can be recognized reliably.
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1は本発明の一実施形態に係る車載用ナビゲーション装置の構成を概略的に示したものである。 FIG. 1 schematically shows the configuration of an in-vehicle navigation device according to an embodiment of the present invention.
本実施形態に係る車載用ナビゲーション装置10において、11はアンテナを介して外部と通信するための車載電話機、携帯電話機等の通信機、12はユーザが指示する情報を入力するための操作部を示し、例えば、リモコン送信器の形態を有している。特に図示はしないが、このリモコン送信器には、後述する表示部の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどが適宜設けられており、本発明に関連するものとして、後述するように自車両が踏んだ異物の検出及びその表示を実行させるための操作ボタンやキーなどが設けられている。また、13はGPS衛星から送られてくるGPS信号に基づいて自車の現在位置の経度及び緯度を検出するGPS受信機を示す。
In the in-
14は車外の適当な場所(例えば、サスペンションの近傍)に設置されたマイクロホンを示し、このマイクロホン14を通して通常の走行状態の時とは違う音(異音)が検出されたときに、後述する制御部において自車両は「異物を踏んだ」ものと判断される。つまり、マイクロホン14による異音の検出は、異物を踏んだかどうかを判断するためのトリガとして利用される。ここに、「異音」とは、車両の走行中にサスペンションの近傍で通常ピックアップされる音(タイヤの回転する音、路面との接触音など)とレベル的に異なる短時間の音を指すものとする。また、15は車両走行状態を検出するための車両センサを示し、例えば、自車の進行方位を検出するためのジャイロ等の角度センサ、一定の走行距離毎にパルスを発生する車速センサ等からなる。後述するように、この車両センサ15で検出された車両走行状態を指示する情報から自車両の挙動に変化があったかどうかを判断(検出)することができ、車両挙動変化が検出されたときに、後述する制御部において自車両は「異物を踏んだ」ものと判断される。つまり、車両センサ15の出力情報に基づいた車両挙動変化の検出は、異物を踏んだかどうかを判断するためのトリガとして利用される。
16Fは自車両の前方の適当な場所(例えば、車室内のルームミラーの近傍)に設置された前方カメラ(車載カメラ)を示し、制御部18からの制御に基づいて起動し、走行中(停止時も含む)の車両前方の映像(画像情報)を継続的に取得するものである。また、17は画像処理部を示し、車載カメラ16Fで撮影して得られた画像の信号を自車両の周辺の標識、路面状況(路上異物を含む)、他車両等として認識するための機能ブロックであり、車載カメラ16Fで取得された画像の信号を増幅し、デジタル化して出力する機能も有している。この画像処理部17では、一般的な画像認識装置において通常行われている処理と同様の処理が行われ、例えば、車載カメラ16Fで取得された画像のノイズを除去したり、2値化やエッジ検出等の手法を用いて、取得した画像の中から特徴となる画像を識別し、その識別した画像を予め用意した複数のマッチング用パターン画像と照合し、一致した場合にその結果を出力する。
18はマイクロコンピュータ等により構成された制御部を示し、基本的には、GPS受信機13から出力される信号に基づいて自車の現在位置を検出したり、車両センサ15から出力される信号に基づいて自車の方位や走行速度を算出したり、後述する地図データベースから読み出した地図データを用いて設定された探索条件で出発地(自車位置)から目的地までの誘導経路を探索するなど、ナビゲーションに係る種々の処理を実行する。さらに制御部18は、本発明に関連する処理として、後述するように路上異物の検出及びその表示に係る処理を制御する機能を有している。また、19は各縮尺レベル(1/12500、1/25000、1/50000等)に応じて適当な大きさの経度幅及び緯度幅に区切られた地図データを格納した地図データベースを示し、記憶媒体としてHDDを使用している。このHDD(地図データベース19)に格納されている地図データには、表示用の道路データ、経路探索用の道路データ、各種施設(コンビニエンスストア、ガソリンスタンド、ファミリーレストラン等)に関するデータなどが含まれており、各データは、経緯度で表現された点(ノード)の座標集合で表されている。
20は地図データベース19と同じHDDを記憶媒体として用いたドライブレコーダ情報格納部を示し、このドライブレコーダ情報格納部20(HDD内の該当する記憶領域)には、車載カメラ16Fで継続的に撮影して得られた画像(車両前方の映像)の情報が、その取得時の時間情報と共に、制御部18からの制御に基づき画像処理部17を介して逐次保存されるようになっている。この場合、車載用のHDDの記憶容量には限りがあり、過去に取得したドライブレコーダ情報を全て保存しておくことはできないため、HDDを効率的に運用する観点から、HDD内の該当する記憶領域にドライブレコーダ情報を順次上書きしながら格納する(例えば、30分毎に更新する)。また、21は地図データベース19と同じHDDを記憶媒体として用いた異物検出用情報格納部を示し、この異物検出用情報格納部21(HDD内の別の記憶領域)には、後述するように制御部18からの制御に基づいてドライブレコーダ情報から抽出された特定の時間帯の画像情報(当該異物が映っている画像情報を含む)が保存されるようになっている。
22は制御部18によって探索された誘導経路の出発地(典型的には自車位置)から目的地までの全てのノード(経緯度で表現された点の座標)に関するデータを格納しておくための誘導経路記憶部を示す。また、23はLCDモニタ等からなる表示部を示し、基本的には、制御部18からの制御に基づいてナビゲーションに係る案内情報(自車の現在位置の周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等)を画面上に表示するものであり、さらに、後述するように制御部18からの制御に基づいて検出した路上異物の表示に係る情報(静止画像)を画面上に表示するものである。また、24はスピーカを示し、制御部18からの制御に基づいて上記のナビゲーションに係る案内情報を音声出力するものである。
22 stores data related to all nodes (coordinates of points expressed in longitude and latitude) from the starting point (typically the vehicle position) of the guidance route searched by the
以上のように構成された車載用ナビゲーション装置10において、操作部12は「入力手段」に、車両センサ15は「走行状態検出手段」に、車載カメラ16Fは「撮像手段」に、制御部18は「制御手段」に、HDD19〜21は「記憶手段」に、表示部23は「表示手段」に、それぞれ対応している。
In the in-
以下、本実施形態に係る車載用ナビゲーション装置10(図1)において制御部18が行う路上異物の検出及びその表示に係る処理について、その処理フローの一例を示す図2と共に、この処理フローを補足説明するための画面表示例を示した図3〜図5を参照しながら説明する。
Hereinafter, with respect to the processing related to detection and display of foreign matter on the road performed by the
先ず、前提条件として、本装置10を搭載した車両が目的地に向けて走行しているものとする。すなわち、ユーザが操作部(リモコン送信器)12を操作して目的地を設定すると、制御部18では、その目的地のデータとGPS受信機13からの出力信号に基づき検出した自車の現在位置(出発地)のデータとに基づいて、出発地から目的地までが入る範囲の地図データを地図データベース19から読み出し、出発地から目的地までを結ぶ最適な誘導経路を横型探索法等により探索して、その結果を誘導経路記憶部22にいったん格納する。そして、誘導経路記憶部22に格納されているデータを参照して、表示部23の画面上にその誘導経路を表示しながら、車両を目的地まで案内する(経路案内)。
First, as a precondition, it is assumed that a vehicle equipped with the
このように経路案内が行われている状態で、最初のステップS1では、制御部18により、前方カメラ16Fで継続的に撮影して得られた画像(車両前方の映像)の情報を画像処理部17を介して取得し、この取得したデジタルの画像情報を、その取得時(撮像時)の時間情報と共に、ドライブレコーダ情報としてHDD内の該当する記憶領域(ドライブレコーダ情報格納部20)に上書きしながら逐次保存する。
In the state where the route guidance is performed in this way, in the first step S1, information of an image (video in front of the vehicle) obtained by the
次のステップS2では、制御部18において、車両センサ15で検出された車両走行状態を指示する情報から自車両の挙動に変化があった(YES)か否(NO)かを判定し、あるいはマイクロホン14を通して通常の走行状態の時とは違う異音が検出された(YES)か否(NO)かを判定する。判定結果がYESの場合には、車両挙動変化もしくは異音の検出をトリガとして自車両は「異物を踏んだ」ものと判断してステップS3に進み、判定結果がNOの場合には本処理フローは「終了」となる。
In the next step S2, the
次のステップS3では、制御部18により、ドライブレコーダ情報格納部20に保存されているドライブレコーダ情報(画像の情報とその撮像時の時間情報)を参照して、車両挙動変化もしくは異音の検出時点から所定時間(1〜2秒ないし数秒)前までの画像の情報を抽出し、HDD内の別の記憶領域(異物検出用情報格納部21)に保存する。
In the next step S3, the
次のステップS4では、操作部12からのユーザ指示に基づいて制御部18が、異物検出用情報格納部21に保存されているドライブレコーダ情報を参照し、画像処理部17と協働して、当該ドライブレコーダ情報(画像)から画像認識により異物(パターン画像)を検出した(YES)か否(NO)かを判定する。判定結果がYESの場合にはステップS5に進み、判定結果がNOの場合には本処理フローは「終了」となる。
In the next step S4, the
次のステップS5では、制御部18からの制御に基づいて表示部23の画面に、その検出した部分(異物)を含む画像(静止画像)を、その検出部分(異物)が当該画像内のどの部分にあるのかを識別できるような表示態様で表示する。
In the next step S5, an image (still image) including the detected portion (foreign matter) is displayed on the screen of the
例えば、図3の画面表示例に示すように、表示部23の画面30に、その検出部分(異物)31を含む画像(静止画像32)を表示するにあたり、その検出部分31を他の部分とは異なる色(相対的に目立つ色)の破線で囲むことにより、当該検出部分31が当該画像32内のどの部分にあるのかを識別できるようにする。図3に示す画面表示例では、検出部分(異物)31を目立つ色の破線で囲んでいるが、当該検出部分の表示態様はこれに限定されないことはもちろんである。例えば、当該検出部分31を破線で囲んで点滅させたり、当該検出部分31に矢印を付してその矢印を点滅させたりするなど、種々の表示態様が考えられる。
For example, as shown in the screen display example of FIG. 3, when displaying an image (still image 32) including the detected portion (foreign matter) 31 on the
次のステップS6では、制御部18において、操作部12からのユーザ指示(当該検出部分(異物)31をズームアップ表示する旨の指示)があった(YES)か否(NO)かを判定する。判定結果がYESの場合にはステップS7に進み、判定結果がNOの場合には本処理フローは「終了」となる。
In the next step S6, the
最後のステップS7では、制御部18からの制御に基づいて表示部23の画面に、当該検出部分(異物)をズームアップして表示する。その際、制御部18により、地図データベース19に格納されている地図情報も参照して、当該異物を踏んだ時刻と場所を指示する情報も併せて表示する。
In the final step S 7, the detected portion (foreign matter) is zoomed up and displayed on the screen of the
例えば、図4の画面表示例に示すように、表示部23の画面30に、当該検出部分(異物)をズームアップして表示すると共に(ズームアップ画像33)、当該異物を踏んだ時刻を指示する情報34(図示の例では、「PM3:34」)と当該異物を踏んだ場所を指示する情報35(図示の例では、「A交差点付近」)も併せて表示する。そして、本処理フローは「終了」となる。
For example, as shown in the screen display example of FIG. 4, the detected portion (foreign matter) is zoomed up and displayed on the
なお、本処理フローには特に図示はしていないが、最後のステップS7において当該検出部分(異物)のズームアップ表示(図4)を行った際に、必要に応じて操作部12からのユーザ指示に基づき制御部18により、当該異物を踏んだ場所周辺の地図画像を表示部23の画面に表示させるようにしてもよい。
Although not particularly shown in the present processing flow, when the zoomed-in display (FIG. 4) of the detected portion (foreign matter) is performed in the last step S7, the user from the
例えば、図5の画面表示例に示すように、表示部23の画面30に、当該異物を踏んだ場所(A交差点35a)の周辺の地図画像36を表示する。図示の例では、地図画像36は画面30の一部(右下の隅)に表示されている。
For example, as shown in the screen display example of FIG. 5, a
以上説明したように、本実施形態に係る車載用ナビゲーション装置10(図1)によれば、車両の走行中、前方カメラ16Fにより車両前方の映像(画像)を継続的に取得し、制御部18からの制御に基づいて、その取得した画像の情報を取得時の時間情報と共にドライブレコーダ情報としてHDD内の該当する記憶領域(ドライブレコーダ情報格納部20)に上書きしながら逐次保存する一方で、車両挙動変化もしくは異音を検出した場合にその検出時点から1〜2秒ないし数秒前までの画像情報をドライブレコーダ情報から抽出してHDD内の別の記憶領域(異物検出用情報格納部21)に保存している。そして、必要な時(例えば、操作部12を介してユーザ指示があった時)に、制御部18からの制御に基づき画像処理部17において、HDDに格納されている異物検出用情報(画像)から画像認識により異物(パターン画像)を検出し、図3の画面表示例に示したように、その検出部分(異物)31が当該画像(静止画像32)内のどの部分にあるのかを識別できるような表示態様で表示部23の画面30に表示するようにしている。
As described above, according to the vehicle-mounted navigation device 10 (FIG. 1) according to the present embodiment, while the vehicle is running, the
つまり、HDDに保存された異物検出用情報(ドライブレコーダ情報)をそのまま読み出して動画再生する(この場合、運転に支障をきたす)のではなく、ユーザ(運転者)が欲しい情報(路上異物)のみを抽出し、画面を通して静止画像の態様で情報提供を行うようにしている。 In other words, the foreign object detection information (drive recorder information) stored in the HDD is not read as it is and the moving image is reproduced (in this case, it hinders driving), but only the information desired by the user (driver) (road foreign object) Is extracted and information is provided in the form of a still image through the screen.
これにより、ユーザは、車両を運転中に異物を踏んでしまった場合に、わざわざその場所まで戻らなくても、表示部23の画面30に表示された静止画像32(この画像32内に含まれる検出部分31)を確認することで、その異物が何であったのかを認識することができる。これによって、このまま運転を継続して問題ないかどうかを確認することができ、その後も安全して運転を続けることができる。
As a result, when the user steps on a foreign object while driving the vehicle, the user does not bother to return to that place, but the
また、図3に示したような静止画像32(検出部分(異物)31を含む)を見ただけでは当該異物が何であるかを容易には認識できない場合もあり得る。例えば、透明なガラス片や卵のパッケージなどは、画像を一見しただけでは何であるか直ぐには分からない。本実施形態では、そのような場合に、操作部12からのユーザ指示に基づいて制御部18により表示部23の画面30に、図4の画面表示例に示したように、その検出部分(異物)31をズームアップして表示すると共に(ズームアップ画像33)、当該異物を踏んだ時刻と場所を指示する情報34,35も併せて表示するようにしている。このズームアップ表示により、図3の画像からは肉眼でその異物が何であるかを認識できなかったものでも確実に「卵のパッケージ」であることが分かり、このまま運転を継続しても支障がないことを確認することができ、その後の安全運転に寄与する。
Further, it may be difficult to easily recognize what the foreign object is just by looking at the still image 32 (including the detection portion (foreign substance) 31) as shown in FIG. For example, it is not immediately obvious what a transparent piece of glass or an egg package is at first glance. In the present embodiment, in such a case, as shown in the screen display example of FIG. 4, the detected portion (foreign matter) is displayed on the
また、ズームアップ表示(図4)を行った際に、ユーザは、その異物を踏んだ場所が具体的に何処かを知りたい場合や、その異物次第ではその場所に戻ることを希望する場合もあり得る。本実施形態では、そのような場合に、操作部12からのユーザ指示に基づいて制御部18により表示部23の画面30に、図5の画面表示例に示したように、当該場所周辺の地図画像36を画面30の一部(図示の例では、右下の隅)に表示するようにしている。ユーザは、この地図画像36を確認して、異物を踏んだ場所(A交差点35a)が何処なのかを知ることができる。このとき、地図画像36の表示縮尺によってはその場所が何処なのかを容易に認識できない場合もあり得る。そのような場合には、画面を切り替えて一画面全体に地図画像36を表示するようにすればよい。
In addition, when the zoom-in display (FIG. 4) is performed, the user may want to know the specific place where the foreign object is stepped on or may return to the place depending on the foreign object. possible. In this embodiment, in such a case, the map around the location is displayed on the
上述した実施形態では、ドライブレコーダ情報を提供する手段として前方カメラ16Fを用いた場合を例にとって説明したが、この前方カメラ16Fの代わりに、図1に破線で示すように後方カメラ16Rを用いてもよい。この場合、後方カメラ(車載カメラ)16Rは、自車両の後方の適当な場所(例えば、リヤ席の後ろ側の天井部分の近傍)に設置され、制御部18からの制御に基づいて起動し、走行中(停止時も含む)の車両後方の映像(画像情報)を継続的に取得する。また、制御部18では、車両挙動変化もしくは異音を検出したときに、その検出時点から所定時間(1〜2秒ないし数秒)後までの画像情報をドライブレコーダ情報から抽出してHDD(異物検出用情報格納部20)に保存する。
In the above-described embodiment, the case where the
10…車載用ナビゲーション装置、
12…操作部(入力手段)、
13…GPS受信機、
14…マイクロホン、
15…車両センサ(走行状態検出手段)、
16F,16R…車載カメラ(撮像手段)、
17…画像処理部、
18…制御部(制御手段)、
19…地図データベース(HDD/記憶手段)、
20…ドライブレコーダ情報格納部(HDD/記憶手段)、
21…異物検出用情報格納部(HDD/記憶手段)、
23…表示部(表示手段)、
30…表示画面、
31…検出部分(異物)、
32…検出部分を含む画像(静止画像)、
33…検出部分のズームアップ画像(静止画像)、
34…異物を踏んだ時刻を指示する情報、
35…異物を踏んだ場所を指示する情報、
36…(異物を踏んだ場所周辺の)地図画像。
10: In-vehicle navigation device,
12 ... operation part (input means),
13 ... GPS receiver,
14 ... Microphone,
15 ... Vehicle sensor (running state detection means),
16F, 16R ... In-vehicle camera (imaging means),
17. Image processing unit,
18 ... control part (control means),
19 ... Map database (HDD / storage means),
20 ... Drive recorder information storage unit (HDD / storage means),
21 ... Foreign matter detection information storage unit (HDD / storage means),
23... Display section (display means)
30 ... display screen,
31 ... detection part (foreign matter),
32 ... an image including a detection part (still image),
33 ... Zoomed-in image (still image) of the detection part,
34 ... Information indicating the time when the foreign object is stepped on,
35 ... Information indicating the location where the foreign object was stepped on,
36 ... A map image (around the place where the foreign object was stepped on).
Claims (5)
走行中の自車両の前方又は後方の画像を継続的に取得する撮像手段と、
前記撮像手段により取得された画像の情報をその取得時の時間情報と共に格納しておくための記憶手段と、
自車両の走行状態を検出するための走行状態検出手段と、
前記表示手段、撮像手段、記憶手段及び走行状態検出手段に動作可能に接続された制御手段とを具備し、
前記制御手段は、前記走行状態検出手段により検出された走行状態に基づいて自車両に挙動変化があったことを検出したときに、異物を踏んだものと判断し、前記記憶手段に格納されている画像情報のうち前記挙動変化の検出時点から所定時間前まで、又は所定時間後までの画像情報から当該異物を検出したときに、当該検出した異物が当該画像内のどの部分にあるのかを識別可能な表示態様で当該画像を前記表示手段の画面上に表示させることを特徴とする車載用ナビゲーション装置。 Display means for providing information through a screen;
Imaging means for continuously acquiring images of the front or rear of the traveling vehicle;
Storage means for storing image information acquired by the imaging means together with time information at the time of acquisition;
Traveling state detection means for detecting the traveling state of the host vehicle;
Control means operably connected to the display means, imaging means, storage means and running state detection means,
The control means determines that a foreign object has been stepped on when detecting that there has been a change in behavior of the host vehicle based on the running state detected by the running state detection means, and is stored in the storage means. When the foreign object is detected from the image information from the time when the behavior change is detected to the predetermined time before or after the predetermined time, the part of the image that the detected foreign object is in is identified A vehicle-mounted navigation device that displays the image on the screen of the display means in a possible display mode.
前記制御手段は、前記マイクロホンを通して通常の走行状態の時とは違う異音が検出されたときに、異物を踏んだものと判断し、前記記憶手段に格納されている画像情報のうち前記異音の検出時点から所定時間前まで、又は所定時間後までの画像情報から当該異物を検出したときに、当該検出した異物が当該画像内のどの部分にあるのかを識別可能な表示態様で当該画像を前記表示手段の画面上に表示させることを特徴とする請求項1に記載の車載用ナビゲーション装置。 A microphone installed near the suspension of the host vehicle and operably connected to the control means;
The control means determines that a foreign object has been stepped on when an abnormal sound different from that in a normal running state is detected through the microphone, and the abnormal sound is detected among the image information stored in the storage means. When the foreign object is detected from the image information from the detection time to a predetermined time before or after the predetermined time, the image is displayed in a display mode that can identify which part of the image the detected foreign object is in. The in-vehicle navigation device according to claim 1, wherein the on-vehicle navigation device is displayed on a screen of the display means.
前記制御手段は、当該検出した異物が当該画像内のどの部分にあるのかを識別可能な表示態様で当該画像を前記表示手段の画面上に表示させている状態で、さらに前記入力手段を介してユーザ指示があったときに、当該検出した異物をズームアップして表示させることを特徴とする請求項1又は2に記載の車載用ナビゲーション装置。 It further comprises input means for inputting user instructions,
The control means is further configured to display the image on the screen of the display means in a display mode capable of identifying which part of the image the detected foreign substance is in via the input means. The in-vehicle navigation device according to claim 1 or 2, wherein when a user instruction is given, the detected foreign matter is zoomed in and displayed.
前記制御手段は、前記表示手段の画面上に当該検出した異物をズームアップして表示させる際に、前記記憶手段に格納されている前記時間情報及び前記地図情報を参照して、当該異物を踏んだ時刻及び場所を指示する情報も併せて表示させることを特徴とする請求項3に記載の車載用ナビゲーション装置。 The storage means further stores map information related to navigation,
The control means refers to the time information and the map information stored in the storage means and steps on the foreign object when the detected foreign object is zoomed up and displayed on the screen of the display means. 4. The in-vehicle navigation device according to claim 3, wherein information indicating the time and place is also displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005097230A JP2006273190A (en) | 2005-03-30 | 2005-03-30 | On-vehicle navigation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005097230A JP2006273190A (en) | 2005-03-30 | 2005-03-30 | On-vehicle navigation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006273190A true JP2006273190A (en) | 2006-10-12 |
Family
ID=37208336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005097230A Pending JP2006273190A (en) | 2005-03-30 | 2005-03-30 | On-vehicle navigation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006273190A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182341A (en) * | 2007-01-23 | 2008-08-07 | Mitsubishi Electric Corp | Monitoring and controlling apparatus |
WO2008146660A1 (en) * | 2007-05-30 | 2008-12-04 | Aisin Seiki Kabushiki Kaisha | Periphery surveillance device for vehicles |
WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
US9308863B2 (en) | 2010-03-26 | 2016-04-12 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235491A (en) * | 1995-02-27 | 1996-09-13 | Toyota Motor Corp | Vehicle running state recording device and vehicle running state analysis device |
JP2001106123A (en) * | 1999-10-08 | 2001-04-17 | Clarion Co Ltd | Moving element information recording device |
JP2003118487A (en) * | 2001-10-09 | 2003-04-23 | Tuner Kk | On-vehicle image recording system |
JP2003151042A (en) * | 2001-11-13 | 2003-05-23 | Matsushita Electric Ind Co Ltd | Drive recorder for vehicles |
JP2004224105A (en) * | 2003-01-21 | 2004-08-12 | Matsushita Electric Ind Co Ltd | Drive recorder device |
-
2005
- 2005-03-30 JP JP2005097230A patent/JP2006273190A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235491A (en) * | 1995-02-27 | 1996-09-13 | Toyota Motor Corp | Vehicle running state recording device and vehicle running state analysis device |
JP2001106123A (en) * | 1999-10-08 | 2001-04-17 | Clarion Co Ltd | Moving element information recording device |
JP2003118487A (en) * | 2001-10-09 | 2003-04-23 | Tuner Kk | On-vehicle image recording system |
JP2003151042A (en) * | 2001-11-13 | 2003-05-23 | Matsushita Electric Ind Co Ltd | Drive recorder for vehicles |
JP2004224105A (en) * | 2003-01-21 | 2004-08-12 | Matsushita Electric Ind Co Ltd | Drive recorder device |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182341A (en) * | 2007-01-23 | 2008-08-07 | Mitsubishi Electric Corp | Monitoring and controlling apparatus |
WO2008146660A1 (en) * | 2007-05-30 | 2008-12-04 | Aisin Seiki Kabushiki Kaisha | Periphery surveillance device for vehicles |
WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP2011205513A (en) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
US9308863B2 (en) | 2010-03-26 | 2016-04-12 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US9403481B2 (en) | 2010-03-26 | 2016-08-02 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using multiple cameras and enlarging an image |
US9862319B2 (en) | 2010-03-26 | 2018-01-09 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using cameras and an emphasized frame |
US9919650B2 (en) | 2010-03-26 | 2018-03-20 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US10479275B2 (en) | 2010-03-26 | 2019-11-19 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3496069B1 (en) | Travel assistance device and computer program | |
US9046380B2 (en) | Guiding apparatus, guiding method, and guiding program product | |
JP4432801B2 (en) | Driving assistance device | |
JP4848893B2 (en) | Intersection information providing system and driving support system | |
JP4719590B2 (en) | In-vehicle peripheral status presentation device | |
JP4797849B2 (en) | Driving support image display system and in-vehicle device | |
JP2010026759A (en) | Driving support device for vehicle | |
JP2010026618A (en) | On-vehicle navigation device and intersection entry guidance method | |
JP4787196B2 (en) | Car navigation system | |
JP2012195793A (en) | Vehicle periphery monitoring device | |
JP2007226666A (en) | Driving support method and driving support device | |
JP2008221906A (en) | Damage part informing system for vehicle | |
KR20080020956A (en) | How to operate a night-view system of a vehicle and the corresponding night-view system | |
JP4744632B2 (en) | Lane departure prevention apparatus, lane departure prevention method, lane departure prevention program, and storage medium | |
US10632912B2 (en) | Alarm device | |
JP2009061871A (en) | Image display system and image display apparatus | |
JP2009117971A (en) | Vehicle periphery monitoring device | |
JP4936060B2 (en) | Vehicle travel support device | |
JP4952429B2 (en) | Driving support system | |
JP4792948B2 (en) | Inter-vehicle communication system | |
JP2006273190A (en) | On-vehicle navigation device | |
JP4802686B2 (en) | Inter-vehicle communication system | |
JP2007233430A (en) | Driving support method and driving support device | |
JP2006031397A (en) | Navigation device and navigation method | |
JP4725310B2 (en) | Inter-vehicle communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100413 |