[go: up one dir, main page]

JP2010191666A - Vehicle periphery monitoring apparatus - Google Patents

Vehicle periphery monitoring apparatus Download PDF

Info

Publication number
JP2010191666A
JP2010191666A JP2009035169A JP2009035169A JP2010191666A JP 2010191666 A JP2010191666 A JP 2010191666A JP 2009035169 A JP2009035169 A JP 2009035169A JP 2009035169 A JP2009035169 A JP 2009035169A JP 2010191666 A JP2010191666 A JP 2010191666A
Authority
JP
Japan
Prior art keywords
vehicle
traveling road
alarm
traveling
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009035169A
Other languages
Japanese (ja)
Inventor
Masato Watanabe
正人 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009035169A priority Critical patent/JP2010191666A/en
Publication of JP2010191666A publication Critical patent/JP2010191666A/en
Pending legal-status Critical Current

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】特に夜間走行時のより注意すべき形状の走行路を検出し、運転者の運転負荷を軽減して運転を支援する車両の周辺監視装置を提供する。
【解決手段】車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置は、赤外線カメラにより撮像された撮像画像から抽出された対象物に応じて、車両の運転者に警報を出力する手段と、車両の走行路の下り勾配および曲率の少なくとも一方を検出する走行路検出手段と、前記走行路の下り勾配または該走行路の曲率が所定値以上である走行路形状を識別する手段と、を備える。上記走行路形状が識別されたならば、警報出力手段は、走行路形状が識別されない場合とは異なる形態で前記警報を出力する。曲率の大きい走行路が識別された場合には、対象物の表示に加え、走行路の形状を表す標示を表示し、下り勾配の大きい走行路が識別された場合には、警報出力のタイミングを早める。
【選択図】図5
The present invention provides a vehicle periphery monitoring device that detects a traveling path having a more careful shape particularly during night driving and reduces driving load on a driver to assist driving.
A vehicle periphery monitoring device that monitors the periphery of a vehicle using an infrared camera mounted on the vehicle alerts a driver of the vehicle according to an object extracted from a captured image captured by the infrared camera. For identifying at least one of a descending slope and a curvature of the traveling path of the vehicle, and a traveling path shape in which the descending slope of the traveling path or the curvature of the traveling path is equal to or greater than a predetermined value. Means. If the traveling road shape is identified, the warning output means outputs the warning in a form different from the case where the traveling road shape is not identified. When a road with a large curvature is identified, a sign indicating the shape of the road is displayed in addition to the display of the object, and when a road with a large downward slope is identified, the alarm output timing is displayed. Advance.
[Selection] Figure 5

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の走行路の形状に従って警報の形態を変更するための装置に関する。   The present invention relates to an apparatus for monitoring the periphery of a vehicle, and more specifically, to an apparatus for changing the form of an alarm according to the shape of a traveling path of the vehicle.

車両の周辺には、歩行者、電柱や壁等の人工構造物などが存在しており、このような対象物は、車両の走行に影響を与えるおそれがあるため、従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像から対象物を検出し、その検出結果を車両の運転者に提供する装置が提案されている。たとえば、下記の特許文献1では、車両の周辺を撮像した撮像画像から歩行者を検出し、これを運転者に提示して注意を喚起させることが記載されている。   In the vicinity of the vehicle, there are pedestrians, artificial structures such as utility poles and walls, etc., and such objects may affect the running of the vehicle. There has been proposed an apparatus that is mounted and detects an object from captured images around the vehicle imaged by the camera and provides the detection result to the driver of the vehicle. For example, Patent Document 1 below describes that a pedestrian is detected from a captured image obtained by capturing the periphery of a vehicle, and this is presented to the driver to call attention.

特許第3716623号Japanese Patent No. 3716623

赤外線カメラを用いることにより、夜間の走行においても、車両周辺の状況をより視認しやすい映像として表示装置上に表示させることができるので、運転者の運転負荷を軽減することができる。   By using an infrared camera, even when driving at night, the situation around the vehicle can be displayed on the display device as a video that is easier to visually recognize, so the driving load on the driver can be reduced.

しかしながら、運転者は、赤外線カメラの映像を視認しても、走行路の形状を良く認識できない場合が生じうる。特に、見通しの良くない急カーブや、急な下り坂を走行する場合には、車両周辺の状況をより注意しながら走行することが求められるが、赤外線カメラの映像からは、これらの形状を良く認識できない場合が生じうる。このような状況下では、運転者の運転負荷が増大する。   However, the driver may not be able to recognize the shape of the traveling road well even when viewing the image of the infrared camera. In particular, when driving on a sharp curve or a steep downhill with poor visibility, it is required to drive while paying attention to the situation around the vehicle. Unrecognizable cases may occur. Under such circumstances, the driving load on the driver increases.

したがって、より注意すべき形状の走行路を、特に夜間において走行している場合に、運転者の運転負荷を軽減して運転を支援する手法が望まれている。   Therefore, there is a demand for a method for assisting driving by reducing the driving load on the driver when traveling on a road with a more careful shape, particularly at night.

この発明の一つの側面によると、車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置は、前記赤外線カメラにより撮像された撮像画像から抽出された対象物に応じて、前記車両の運転者に警報を出力する警報出力手段と、前記車両の走行路の下り勾配および曲率の少なくとも一方を検出する検出手段と、前記走行路の下り勾配または該走行路の曲率が所定値以上である走行路形状を識別する識別手段と、を備える。前記走行路形状が識別されたならば、前記警報出力手段は、前記走行路形状が識別されない場合とは異なる形態で前記警報を出力する。   According to one aspect of the present invention, a vehicle periphery monitoring device that monitors the periphery of a vehicle using an infrared camera mounted on the vehicle, according to an object extracted from a captured image captured by the infrared camera, Warning output means for outputting a warning to the driver of the vehicle, detection means for detecting at least one of a downward slope and a curvature of the traveling path of the vehicle, and a downward slope of the traveling path or a curvature of the traveling path are predetermined values. Identification means for identifying the traveling road shape as described above. If the traveling road shape is identified, the warning output means outputs the warning in a form different from the case where the traveling road shape is not identified.

曲率が所定値以上である走行路は、走行路の曲がり具合がきついため、見通しが悪いことがあり、運転者の運転負荷が増大するおそれがある。また、下り勾配が所定値以上である走行路では、制動距離(ブレーキが効き始めてから車両が停止するまでの距離)が伸びるため、やはり運転者の運転負荷が増大するおそれがある。この発明によれば、このような形状の走行路が識別された場合には、運転者への警報を、通常とは異なる形態で出力するので、運転者は、周辺の対象物だけでなく走行路の形状にも注意しながら運転すべきことを速やかに認識することができる。したがって、運転者の運転負荷を軽減するよう運転を支援することができる。   A traveling road having a curvature that is greater than or equal to a predetermined value may have poor visibility due to tight bending of the traveling road, which may increase the driving load on the driver. In addition, on a travel road where the downward slope is equal to or greater than a predetermined value, the braking distance (the distance from when the brake starts to the vehicle stops) increases, which may increase the driving load on the driver. According to the present invention, when a travel path having such a shape is identified, a warning to the driver is output in a form different from the normal, so that the driver travels not only the surrounding objects. It is possible to quickly recognize that the driver should drive while paying attention to the shape of the road. Therefore, driving can be supported so as to reduce the driving load on the driver.

この発明の一実施形態によると、前記走行路の曲率が所定値以上である走行路形状が識別されたならば、前記警報出力手段は、前記警報として、表示装置上に表示された前記撮像画像上の前記対象物を強調表示すると共に、該撮像画像上の前記走行路に、該走行路の形状を示す標示を重畳表示する。   According to one embodiment of the present invention, if a traveling road shape whose curvature of the traveling road is greater than or equal to a predetermined value is identified, the alarm output means displays the captured image displayed on the display device as the alarm. The upper object is highlighted and an indication indicating the shape of the traveling road is superimposed on the traveling road on the captured image.

特に夜間における走行では、赤外線カメラによる撮像画像を視認しても、走行路の曲がり具合の程度を良く認識できないことがある。対象物の撮像画像上の強調表示によって運転者は対象物の存在を認識できるが、これに気を取られると、曲がり具合を良く認識できないために走行路を逸脱するおそれがある。この発明によれば、対象物に対する注意を喚起させるだけでなく、走行路の形状を示す標示が重畳表示されるので、運転者は、対象物の存在だけでなく、走行路の形状を速やかに認識することができる。   In particular, when traveling at night, it may not be possible to recognize well the degree of bending of the traveling road even if the captured image obtained by the infrared camera is viewed. The driver can recognize the presence of the target object by highlighting the captured image of the target object. However, if he / she is distracted, the driver may not be able to recognize the bending condition well and may deviate from the traveling road. According to the present invention, not only the attention to the object is drawn, but also the indication indicating the shape of the traveling road is superimposed and displayed, so that the driver can quickly determine not only the presence of the object but also the shape of the traveling road. Can be recognized.

この発明の一実施形態によると、前記走行路の下り勾配が所定値以上である走行路形状が識別されたならば、前記警報出力手段は、前記走行路の下り勾配が所定値以上であると識別されない場合に比べて早いタイミングで前記警報を出力する。   According to one embodiment of the present invention, if a traveling road shape in which the descending slope of the traveling road is greater than or equal to a predetermined value is identified, the warning output means is that the descending slope of the traveling road is greater than or equal to a predetermined value. The alarm is output at an earlier timing than when not identified.

特に夜間の走行においては、赤外線カメラによる撮像画像を視認しても、走行路の下り勾配の程度を良く認識できないことがある。下り勾配の程度を良く認識できないと、下り勾配の走行路では制動距離が伸びるため、対象物の存在の認識が遅れるおそれがある。この発明によれば、このような走行路を走行しているときには、対象物が存在することを知らせる警報を、通常よりも早いタイミングで出力するので、運転者は、より早いタイミングで注意すべき対象物が存在することを認識することができる。したがって、運転者は、より余裕を持った運転を行うことができる。   In particular, when traveling at night, it may not be possible to recognize the degree of the downward slope of the traveling road well even if the image captured by the infrared camera is viewed. If the degree of the downward gradient cannot be recognized well, the braking distance is extended on the downgraded road, so that the recognition of the presence of the object may be delayed. According to the present invention, when the vehicle is traveling on such a road, an alarm for notifying that an object is present is output at an earlier timing than usual, so the driver should be careful at an earlier timing. It can be recognized that the object exists. Therefore, the driver can perform driving with more margin.

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。   Other features and advantages of the present invention will be apparent from the detailed description that follows.

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。The block diagram which shows the structure of the periphery monitoring apparatus according to one Example of this invention. この発明の一実施例に従う、カメラの取り付け位置を説明するための図。The figure for demonstrating the attachment position of the camera according to one Example of this invention. この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。3 is a flowchart illustrating a process in an image processing unit according to an embodiment of the present invention. この発明の一実施例に従う、警報出力の形態を表す図。The figure showing the form of the alarm output according to one Example of this invention. この発明の第1の実施例に従う、警報出力のプロセスを示すフローチャート。3 is a flowchart showing a process of alarm output according to the first embodiment of the present invention. この発明の第1の実施例に従う、警報出力の形態を表す図。The figure showing the form of the alarm output according to 1st Example of this invention. この発明の第2の実施例に従う、警報出力のプロセスを示すフローチャート。The flowchart which shows the process of the alarm output according to 2nd Example of this invention. この発明の第2の実施例に従う、警報出力の形態を表す図。The figure showing the form of the alarm output according to 2nd Example of this invention. この発明の第2の実施例に従う、処理範囲の距離を変更することによって警報出力のタイミングを変更する形態を説明するための図。The figure for demonstrating the form which changes the timing of alarm output by changing the distance of the processing range according to 2nd Example of this invention.

次に図面を参照してこの発明の実施の形態を説明する。   Next, an embodiment of the present invention will be described with reference to the drawings.

図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。   FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to an embodiment of the present invention. The apparatus is mounted on a vehicle and has two infrared cameras 1R and 1L capable of detecting far infrared rays, and an image processing unit 2 for detecting an object around the vehicle based on image data obtained by the cameras 1R and 1L. And a speaker 3 that generates an alarm by voice based on the detection result, and an image obtained by the camera 1R or 1L, and a head-up display that displays a display for allowing the driver to recognize an object around the vehicle (Hereinafter referred to as HUD) 4.

この実施例では、図2に示すように、カメラ1Rおよび1Lは、車両10の前方を撮像するよう、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、対象物の温度が高いほど、その出力信号のレベルが高くなる(すなわち、撮像画像における輝度が大きくなる)特性を有している。   In this embodiment, as shown in FIG. 2, the cameras 1 </ b> R and 1 </ b> L are arranged at positions symmetric with respect to the central axis passing through the center of the vehicle width at the front of the vehicle 10 so as to capture the front of the vehicle 10. Has been. The two cameras 1R and 1L are fixed to the vehicle so that their optical axes are parallel to each other and their height from the road surface is equal. The infrared cameras 1R and 1L have a characteristic that the level of the output signal becomes higher (that is, the luminance in the captured image becomes higher) as the temperature of the object is higher.

画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。   The image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a central processing unit (CPU) that performs various arithmetic processing, and a data RAM (Random Access Memory) used to store data, ROM (Read Only Memory) that stores programs executed by the CPU and data used (including tables and maps), driving signals for the speaker 3, display signals for the HUD 4, etc. Is provided. The output signals of the cameras 1R and 1L are converted into digital signals and input to the CPU. As shown in FIG. 2, the HUD 4 is provided so that a screen 4 a is displayed at a front position of the driver on the front window of the vehicle 10. Thus, the driver can visually recognize the screen displayed on the HUD 4.

さらに、ナビゲーションユニット5が、画像処理ユニット2に接続されている。ナビゲーションユニット5は、たとえば人工衛星を利用して車両10の位置を測定するためのGPS信号を受信し、該GPS信号に基づいて、車両10の現在位置を検出する。ナビゲーションユニット5は、地図情報を記憶する地図情報記憶部7を備える。地図情報には、各道路の形状に関する情報が含まれる。この実施例では、該地図情報に含まれる道路の形状に関する情報として、該道路の曲率を示すデータが含まれる。地図情報記憶部7は、任意の記憶装置(記録媒体やハードディスクドライブなど)に実現されることができる。ナビゲーションユニット5は、地図情報記憶部7に記憶された地図情報を読み出して、所定の表示装置(HUD4でもよい)の表示画面上に表示することができる。   Further, the navigation unit 5 is connected to the image processing unit 2. The navigation unit 5 receives a GPS signal for measuring the position of the vehicle 10 using, for example, an artificial satellite, and detects the current position of the vehicle 10 based on the GPS signal. The navigation unit 5 includes a map information storage unit 7 that stores map information. The map information includes information regarding the shape of each road. In this embodiment, data indicating the curvature of the road is included as information on the shape of the road included in the map information. The map information storage unit 7 can be realized in any storage device (such as a recording medium or a hard disk drive). The navigation unit 5 can read the map information stored in the map information storage unit 7 and display it on the display screen of a predetermined display device (or HUD 4).

図3は、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。   FIG. 3 is a flowchart showing a process executed by the image processing unit 2. The process is performed at predetermined time intervals.

ステップS11〜S13において、カメラ1Rおよび1Lの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。   In steps S11 to S13, the output signals of the cameras 1R and 1L (that is, captured image data) are received as input, A / D converted, and stored in the image memory. The stored image data is a gray scale image including luminance information.

ステップS14において、カメラ1Rで撮像された右画像を基準画像とし(代替的に、左画像を基準画像としてもよい)、その画像信号の2値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う。この2値化処理により、所定の温度より高い対象物が、白領域として抽出される。   In step S14, the right image captured by the camera 1R is used as a reference image (alternatively, the left image may be used as a reference image), and the image signal is binarized. Specifically, a process is performed in which a region brighter than the luminance threshold ITH determined in advance by simulation or the like is set to “1” (white) and a dark region is set to “0” (black). By this binarization process, an object higher than a predetermined temperature is extracted as a white region.

ステップS15において、2値化した画像データを、ランレングスデータに変換する。具体的には、2値化により白となった領域について、各画素行の該白領域(ラインと呼ぶ)の開始点(各ラインの左端の画素)の座標と、開始点から終了点(各ラインの右端の画素)までの長さ(画素数で表される)とで、ランレングスデータを表す。ここで、画像における垂直方向にy軸をとり、水平方向にx軸をとる。たとえば、y座標がy1である画素行における白領域が、(x1,y1)から(x3,y1)までのラインであるとすると、このラインは3画素からなるので、(x1,y1,3)というランレングスデータで表される。   In step S15, the binarized image data is converted into run-length data. Specifically, with respect to an area that has become white due to binarization, the coordinates of the start point (the leftmost pixel of each line) of the white area (referred to as a line) in each pixel row, and the start point to the end point (each The run length data is represented by the length (expressed by the number of pixels) up to the pixel on the right end of the line. Here, the y-axis is taken in the vertical direction in the image, and the x-axis is taken in the horizontal direction. For example, if the white region in the pixel row whose y coordinate is y1 is a line from (x1, y1) to (x3, y1), this line consists of three pixels, so (x1, y1, 3) This is represented by run-length data.

ステップS16およびS17において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを合わせて1つの対象物とみなし、これにラベルを付与する。こうして、1または複数の対象物が抽出される。   In steps S16 and S17, the object is labeled and a process for extracting the object is performed. That is, of the lines converted into run length data, a line having a portion overlapping in the y direction is regarded as one object, and a label is given thereto. Thus, one or a plurality of objects are extracted.

以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡(トラッキング)すると共に、対象物への距離を、カメラ1Rおよび1Lの2枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開2001−006096号公報に記載されている。   In addition to the above processing, the same object is tracked (tracked) for a plurality of past captured images, and the distance to the object is calculated based on the two captured images of the cameras 1R and 1L. May be present in a predetermined range around the vehicle, and whether there is a risk of entering the predetermined range. Details of these processes are described in, for example, JP-A-2001-006096.

ステップS21〜S25は、こうして抽出された対象物が何であるかを判定する処理を示す。ステップS21において、対象物が人工構造物かどうかを判定する。人工構造物でないと判定されたならば(ステップS21がNo)、ステップS22において、対象物が歩行者かどうかを判定する。歩行者であると判定されたならば(ステップS22がYes)、対象物は警報の対象である警報対象物と判定される(ステップS24)。人工構造物であると判定されたならば(ステップS21がYes)、および歩行者でないと判定されたならば(ステップS22がNo)、ステップS23において、対象物が動物かどうかを判定する。対象物が動物ではないと判定されたならば(ステップS23がNo)、対象物は警報対象物ではないと判定する(ステップS25)。対象物が動物であると判定されたならば(ステップS23がYes)、対象物が警報対象物であると判定する(ステップS24)。対象物が警報対象物であると判定されたならば、ステップS26において、運転者に対して警報を出力する。この警報出力処理については、さらに、図5および図7を参照して後述される。   Steps S <b> 21 to S <b> 25 indicate processing for determining what the object extracted in this way is. In step S21, it is determined whether the object is an artificial structure. If it is determined that the object is not an artificial structure (No in step S21), it is determined in step S22 whether the object is a pedestrian. If it is determined that the user is a pedestrian (Yes in step S22), the target is determined to be an alarm target that is an alarm target (step S24). If it is determined that the object is an artificial structure (step S21 is Yes), and if it is determined that the object is not a pedestrian (step S22 is No), it is determined in step S23 whether the object is an animal. If it is determined that the object is not an animal (No in step S23), it is determined that the object is not an alarm object (step S25). If it is determined that the object is an animal (Yes in step S23), it is determined that the object is an alarm object (step S24). If it is determined that the object is an alarm object, an alarm is output to the driver in step S26. This alarm output process will be described later with reference to FIGS. 5 and 7.

ここで、対象物が人工構造物かどうかを判定する処理、歩行者かどうかを判定する処理、および動物かどうかを判定する処理は、任意の適切な手法で実現されることができる。たとえば、人工構造物を判定する処理については、特開2007−310705号公報、特開2008−276787号公報等に記載されている。たとえば、歩行者かどうかを判定する処理は、特開2007−241740号公報、特開2007−334751号公報等に記載されている。たとえば、動物かどうかを判定する処理は、特開2007−310705号公報、特開2007−310706号公報等に記載されている。   Here, the process of determining whether the object is an artificial structure, the process of determining whether it is a pedestrian, and the process of determining whether it is an animal can be realized by any appropriate technique. For example, the process for determining an artificial structure is described in Japanese Patent Application Laid-Open No. 2007-310705, Japanese Patent Application Laid-Open No. 2008-276787, and the like. For example, the process for determining whether a person is a pedestrian is described in Japanese Patent Application Laid-Open No. 2007-241740, Japanese Patent Application Laid-Open No. 2007-334751, and the like. For example, the process for determining whether or not an animal is described in JP 2007-310705 A, JP 2007-310706 A, and the like.

警報は、任意の形態で出力されることができる。ここで図4を参照すると、警報出力の一例が示されている。HUD4の表示画面4a上に撮像画像が表示されており、警報は、該撮像画像において、警報対象物であると判定された対象物を強調表示することによって行われている。この例では、強調表示は、判定された対象物を囲むように枠100(運転者により容易に視認されるような色(たとえば、赤等)の枠がよい)を描画することにより実現されている。強調表示は、任意のやり方でよく、たとえば、対象物を囲む枠は円形でもよいし、対象物を指すように矢印を撮像画像に重畳表示するようにしてもよい。このような強調表示に加え、スピーカ3を介して対象物が存在することを運転者に知らせてもよい。   The alarm can be output in any form. Referring now to FIG. 4, an example of alarm output is shown. A captured image is displayed on the display screen 4a of the HUD 4, and an alarm is performed by highlighting an object determined to be an alarm object in the captured image. In this example, the highlighting is realized by drawing a frame 100 (a frame of a color (for example, red) that can be easily visually recognized by the driver is good) so as to surround the determined object. Yes. The highlighting may be performed in any manner. For example, the frame surrounding the object may be circular, or an arrow may be superimposed on the captured image so as to point to the object. In addition to such highlighting, the driver may be informed through the speaker 3 that an object is present.

この発明では、車両10が走行している走行路の形状に従って、警報の出力形態を変更する。この具体的な手法について、以下に説明する。   In the present invention, the output form of the alarm is changed according to the shape of the travel path on which the vehicle 10 is traveling. This specific method will be described below.

第1の実施例では、車両が走行している走行路の曲率を調べ、曲率が大きい場合には、HUD4上に表示される撮像画像に対し、対象物を強調表示すると共に、走行路の形状を表す標示を重畳表示する。   In the first embodiment, the curvature of the traveling road on which the vehicle is traveling is examined. When the curvature is large, the object is highlighted on the captured image displayed on the HUD 4 and the shape of the traveling road is displayed. A sign indicating is superimposed and displayed.

図5は、第1の実施例に従う、図3のステップS26で実行される警報出力処理のより詳細なフローである。   FIG. 5 is a more detailed flow of the alarm output process executed in step S26 of FIG. 3 according to the first embodiment.

ステップS31において、ナビゲーションユニット5を介して、車両が現在走行している走行路の曲率のデータを取得する。前述したように、地図情報記憶部7の地図情報には、各道路について形状に関する情報が含まれており、該情報には、該道路の曲率を示すデータも含まれている。代替的に、走行路の曲率を、任意の適切な手法により推定してもよい。たとえば車両に搭載されたヨーレートセンサの検出値に基づいて走行路の曲率を推定することができ、これは、たとえば特開平09−49875号公報に記載されている。   In step S31, the curvature data of the travel path on which the vehicle is currently traveling is acquired via the navigation unit 5. As described above, the map information in the map information storage unit 7 includes information regarding the shape of each road, and the information includes data indicating the curvature of the road. Alternatively, the curvature of the travel path may be estimated by any suitable technique. For example, the curvature of the traveling road can be estimated based on the detected value of the yaw rate sensor mounted on the vehicle, which is described in, for example, Japanese Patent Application Laid-Open No. 09-49875.

ステップS32において、取得した曲率が所定値以上かどうかを判断する。曲率の値が大きいほど、カーブのきつい走行路であることを示す。曲率が所定値より小さければ(ステップS32がNo)、ステップS34において、通常の形態で警報を出力する。この実施例では、通常の警報出力形態は、図4に示されるように、撮像画像をHUD4の表示画面上4aに表示し、検出された対象物に対して枠100を重畳表示させることで、対象物を強調表示する形態である。なお、前述したように、強調表示の手法は任意のものでよく、枠の重畳表示は一例である。   In step S32, it is determined whether the acquired curvature is equal to or greater than a predetermined value. The larger the curvature value, the harder the road is. If the curvature is smaller than the predetermined value (No in step S32), an alarm is output in a normal form in step S34. In this embodiment, as shown in FIG. 4, the normal alarm output form displays the captured image on the display screen 4 a of the HUD 4 and displays the frame 100 superimposed on the detected object. In this form, the object is highlighted. As described above, the highlighting method may be arbitrary, and the frame overlay display is an example.

曲率が所定値以上であれば(ステップS32がYes)、ステップS33において、通常の形態とは異なる形態で、より具体的には、走行路の形状を表す標示を、撮像画像の走行路に対して重畳表示する。ここで図6を参照すると、ステップS33における警報出力形態の一例が示されている。   If the curvature is equal to or greater than a predetermined value (Yes in step S32), in step S33, a sign indicating the shape of the travel path is displayed on the travel path of the captured image in a form different from the normal form. Are displayed in a superimposed manner. Here, referring to FIG. 6, an example of an alarm output form in step S33 is shown.

図6(a)は、左カーブの走行路を車両が走行しているときに表示画面4a上に表示される撮像画像の一例を示し、歩行者が警報対象物として検出され、該歩行者を囲むように枠101を撮像画像上に重畳表示することにより、歩行者を強調表示している。この強調表示に加え、走行路の曲がり具合を表す矢印103が、撮像画像の走行路上に重畳表示されている。   FIG. 6A shows an example of a captured image displayed on the display screen 4a when the vehicle is traveling on a left-curved traveling road. A pedestrian is detected as an alarm object, and the pedestrian is A pedestrian is highlighted by superimposing the frame 101 on the captured image so as to surround it. In addition to this highlighting, an arrow 103 indicating the degree of curve of the travel path is displayed superimposed on the travel path of the captured image.

図6(b)は、右カーブの走行路を車両が走行しているときに表示画面4a上に表示される撮像画像の一例を示し、(a)の場合と同様に、歩行者が警報対象物として検出され、該歩行者を囲むように枠105を撮像画像上に重畳表示することにより、歩行者を強調表示している。さらに、走行路の曲がり具合を表す矢印107が、撮像画像の走行路上に重畳表示されている。   FIG. 6 (b) shows an example of a captured image displayed on the display screen 4a when the vehicle is traveling on a right-curved road, and the pedestrian is subject to warning as in the case of (a). The detected pedestrian is highlighted by superimposing and displaying a frame 105 on the captured image so as to surround the pedestrian. Furthermore, an arrow 107 indicating the degree of bending of the traveling road is superimposed on the traveling road of the captured image.

図6に示すように、赤外線カメラを用いることにより、夜間の走行においても、車両の周辺の状況を映像によって視認することができる。しかしながら、このような映像を表示しても、走行路の形状が認識しにくいという場合が生じうる。運転者は、対象物が強調表示されると、強調表示された対象物に注意が喚起されるため、特に曲がりのきつい走行路では、走行路を逸脱するおそれがある。この発明によれば、曲がりのきつい走行路では、図6に示すように、対象物の強調表示と共に、走行路の形状を表す標示で、警報出力が行われる。これにより、運転者は、対象物の存在だけでなく、走行路の形状を速やかに認識することができる。したがって、運転者の運転負荷を軽減することができる。   As shown in FIG. 6, by using an infrared camera, the situation around the vehicle can be visually recognized even during night driving. However, even if such an image is displayed, it may be difficult to recognize the shape of the traveling road. When the target object is highlighted, the driver is alerted to the highlighted target object, so that the driver may deviate from the travel path, particularly on a tightly curved road. According to the present invention, as shown in FIG. 6, on a road with a tight turn, a warning is output with the highlighting of the object and the sign indicating the shape of the road. Accordingly, the driver can quickly recognize not only the presence of the object but also the shape of the travel path. Therefore, the driving load on the driver can be reduced.

ここで、走行路の形状を表す矢印(図6の103,107)の表示の仕方は、任意の適切な手法で実現されることができる。たとえば、左カーブ用の矢印と、右カーブ用の矢印とを予め図形データとしてメモリ等に記憶し、警報出力のタイミングで該図形データを読み出して、左カーブの場合には左カーブ用の矢印を重畳表示し、右カーブの場合には右カーブ用の矢印を重畳表示する。   Here, the display method of the arrows (103 and 107 in FIG. 6) indicating the shape of the travel path can be realized by any appropriate method. For example, an arrow for a left curve and an arrow for a right curve are stored in advance in a memory or the like as graphic data, and the graphic data is read at the timing of alarm output. In the case of a right curve, an arrow for the right curve is superimposed and displayed.

好ましくは、曲率の大きさ毎に、その曲率の曲がり具合を表す矢印を図形データとして予めメモリ等に記憶しておくのがよい。たとえば図6に示すように、矢印103は、矢印107よりも曲がり具合がきつく、よって、図6(a)の走行路は、(b)の走行路に比べて曲率の大きい道路であることを表している。図5のステップS31で取得された曲率の大きさに対応する矢印の図形データを読み出して、それを、警報出力のタイミングで表示する。こうすることにより、運転者に、走行路の曲がり具合を直感的に知らせることができる。   Preferably, for each magnitude of curvature, an arrow indicating the degree of curvature of the curvature is stored in advance in a memory or the like as graphic data. For example, as shown in FIG. 6, the arrow 103 is more curved than the arrow 107, so that the traveling path in FIG. 6A is a road having a larger curvature than the traveling path in FIG. Represents. The graphic data of the arrow corresponding to the magnitude of the curvature acquired in step S31 in FIG. 5 is read out and displayed at the alarm output timing. By doing so, it is possible to intuitively inform the driver of the degree of bending of the travel path.

代替的に、ナビゲーションユニット5の地図情報記憶部7は、地図データとして走行路の形状を表すデータ(どちらの方向にどの程度曲がっているか)を有しているので、車両の現在位置から所定距離の間の該走行路の形状を模した矢印をリアルタイムに生成して表示するようにしてもよい。こうすることにより、走行路の曲がり具合に沿った矢印を表示させることができる。車両は、通常、走行路のほぼ中央を走行するので、矢印を表示する撮像画像上の位置は、固定としてもよい。たとえば、図6に示すように、撮像画像の下辺の水平方向におけるほぼ中央を起点として矢印を表示させることができる。   Alternatively, the map information storage unit 7 of the navigation unit 5 has data representing the shape of the traveling road as map data (how much the vehicle is bent in which direction), so a predetermined distance from the current position of the vehicle. An arrow that imitates the shape of the travel path between the two may be generated and displayed in real time. By doing so, it is possible to display an arrow along the curve of the traveling road. Since the vehicle normally travels substantially in the center of the travel path, the position on the captured image where the arrow is displayed may be fixed. For example, as shown in FIG. 6, an arrow can be displayed starting from substantially the center in the horizontal direction of the lower side of the captured image.

この実施例では、走行路の形状を表す標示に矢印を用いているが、矢印に代えて、他の標示を用いてもよい。たとえば、走行路に沿った単なる曲線を重畳標示するようにしてもよい。また、曲率の程度によって標示の色を変更したり、左カーブと右カーブで色を変更したりしてもよい。   In this embodiment, an arrow is used for a sign representing the shape of the traveling road, but another sign may be used instead of the arrow. For example, a simple curve along the traveling path may be displayed as a superimposed mark. Further, the color of the sign may be changed depending on the degree of curvature, or the color may be changed between the left curve and the right curve.

さらに、走行路の形状に関する他の情報に基づく表示を行ってもよい。たとえば、走行路が行き止まりかどうかを判断し、行き止まりであれば、行き止まりであることを表す所定の図形データ(たとえば、×印のついた矢印等)を、撮像画像上に重畳表示してもよい。行き止まりかどうかの判断は、任意の適切な手法で行われることができ、たとえば、現在走行している道路の前方の接続状態を地図情報に基づいて調べ、接続状態が切れていれば行き止まりと判断することができる。   Furthermore, you may perform the display based on the other information regarding the shape of a travel path. For example, it is determined whether or not the travel path is a dead end, and if it is a dead end, predetermined graphic data (for example, an arrow with an X mark) indicating that it is a dead end may be superimposed on the captured image. . Judgment of whether or not it is a dead end can be made by any appropriate method. For example, the connection state ahead of the currently running road is checked based on the map information, and if the connection state is broken, it is determined that the dead end is reached. can do.

第2の実施例では、車両が走行している走行路の下り勾配(傾斜)を調べ、下り勾配が大きい場合には、警報の出力タイミングを、通常の形態よりも早める。この実施例では、警報の出力として、図4に示すように、HUD4上に表示される撮像画像に対する対象物の強調表示を用いる。図7は、第2の実施例に従う、図4のステップS26で実行される警報出力処理のより詳細なフローである。   In the second embodiment, the descending slope (inclination) of the traveling path on which the vehicle is traveling is examined, and when the descending slope is large, the alarm output timing is advanced from the normal mode. In this embodiment, as an alarm output, as shown in FIG. 4, highlighting of an object with respect to a captured image displayed on the HUD 4 is used. FIG. 7 is a more detailed flow of the alarm output process executed in step S26 of FIG. 4 according to the second embodiment.

ステップS41において、車両が走行している走行路の傾斜(勾配)を表すデータを取得する。この取得は、任意の手法で実現されることができる。一手法では、周知の傾斜センサを車両に設ける。傾斜センサは、走行路面の傾斜(車両のピッチ角)を検出するためのセンサである。傾斜センサの検出値から、走行路の傾斜を取得することができる。   In step S41, data representing the inclination (gradient) of the travel path on which the vehicle is traveling is acquired. This acquisition can be realized in any manner. In one approach, a known tilt sensor is provided in the vehicle. The inclination sensor is a sensor for detecting the inclination of the road surface (pitch angle of the vehicle). The inclination of the traveling road can be acquired from the detection value of the inclination sensor.

他の手法では、車両の前後方向の加速度を検出する前後Gセンサを車両に搭載し、該前後Gセンサの検出値に基づいて、走行路の傾斜を推定することができる。このような推定手法は、たとえば特開2002−162225号公報に記載されている。さらなる他の手法では、出力トルクやブレーキ制動力等に基づいて、走行路の傾斜(勾配)を推定することができ、このような手法は、たとえば特開2004−108589号公報、特開2007−283882号公報等に記載されている。また、ナビゲーションユニット5の地図情報に、走行路についての勾配を表す情報が記憶されていれば、この情報を用いてもよい。   In another method, a front-rear G sensor that detects acceleration in the front-rear direction of the vehicle is mounted on the vehicle, and the inclination of the traveling road can be estimated based on the detection value of the front-rear G sensor. Such an estimation method is described in, for example, Japanese Patent Application Laid-Open No. 2002-162225. In still another method, the inclination (gradient) of the traveling road can be estimated based on the output torque, the braking force, and the like. For example, such a method is disclosed in Japanese Patent Application Laid-Open Nos. 2004-108589 and 2007-. No. 283882 and the like. Further, if the map information of the navigation unit 5 stores information indicating the gradient about the travel route, this information may be used.

ステップS42において、取得した走行路の傾斜が、下り勾配を表しており、かつ傾斜の角度の大きさが所定値以上であることを表しているかどうかを判断する。これは、下り坂の傾斜が大きいかどうかを判断するための処理である。   In step S42, it is determined whether or not the acquired slope of the traveling road represents a downward slope and that the magnitude of the slope angle is equal to or greater than a predetermined value. This is a process for determining whether the downhill slope is large.

ステップS42の判断がNoであれば、走行路が下り坂ではなく、または下り坂であっても傾斜が小さいことを示すので、ステップS44において、通常の形態で警報を出力する。この実施例では、通常の警報出力形態は、図4に示されるような対象物の強調表示を、所定のタイミングで表示させる形態である。   If the determination in step S42 is No, it indicates that the slope is small even if the travel path is not downhill or downhill, and therefore in step S44, an alarm is output in a normal form. In this embodiment, the normal alarm output form is a form in which highlighting of an object as shown in FIG. 4 is displayed at a predetermined timing.

ステップS42の判断がYesであれば、走行路が比較的急な下り坂であることを示す。ステップS43において、通常の形態とは異なる形態で、より具体的には、図4に示されるような対象物の強調表示を、上記通常の警報出力形態における所定のタイミングよりも早いタイミングで表示する。   If the determination in step S42 is Yes, it indicates that the travel path is a relatively steep downhill. In step S43, an object highlighting display as shown in FIG. 4 is displayed in a form different from the normal form, more specifically at a timing earlier than the predetermined timing in the normal alarm output form. .

ここで図8を参照すると、(a)は、ステップS44で行われる通常の警報出力のタイミングを示し、(b)は、ステップS43で行われる、下りの傾斜が所定値以上であると判断された場合の早期の警報出力のタイミングを示す。(a)では、時点t1において、警報対象物が判定され(図3のステップS24)、時点t3において、警報出力が発せられる。警報対象物判定から、警報出力までの時間長はT1である。(b)では、時点t1において警報対象物が判定され(図3のステップS24)、時点t2において、警報出力が発せられる。警報対象物判定から、警報出力までの時間長はT2であり、これは、T1より短い。このように、ステップS44では、(a)のタイミングで警報を出力し、ステップS43では、(a)よりも早い(b)のタイミングで警報を出力する。前述したように、警報出力は、対象物の強調表示に加え、または強調表示に代えて、スピーカ3を介して運転者に対象物の存在を知らせることによって行われてもよいし、また、強調表示の表示形態も、図4のものに限定されず、任意の強調表示を行うことができる。どのような形態で警報が行われるにしろ、下りの傾斜が所定値以上であると判断された場合には、通常の場合に比べて警報出力のタイミングは早められる。   Referring now to FIG. 8, (a) shows the normal alarm output timing performed in step S44, and (b) is determined in step S43 that the downward slope is greater than or equal to a predetermined value. The timing of early warning output in the case of In (a), an alarm target is determined at time t1 (step S24 in FIG. 3), and an alarm output is issued at time t3. The time length from the alarm object determination to the alarm output is T1. In (b), an alarm target is determined at time t1 (step S24 in FIG. 3), and an alarm output is issued at time t2. The time length from the alarm object determination to the alarm output is T2, which is shorter than T1. Thus, in step S44, an alarm is output at the timing (a), and in step S43, an alarm is output at a timing (b) earlier than (a). As described above, the warning output may be performed by notifying the driver of the presence of the target object via the speaker 3 in addition to the highlighting of the target object or instead of the highlighting display. The display form of the display is not limited to that shown in FIG. 4, and arbitrary highlighting can be performed. Whatever type of alarm is issued, if it is determined that the downward slope is greater than or equal to a predetermined value, the alarm output timing is advanced compared to the normal case.

下り傾斜の大きさに応じて、警報出力のタイミングをさらに変更してもよい。たとえば、下り傾斜が大きくなるにつれ、警報出力のタイミングを早めるようにしてもよい。   The alarm output timing may be further changed according to the magnitude of the downward slope. For example, the alarm output timing may be advanced as the downward slope increases.

この実施例では、警報出力のタイミングを時間軸上変更することにより早期の警報出力を実現しているが、代替的に、距離方向における処理範囲の大きさを変更することにより、早期の警報出力を実現してもよい。   In this embodiment, early warning output is realized by changing the timing of warning output on the time axis. Alternatively, early warning output can be achieved by changing the size of the processing range in the distance direction. May be realized.

図9を参照すると、車両10のカメラ1Rおよび1Lの視野角によって決まる撮像範囲P0をXZ平面で表しており、Xは車両10の車幅方向を示し、Zは車両10の距離方向を示す。(a)は、図7のステップS44の通常の警報出力の形態に用いられる処理領域P1を示し、車両10からの距離範囲はZ1である。処理領域P1内に存在する対象物が、警報対象物(図3のステップS24)として判定される。(b)は、図7のステップS43の警報出力の形態に用いられる処理領域P2を示し、車両10からの距離範囲はZ2(>Z1)である。処理領域P2内に存在する対象物が、警報対象物として判定される。(b)の距離範囲Z2は、(a)の距離範囲Z1より大きいので、(b)の場合、より遠方に存在する対象物が警報対象物として判定される。したがって、(b)では、(a)に比べ、運転者は、より早期に警報対象物の存在を認識することができる。   Referring to FIG. 9, an imaging range P <b> 0 determined by the viewing angles of the cameras 1 </ b> R and 1 </ b> L of the vehicle 10 is represented by the XZ plane, where X indicates the vehicle width direction of the vehicle 10 and Z indicates the distance direction of the vehicle 10. (A) shows the process area P1 used for the form of the normal warning output of step S44 of FIG. 7, and the distance range from the vehicle 10 is Z1. An object existing in the processing area P1 is determined as an alarm object (step S24 in FIG. 3). (B) shows the process area P2 used for the form of the alarm output of step S43 of FIG. 7, and the distance range from the vehicle 10 is Z2 (> Z1). An object existing in the processing area P2 is determined as an alarm object. Since the distance range Z2 in (b) is larger than the distance range Z1 in (a), in the case of (b), an object that exists farther away is determined as an alarm object. Therefore, in (b), compared with (a), the driver can recognize the presence of the alarm object earlier.

このように処理領域の大きさを変更する形態の場合、画像処理ユニット2による処理は、以下のようになる。すなわち、図7において、ステップS44が実行されるとき、警報対象物の距離値(図1に示すように2つの赤外線カメラを用いている場合には、対象物までの距離は、特開2001−006096号公報に記載されているような周知の手法で算出されることができる)を調べ、これがZ1以下であれば警報出力を行う。ステップS43が実行されるとき、警報対象物の距離値を調べ、これがZ2以下であれば警報出力を行う。   In the case of changing the size of the processing area in this way, the processing by the image processing unit 2 is as follows. That is, in FIG. 7, when step S44 is executed, the distance value of the alarm target (if two infrared cameras are used as shown in FIG. 1, the distance to the target is Can be calculated by a known method as described in Japanese Patent Application No. 006096), and if this is equal to or less than Z1, an alarm is output. When step S43 is executed, the distance value of the alarm object is checked, and if this is less than or equal to Z2, alarm output is performed.

代替的に、図3のステップS17で対象物を抽出した後に、図7のステップS41およびS42を実行し、下りの傾斜が所定値以上ならば、距離Z2以下の対象物についてステップS21〜S26を実行し、下りの傾斜が所定値より小さければ、距離Z1以下の対象物についてステップS21〜S26を実行するようにしてもよい。   Alternatively, after extracting the object in step S17 of FIG. 3, steps S41 and S42 of FIG. 7 are executed, and if the downward slope is equal to or greater than a predetermined value, steps S21 to S26 are performed for the object of distance Z2 or less. If it is executed and the downward slope is smaller than a predetermined value, steps S21 to S26 may be executed for an object having a distance Z1 or less.

下り傾斜の大きさに応じて、処理範囲の距離値Zをさらに変更してもよい。たとえば、下り傾斜が大きくなるにつれ、距離値Zを大きくし、より遠方にある対象物について警報出力が行われるようにしてもよい。   The distance value Z of the processing range may be further changed according to the magnitude of the downward slope. For example, as the downward slope increases, the distance value Z may be increased so that a warning output is performed for an object located further away.

図6に示すように、赤外線カメラを用いていることにより、夜間の走行においても、車両の周辺の状況を映像によって視認することができる。しかしながら、このような映像を表示しても、走行路の形状が認識しにくいという場合が生じうる。下り勾配の走行路に侵入しても、どの程度の下りか判別することができないと、対象物への注意喚起が遅れるおそれがある。この発明によれば、下り勾配が大きい坂道を走行する場合には、対象物の存在が早期のタイミングで運転者に知らされる。したがって、下り勾配の大きさの認識が困難な場合でも、運転者は、通常のタイミングより早めに対象物の存在を認識することができるので、運転者の負荷を軽減することができる。   As shown in FIG. 6, by using an infrared camera, the situation around the vehicle can be visually recognized even when traveling at night. However, even if such an image is displayed, it may be difficult to recognize the shape of the traveling road. If it is not possible to determine how much descending the vehicle has entered the downhill traveling road, there is a possibility that alerting the target object will be delayed. According to the present invention, when traveling on a slope with a large downward slope, the presence of the object is notified to the driver at an early timing. Therefore, even when it is difficult to recognize the magnitude of the downward gradient, the driver can recognize the presence of the object earlier than the normal timing, so that the driver's load can be reduced.

なお、警報出力のタイミングを早めるだけでなく、下り勾配が比較的大きいことを示すような標示を、撮像画像上に重畳表示してもよい。たとえば、第1の実施例のように、下方向の矢印を表示することによって運転者に下り勾配であることをより確実に知らせたり、また、対象物の強調表示の表示形態を、通常の場合と異ならせたりすることにより、下り勾配であることを運転者に知らせたりしてもよい。たとえば、図4に示されるような枠100の色を変えたり、下っている間にわたって枠100を点滅表示させたり、枠の太さを変えたりすることができる。こうして、タイミングを変更するだけでなく、表示形態を変更することで、運転者に下り勾配の走行路に侵入していることを知らせることができる。   In addition to advancing the alarm output timing, a sign indicating that the descending slope is relatively large may be superimposed on the captured image. For example, as in the first embodiment, by displaying a downward arrow, the driver can be more surely informed that the vehicle is descending, and the display form for highlighting the object is a normal case. The driver may be informed that the vehicle is in a downward slope. For example, the color of the frame 100 as shown in FIG. 4 can be changed, the frame 100 can be blinked while being lowered, or the thickness of the frame can be changed. In this way, not only the timing but also the display form can be changed to inform the driver that the vehicle has entered the downhill traveling path.

上記の実施形態では、図1に示すように、2つの赤外線カメラを用いた構成となっているが、この発明は、1つの赤外線カメラを用いて撮像された画像にも適用可能である。1つの赤外線カメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該赤外線カメラの撮像画像において対象物が撮像された位置から対象物までの距離を推定するようにしてもよい。   In the above embodiment, as shown in FIG. 1, the configuration uses two infrared cameras. However, the present invention can also be applied to an image picked up using one infrared camera. In the case of one infrared camera, the distance value to the target may be detected using, for example, a radar, or the distance from the position where the target is captured in the captured image of the infrared camera to the target. May be estimated.

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。   As described above, specific embodiments of the present invention have been described. However, the present invention is not limited to these embodiments.

1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
3 スピーカ
4 ヘッドアップディスプレイ
1R, 1L infrared camera (imaging means)
2 Image processing unit 3 Speaker 4 Head-up display

Claims (3)

車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置であって、
前記赤外線カメラにより撮像された撮像画像から抽出された対象物に応じて、前記車両の運転者に警報を出力する警報出力手段と、
前記車両の走行路の下り勾配および曲率の少なくとも一方を検出する検出手段と、
前記走行路の曲率または下り勾配が所定値以上である走行路形状を識別する識別手段と、を備え、
前記走行路形状が識別されたならば、前記警報出力手段は、前記走行路形状が識別されない場合とは異なる形態で前記警報を出力する、
車両周辺監視装置。
A vehicle periphery monitoring device that monitors the periphery of a vehicle using an infrared camera mounted on the vehicle,
In accordance with an object extracted from a captured image captured by the infrared camera, an alarm output means for outputting an alarm to the driver of the vehicle;
Detecting means for detecting at least one of a downward slope and a curvature of the traveling path of the vehicle;
Identifying means for identifying a traveling road shape in which a curvature or a downward slope of the traveling road is a predetermined value or more,
If the traveling road shape is identified, the warning output means outputs the warning in a form different from the case where the traveling road shape is not identified.
Vehicle periphery monitoring device.
前記走行路の曲率が所定値以上である走行路形状が識別されたならば、前記警報出力手段は、前記警報として、表示装置上に表示された前記撮像画像上の前記対象物を強調表示すると共に、該撮像画像上の前記走行路に、該走行路の形状を示す標示を重畳表示する、
請求項1に記載の車両周辺監視装置。
If a traveling road shape having a curvature of the traveling road equal to or greater than a predetermined value is identified, the alarm output means highlights the object on the captured image displayed on the display device as the alarm. In addition, an indication indicating the shape of the traveling road is superimposed and displayed on the traveling road on the captured image.
The vehicle periphery monitoring apparatus according to claim 1.
前記走行路の下り勾配が所定値以上である走行路形状が識別されたならば、前記警報出力手段は、前記走行路の下り勾配が所定値以上であると識別されない場合に比べて早いタイミングで前記警報を出力する、
請求項1または2に記載の車両周辺監視装置。
If a traveling road shape with a downward slope of the traveling road being greater than or equal to a predetermined value is identified, the alarm output means is earlier than when the downward slope of the traveling road is not identified as being greater than or equal to a predetermined value. Outputting the alarm,
The vehicle periphery monitoring apparatus according to claim 1 or 2.
JP2009035169A 2009-02-18 2009-02-18 Vehicle periphery monitoring apparatus Pending JP2010191666A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009035169A JP2010191666A (en) 2009-02-18 2009-02-18 Vehicle periphery monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009035169A JP2010191666A (en) 2009-02-18 2009-02-18 Vehicle periphery monitoring apparatus

Publications (1)

Publication Number Publication Date
JP2010191666A true JP2010191666A (en) 2010-09-02

Family

ID=42817650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009035169A Pending JP2010191666A (en) 2009-02-18 2009-02-18 Vehicle periphery monitoring apparatus

Country Status (1)

Country Link
JP (1) JP2010191666A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208701A (en) * 2011-03-29 2012-10-25 Fuji Heavy Ind Ltd Driving support system for vehicle
KR101242087B1 (en) 2010-11-22 2013-03-11 엘지이노텍 주식회사 The Alarming System of Vehicle And Method There of
JP2016084089A (en) * 2014-10-28 2016-05-19 アイシン精機株式会社 Perimeter monitoring device
JP2020067979A (en) * 2018-10-26 2020-04-30 トヨタ自動車株式会社 Obstacle notification device for vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (en) * 1996-12-19 1998-07-21 Hitachi Ltd Driving environment recognition device
JP2000211402A (en) * 1999-01-26 2000-08-02 Mazda Motor Corp Vehicle periphery information notifying device
JP2000331289A (en) * 1999-05-24 2000-11-30 Nissan Motor Co Ltd Display device for vehicle
JP2001099668A (en) * 1999-09-30 2001-04-13 Sony Corp Navigation apparatus
JP2007261497A (en) * 2006-03-29 2007-10-11 Honda Motor Co Ltd Vehicle travel safety device
JP2009031874A (en) * 2007-07-24 2009-02-12 Toyota Motor Corp Warning device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (en) * 1996-12-19 1998-07-21 Hitachi Ltd Driving environment recognition device
JP2000211402A (en) * 1999-01-26 2000-08-02 Mazda Motor Corp Vehicle periphery information notifying device
JP2000331289A (en) * 1999-05-24 2000-11-30 Nissan Motor Co Ltd Display device for vehicle
JP2001099668A (en) * 1999-09-30 2001-04-13 Sony Corp Navigation apparatus
JP2007261497A (en) * 2006-03-29 2007-10-11 Honda Motor Co Ltd Vehicle travel safety device
JP2009031874A (en) * 2007-07-24 2009-02-12 Toyota Motor Corp Warning device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242087B1 (en) 2010-11-22 2013-03-11 엘지이노텍 주식회사 The Alarming System of Vehicle And Method There of
JP2012208701A (en) * 2011-03-29 2012-10-25 Fuji Heavy Ind Ltd Driving support system for vehicle
JP2016084089A (en) * 2014-10-28 2016-05-19 アイシン精機株式会社 Perimeter monitoring device
JP2020067979A (en) * 2018-10-26 2020-04-30 トヨタ自動車株式会社 Obstacle notification device for vehicles
JP7263733B2 (en) 2018-10-26 2023-04-25 トヨタ自動車株式会社 Obstacle alarm device for vehicle

Similar Documents

Publication Publication Date Title
JP5577398B2 (en) Vehicle periphery monitoring device
JP5706874B2 (en) Vehicle periphery monitoring device
JP5689872B2 (en) Vehicle periphery monitoring device
JP5503728B2 (en) Vehicle periphery monitoring device
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP4631096B2 (en) Vehicle periphery monitoring device
JP4528283B2 (en) Vehicle periphery monitoring device
JP4173902B2 (en) Vehicle periphery monitoring device
CN103946907A (en) Vehicle periphery monitoring device
JP2010146494A (en) Vehicle surroundings monitoring device
JP4334686B2 (en) Vehicle image display device
JP2008027309A (en) Collision determination system and collision determination method
JP2010044561A (en) Monitoring device to be mounted on vehicle
JP4644273B2 (en) Vehicle periphery monitoring device
JP2010191666A (en) Vehicle periphery monitoring apparatus
JP5192007B2 (en) Vehicle periphery monitoring device
JP5192009B2 (en) Vehicle periphery monitoring device
JP4813304B2 (en) Vehicle periphery monitoring device
JP5276032B2 (en) Device for calculating the position of an object
JP2007288328A (en) Peripheral image display system
KR101405327B1 (en) Apparatus for monitoring objects on road

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131022