JP2011103058A

JP2011103058A - Erroneous recognition prevention device

Info

Publication number: JP2011103058A
Application number: JP2009257655A
Authority: JP
Inventors: Toshio Ito; 敏夫伊東
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2009-11-11
Filing date: 2009-11-11
Publication date: 2011-05-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for preventing erroneous recognition, and recognizing an obstacle by distinguishing a shadow from an obstacle by an inexpensive constitution only for processing the photographic image of an in-vehicle camera. <P>SOLUTION: The photographic image of each frame acquired by an acquisition means 6a is projectively converted into an image viewed from an upper part by a conversion means 6b, and features related with the peak shape of the horizontal edge histogram of almost the same road surface region of the image viewed from the upper part of each frame are extracted by an extraction means 6c. Then, the shadow and the obstacle of the same region are distinguished according to whether or not the extracted features of each frame are similar, erroneous recognition is prevented, and the obstacle can be recognized by a recognition means 6d. Thus, the erroneous recognition can be prevented, and the obstacle can be recognized by distinguishing the shadow from the obstacle only by processing the photographic image of a single eye camera 3. Also, since there is no need to load such expensive measurement equipment as an in-vehicle radar on a vehicle, an inexpensive constitution can be obtained and cost reduction can be achieved. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識を防止する技術に関する。 The present invention relates to a technique for preventing misrecognition of obstacles and shadows around a host vehicle by processing and recognizing a captured image including a road surface area of a vehicle-mounted camera mounted on the host vehicle.

従来、車載カメラの撮影画像内で検出された車両候補が、走行路周辺の地形や建造物の影が路面に投影されたものであるかどうかを、現時点の太陽の位置に基づいて判定する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、３次元地図データがナビゲーション装置が備える記憶装置に予め格納されている。そして、ナビゲーション装置のＧＰＳデータに基づく自車両位置と、ナビゲーション装置の記憶装置から取込んだ自車両周辺の地形、建造物の３次元データと、年月日および現在時刻などに基づいて推定された太陽の位置とに基づいて、撮影画像を処理することにより得られた車両候補が、自車両周辺の橋梁、ビル、塀などの建造物や地形などの路側立体物によって自車両の走行路上に投影された影であるかどうかが判定される。 Conventionally, based on the current position of the sun, whether a vehicle candidate detected in a captured image of an in-vehicle camera is a projection of the terrain around the road or the shadow of a building on the road surface Is known (for example, Patent Document 1). That is, in the technique described in Patent Document 1, 3D map data is stored in advance in a storage device included in the navigation device. And it was estimated based on the own vehicle position based on the GPS data of the navigation device, the terrain around the own vehicle taken from the storage device of the navigation device, the three-dimensional data of the building, the date, the current time, etc. Vehicle candidates obtained by processing captured images based on the position of the sun are projected onto the roadway of the vehicle by roadside solid objects such as bridges, buildings, fences, and other structures around the vehicle. It is determined whether the shadow is a shadow.

特許第４２９６２８７号公報（段落［００１０］、図１，３，４、要約書など）Japanese Patent No. 4296287 (paragraph [0010], FIGS. 1, 3 and 4, abstract, etc.)

ところで、隣接車線の先行車両の影が自車両前方の路面に存在すると、その影も障害物候補（車両候補）として検出される。ところが、上記した従来技術では、路側立体物の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づいて、検出された障害物候補が影であると認識することができるが、車両などの移動物体の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づく路側立体物の影の認識しかできないため、検出された障害物候補が影であるかどうかを認識することができない。そこで、車載レーダを車両に搭載し、この車載レーダを用いて自車両前方に検出された障害物候補が障害物であるか、影であるかを認識することも考えられるが、コストダウンの観点から車両に車載レーダを搭載するのは望ましくない。したがって、車載カメラの撮影画像内に検出された障害物候補が障害物であるのか、影であるのかを、撮影画像を処理するだけで正確に区別して認識できる技術が望まれていた。 By the way, when the shadow of the preceding vehicle in the adjacent lane exists on the road surface ahead of the host vehicle, the shadow is also detected as an obstacle candidate (vehicle candidate). However, in the above-described prior art, when a shadow of a roadside solid object is detected as an obstacle candidate, the detected obstacle candidate is a shadow based on the three-dimensional map data stored in the storage device. It can be recognized, but when a shadow of a moving object such as a vehicle is detected as an obstacle candidate, it can only detect the shadow of a roadside solid object based on the 3D map data stored in the storage device. It is not possible to recognize whether or not the obstacle candidate is a shadow. Therefore, it is conceivable to mount an on-vehicle radar on the vehicle and recognize whether the obstacle candidate detected in front of the host vehicle is an obstacle or a shadow using this on-vehicle radar. Therefore, it is not desirable to mount an on-vehicle radar on the vehicle. Therefore, there is a demand for a technique capable of accurately distinguishing and recognizing whether an obstacle candidate detected in a captured image of an in-vehicle camera is an obstacle or a shadow only by processing the captured image.

本発明は、車載カメラの撮影画像を処理するだけの安価な構成で、影と障害物とを区別し、誤認識を防止して障害物を認識できる技術を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a technology capable of recognizing an obstacle by distinguishing between a shadow and an obstacle, preventing erroneous recognition, with an inexpensive configuration that only processes a captured image of a vehicle-mounted camera.

上記した目的を達成するために、本発明の誤認識防止装置は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識防止装置において、前記車載カメラの同じ路面領域を含む複数フレームの撮影画像を取得する取得手段と、前記各フレームの撮影画像それぞれの略前記同じ路面領域の特徴を抽出する抽出手段と、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識する認識手段とを備えることを特徴としている（請求項１）。 In order to achieve the above-described object, the erroneous recognition prevention apparatus of the present invention processes an erroneous recognition between an obstacle and a shadow around the own vehicle by processing and recognizing a captured image including a road surface area of an in-vehicle camera mounted on the own vehicle. In the recognition preventing apparatus, an acquisition unit that acquires captured images of a plurality of frames including the same road surface region of the in-vehicle camera, an extraction unit that extracts characteristics of substantially the same road surface region of each of the captured images of each frame, It is characterized by comprising recognition means for recognizing an obstacle by distinguishing the shadow of the same road surface area from the obstacle based on whether the extracted features of the frame are similar or not.

また、前記各フレームの撮影画像を上方視画像に射影変換する変換手段をさらに備え、前記抽出手段は、前記各フレームの上方視画像それぞれの略前記同じ路面領域の特徴を抽出し、前記認識手段は、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識するようにしてもよい。 Further, the image processing apparatus further includes conversion means for projectively converting the captured image of each frame into an upward view image, wherein the extraction means extracts features of the substantially same road surface area of each of the upward view images of the frames, and the recognition means. May recognize the obstacle by distinguishing the shadow of the same road surface area from the obstacle based on whether the extracted features of the respective frames are similar or not.

請求項１に記載の発明によれば、車載カメラの同じ路面領域を含む複数フレームの撮影画像が取得手段により取得されて、各フレームの撮影画像それぞれの略同じ路面領域（以下、「同一領域」と称する）の特徴が抽出手段により抽出される。 According to the first aspect of the present invention, captured images of a plurality of frames including the same road surface area of the vehicle-mounted camera are acquired by the acquisition unit, and substantially the same road surface area (hereinafter, “same area”) of the captured images of each frame. Are extracted by the extracting means.

このとき、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には影が投影されており、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には影が投影されておらず障害物も存在しなければ、路面に投影された影の内部は平坦でべた状であるため、各撮影画像の同一領域の違いは、影が投影された同一領域が、影が投影されていない同一領域に比べて相対的に暗くなるだけである。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似するものとなる。 At this time, for example, a shadow is projected on the same area of the captured image of the frame acquired at time tm, and no shadow is projected on the same area of the captured image of the frame acquired at different time tn. If there are no obstacles, the shadow projected on the road surface is flat and solid, so the difference between the same areas in each captured image is that the same area where the shadow was projected is not projected. It only becomes relatively darker than the same area. Therefore, the features of the same region of each photographed image extracted by the extracting unit are similar.

一方、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には障害物が存在し、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には障害物が存在しなければ、各撮影画像の同一領域の内容は大きく異なるものとなる。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似しない。 On the other hand, for example, there is an obstacle in the same area of the captured image of the frame acquired at time tm, and there is no obstacle in the same area of the captured image of the frame acquired at different time tn. The contents of the same area of the photographed image are greatly different. Therefore, the features of the same region of each captured image extracted by the extracting unit are not similar.

そこで、各フレームの抽出された特徴が相似するか否かから同一領域の影と障害物とが区別され、誤認識が防止されて障害物が認識手段により認識されるため、車載カメラの撮影画像を処理するだけで、影と障害物とを区別し、誤認識を防止して障害物を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。 Therefore, since the shadows and obstacles in the same region are distinguished from each other based on whether the extracted features of each frame are similar or not, and the recognition unit recognizes the obstacles by preventing erroneous recognition. By simply processing, it is possible to distinguish between a shadow and an obstacle and prevent an erroneous recognition and recognize the obstacle. In addition, since it is not necessary to install an expensive measuring device such as an on-vehicle radar in the vehicle, an inexpensive configuration can be achieved and the cost can be reduced.

本発明の誤認識防止装置としての機能を備える障害物認識装置の一実施形態のブロック図である。It is a block diagram of one embodiment of an obstacle recognition device provided with a function as a false recognition prevention device of the present invention. 図１の単眼カメラの構成の一例を示す図である。It is a figure which shows an example of a structure of the monocular camera of FIG. 撮影画像の一例である。It is an example of a picked-up image. 撮影画像の他の例である。It is another example of a picked-up image. 図１の動作説明用のフローチャートである。It is a flowchart for operation | movement description of FIG.

本発明の一実施形態について、図１〜図５を参照して説明する。 An embodiment of the present invention will be described with reference to FIGS.

図１は本発明の誤認識防止装置としての機能を備える障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したものである。図４は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換したものである。図５は図１の動作説明用のフローチャートである。 FIG. 1 is a block diagram of an embodiment of an obstacle recognition apparatus 2 having a function as an erroneous recognition prevention apparatus of the present invention. FIG. 2 is a diagram showing an example of the configuration of the monocular camera 3 of FIG. FIG. 3 shows an example of a photographed image IMG in front of the host vehicle 1 by the monocular camera 3. (a1) and (a2) are photographed images IMG (t1), IMG (t2), ( b1) and (b2) are obtained by projectively transforming the captured images IMG (t1) and IMG (t2) into the images tIMG (t1) and tIMG (t2) as viewed from above. FIG. 4 is an example of a captured image IMG in front of the host vehicle 1 by the monocular camera 3. (a1) and (a2) are captured images IMG (t3), IMG (t4), (t4) captured at different times, respectively. b1) and (b2) are obtained by projectively transforming the captured images IMG (t3) and IMG (t4) into images tIMG (t3) and tIMG (t4), respectively, viewed from above. FIG. 5 is a flowchart for explaining the operation of FIG.

１．構成
図１に示す障害物認識装置２（本発明の「誤認識防止装置」に相当）は、自車両１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の路面領域を含む撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１１，１２）および影１５を認識するものであって、自車両１周辺の影１５と障害物（他車両１１）とを区別して誤認識を防止する誤認識防止装置としての機能を備えるとともに、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。 1. Configuration The obstacle recognition device 2 shown in FIG. 1 (corresponding to the “false recognition prevention device” of the present invention) has a road surface area of the monocular camera 3 (corresponding to “vehicle mounted camera” of the present invention) mounted on the host vehicle 1. The captured image IMG is processed to recognize obstacles (other vehicles 11, 12) and shadows 15 around the host vehicle 1, and the shadow 15 and obstacles (other vehicles 11) around the host vehicle 1 are recognized. In addition to having a function as a misrecognition prevention device for distinguishing and preventing misrecognition, the monocular camera 3, the storage unit 4 for storing the captured image IMG and various data by the monocular camera 3, and the captured image IMG of the monocular camera 3 An ECU 6 having a microcomputer configuration to be processed, a travel monitor 7 such as a CRT attached to an instrument panel or the like, a liquid crystal display, and an alarm speaker 8 are provided.

単眼カメラ３は、この実施形態では自車両１の前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３，４参照）。また、図２に示すように、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。 In this embodiment, the monocular camera 3 is composed of a camera capable of monochrome or color photography capable of photographing a road surface ahead of the host vehicle 1, and outputs a signal of an image IMG continuously photographed every moment (FIG. 3, FIG. 3). 4). Further, as shown in FIG. 2, in order to perform road surface photography in front of the host vehicle 1, the monocular camera 3 aims at an obliquely lower road surface at an appropriate angle from above at an upper position in the front of the host vehicle 1. It is provided as follows.

記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。 The storage unit 4 stores various data obtained by performing various processes by the ECU 6 on the captured image IMG output from the monocular camera 3 every moment.

ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。 The ECU 6 includes the following units by executing a preset obstacle recognition program when, for example, the ignition key is turned on.

（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により異なる時刻に撮影され、同じ路面領域（同一領域）１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を取得する。例えば、図３（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）には、走行車線の自車両１の前方を先行車として走行する他車両１１が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。また、例えば、図４（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）には、走行車線の自車両１の前方に、隣接する対向車線を走行する他車両１２の影１５が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ３），（ｔ４）を取得する。 (1) Acquisition means 6a
The acquisition unit 6a acquires a plurality of frames of captured images IMG (t1) to IMG (t4) that are captured at different times by the monocular camera 3 and include the same road surface region (same region) 13 and 14. For example, as shown in FIGS. 3 (a1) and (a2), the captured images IMG (t1) and IMG (t2) photographed in time series by the monocular camera 3 precede the front of the vehicle 1 in the traveling lane. The other vehicle 11 traveling as a car is photographed, and the acquisition unit 6a acquires these captured images IMG (t1) and IMG (t2). Also, for example, as shown in FIGS. 4 (a1) and (a2), the captured images IMG (t3) and IMG (t4) captured in time series by the monocular camera 3 show the front of the vehicle 1 in the traveling lane. In addition, the shadow 15 of the other vehicle 12 traveling in the adjacent oncoming lane is photographed, and the acquisition unit 6a acquires these captured images IMG (t3) and (t4).

なお、図３（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。また、図４（ａ１）は、時刻ｔ３に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ３）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ４において撮影された撮影画像ＩＭＧ（ｔ４）を示す。そして、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。 3A1 shows a photographed image IMG (t1) in front of the host vehicle 1 taken by the monocular camera 3 at time t1, and FIG. 3A2 shows the photographed at time t2 when a predetermined time has elapsed. The photographed image IMG (t2) thus obtained is shown. FIG. 4 (a1) shows a captured image IMG (t3) in front of the host vehicle 1 captured by the monocular camera 3 at time t3. FIG. 4 (a2) is captured at time t4 when a predetermined time has elapsed. The photographed image IMG (t4) thus obtained is shown. Various data relating to the captured image IMG taken in time series by the monocular camera 3 is stored in the storage unit 4.

（２）変換手段６ｂ
変換手段６ｂは、取得手段６ａにより取得された、各時刻ｔ１，ｔ２における各フレームの撮影画像ＩＭＧ（ｔ１）、ＩＭＧ（ｔ２）を、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換し、各時刻ｔ３，ｔ４における各フレームの撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を、図４（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換する（図２参照）。 (2) Conversion means 6b
The conversion means 6b converts the captured images IMG (t1) and IMG (t2) of each frame at the times t1 and t2 acquired by the acquisition means 6a, as shown in FIGS. 3 (b1) and (b2). Projective transformation into images tIMG (t1) and tIMG (t2) is performed, and the captured images IMG (t3) and IMG (t4) of each frame at each time t3 and t4 are shown in FIGS. 4 (b1) and (b2) Projective transformation is performed on the visual images tIMG (t3) and tIMG (t4) (see FIG. 2).

（３）抽出手段６ｃ
抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４を特定する。すなわち、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ１）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ１）中の他車両１１を障害物候補として検出してマーキングを行うとともに、障害物（他車両１１）が存在すると予測される路面領域１３を特定する。 (3) Extraction means 6c
The extraction means 6c is based on the horizontal edge histogram derived from the upward-viewed image tIMG (t1) shown in FIG. 3 (b1) and the upward-viewed images tIMG (t1) and tIMG (t3) shown in FIG. 4 (b1). By detecting the edge, the road surface regions 13 and 14 where the obstacles in the images tIMG (t1) and tIMG (t3) viewed from above are predicted to exist are specified. That is, the extracting unit 6c determines the upward-looking image tIMG (t1) based on the feature of the contour shape formed by the peak of the horizontal edge histogram derived from the upward-looking image tIMG (t1) shown in FIG. Perform horizontal edge detection. Then, the extracting means 6c detects the other vehicle 11 in the upward-viewed image tIMG (t1) as an obstacle candidate based on the horizontal edge detection, performs marking, and if there is an obstacle (other vehicle 11). The predicted road surface area 13 is specified.

また、抽出手段６ｃは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ３）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ３）中の影１５を障害物候補として検出してマーキングを行うとともに、障害物（影１５）が存在すると予測される路面領域１４を特定する。 Further, the extracting means 6c generates the upward-view image tIMG (t3) based on the feature of the contour shape formed by the peak of the horizontal edge histogram derived from the upward-view image tIMG (t3) shown in FIG. Perform horizontal edge detection. Based on the horizontal edge detection, the extracting unit 6c detects and marks the shadow 15 in the upward-viewed image tIMG (t3) as an obstacle candidate and predicts that an obstacle (shadow 15) exists. The road surface area 14 is specified.

また、抽出手段６ｃは、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ＩＭＧ（ｔ４）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）中の障害物候補としての車両１１と影１５を検出し、検出された障害物候補がそれぞれ、図３（ｂ１）および図４（ｂ１）に示す上方視の画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ３）中のマーキングされた障害物候補（他車両１１、影１５）であるかどうかを判定する。 Further, the extracting means 6c performs edge detection based on the horizontal edge histogram derived from the upward-viewed image tIMG (t2) shown in FIG. 3 (b2) and the upward-viewed image IMG (t4) shown in FIG. 4 (b2). , The vehicle 11 and the shadow 15 as obstacle candidates in the upward-viewed images tIMG (t2) and tIMG (t4) are detected, and the detected obstacle candidates are shown in FIGS. 3 (b1) and 4 (b1), respectively. It is determined whether or not it is a marked obstacle candidate (other vehicle 11, shadow 15) in the above-viewed images IMG (t1) and IMG (t3).

すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、所謂、画像のトラッキング処理を行うことにより、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）から検出された障害物候補（他車両１１、影１５）が、それぞれ同一の障害物候補であるかどうかを判定する。 That is, the extraction unit 6c is based on information such as the positional deviation of the images tIMG (t1), tIMG (t2) and the images tIMG (t3), tIMG (t4) caused by the own vehicle speed and the photographing interval of the monocular camera 3. Thus, by performing so-called image tracking processing, whether the obstacle candidates (other vehicle 11, shadow 15) detected from the images tIMG (t1) to tIMG (t4) are the same obstacle candidates. Determine if.

また、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４と同じ路面領域（同一領域）を、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ４）中において特定する。すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）中の同じ路面領域（同一領域）１３，１４を同定する。 Further, the extracting means 6c is a road surface region in which an obstacle is predicted to exist in the upward-viewed image tIMG (t1) shown in FIG. 3 (b1) and the upward-viewed image tIMG (t3) shown in FIG. The same road surface area (same area) as 13 and 14 is specified in the upward-view image tIMG (t2) shown in FIG. 3 (b2) and the upward-view image tIMG (t4) shown in FIG. 4 (b2). That is, the extraction unit 6c is based on information such as the positional deviation of the images tIMG (t1), tIMG (t2) and the images tIMG (t3), tIMG (t4) caused by the own vehicle speed and the photographing interval of the monocular camera 3. Thus, the same road surface areas (same areas) 13 and 14 in each of the images tIMG (t1) to tIMG (t4) are identified.

そして、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の特徴１３ａ，１３ｂおよび上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の特徴１４ａ，１４ｂ、この実施形態では、水平エッジヒストグラムのピークが形成する輪郭形状を抽出する。 Then, the extracting unit 6c extracts the features 13a and 13b of the same region 13 in the upper-view images tIMG (t1) and tIMG (t2) and the feature 14a of the same region 14 in the upper-view images tIMG (t3) and tIMG (t4). 14b, in this embodiment, the contour shape formed by the peak of the horizontal edge histogram is extracted.

なお、上記した水平エッジヒストグラムとともに、垂直エッジヒストグラムもさらに導出し、２つのエッジヒストグラムに基づいた上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出により、障害物候補（他車両１１、影１５）を検出するように抽出手段６ｃを構成してもよい。また、上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）が所定の閾値で２値化された後の画像から導出されたエッジヒストグラムに基づく水平エッジ検出により、障害物候補を検出するように抽出手段６ｃを構成してもよく、これにより、エッジヒストグラムに基づく上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出の精度を向上することができる。 In addition to the horizontal edge histogram described above, a vertical edge histogram is further derived, and obstacle candidates (other vehicles 11, 11) are detected by edge detection of the top-view images tIMG (t 1) to tIMG (t 4) based on the two edge histograms. The extraction means 6c may be configured to detect the shadow 15). In addition, extraction is performed so that obstacle candidates are detected by horizontal edge detection based on edge histograms derived from images after binarizing the images tIMG (t1) to tIMG (t4) with the predetermined threshold. The means 6c may be configured, whereby the accuracy of edge detection of the upward-viewed images tIMG (t1) to tIMG (t4) based on the edge histogram can be improved.

また、この実施形態では、単眼カメラ３により時系列に撮影された各フレームの撮影画像ＩＭＧが変換手段６ｂにより上方視の画像ｔＩＭＧに射影変換され、抽出手段６ｃは、各フレームの上方視の画像ｔＩＭＧの特徴を抽出するように構成されている。このように構成すると、抽出手段６ｃは、各撮影画像ＩＭＧ中の同一領域を同定するのに比べ、各フレームの上方視画像ｔＩＭｇ中の同じ路面領域を容易に同定できる。 In this embodiment, the captured image IMG of each frame photographed in time series by the monocular camera 3 is projectively transformed into the upward-viewed image tIMG by the conversion means 6b, and the extraction means 6c performs the upward-viewed image of each frame. It is configured to extract features of tIMG. If comprised in this way, the extraction means 6c can identify easily the same road surface area | region in the upward view image tIMg of each flame | frame compared with identifying the same area | region in each picked-up image IMG.

（４）認識手段６ｄ
認識手段６ｄは、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂに基づいて、検出された障害物候補が影１５であるのか障害物（他車両１１）であるのかを区別して障害物を認識する。例えば、時刻ｔ１における撮影画像ＩＭＧ（ｔ１）に含まれる障害物候補が、図３（ａ１），（ｂ１）に示すように障害物（他車両１１）であり、自車両１と他車両１１との相対速度が異なれば、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補が検出された路面領域１３に、所定時間経過後の時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）では、車両１１が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がことがある。このとき、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の内容は大きく異なるものとなるため、この同一領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは全く異なるものとなる。 (4) Recognition means 6d
Based on the features 13a, 13b, 14a, and 14b extracted by the extracting unit 6c, the recognizing unit 6d distinguishes whether the detected obstacle candidate is a shadow 15 or an obstacle (another vehicle 11). Recognize things. For example, the obstacle candidate included in the captured image IMG (t1) at time t1 is an obstacle (another vehicle 11) as shown in FIGS. 3 (a1) and (b1). If the relative speed of the vehicle is different, the road surface area 13 in which the obstacle candidate is detected in the image tIMG (t1) viewed from the top at the time t1 is displayed on the image tIMG (t2) viewed from the top at the time t2 after a predetermined time has elapsed When 11 moves relatively forward from the host vehicle 1, there may be no obstacle candidate. At this time, the contents of the same region 13 in the upper-view images tIMG (t1) and tIMG (t2) are greatly different, so that the peak shape features 13a and 13b of the horizontal edge histogram of the same region 13 are completely different. It becomes.

一方、例えば、時刻ｔ３に撮影された画像ＩＭＧ（ｔ３）に含まれる障害物候補が、図４（ａ１），（ｂ１）に示すように影１５であり、自車両１と他車両１２との相対速度が異なれば、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補が検出された路面領域１４に、所定時間経過後の時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）では、車両１２が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がある。しかしながら、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４における違いは影１５の投影により明るいか、暗いかだけであるため、この同一領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは大きさは異なるものの相似（類似）したものとなる。 On the other hand, for example, the obstacle candidate included in the image IMG (t3) photographed at time t3 is a shadow 15 as shown in FIGS. 4 (a1) and (b1), and the vehicle 1 and the other vehicle 12 If the relative speeds are different, the road 12 in which the obstacle candidate is detected in the upward view image tIMG (t3) at the time t3 is displayed on the vehicle 12 in the upward view image tIMG (t4) at the time t4 after a predetermined time has elapsed. May move relatively forward from the host vehicle 1 so that no obstacle candidate exists. However, since the difference in the same region 14 between the images tIMG (t3) and tIMG (t4) from above is only bright or dark due to the projection of the shadow 15, the feature of the peak shape of the horizontal edge histogram of this same region 14 Although 14a and 14b differ in size, they are similar (similar).

したがって、この実施形態では、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）する否かに基づいて、時刻ｔ１，ｔ３に取得された各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の障害物候補としての他車両１１と影１５とを区別し、誤認識を防止して障害物（他車両１１）を認識する。 Therefore, in this embodiment, based on whether or not the features 13a, 13b, 14a, and 14b extracted by the extracting unit 6c are similar (similar), the image tIMG of the top view of each frame acquired at times t1 and t3 The other vehicle 11 and the shadow 15 as the obstacle candidates in the road surface areas 13 and 14 of (t1) and tIMG (t3) are distinguished from each other, the erroneous recognition is prevented, and the obstacle (the other vehicle 11) is recognized.

（５）報知手段６ｅ
報知手段６ｅは、認識手段６ｄによる、障害物（他車両１１）の検出に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。 (5) Notification means 6e
Based on the detection of the obstacle (the other vehicle 11) by the recognition means 6d, the notification means 6e displays a warning display superimposed on the car navigation map being displayed on the travel monitor 7, for example, The driver is visually informed of the presence of. Further, the speaker 8 generates a voice message and a warning sound as a detection result to audibly notify the driver of the presence of an obstacle. The driver's driving assistance is performed by the visual or auditory notification to the driver.

２．動作
次に、上記したように構成された障害物認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図３に示すように、走行車線の自車両１の前方を先行車として他車両１１が走行している状態と、図４に示すように、隣接する車線に他車両１２が走行しており、走行車線の自車両１の前方に他車両１２の影が投影されている状態とを例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧから抽出手段６ｃにより抽出された路面領域１３，１４の特徴に関する情報が格納されているものとする。 2. Operation Next, the operation of the obstacle recognition apparatus 2 configured as described above will be described with reference to FIG. In this embodiment, as shown in FIG. 3, the other vehicle 11 is traveling with the preceding vehicle 1 in front of the host vehicle 1 in the traveling lane, and in the adjacent lane as shown in FIG. 4. An example in which the vehicle 12 is traveling and a shadow of the other vehicle 12 is projected in front of the host vehicle 1 in the traveling lane will be described. In addition, it is assumed that the storage unit 4 stores information on the characteristics of the road surface areas 13 and 14 extracted by the extraction unit 6c from the past captured images IMG captured in time series.

まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）および図４（ａ１），（ａ２）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれる（ステップＳ１）。そして、取込まれた撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に変換手段６ｂにより射影変換される（ステップＳ２）。 First, when shooting with the monocular camera 3 is started by turning on the ignition key of the host vehicle 1, the monocular camera 3 as shown in FIGS. 3 (a1) and (a2) and FIGS. 4 (a1) and (a2) is used. A signal of the captured image IMG in front of the host vehicle 1 is taken into the ECU 6 by the acquisition means 6a every moment (step S1). Then, the captured images IMG (t1) to IMG (t4) that have been taken in are subjected to projective transformation by the conversion means 6b into images tIMG (t1) to tIMG (t4) that are viewed upward (step S2).

次に、図３（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）における同一領域１３の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂが、図４（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）における同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴１４ａ，１４ｂが、抽出手段６ｃにより抽出される（ステップＳ３）。 Next, features 13a and 13b relating to the peak shape of the horizontal edge histogram of the same region 13 in the images tIMG (t1) and tIMG (t2) in the upward view shown in FIGS. 3 (b1) and (b2) are shown in FIG. 4 (b1). , (B2), the features 14a and 14b relating to the peak shape of the horizontal edge histogram of the same region 14 in the top-view images tIMG (t3) and tIMG (t4) are extracted by the extraction unit 6c (step S3).

そして、抽出手段６ｃにより抽出された形状に関する特徴１３ａ，１３ｂが相似するか否か、形状に関する特徴１４ａ，１４ｂが相似するか否かに基づいて、時刻ｔ１，ｔ３における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）おいて路面領域１３，１４に存在した障害物候補がそれぞれ障害物（他車両１１）であるのか影１５であるのかが区別されることにより誤認識が防止されて、障害物（他車両１１）が認識手段６ｄにより認識される（ステップＳ４）。 Then, based on whether the features 13a and 13b related to the shape extracted by the extraction unit 6c are similar or whether the features 14a and 14b related to the shape are similar, the image tIMG (t1) of the upward view at the times t1 and t3. ), TIMG (t3), the obstacle candidates existing in the road surface areas 13 and 14 are respectively identified as obstacles (other vehicles 11) or shadows 15, thereby preventing misrecognition. A thing (other vehicle 11) is recognized by the recognition means 6d (step S4).

この実施形態では、図３（ｂ１），（ｂ２）に示す、時刻ｔ１，ｔ２における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の障害物候補としての他車両１１が抽出手段６ｃによりトレースされているが、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補としての他車両１１が存在する路面領域１３に、時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）においては他車両１１が存在していないため、この路面領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは、それぞれの画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）において全く異なるものとなる。したがって、認識手段６ｄは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が車両１１であると認識する。 In this embodiment, the other vehicle 11 as an obstacle candidate in the images tIMG (t1) and tIMG (t2) viewed from above at the times t1 and t2 shown in FIGS. 3 (b1) and (b2) is extracted by the extracting means 6c. Although it is traced, the road surface region 13 where the other vehicle 11 as an obstacle candidate exists in the upward-view image tIMG (t1) at the time t1, and the other vehicle 11 in the upward-view image tIMG (t2) at the time t2. Therefore, the peak shape features 13a and 13b of the horizontal edge histogram of the road surface region 13 are completely different in the images tIMG (t1) and tIMG (t2). Accordingly, the recognition means 6d detects an obstacle candidate that is detected from the image tIMG (t1) in the upward view shown in FIG. 3 (b1) and moves relatively forward from the own vehicle 1 over time. Recognize that there is.

また、この実施形態では、図４（ｂ１），（ｂ２）に示す、時刻ｔ３，ｔ４における上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）中の障害物候補としての影１５が抽出手段６ｃによりトレースされているが、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補としての影１５が存在する路面領域１４に、時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）においては影１５が存在しないが、この路面領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは、それぞれの画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）において相似（類似）したものとなる。したがって、認識手段６ｄは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が影１５であると認識する。 In this embodiment, the shadow 15 as an obstacle candidate in the upward-viewed images tIMG (t3) and tIMG (t4) at time t3 and t4 shown in FIGS. 4B1 and 4B2 is extracted by the extracting unit 6c. However, the shadow 15 in the upward view image tIMG (t4) at the time t4 is present in the road surface area 14 where the shadow 15 as the obstacle candidate exists in the upward view image tIMG (t3) at the time t3. Although not present, the features 14a and 14b of the peak shape of the horizontal edge histogram of the road surface region 14 are similar (similar) in the respective images tIMG (t3) and tIMG (t4). Therefore, the recognition means 6d detects an obstacle candidate that is detected from the upward-viewed image tIMG (t3) shown in FIG. Recognize that there is.

そして、認識手段６ｄにより認識された障害物（他車両１１）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｅにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１１が自車両１に異常接近すると判断されれば、報知手段６ｅによる報知が行われる。 And if the obstacle (other vehicle 11) recognized by the recognition means 6d is abnormally approaching the own vehicle 1, a warning display by the traveling monitor 7 is performed, or a voice message or an alarm sound is output from the speaker 8. The notification means 6e notifies the driver that there is an obstacle (step S5). That is, in this embodiment, if it is determined that the other vehicle 11 is abnormally approaching the host vehicle 1 by the function provided by the ECU 6 executing the program, the notification by the notification unit 6e is performed.

以上のように、この実施形態によれば、単眼カメラ３の同じ路面領域１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が取得手段６ａにより取得され、取得された各フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が変換手段６ｂにより上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に射影変換されて、各フレームの上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）それぞれの略同じ路面領域１３，１４の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂ，１４ａ，１４ｂが抽出手段６ｃにより抽出される。 As described above, according to this embodiment, a plurality of frames of captured images IMG (t1) to IMG (t4) including the same road surface regions 13 and 14 of the monocular camera 3 are acquired by the acquisition unit 6a and acquired. The captured images IMG (t1) to IMG (t4) of the frame are projectively transformed into the upper view images tIMG (t1) to tIMG (t4) by the conversion unit 6b, and the upper view images tIMG (t1) to tIMG (t4) of each frame. ) Features 13a, 13b, 14a, 14b relating to the peak shape of the horizontal edge histograms of the substantially same road surface regions 13, 14 are extracted by the extracting means 6c.

そして、各フレームの抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）するか否かから同一領域１３，１４の影１５と障害物（他車両１１）とが区別され、誤認識が防止されて障害物（他車両１１）が認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を処理するだけで、影１５と障害物（他車両１１）とを区別し、誤認識を防止して障害物（他車両１１）を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。 And the shadow 15 and the obstacle (other vehicle 11) of the same area | regions 13 and 14 are distinguished from whether the extracted features 13a, 13b, 14a, and 14b of each frame are similar (similar), and erroneous recognition is performed. Since the obstacle (other vehicle 11) is prevented and recognized by the recognition means 6d, the shadow 15 and the obstacle (other vehicle 11) can be obtained simply by processing the captured images IMG (t1) to IMG (t4) of the monocular camera 3. ) To prevent an erroneous recognition and recognize an obstacle (another vehicle 11). In addition, since it is not necessary to install an expensive measuring device such as an on-vehicle radar in the vehicle, an inexpensive configuration can be achieved and the cost can be reduced.

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方の路面を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。 The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the monocular camera 3 is connected to the rear road surface. May be attached to the rear portion of the host vehicle 1 so as to be capable of photographing. If comprised in this way, it can be monitored whether the other vehicle which approaches abnormally from the back of the own vehicle 1 exists.

また、上記した実施形態では、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３と、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴を抽出するように構成されているが、濃淡ヒストグラムのピーク形状に関する特徴を抽出するように構成してもよいし、水平エッジヒストグラムおよび濃淡ヒストグラムの両方のピーク形状に関する特徴を抽出するようにしてもよい。 In the above-described embodiment, the extraction unit 6c includes the same region 13 of the upward-view images tIMG (t1) and tIMG (t2) and the same region 14 of the upward-view images tIMG (t3) and tIMG (t4). Although it is configured to extract features related to the peak shape of the horizontal edge histogram, it may be configured to extract features related to the peak shape of the gray histogram, and may be related to the peak shape of both the horizontal edge histogram and the gray histogram. Features may be extracted.

また、正規化相関法による画像マッチングを行うためのテンプレートを上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の特徴として抽出し、抽出されたテンプレートに基づいて、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）の同一領域１３、１４において正規化相関法による画像マッチングを行い、これにより、画像が一致すれば影と認識し、画像が一致しなければ障害物として認識する、本発明の「抽出手段」、「認識手段」に相当する手段を設けてもよい。 Further, a template for performing image matching by the normalized correlation method is extracted as a feature of the road surface regions 13 and 14 of the images tIMG (t1) and tIMG (t3) in the upward view, and the upward view is based on the extracted template. The images tIMG (t2) and tIMG (t4) in the same regions 13 and 14 are subjected to image matching by the normalized correlation method. As a result, if the images match, it is recognized as a shadow. Recognizing means corresponding to “extraction means” and “recognition means” of the present invention may be provided.

また、抽出手段６ｃによる、上方視の画像の障害物候補の検出方法としては上記した方法に限られず、路面に投影された影を含む障害物候補を検出することができればどのような手法を採用してもよい。このとき、検出された障害物候補の画像のエッジヒストグラムや濃淡ヒストグラムに基づく特徴を抽出することで、上記したように、検出した障害物候補が影であるのか、障害物であるのかを区別して認識して、誤認識を防止することができる。すなわち、異なる時刻の複数の撮影画像が変換された上方視の画像それぞれの同じ路面領域の種々の特徴を抽出し、抽出された各特徴が類似するか否かにより、路面領域に存在する障害物候補が影であるのか障害物であるのかを区別し、誤認識を防止して障害物を認識することができる。 The extraction means 6c is not limited to the above-described method for detecting obstacle candidates in an upward-viewed image, and any method can be used as long as an obstacle candidate including a shadow projected on the road surface can be detected. May be. At this time, by extracting features based on the edge histogram and the density histogram of the detected obstacle candidate image, as described above, it is distinguished whether the detected obstacle candidate is a shadow or an obstacle. Recognize and prevent misrecognition. That is, various features of the same road surface area of each of the above-viewed images obtained by converting a plurality of captured images at different times are extracted, and obstacles existing in the road surface area depending on whether the extracted features are similar or not It is possible to distinguish whether the candidate is a shadow or an obstacle and prevent the recognition error and recognize the obstacle.

また、この実施形態では、変換手段６ｂは、各撮影画像ＩＭＧを上方視の画像ｔＩＭＧに変換するように構成されているが、各撮影画像ＩＭＧが水平な仮想面に射影された下面視の画像に変換手段６ｂにより変換されてもよく、各下面視の画像から抽出手段６ｃにより特徴が抽出されるようにしてもよい。また、抽出手段６ｃは、変換手段６ｂによる変換が行われていない各撮影画像ＩＭＧの同じ路面領域（同一領域）から特徴を抽出するように構成してもよい。 Further, in this embodiment, the conversion unit 6b is configured to convert each captured image IMG into an upward-view image tIMG, but the bottom-view image obtained by projecting each captured image IMG onto a horizontal virtual surface. May be converted by the converting means 6b, and features may be extracted by the extracting means 6c from each bottom view image. Further, the extraction unit 6c may be configured to extract features from the same road surface region (same region) of each captured image IMG that has not been converted by the conversion unit 6b.

また、本発明は種々の車両の障害物認識および誤認識防止に適用することができる。 Further, the present invention can be applied to obstacle recognition and misrecognition prevention of various vehicles.

１自車両
２障害物認識装置（誤認識防止装置）
３単眼カメラ（車載カメラ）
６ａ取得手段
６ｂ変換手段
６ｃ抽出手段
６ｄ認識手段
１１，１２他車両（障害物）
１３，１４同一領域（同じ路面領域）
ＩＭＧ撮影画像
ｔＩＭＧ上方視の画像 1 Own vehicle 2 Obstacle recognition device (false recognition prevention device)
3 Monocular camera (vehicle camera)
6a Acquisition means 6b Conversion means 6c Extraction means 6d Recognition means 11, 12 Other vehicle (obstacle)
13, 14 Same area (same road surface area)
IMG photographed image tIMG

Claims

In the device for preventing misrecognition of obstacles and shadows around the host vehicle by processing and recognizing the captured image including the road surface area of the in-vehicle camera mounted on the host vehicle,
Acquisition means for acquiring a plurality of frames of captured images including the same road surface area of the in-vehicle camera;
Extracting means for extracting the characteristics of substantially the same road surface area of each captured image of each frame;
And a recognition unit that recognizes an obstacle by distinguishing a shadow and an obstacle from the same road surface region based on whether the extracted features of the frames are similar to each other.