JP4788399B2 - Pedestrian detection method, apparatus, and program - Google Patents
Pedestrian detection method, apparatus, and program Download PDFInfo
- Publication number
- JP4788399B2 JP4788399B2 JP2006051270A JP2006051270A JP4788399B2 JP 4788399 B2 JP4788399 B2 JP 4788399B2 JP 2006051270 A JP2006051270 A JP 2006051270A JP 2006051270 A JP2006051270 A JP 2006051270A JP 4788399 B2 JP4788399 B2 JP 4788399B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- pedestrian
- information
- vertical edge
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、複眼の撮像手段によって撮像した入力画像を用いてその画像に含まれる歩行者の検出を行う歩行者検出方法、装置、およびプログラムに関する。 The present invention relates to a pedestrian detection method, apparatus, and program for detecting a pedestrian included in an image using an input image captured by a compound eye imaging unit.
従来、四輪自動車等の車両が走行中に障害物を検知するための技術として、カメラを搭載して道路上の歩行者を検出する技術が知られている。例えば、下記特許文献1では、ステレオカメラを用いて歩行者のモデル画像とのパターンマッチングを行うことによって歩行者を検出する技術が開示されている。
Conventionally, as a technique for detecting an obstacle while a vehicle such as a four-wheeled vehicle is running, a technique for detecting a pedestrian on a road by mounting a camera is known. For example,
しかしながら、上述した従来技術では、ステレオカメラでパターンマッチングを行う際の計算負荷が大きく、精度を落とすことなく計算量を削減して歩行者を検出することが困難であった。また、通常のステレオマッチングのみで検出した物標には、車両や看板などの歩行者以外の物標も多く含まれてしまうという問題もあった。 However, in the above-described conventional technology, the calculation load when performing pattern matching with a stereo camera is large, and it has been difficult to detect a pedestrian by reducing the amount of calculation without reducing accuracy. In addition, there is a problem that many targets other than pedestrians such as vehicles and signboards are included in targets detected only by normal stereo matching.
本発明は、上記に鑑みてなされたものであり、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することができる歩行者検出方法、装置、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and a pedestrian detection method, apparatus, and program capable of accurately detecting a pedestrian included in an image captured using a stereo camera with a small amount of calculation. The purpose is to provide.
上述した課題を解決し、目的を達成するために、本発明に係る歩行者検出方法は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出方法であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、前記縦エッジ抽出ステップで抽出した縦エッジから3次元情報を算出し、この算出した3次元情報をもとに立体物を検出する立体物検出ステップと、前記立体物検出ステップで検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出ステップと、前記変動算出ステップで算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、を含むことを特徴とする。 In order to solve the above-described problems and achieve the object, the pedestrian detection method according to the present invention is a walking that walks in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field. A pedestrian detection method for detecting a person, wherein a three-dimensional information is calculated from a vertical edge extraction step of extracting a vertical edge based on the image information, and a vertical edge extracted in the vertical edge extraction step. A three-dimensional object detection step for detecting a three-dimensional object based on three-dimensional information, a fluctuation calculation step for calculating a fluctuation over time of the three-dimensional object information indicating the characteristics of the three-dimensional object detected in the three-dimensional object detection step, and the fluctuation calculation And a determination step of determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian based on the fluctuation of the three-dimensional object information calculated in the step.
本発明に係る歩行者検出方法は、上記発明において、前記変動算出ステップは、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, the fluctuation calculating step calculates a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past. .
本発明に係る歩行者検出方法は、上記発明において、前記立体物検出ステップは、前記縦エッジ抽出ステップで抽出した縦エッジごとの3次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。 In the pedestrian detection method according to the present invention, in the above invention, the three-dimensional object detection step includes pixel points obtained by calculating three-dimensional information for each vertical edge extracted in the vertical edge extraction step above a predetermined reference. The solid object is detected by integrating such regions.
本発明に係る歩行者検出方法は、上記発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, the three-dimensional object information includes a height position, a horizontal width, and a height width of the three-dimensional object.
本発明に係る歩行者検出方法は、上記発明において、前記判定ステップで判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理ステップをさらに有することを特徴とする。 The pedestrian detection method according to the present invention is characterized in that, in the above invention, when the three-dimensional object determined in the determination step is a pedestrian, a tracking processing step for performing tracking processing of the pedestrian is further provided.
本発明に係る歩行者検出方法は、上記発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理ステップで検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理ステップをさらに有することを特徴とする。 In the pedestrian detection method according to the present invention, in the above-described invention, the fusion detection is performed on the object detection result detected by the detection unit that detects an object using electromagnetic waves and the information on the pedestrian detected in the tracking processing step. It further has a processing step.
本発明に係る歩行者検出装置は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出装置であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、前記縦エッジ抽出手段で抽出した縦エッジから3次元情報を算出し、この算出した3次元情報をもとに立体物を検出する立体物検出手段と、前記立体物検出手段で検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出手段と、前記変動算出手段で算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、を備えたことを特徴とする。 The pedestrian detection apparatus according to the present invention is a pedestrian detection apparatus that detects a pedestrian walking in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field. A vertical edge extracting means for extracting a vertical edge based on information, a three-dimensional object for calculating three-dimensional information from the vertical edge extracted by the vertical edge extracting means, and detecting a three-dimensional object based on the calculated three-dimensional information Based on the fluctuation of the three-dimensional object information calculated by the detection means, the fluctuation calculation means for calculating the fluctuation of the three-dimensional object information indicating the characteristic of the three-dimensional object detected by the three-dimensional object detection means, and the three-dimensional object information calculated by the fluctuation calculation means Determining means for determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian.
本発明に係る歩行者検出装置は、上記発明において、前記変動算出手段は、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。 The pedestrian detection device according to the present invention is characterized in that, in the above invention, the fluctuation calculating means calculates a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past. .
本発明に係る歩行者検出装置は、上記発明において、前記立体物検出手段は、前記縦エッジ抽出手段で抽出した縦エッジごとの3次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。 In the pedestrian detection device according to the present invention, in the above invention, the three-dimensional object detection means has pixel points obtained by calculating three-dimensional information for each vertical edge extracted by the vertical edge extraction means exceeding a predetermined reference. The solid object is detected by integrating such regions.
本発明に係る歩行者検出装置は、上記発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。 In the pedestrian detection device according to the present invention, in the above invention, the three-dimensional object information includes a height position, a horizontal width, and a height width of the three-dimensional object.
本発明に係る歩行者検出装置は、上記発明において、前記判定手段で判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理手段をさらに備えたことを特徴とする。 The pedestrian detection device according to the present invention is characterized in that, in the above invention, when the solid object determined by the determination means is a pedestrian, the pedestrian detection apparatus further includes a tracking processing means for performing tracking processing of the pedestrian.
本発明に係る歩行者検出装置は、上記発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理手段で検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理手段をさらに備えたことを特徴とする。 Pedestrian detecting apparatus according to the present invention, in the above invention, fusion to fusion processing and object detection result detected by the detection means for detecting an object, and information about the pedestrian detected by the tracking processing unit with electromagnetic waves The apparatus further includes processing means.
本発明に係る歩行者検出プログラムは、上記いずれかの歩行者検出方法をコンピュータに実行させることを特徴とする。 A pedestrian detection program according to the present invention causes a computer to execute any one of the above pedestrian detection methods.
本発明によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから3次元情報を算出し、この算出した3次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。 According to the present invention, a vertical edge is extracted based on image information output from a compound eye imaging unit that captures a predetermined visual field, three-dimensional information is calculated from the vertical edge, and the calculated three-dimensional information is also stored. A three-dimensional object is detected, and a three-dimensional object information indicating a characteristic of the detected three-dimensional object is calculated over time, and whether or not the three-dimensional object is a pedestrian based on the calculated three-dimensional object variation. This makes it possible to detect a pedestrian included in an image captured using a stereo camera with high accuracy with a small amount of calculation.
以下、添付図面を参照して本発明を実施するための最良の形態(以後、「実施の形態」と称する)を説明する。 The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below with reference to the accompanying drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置1は、四輪自動車等の車両に搭載され、車両の周囲の所定の範囲に存在する物標の中から歩行者を検出する装置である。歩行者検出装置1は、所定の視野を撮像する撮像部2と、撮像部2による撮像結果すなわち入力画像に基づいた画像処理を行う画像処理部3と、演算処理プログラムが記録されたROM(Read Only Memory)および各種パラメータやデータ等を記憶するRAM(Random Access Memory)を用いて実現され、画像処理部3における処理結果や各種設定情報等を記憶する記憶部4と、を備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a functional configuration of the pedestrian detection apparatus according to
歩行者検出装置1で検出した歩行者情報は、車両制御装置5に出力される。車両制御装置5では、歩行者検出装置1からの出力に応じて車間距離制御や自動ブレーキ制御等の制御を行う。このように、歩行者検出装置1および車両制御装置5は、全体としてACC(自動車間制御装置)、PBA(プリクラッシュブレーキアシスト)、PSB(プリクラッシュシートベルト)等のシステムを構成する。この意味で、歩行者検出装置1は、前述したシステムにおけるセンサ(画像センサ)としての機能を果たす。
The pedestrian information detected by the
以下、歩行者検出装置1の詳細な構成を説明する。撮像部2は、所定の離間距離で配置された一対のカメラ21Lおよび21Rと、カメラ21Lおよび21Rの各々から出力されるアナログ信号をデジタル信号に変換するA/D変換して記憶するフレームメモリ22Lおよび22Rを備えたステレオカメラである。カメラ21Lおよび22Rは、所定の視野角から入射する光を集光するレンズと、このレンズを透過した光を検知してアナログ信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子とを有する。
Hereinafter, the detailed structure of the
図2は、カメラ21Lおよび21Rによる撮像処理を概念的に示す説明図である。同図では、左側に位置するカメラ21Lの光軸zLと右側に位置するカメラ21Rの光軸zRとが平行な場合を示している。この場合、カメラ21L固有の座標系(左カメラ座標系)に対応する左画像領域ILの点ALに対応する点が、カメラ21R固有の座標系(右カメラ座標系)に対応する右画像領域IR内の直線LE(エピポーラ線)上に存在している。図2において、物標である歩行者Pの画素点Aの座標値(x,y,z)を算出する際には、左右のカメラ座標系における座標値(xL,yL,zL)および(xR,yR,zR)の算出、および座標値間の対応点探索(ステレオマッチング)を行う。
FIG. 2 is an explanatory diagram conceptually showing the imaging processing by the
画像処理部3は、撮像部2で撮像した画像情報において縦方向のエッジ(縦エッジ)を抽出する縦エッジ抽出フィルタとしての機能を有する縦エッジ抽出部31と、縦エッジ抽出部31で抽出した縦エッジを用いて画像情報に含まれる立体物を検出する立体物検出部32と、立体物検出部32で検出した立体物の大きさや形状等の特性を示す立体物情報の時間的な変動を算出する変動算出部33と、変動算出部33で算出した立体物の変動に基づいてその立体物情報に対応する立体物が歩行者であるか否かを判定する判定部34と、判定部34で判定した立体物が歩行者である場合、その歩行者のトラッキング処理を行うトラッキング処理部35とを有する。また、画像処理部3は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能や、画像を生成する際に所定の補正を加える機能を備えている。
The image processing unit 3 extracts the vertical
画像処理部3はCPU(Central Processing Unit)等を用いて実現され、本実施の形態1に係る歩行者検出プログラムを含む各種演算処理プログラムを記憶部4から読み出すことによってその読み出したプログラムに対応する処理を実行する。
The image processing unit 3 is realized by using a CPU (Central Processing Unit) or the like, and corresponds to the read program by reading various arithmetic processing programs including the pedestrian detection program according to the first embodiment from the
なお、本実施の形態1に係る歩行者検出プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM等のコンピュータ読取可能な記録媒体に記録して広く流通させることも可能である。 Note that the pedestrian detection program according to the first embodiment can be recorded on a computer-readable recording medium such as a flexible disk, a CD-ROM, a DVD-ROM, and widely distributed.
図3は、本実施の形態1に係る歩行者検出方法の概要を示すフローチャートである。まず、撮像部2において撮像処理を行い、撮像した画像情報を画像処理部3へ出力する(ステップS1)。この際には、カメラ21Lおよび21Rで撮像した画像情報を一時的にフレームメモリ22Lおよび22Rで記憶する。図4および図5は、撮像部2で撮像対象となる風景例を示す図である。このうち、図4に示す風景101は、自車両の前方の横断歩道Hを歩行者Pが横断している状態を示している。また、図5に示す風景201は、自車両に対して先行する車両Cが道路Rを走行している状態を示している。以下の説明では、この2つの風景101および201を撮像部2で撮像した場合を参照しながら説明を行う。
FIG. 3 is a flowchart showing an outline of the pedestrian detection method according to the first embodiment. First, imaging processing is performed in the imaging unit 2, and the captured image information is output to the image processing unit 3 (step S1). At this time, image information captured by the
画像情報を取得した画像処理部3では、縦エッジ抽出部31で縦エッジの抽出処理を行う(ステップS2)。図6は、風景101を撮像した画像情報を用いて縦エッジ抽出処理を行った場合の歩行者P付近の縦エッジを模式的に示す図である。同図に示すように、歩行者Pの場合、縦エッジEは歩行者Pの輪郭と周囲との境界のみならず、歩行者Pの内部でも抽出される。これは、例えば歩行者Pが着ている服のしわなどが縦に入ったりすることに起因している。他方、図7は、風景201を撮像した画像に対して縦エッジ抽出処理を行った場合の車両C付近の縦エッジを模式的に示す図である。図7に示す場合、車両Cの輪郭と周辺部分との境界付近には縦エッジEが抽出されるが、車両Cの中心付近には縦エッジがほとんどない。このように、歩行者Pと車両Cとでは、抽出された縦エッジの発現の態様が大きく異なる。
In the image processing unit 3 that has acquired the image information, the vertical
ステップS2に続いて、立体物検出部32が立体物を検出する(ステップS3)。このステップS3で、立体物検出部32は、まず縦エッジまでの距離を含む画像の3次元情報を求める。その際には、上述したように、左右のカメラ座標系における座標値(xL,yL,zL)および(xR,yR,zR)の算出と、座標値間の対応点探索(ステレオマッチング)とを順次行う。対応点探索は、例えばカメラ21Lとカメラ21Rとから得られた画像の相関を所定の定義にしたがって演算し、縦エッジEの構成点の3次元座標が算出される。このステップS3での算出結果は記憶部4に一時的に格納される。
Following step S2, the three-dimensional
図8および図9は、立体物検出部32で上記の如く算出された画素点を画面上へプロットして視覚化したものであり、自車両よりも遠くに行くほど同数の画素点を収容する領域が小さくなるようにして表示したものである。なお、図8および図9では、歩行者Pや車両Cに対応する箇所以外でも画素点群が形成されている。このように、ステップS3で立体物を検出する段階では、不要な立体物も検出している。
8 and 9 are the pixel points calculated as described above by the three-dimensional
図8に示す画像102は、風景101を撮像した場合の3次元情報を視覚化したものである。画像102の略中央部には、略一様な密度の画素点群SPが生成されている。この画素点群SPは、歩行者Pに対応した縦エッジEから得られたものである。立体物検出部32では、画像102の各領域にどれだけの画素点が含まれているかを求め、その画素点の単位領域ごとの密度を求める。
An
図10は、図8の画像102に対して画素点の密度を求めた結果を視覚化した図である。同図に示す画像103は、自車両からみて遠方領域F、中間領域M、近傍領域Nの順に単位領域が大きくなっており、各領域に含まれる画素点の数すなわち画素点の単位領域辺りの密度に応じて領域ごとの濃淡が異なるように表示されている。図10に示す場合、画像103の中間領域Mの中央部付近に一連の高密度領域D1が形成されている。このように複数の単位領域に連続して跨り、一つの領域として統合することが可能な高密度領域がある場合、立体物検出部32は、その立体物を歩行者であると認識する。
FIG. 10 is a diagram visualizing the result of obtaining the density of pixel points for the
これに対して図9に示す画像202は、風景201を撮像した場合の3次元情報を視覚化したものである。画像202における単位領域の分割の仕方は、上述した画像102の場合と同じである。画像202の中間領域Mの略中央部には、左右に略対称な画素点群SC1およびSC2が生成されている。これらは本来、車両Cに対応した画素点群SCの部分集合であるはずのものであるが、一つの画素点群SCとしてみた場合、その内部の点密度は一様ではなく、中心付近の密度は外周部分よりも顕著に小さい。このため、画像103に対して画素点の密度を求めた結果を視覚化したすると、図11に示す画像203のように、高密度領域がD2とD3の二つに分離してしまう。したがって、この場合に立体物検出部32は、設定によってはこれらの高密度領域D2と高密度領域D3とが別の立体物に対応する領域であると認識する。
On the other hand, the
以上説明したステップS3の後、変動算出部33が、立体物の特性を示す立体物情報、具体的には立体物として認識された領域の高さ位置や大きさ(横幅、高さ幅)の時間的な変動を算出する(ステップS4)。具体的には、その時点で記憶部4で記憶する画像フレームを読み込んで立体物として認識された領域ごとの立体物情報(高さ位置、横幅、高さ幅)の差分を求めることによって変動を算出する。この際には、最新のフレームから求めた立体物情報と、それよりも1周期前のフレームから求めた立体物情報との差分を求めるだけでなく、最新のフレームから求めた立体物情報と、それよりも2周期前のフレームから求めた立体物情報との差分を求め、これら2つの差分演算結果を合わせて用いることにより、より正確な時間変動を算出することができる。なお、差分を取るフレームとして、前述したフレームよりも時間的に前のフレームを用いてもかまわない。
After step S3 described above, the
判定部34では、変動算出部33における算出結果に基づいて、立体物が歩行者であるか否かの判定を行う(ステップS5)。ここでは、歩行者に対応する立体物は、その立体物情報の変動が小さいという特徴を利用し、それぞれの値の変動幅が所定の範囲内にあるか否かを判定する。判定の結果、立体物が歩行者である場合(ステップS5でYes)、トラッキング処理部35はその立体物(歩行者)のトラッキング処理を行う(ステップS6)。ここでのトラッキング処理は、歩行者が車両と比較して動きが十分に遅いことに鑑み、移動速度が所定の値(例えば1m/s)よりも小さい「静止物」と仮定する。この仮定のもとで、自車両の速度等から静止物の動きを予測してトラッキングを行う。
In the
最後に、ステップS6におけるトラッキング処理の結果を歩行者検出結果として車両制御装置5へ出力する(ステップS7)。なお、ステップS5では歩行者と認識された立体物があったとしても、静止物であるという仮定に反して高速で移動するような場合もある。このような場合には、ステップS6でその立体物をトラッキングすることができず、検出結果が何も得られないため、結局ステップS7からは何も出力されない。 Finally, the result of the tracking process in step S6 is output to the vehicle control device 5 as a pedestrian detection result (step S7). Even if there is a three-dimensional object recognized as a pedestrian in step S5, it may move at a high speed against the assumption that it is a stationary object. In such a case, since the three-dimensional object cannot be tracked in step S6 and no detection result is obtained, nothing is output from step S7.
ここまで、ステップS5で立体物が歩行者であった場合を説明してきたが、ステップS5で立体物が歩行者でないと判定した場合(ステップS5でNo)には、その立体物に関する検出データを削除し(ステップS8)、一連の処理を終了する。 Up to this point, the case where the three-dimensional object is a pedestrian has been described in step S5. However, when it is determined in step S5 that the three-dimensional object is not a pedestrian (No in step S5), detection data regarding the three-dimensional object is stored. It deletes (step S8), and a series of processes are complete | finished.
以上説明したように、歩行者Pに対応する画素点群SPは、その横幅、高さ幅、および位置を含む立体物情報の時間的な変動が小さいのに対して、車両C(等の人工構造物)に対応する画素点群SCは、仮に一つの立体物として認識できたとしても、その後の立体物の大きさや位置が時間と共に大きく変動し、場合によっては見かけ上分離してしまうこともある。したがって、本実施の形態1に係る歩行者検出方法によれば、歩行者が他の人工構造物と比較して決定的に異なる性質を有する画素点群を構成することを利用して、歩行者を適確に検出することが可能となる。 As described above, the pixel point group S P corresponding to the pedestrian P has a small temporal variation of the three-dimensional object information including its lateral width, height width, and position, whereas the vehicle C (etc. Even if the pixel point group S C corresponding to the (artificial structure) can be recognized as one solid object, the size and position of the subsequent solid object greatly fluctuate with time, and may be apparently separated in some cases. Sometimes. Therefore, according to the pedestrian detection method according to the first embodiment, a pedestrian is configured using pixel point groups having properties that are decisively different from those of other artificial structures. Can be detected accurately.
また、本実施の形態1においては、従来のステレオカメラにおけるステレオマッチングの手法を適用して歩行者を検出するため、パターンマッチングを適用する場合と比較して計算負荷が少なくて済む。 In the first embodiment, since a pedestrian is detected by applying a stereo matching method in a conventional stereo camera, the calculation load is less than that in the case of applying pattern matching.
以上説明した本発明の実施の形態1によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから3次元情報を算出し、この算出した3次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。
According to
(実施の形態2)
本発明の実施の形態2は、ステレオ画像によって得た歩行者情報とミリ波レーダで検出した情報とのフュージョン処理を行うことを特徴とする。図12は、本実施の形態2に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置11は、撮像部2、画像処理部3に加えて、ミリ波(電磁波の一種)を利用して物体を検出する検出手段であるミリ波レーダ6と、ミリ波レーダ6で検出した受信信号に所定の信号処理を施す信号処理部7と、画像処理部3および信号処理部7の処理に関する各種情報を記憶する記憶部8と、画像処理部3から出力される歩行者情報と信号処理部7から出力されるレーダ検出情報とのフュージョン処理を行うフュージョン処理部9と、を備える。
(Embodiment 2)
The second embodiment of the present invention is characterized in that fusion processing is performed between pedestrian information obtained from stereo images and information detected by a millimeter wave radar. FIG. 12 is a block diagram illustrating a functional configuration of the pedestrian detection device according to the second embodiment. The pedestrian detection device 11 shown in the figure includes a millimeter wave radar 6 which is a detection means for detecting an object using millimeter waves (a kind of electromagnetic waves) in addition to the imaging unit 2 and the image processing unit 3, and a millimeter wave. A signal processing unit 7 that performs predetermined signal processing on the received signal detected by the radar 6, a storage unit 8 that stores various types of information relating to the processing of the image processing unit 3 and the signal processing unit 7, and an output from the image processing unit 3. A fusion processing unit 9 that performs a fusion process between the pedestrian information and the radar detection information output from the signal processing unit 7.
なお、撮像部2および画像処理部3の構成、ならびにそれらを用いた歩行者検出方法については上記実施の形態1と同じである。 The configurations of the imaging unit 2 and the image processing unit 3, and the pedestrian detection method using them are the same as those in the first embodiment.
図13は、本実施の形態2に係る歩行者検出方法の処理の概要を示すフローチャートである。同図において、ステップS11〜ステップS16の処理は、上記実施の形態1に係る歩行者検出方法のステップS1〜ステップS6の処理とそれぞれ同じである(図3を参照)。
FIG. 13 is a flowchart showing an outline of processing of the pedestrian detection method according to the second embodiment. In the same figure, the process of step S11-step S16 is the same as the process of step S1-step S6 of the pedestrian detection method which concerns on the said
ステップS16に続くステップS17では、フュージョン処理部9で、画像処理部3から出力された歩行者検出情報(ステレオ画像物標)と信号処理部7から出力されたミリ波物標とを受信してフュージョン処理を行う。ここでのフュージョン処理は、従来から知られている技術を適用することができる。 In step S17 following step S16, the fusion processing unit 9 receives the pedestrian detection information (stereo image target) output from the image processing unit 3 and the millimeter wave target output from the signal processing unit 7. Perform fusion processing. A conventionally known technique can be applied to the fusion process here.
その後、ステップS17で生成されたフュージョン物標を車両制御装置5へ出力する(ステップS18)ことによって一連の処理が修了する。なお、ステップS15で立体物が歩行者でないと判定した場合(ステップS15でNo)には、その立体物に関する検出データを削除し(ステップS19)、一連の処理を終了する。 Then, a series of processing is completed by outputting the fusion target generated at Step S17 to vehicle control device 5 (Step S18). If it is determined in step S15 that the three-dimensional object is not a pedestrian (No in step S15), the detection data relating to the three-dimensional object is deleted (step S19), and the series of processing ends.
本実施の形態2においては、ミリ波レーダ6が歩行者を検出することを目的としているため、例えば車両やガードレール等を検知する場合のように、物標からの反射波の受信レベル(強度)の閾値を高く設定しておくと、反射率が低い歩行者を検出できないので意味がない。また、物標からの反射波の受信レベル(強度)の閾値を低く設定したときに検出できない物標は、少なくとも歩行者ではないため、歩行者を検出する上では意味がない。このように、歩行者を検出する際には、ミリ波レーダ6の反射波の受信レベルの高低2つ閾値の中間域で検出された物標情報にステレオ画像物標情報をフュージョンすることによって信頼度が高い歩行者情報を得ることができる。 In the second embodiment, since the millimeter wave radar 6 is intended to detect a pedestrian, the reception level (intensity) of the reflected wave from the target as in the case of detecting a vehicle, a guardrail, or the like, for example. If the threshold value is set high, it is meaningless because a pedestrian with low reflectance cannot be detected. Moreover, since the target which cannot be detected when the threshold of the reception level (intensity) of the reflected wave from the target is set low is not at least a pedestrian, it is meaningless for detecting the pedestrian. As described above, when detecting a pedestrian, the stereo image target information is trusted by fusing the target information detected in the middle region between the two threshold levels of the reception level of the reflected wave of the millimeter wave radar 6. High-level pedestrian information can be obtained.
以上説明した本発明の実施の形態2によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから3次元情報を算出し、この算出した3次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、上記実施の形態1と同様、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。 According to the second embodiment of the present invention described above, a vertical edge is extracted based on image information output from a compound eye imaging unit that images a predetermined visual field, and three-dimensional information is calculated from the vertical edge. Based on the calculated three-dimensional information, a three-dimensional object is detected, a change of the three-dimensional object information indicating the characteristic of the detected three-dimensional object with time is calculated, and the three-dimensional object is based on the calculated change of the three-dimensional object. By determining whether or not is a pedestrian, it is possible to detect a pedestrian included in an image captured using a stereo camera with a small amount of calculation with high accuracy, as in the first embodiment. Become.
加えて、本実施の形態2によれば、上記実施の形態1と同様に検出したステレオ画像物標としての歩行者情報に対し、ミリ波レーダで検出したミリ波物標をフュージョンすることにより、一段と信頼度の高い歩行者検出を実現することが可能となる。 In addition, according to the second embodiment, by fusion of the millimeter wave target detected by the millimeter wave radar to the pedestrian information as the stereo image target detected as in the first embodiment, Pedestrian detection with higher reliability can be realized.
なお、本実施の形態2において、検出手段としてミリ波レーダの代わりにレーザレーダを用いることも可能である。 In the second embodiment, it is also possible to use a laser radar instead of the millimeter wave radar as the detection means.
(その他の実施の形態)
ここまで、本発明を実施するための最良の形態として、実施の形態1および2を詳述してきたが、本発明はそれら2つの実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
(Other embodiments)
Up to this point, the first and second embodiments have been described in detail as the best mode for carrying out the present invention, but the present invention should not be limited only by these two embodiments. That is, the present invention can include various embodiments and the like not described herein, and various design changes and the like can be made without departing from the technical idea specified by the claims. Is possible.
1、11 歩行者検出装置
2 撮像部
3 画像処理部
4、8 記憶部
5 車両制御装置
6 ミリ波レーダ
7 信号処理部
9 フュージョン処理部
21L、21R カメラ
22L、22R フレームメモリ
31 縦エッジ抽出部
32 立体物検出部
33 変動算出部
34 判定部
35 トラッキング処理部
101、201 風景
102、103、202、203 画像
C 車両
D1、D2、D3 高密度領域
IL 左画像領域
IR 右画像領域
E 縦エッジ
F 遠方領域
H 横断歩道
LE 直線
M 中間領域
N 近傍領域
P 歩行者
R 道路
SC、SC1、SC2、SP 画素点群
DESCRIPTION OF
Claims (9)
前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、
前記縦エッジ抽出ステップで抽出した縦エッジから該縦エッジまでの距離を含む3次元情報をステレオマッチングによって算出し、前記3次元情報から得られる画素点を含む単位領域のうち、画像の略中央部に位置し、画素点の密度が所定の基準よりも高くかつ互いに連続した複数の単位領域を一つの領域として統合することによって立体物を検出する立体物検出ステップと、
前記立体物検出ステップで検出した立体物の特性を示す立体物情報である立体物の高さ位置、横幅および高さ幅の時間による変動として、異なる時間における前記立体物の高さ位置、横幅および高さ幅の各差分を算出する変動算出ステップと、
前記変動算出ステップで算出した前記変動が所定の範囲内にあるか否かを判定することによって前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、
を有することを特徴とする歩行者検出方法。 A pedestrian detection method for detecting a pedestrian walking in the visual field using image information output from a compound eye imaging means for imaging a predetermined visual field,
A vertical edge extraction step of extracting a vertical edge based on the image information;
The three-dimensional information including the distance from the vertical edge extracted in the vertical edge extraction step to the vertical edge is calculated by stereo matching, and the unit region including the pixel point obtained from the three-dimensional information is substantially at the center of the image. A three-dimensional object detection step of detecting a three-dimensional object by integrating a plurality of unit areas that are located at a density of pixel points higher than a predetermined reference and are continuous with each other as one area ;
As the three- dimensional object height position, width, and height width, which are three- dimensional object information indicating the characteristics of the three-dimensional object detected in the three-dimensional object detection step, the height position, width, and width of the three-dimensional object at different times A variation calculating step for calculating each difference in height width ;
A determination step of determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian by determining whether or not the fluctuation calculated in the fluctuation calculation step is within a predetermined range ;
A pedestrian detection method characterized by comprising:
過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項1記載の歩行者検出方法。 The fluctuation calculating step includes:
The pedestrian detection method according to claim 1, wherein the difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past is calculated.
前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、
前記縦エッジ抽出手段で抽出した縦エッジから該縦エッジまでの距離を含む3次元情報をステレオマッチングによって算出し、前記3次元情報から得られる画素点を含む単位領域のうち、画像の略中央部に位置し、画素点の密度が所定の基準よりも高くかつ互いに連続した複数の単位領域を一つの領域として統合することによって立体物を検出する立体物検出手段と、
前記立体物検出手段で検出した立体物の特性を示す立体物情報である立体物の高さ位置、横幅および高さ幅の時間による変動として、異なる時間における前記立体物の高さ位置、横幅および高さ幅の各差分を算出する変動算出手段と、
前記変動算出手段で算出した前記変動が所定の範囲内にあるか否かを判定することによって前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、
を備えたことを特徴とする歩行者検出装置。 A pedestrian detection device that detects a pedestrian walking in the visual field using image information output from a compound eye imaging unit that captures a predetermined visual field,
Vertical edge extraction means for extracting a vertical edge based on the image information;
The three-dimensional information including the distance from the vertical edge extracted by the vertical edge extracting means to the vertical edge is calculated by stereo matching, and the unit area including the pixel point obtained from the three-dimensional information is substantially at the center of the image. A three-dimensional object detection means for detecting a three-dimensional object by integrating a plurality of unit areas having a pixel point density higher than a predetermined reference and continuous with each other as one area ;
The three- dimensional object height position, width, and height width, which are three- dimensional object information indicating the characteristics of the three-dimensional object detected by the three-dimensional object detection means, vary with time, and the height position, width, and width of the three-dimensional object at different times. A fluctuation calculating means for calculating each difference in height width ;
Determining means for determining whether or not the three-dimensional object corresponding to the three-dimensional object information is a pedestrian by determining whether or not the fluctuation calculated by the fluctuation calculating means is within a predetermined range ;
A pedestrian detection device comprising:
過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項5記載の歩行者検出装置。 The fluctuation calculating means includes
6. The pedestrian detection device according to claim 5 , wherein a difference between the three-dimensional object information and the latest three-dimensional object information at two different times in the past is calculated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051270A JP4788399B2 (en) | 2006-02-27 | 2006-02-27 | Pedestrian detection method, apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051270A JP4788399B2 (en) | 2006-02-27 | 2006-02-27 | Pedestrian detection method, apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007233487A JP2007233487A (en) | 2007-09-13 |
JP4788399B2 true JP4788399B2 (en) | 2011-10-05 |
Family
ID=38554053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006051270A Expired - Fee Related JP4788399B2 (en) | 2006-02-27 | 2006-02-27 | Pedestrian detection method, apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4788399B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4772622B2 (en) * | 2006-08-18 | 2011-09-14 | アルパイン株式会社 | Perimeter monitoring system |
JP5173991B2 (en) * | 2009-11-18 | 2013-04-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
JP6996353B2 (en) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | Object recognition device and vehicle travel control system |
CN109919033B (en) * | 2019-01-31 | 2022-09-20 | 中山大学 | Self-adaptive city people searching method based on edge calculation |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08313632A (en) * | 1995-05-19 | 1996-11-29 | Omron Corp | Alarm generator, alarm generating method and vehicle mounting alarm generator |
JP2004185363A (en) * | 2002-12-04 | 2004-07-02 | Ishikawajima Harima Heavy Ind Co Ltd | Object identification method using area sensor |
JP2004192097A (en) * | 2002-12-09 | 2004-07-08 | Sekisui Jushi Co Ltd | Mobile object detection and notification system |
JP4638143B2 (en) * | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | Vehicle driving support device |
-
2006
- 2006-02-27 JP JP2006051270A patent/JP4788399B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007233487A (en) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106663193B (en) | System and method for curb detection and pedestrian hazard assessment | |
JP6274557B2 (en) | Moving surface information detection apparatus, moving body device control system using the same, and moving surface information detection program | |
US7899211B2 (en) | Object detecting system and object detecting method | |
JP6344638B2 (en) | Object detection apparatus, mobile device control system, and object detection program | |
JP6013884B2 (en) | Object detection apparatus and object detection method | |
JP4733756B2 (en) | Vehicle periphery monitoring device | |
US8594378B2 (en) | 3D object detecting apparatus and 3D object detecting method | |
JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
JPH05265547A (en) | On-vehicle outside monitoring device | |
US10776637B2 (en) | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium | |
JP2007334751A (en) | Vehicle periphery monitoring device | |
JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
JPWO2019202628A1 (en) | Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
JP2009053818A (en) | Image processor and method thereof | |
JP4644273B2 (en) | Vehicle periphery monitoring device | |
JP2008310440A (en) | Pedestrian detection device | |
Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
JP4788399B2 (en) | Pedestrian detection method, apparatus, and program | |
JP7031157B2 (en) | Object detection method and object detection device | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
JP6701905B2 (en) | Detection device, parallax value derivation device, object recognition device, device control system, and program | |
JP5785515B2 (en) | Pedestrian detection device and method, and vehicle collision determination device | |
JP5903901B2 (en) | Vehicle position calculation device | |
JP2006318062A (en) | Image processor, image processing method and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110704 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4788399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |