JP4937844B2

JP4937844B2 - 歩行者検出装置

Info

Publication number: JP4937844B2
Application number: JP2007155634A
Authority: JP
Inventors: 豊和小笠原
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2007-06-12
Filing date: 2007-06-12
Publication date: 2012-05-23
Anticipated expiration: 2027-06-12
Also published as: DE102008027588A1; JP2008310440A; US20080310678A1; US8160300B2

Description

本発明は、歩行者を精度良く検出する歩行者検出装置に関する。

近年、車両用運転支援装置へ応用するため、様々な環境認識センシング技術が開発されており、中でも、歩行者を対象とした検出が注目されている。歩行者と車両との接触事故は、ドライバからの歩行者認識遅れ等により発生することが多く、歩行者に多大な被害を与えることから、少しでも早く、また、精度良く歩行者を検出することが必要とされる。

例えば、特開２００４−２９８２８５号公報では、二次元画像上で歩行者の頭頂部を検出し、画像上の頭頂部の位置の時間的な推移から時間軸上の移動軌跡を求め、この軌跡を周波数解析して、頭頂部の運動の周波数スペクトルを求め、周波数スペクトルから歩行運動の基本周波数を特定し、基本周波数と予め求められている歩行状態のモデルとを対比して、歩行者の歩行状態を判定する技術が開示されている。
特開２００４−２９８２８５号公報

しかしながら、上述の特許文献１に開示されるような予めモデルを記憶しておき、このモデルと対比して歩行者の状態を検出する技術、或いは、歩行者そのものを検出する技術では、検出の精度を向上させようとすると、より多くのモデルを予め学習しておかなければならず、判定の演算処理も膨大な量となり、検出時間の遅れに繋がるという問題がある。

本発明は上記事情に鑑みてなされたもので、特に学習しておくデータ量も増やすことなく、素早く且つ精度良く歩行者を検出することができる歩行者検出装置を提供することを目的とする。

本発明は、前方立体物を認識する前方立体物認識手段と、上記認識した前方立体物の大きさと運動状態とに基づいて該前方立体物が歩行者であるか否かを判定する第１の歩行者判定手段と、上記認識した前方立体物の形状データに基づいて該前方立体物が歩行者であるか否かを判定する第２の歩行者判定手段と、今回、上記第１の歩行者判定手段で歩行者と判定され、且つ、前回、上記第２の歩行者判定手段で歩行者と判定された上記前方立体物を最終的に歩行者であると判定する最終歩行者判定手段とを備えたことを特徴としている。

本発明による歩行者検出装置によれば、特に学習しておくデータ量も増やすことなく、素早く且つ精度良く歩行者を検出することが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１及び図２は本発明の実施の一形態を示し、図１は歩行者検出装置の構成を示す機能ブロック図、図２は歩行者検出プログラムのフローチャートである。

図１において、符号１は車両に搭載される歩行者検出装置を示し、この歩行者検出装置１の制御部２には、車内に設けられたステレオ光学系３，３と車速センサ４とが接続され、映像信号と車速信号とが入力される。

ステレオ光学系３，３は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラからなり、この１組のＣＣＤカメラ３，３が、車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像するようになっている。

制御部２は、マイクロコンピュータとその周辺回路で構成され、画像処理部２ａ、立体物認識部２ｂ、第１の歩行者判定部２ｃ、第２の歩行者判定部２ｄ、歩行者判定部２ｅ、横断歩行者判定部２ｆから主要に構成されている。

画像処理部２ａは、左右のＣＣＤカメラ３，３から画像信号が入力され、ＣＣＤカメラ３，３で撮像した自車両の進行方向の環境の１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成し、この画像データを立体物認識部２ｂに出力する。

立体物認識部２ｂは、画像処理部２ａから距離画像の画像データが入力され、車速センサ４から自車速が入力される。そして、立体物認識部２ｂは、画像データを基に、周知のグルーピング処理や、予め記憶しておいた３次元的な道路形状データ、立体物データ等と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、前方の道路上に存在する立体物データを抽出する。

特に、立体物については、その横幅、高さ、輪郭形状データと共に、立体物までの距離と、この距離の時間的変化（自車両１に対する相対速度）が立体物データとして求められる。そして、自車両に対する前後方向速度と自車速とを加算することにより立体物の前後方向速度が演算されると共に、自車両に対する横方向速を求めることにより、立体物の横方向速度が演算され、これら立体物の前後方向速度と横方向速度は、立体物データとしてメモリされる。こうして抽出された立体物データは、第１の歩行者判定部２ｃ、第２の歩行者判定部２ｄ、横断歩行者判定部２ｆに出力される。すなわち、本実施の形態では、ＣＣＤカメラ３，３、車速センサ４、画像処理部２ａ、立体物認識部２ｂにより前方立体物認識手段が構成されている。

第１の歩行者判定部２ｃは、立体物認識部２ｂから立体物データが入力され、例えば、横幅が３０cm〜１ｍであり、且つ、高さが２ｍ以下であり、且つ、前後方向速度が２０km/h以下であり、且つ、横方向速度が２０km/h以下である立体物が歩行者であると判定される。すなわち、第１の歩行者判定部２ｃは、第１の歩行者判定手段としてのものであり、この第１の歩行者判定部２ｃによる判定結果は、歩行者判定部２ｅに出力される。

第２の歩行者判定部２ｄは、立体物認識部２ｂから立体物データが入力され、立体物データの歩行者に特有の輪郭部分（例えば、頭部から肩にかけてのライン）を予め記憶しておいた複数の学習データと比較して歩行者であるか否かを判定する。尚、この第２の歩行者判定部２ｄは、例えば、本出願人が、特開２００４−１４５６６０号公報で開示するような判定方法で判定するものであっても良い。すなわち、可視化カメラからの画像データを２値化処理して立体物の形状データを抽出し、形状データの時間的な変化から立体物の動きパターンを検出する。そして、立体物の動きパターンとニューラルネットワークで学習済みの動きパターンとを比較し、立体物を識別して歩行者を検出するのである。すなわち、第２の歩行者判定部２ｄは、第２の歩行者判定手段としてのものであり、この第２の歩行者判定部２ｄによる判定結果は、歩行者判定部２ｅに出力される。

歩行者判定部２ｅは、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄからそれぞれの歩行者の判定結果が入力され、後述する歩行者検出プログラムに従って、最終的な歩行者の判定を行う。具体的には、以下の条件を満足する立体物を最終的に歩行者であると判定する。

・第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの両方で歩行者であると判定された立体物。

・第２の歩行者判定部２ｄで歩行者であると判定された立体物。

・第１の歩行者判定部２ｃで歩行者と判定され、この判定結果が予め設定した時間（例えば、１sec、或いは、数フレーム）継続した立体物。

・今回、第１の歩行者判定部２ｃで歩行者と判定され、且つ、前回、第２の歩行者判定部２ｄで歩行者であると判定された立体物。

そして、上述の４条件を満足しないものは非歩行者と判定する。すなわち、この歩行者判定部２ｅは、最終歩行者判定手段としてのものであり、歩行者判定部２ｅによる判定結果は、横断歩行者判定部２ｆに出力される。

横断歩行者判定部２ｆは、歩行者判定部２ｅから最終的な立体物の歩行者判定結果が入力され、また、立体物認識部２ｂから立体物データが入力される。そして、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの少なくともどちらかにより歩行者であると判定された立体物のうち、前後方向速度が２０km/h以下であり、且つ、横方向速度が２０km/h〜３０km/hである立体物が横断歩行者であると判定される。すなわち、横断歩行者判定部２ｆは、横断歩行者判定手段としてのものであり、この横断歩行者判定部２ｆによる判定結果は、歩行者判定部２ｅによる最終的な歩行者の判定結果と共に、制御部２から出力される。

次に、上述の歩行者判定部２ｅ、及び、横断歩行者判定部２ｆで実行される歩行者検出プログラムを、図２のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で、判定の対象とする立体物（対象立体物）に対する第１の歩行者判定部２ｃによる判定結果と第２の歩行者判定部２ｄによる判定結果を読み込む。この判定結果は、本実施の形態では、第１の歩行者判定部２ｃで歩行者と判定されている場合、第１の判定フラグＦＡが「１」、非歩行者と判定されている場合、第１の判定フラグＦＡが「０」に設定されている。同様に、第２の歩行者判定部２ｄで歩行者と判定されている場合、第２の判定フラグＦＢが「１」、非歩行者と判定されている場合、第２の判定フラグＦＢが「０」に設定されている。また、Ｓ１０１〜Ｓ１０９の処理が歩行者判定部２ｅにより行われる処理となっており、Ｓ１１０〜Ｓ１１２の処理が横断歩行者判定部２ｆにより行われる処理となっている。

次に、Ｓ１０２に進み、ＦＡ＝１かつＦＢ＝１（すなわち、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの両方で歩行者であると判定されている）か否かが判定され、ＦＡ＝１かつＦＢ＝１の場合は、Ｓ１０３に進み、対象立体物は、最終的に歩行者と判定される。

一方、Ｓ１０２の判定の結果、ＦＡ＝１かつＦＢ＝１ではないと判定された場合は、Ｓ１０４に進み、ＦＡ＝０かつＦＢ＝１（すなわち、第１の歩行者判定部２ｃでは非歩行者と判定されているが、第２の歩行者判定部２ｄで歩行者と判定されている）か否かが判定され、ＦＡ＝０かつＦＢ＝１の場合は、Ｓ１０３に進み、対象立体物は、最終的に歩行者と判定される。すなわち、第２の歩行者判定部２ｄによる歩行者判定は、判定に時間がかかるものの、過去の学習データから精度良く歩行者を判定するものであり、その判定結果を優先するようになっている。

また、Ｓ１０４の判定の結果、ＦＡ＝０かつＦＢ＝１ではないと判定された場合は、Ｓ１０５に進み、ＦＡ＝１かつＦＢ＝０（すなわち、第１の歩行者判定部２ｃでは歩行者と判定されているが、第２の歩行者判定部２ｄで非歩行者と判定されている）か否かが判定され、ＦＡ＝１かつＦＢ＝０の場合は、更に、Ｓ１０６に進んで、ＦＡ＝１の判定結果が設定時間（例えば、１sec、或いは、数フレーム）継続したか否か判定される。

このＳ１０６の判定の結果、ＦＡ＝１の判定結果が設定時間継続したと判定された場合は、Ｓ１０３に進み、対象立体物は、最終的に歩行者と判定される。すなわち、たとえ第２の歩行者判定部２ｄで非歩行者と判定されたとしても、設定時間継続して第１の歩行者判定部２ｃで歩行者と判定されているのであれば、その結果を用いて対象立体物を歩行者として判定するようになっている。

また、Ｓ１０６の判定の結果、ＦＡ＝１の判定結果が設定時間継続していないと判定された場合は、Ｓ１０７に進み、前回、ＦＢ＝１（すなわち、第２の歩行者判定部２ｄで歩行者と判定された）か否か判定される。そして、このＳ１０７での判定の結果、前回、ＦＢ＝１であったと判定された場合は、Ｓ１０３に進み、対象立体物は、最終的に歩行者と判定される。すなわち、たとえＦＡ＝１の判定結果が設定時間継続していなくとも、信頼性の高い第２の歩行者判定部２ｄで、前回歩行者と判定されているのであれば、歩行者である可能性が高いため、最終的に歩行者であると判定するのである。

また、Ｓ１０７の判定の結果、前回、ＦＢ＝１ではないと判定された場合は、Ｓ１０８に進み、対象立体物を非歩行者と判定する。

一方、前述のＳ１０５で、ＦＡ＝１かつＦＢ＝０ではない（すなわち、ＦＡ＝０かつＦＢ＝０であり、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの両方で非歩行者であると判定されている）場合は、Ｓ１０９に進み、対象立体物を非歩行者と判定してＳ１１３へと進む。

上述のＳ１０３で対象立体物を歩行者と判定し、或いは、Ｓ１０８で対象立体物を非歩行者と判定した後は、Ｓ１１０に進み、横断歩行者条件（前後方向速度が２０km/h以下であり、且つ、横方向速度が２０km/h〜３０km/h）を満足しているか否か判定する。

この際、Ｓ１０８で非歩行者と判定した対象立体物に対しても判定を行うが、これは、車両前方を横切る立体物に対しては特に注意が必要なため、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄのどちらかでも歩行者であると判定されている場合は、横断歩行者の判定を行い、この結果を優先的に採用するものである。

そして、Ｓ１１０の判定の結果、横断歩行者条件を満足しているのであれば、Ｓ１１１に進み、対象立体物を横断歩行者と判定してＳ１１３に進む。また、横断歩行者条件を満足していないのであれば、Ｓ１１２に進み、対象立体物を非横断歩行者と判定してＳ１１３に進む。

そして、Ｓ１１３に進むと、全対象立体物の判定が完了したか否かを判定し、完了していないのであれば、次の対象立体物に対してＳ１０１からの処理を繰り返し、完了しているのであればプログラムを抜ける。

このように、本発明の実施の形態によれば、第１の歩行者判定部２ｃで対象立体物の大きさと運動状態とに基づいて対象立体物が歩行者であるか否かを判定し、第２の歩行者判定部２ｄで対象立体物の形状データに基づいて対象立体物が歩行者であるか否かを判定し、歩行者判定部２ｅは、これら第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの判定結果に基づいて最終的に歩行者か非歩行者かの判定を行うようになっているので、特に学習しておくデータ量も増やすことなく、素早く且つ精度良く歩行者を検出することができる。

また、横断歩行者判定部２ｆにより、第１の歩行者判定部２ｃと第２の歩行者判定部２ｄの少なくともどちらかにより歩行者であると判定された立体物のうち、前後方向速度が２０km/h以下であり、且つ、横方向速度が２０km/h〜３０km/hである立体物が横断歩行者であると判定されるようになっているので、車両が最も注意を払わなければならない歩行者を優先して素早く検出することができる。

尚、本実施の形態では、前方立体物をＣＣＤカメラ３，３からの撮像画像を基に認識するようになっているが、他に、単眼カメラ、ミリ波レーダ等で検出するものであっても良い。

歩行者検出装置の構成を示す機能ブロック図歩行者検出プログラムのフローチャート

符号の説明

１歩行者検出装置
２制御部
２ａ画像処理部（前方立体物認識手段）
２ｂ立体物認識部（前方立体物認識手段）
２ｃ第１の歩行者判定部（第１の歩行者判定手段）
２ｄ第２の歩行者判定部（第２の歩行者判定手段）
２ｅ歩行者判定部（最終歩行者判定手段）
２ｆ横断歩行者判定部（横断歩行者判定手段）
３ＣＣＤカメラ（前方立体物認識手段）
４車速センサ（前方立体物認識手段）

Claims

前方立体物を認識する前方立体物認識手段と、
上記認識した前方立体物の大きさと運動状態とに基づいて該前方立体物が歩行者であるか否かを判定する第１の歩行者判定手段と、
上記認識した前方立体物の形状データに基づいて該前方立体物が歩行者であるか否かを判定する第２の歩行者判定手段と、
今回、上記第１の歩行者判定手段で歩行者と判定され、且つ、前回、上記第２の歩行者判定手段で歩行者と判定された上記前方立体物を最終的に歩行者であると判定する最終歩行者判定手段と、
を備えたことを特徴とする歩行者検出装置。
上記認識した前方立体物の前後方向速度と横方向速度に基づいて該認識した前方立体物が自車両の前方を横断する横断歩行者であるか否かを判定する横断歩行者判定手段を備えたことを特徴とする請求項１記載の歩行者検出装置。
上記最終歩行者判定手段は、上記第１の歩行者判定手段で歩行者と判定され、且つ、上記第２の歩行者判定手段で歩行者と判定された上記前方立体物を最終的に歩行者であると判定することを特徴とする請求項１又は請求項２記載の歩行者検出装置。
上記最終歩行者判定手段は、上記第２の歩行者判定手段で歩行者と判定された上記前方立体物を最終的に歩行者であると判定することを特徴とする請求項１乃至請求項３の何れか一つに記載の歩行者検出装置。
上記最終歩行者判定手段は、上記第１の歩行者判定手段で歩行者と判定され、この歩行者と判定された判定結果が予め設定した時間継続した場合は、上記前方立体物を最終的に歩行者であると判定することを特徴とする請求項１乃至請求項４の何れか一つに記載の歩行者検出装置。