JP2012118683A

JP2012118683A - 歩行者認識装置

Info

Publication number: JP2012118683A
Application number: JP2010266683A
Authority: JP
Inventors: Itsugun O; 軼群王
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-06-21

Abstract

【課題】照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識する。
【解決手段】画像認識処理部４の部位特定手段により、測距レーダ２、単眼カメラ３で検出された自車両１の周辺の障害物が歩行者６であるとした場合の部位を特定し、画像認識処理部４の姿勢判定手段により、特定した部位の姿勢変化を予測して記憶部５から読み出した歩行者６の当該部位の予測された姿勢と、部位特定手段が特定した部位の姿勢との照合から、特定した部位の動きが歩行者の動きに合致するか否かを判定し、画像認識処理部４の認識手段により、姿勢判定手段の判定結果に基づいて障害物が歩行者であるか否かを判定して歩行者を認識する。
【選択図】図１

Description

この発明は、パターンマッチングにより歩行者を認識する歩行者認識装置に関し、詳しくは、コストを低減した認識精度の向上に関する。

従来、自動車の分野においては、レーダ探査やカメラの撮影により検出した自車両前方等の自車両周辺の障害物が歩行者であるか否かを認識することが、衝突回避等において重要である。

そして、カメラの撮影画像のパターンマッチングにより、撮影された障害物が歩行者であるか否を極力正確に認識するため、従来、障害物が歩行者であるとした場合の障害物全体のパターンを記憶するのではなく、歩行者の頭部、胴体部、脚部などの部位毎のパターンを記憶手段に個別に記憶しておき、検出された障害物の特定された部位と記憶された各部位のパターンとを照合し、その障害物が歩行者であるか否かを判定して認識することが提案されている（例えば、特許文献１参照）。

特開２００９−２５９５６号公報

特許文献１に記載の歩行者認識では、特定された部位に対応して記憶手段に記憶された全ての姿勢（歩行者の自車両に対する向き等も含む）のパターンを順次に照合して歩行者を認識するので、膨大な量のパターン照合等が必要になり、それらの処理負荷が極めて大きくなる。そのため、処理速度の速い高価な画像処理装置等を要し、高価になる問題がある。

本発明は、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識することを目的とする。

上記した目的を達成するために、本発明の歩行者認識装置は、検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位を特定し、特定した部位と記憶手段に記憶された歩行者の部位パターンとを照合し、照合結果に基づき、前記障害物が歩行者か否かを判定して歩行者を認識する歩行者認識装置であって、前記検出手段により検出された障害物が歩行者であるとした場合の部位を特定する部位特定手段と、前記部位特定手段が特定した部位の姿勢変化を予測して前記記憶手段から読み出した歩行者の当該部位の予測された姿勢と、前記部位特定手段が特定した部位の姿勢との照合から、前記特定した部位の動きが歩行者の動きに合致するか否かを判定する姿勢判定手段と、前記姿勢判定手段の判定結果から前記障害物が歩行者であるか否かを判定して歩行者を認識する認識手段とを備えたことを特徴としている（請求項１）。

請求項１に係る本発明によれば、検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位が部位特定手段により特定されると、姿勢判定手段により、その部位が歩行者の部位であればつぎにどのような動きをするか（どのような姿勢をとるか）を予測し、予測された姿勢と部位特定手段が特定した部位の姿勢との照合から、少ないパターン照合であっても高いパターン照合確率で特定した部位の動きが歩行者の動きに合致するか否かを判定することができる。そして、姿勢判定手段の判定結果から認識手段により障害物が歩行者であるか否かを精度よく判定することができる。この場合、パターン照合等の処理負荷が少なくて済み、高性能で高価な処理速度の速い画像処理装置等は不要であり、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識することをができる。

本発明の歩行者認識装置の一実施形態のブロック図である。図１の歩行者認識装置が特定する部位の説明図である。図１の歩行者認識装置の姿勢パターン例の説明図である。図１の歩行者認識装置の状態遷移例の説明図である。図１の歩行者認識装置の処理手順例を説明するフローチャートである。

本発明の一実施形態について、図１〜図５を参照して説明する。

図１は自車両１に搭載された本実施形態の歩行者認識装置を示し、自車両１は例えば自車両１の前方を探査するレーザレーダ、超音波レーダ等の測距レーダ２と、自車両１の前方を撮影する単眼カメラ３とを、本発明の自車両周辺の障害物の検出手段として備える。なお、本実施形態の場合、安価な単眼カメラ３の撮影画像だけでは前方の障害物の存在を把握するのが難しいので、測距レーダ２と単眼カメラ３の組み合わを検出手段とするが、単眼カメラに代えて、いわゆるステレオカメラを備える場合等には、このカメラだけで検出手段が形成される。

そして、測距レーダ２の時々刻々の探査結果及び単眼カメラ３の毎フレームの撮影画像は、マイクロコンピュータ等で形成された画像認識処理部４に入力される。この画像認識処理部４は、測距レーダ２の探査結果から前方の障害物の範囲を検出し、単眼カメラ３の撮影画像の前記障害物の範囲をＲＯＩ（関心領域）として抽出し、抽出した領域画像を障害物画像とする。

さらに、画像認識処理部４は、基本的に、パターンマッチングの手法で前記障害物画像が歩行者であるとした場合の部位を特定し、特定した部位と本発明の記憶手段としての記憶部５に記憶された歩行者の部位パターンとを照合し、照合結果に基づいて障害物が歩行者か否かを判定して歩行者を認識するものであり、本発明の部位特定手段、姿勢判定手段、認識手段を形成する。

ところで、歩行者は、姿勢変化の特徴等から、いくつかの部位の集合とみなせる。

図２は歩行者６の上記部位の例を示し、本実施形態においては、歩行者６を、胴体部６１と姿勢変化の有る腕部（手先も含む）６２と、脚部（足先も含む）６３とに分解し、胴体部６１、腕部（手先も含む）６２、脚部（足先も含む）６３の基本パターンおよび、それらの動き方や動く範囲（角度）の情報を記憶部５の歩行者基本辞書５１に予め記憶する。

つぎに、腕部６２、脚部６３の部位パターンは、歩行者６の姿勢によって種々に異なるだけでなく、その姿勢から予想される歩行者の動きに基づいて遷移し、この遷移から歩行者６のつぎの姿勢を予測できる。

そこで、腕部６２、脚部６３について、それらの部位パターンとして、種々の姿勢のパターン（姿勢パターン）を、動きの順の遷移情報を付けて記憶部５の姿勢辞書５２に、別々に予め記憶する。

図３（ａ）〜（ｇ）は腕部６２の姿勢１〜姿勢７と分類された姿勢パターンＰ１〜Ｐ７の例を示し、各姿勢パターンＰ１〜Ｐ７は、腕の動きから予想されるつぎの１または複数の姿勢パターンへの優先順序の確率をつけた遷移情報（遷移フラグ）が付される。ここで予想されるつぎの１または複数の姿勢パターンの優先順序の確率について説明すると、例えば歩行者６の腕部６２の現在の姿勢パターンが姿勢１であって、予想されるつぎの１または複数の姿勢パターンが姿勢１か姿勢２になるとすれば、姿勢１と姿勢２に高い優先順序の確率が付けられる。脚部６３についても同様の優先順序の確率を付した姿勢パターンが姿勢辞書５２に記憶される。

図４は前記遷移フラグに基づく一部の姿勢の遷移変化の例を示し、歩行者６であれば姿勢パターンＰ１〜Ｐ７から確率の高い姿勢パターンに変化し易く、障害物の腕部６２や脚部６３と判断された部分があり得ない遷移や極端に低い確率の遷移の姿勢変化をすれば、それは歩行者６ではないことがわかる。

そして、本実施形態の場合、腕部６２や脚部６３と判断された部分の姿勢パターンと予想される姿勢遷移の設定確率以上のパターンとの比較に基づいて障害物の腕部６２や脚部６３の姿勢遷移を推定し、障害物の腕部６２や脚部６３の予想される姿勢遷移が設定時間内に総合的に設定確率以上になるか否かによって、姿勢変化が歩行者として自然であるか否かも推定して障害物が歩行者６か否かを判断し、歩行車６を認識する。

図５は画像認識処理部４の部位特定手段、姿勢判定手段、認識手段により実行される歩行者認識処理の手順例を示し、まず、部位特定手段により、前記障害物画像の胴体部、腕部、脚部の候補部分を、そのパターンや画像位置等から特定する（ステップＳ１）。つぎに特定した胴部の候補部分のパターンと基本辞書５１の胴体部６１のパターンとのパターンマッチングを行い（ステップＳ２）、しきい値以上でマッチングする胴体部６１のパターンを検索する。しきい値以上でマッチングする胴体部６１が見つかれば、特定した腕部、脚部の候補部分のパターンと基本辞書５１の腕部６２、脚部６３のパターンとのパターンマッチングを行い（ステップＳ３）、しきい値以上でマッチングする腕部６２、脚部６３のパターンを検索する。しきい値以上でマッチングする腕部６２、脚部６３が見つかれば、マッチングした胴部６１と腕部６２と脚部６３を組み合わせて統合する（ステップＳ４）。

つぎに、推定手段により、統合した状態での腕部６２、脚部６３の姿勢の状態遷移（時間変化）を検出し、姿勢辞書５２を参照したパターンマッチングにより姿勢順序の遷移確率を追跡し、設定時間内に所定以上の確率の姿勢に遷移するか否かから、歩行者の自然な動きである確率がしきい値以上になるか否かを検出して腕部６２、脚部６３の動きが歩行者６の動きに合致した変化か否かを推定し（ステップＳ５）、その推定結果に基づき、認識手段により障害物が歩行者６か否かを判定し、しきい値以上になると、障害物を歩行者６と認識する（ステップＳ６）。

この場合、歩行者６のパターンを、胴体部６１、腕部６２、脚部６３に分け、それらの基本パターン等を別々に基本辞書５１に記憶し、個別のパターンマッチングから、マッチングの確率が高い胴体部６１、腕部６２、脚部６３のパターンを組み合わせて、基本的なパターンマッチング及び姿勢パタンの遷移変化の検出を行なうので、胴体部６１、腕部６２、脚部６３に分けずにパターンマッチングを行なう場合に比して記憶するパターン数が極めて少なくて済み、画像認識処理部４の処理負荷が大幅に軽減される。

さらに、腕部６２、脚部６３については、その動き（姿勢変化）を姿勢辞書６２の姿勢パターンを参照して状態遷移確率から歩行者６らしい自然な動きか否かを推定し、極めて高い照合確率で障害物が歩行者６であることを認識できる。

そのため、本実施形態の場合、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者６を認識することができる。

本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、特定する部位の分類や姿勢パターンの個数等は、前記実施形態に限るものではない。

また、姿勢変化の状態遷移や処理手順も前記実施形態に限るものではない。さらに、自車両１の後方等の前方以外の障害物についても同様にして認識できるのは勿論である。

そして、本発明の認識結果は種々の運転支援制御等に利用することができる。

１自車両
２測距レーダ
３単眼カメラ
４画像認識処理部
５記憶部
６歩行者
６１胴体部
６２腕部
６３脚部

Claims

検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位を特定し、特定した部位と記憶手段に記憶された歩行者の部位パターンとを照合し、照合結果に基づき、前記障害物が歩行者か否かを判定して歩行者を認識する歩行者認識装置であって、
前記検出手段により検出された障害物が歩行者であるとした場合の部位を特定する部位特定手段と、
前記部位特定手段が特定した部位の姿勢変化を予測して前記記憶手段から読み出した歩行者の当該部位の予測された姿勢と、前記部位特定手段が特定した部位の姿勢との照合から、前記特定した部位の動きが歩行者の動きに合致するか否かを判定する姿勢判定手段と、
前記姿勢判定手段の判定結果から前記障害物が歩行者か否かを判定して歩行者を認識する認識手段とを備えたことを特徴とする歩行者認識装置。