JP4425642B2 - 歩行者抽出装置 - Google Patents

Description

本発明は、撮像手段で撮像した入力画像と、全身モデル画像及び部分モデル画像とのパターンマッチングにより、入力画像から歩行者を抽出する歩行者抽出装置に関する。

従来、カメラを用いて撮像した画像とモデル画像とのパターンマッチングにより、歩行者の全身、或いは身体の一部分を抽出することで、路上の歩行者を認識する技術が知られている。

しかし、歩行者の全身を、モデル画像とのパターンマッチングにより認識することは、安定した認識精度を得ることができるが、歩行者の動作に対応した多くのモデル画像を必要とするため、演算処理が複雑化するばかりでなく、メモリ容量を大型化する必要がある。

一方、歩行者を、その身体の一部分のモデル画像を用いて認識しようとした場合は、認識精度が低下する問題がある。

これに対処するに、例えば特開２００２−２４９８６号公報には、左右に配設した可視カメラを用いて撮像した同一物体の左右画像に基づき歩行者を認識する技術が開示されている。この先行技術では、左右のカメラの視差を利用して歩行者を認識しているので、モデル画像が不要となる。
特開２００２−２４９８６号公報 特開平１０−１０５８９１号公報

しかし、上述した公報に開示されている技術では、可視カメラを用いて自車両前方を撮像しているが、例えば夜間等、歩行者を照明する光源がない場合、可視カメラでは十分な画質の画像を得ることが困難である。又、ステレオカメラは、単眼カメラに比しシステム全体が複雑で、製品コストが嵩む問題がある。

この点、特開平１０−１０５８９１号公報に開示されているように、自車両前方をレーダセンサにてスキャンするようにすれば、昼夜を問わず前方を認識することができるが、夜間における自車両前方の状況、及び前方認識の程度を運転者に視覚的に提示することができない不都合がある。

本発明は、上記事情に鑑み、演算処理に係る負荷を軽減すると共に、光源の無い暗闇においても、少ないモデル画像で、歩行者を高精度に抽出することのできる歩行者抽出装置を提供することを目的とする。

上記目的を達成するため本発明は、撮像手段で撮像した入力画像と、歩行者のモデル画像とのパターンマッチングにより該入力画像から歩行者を抽出する歩行者抽出装置において、上記入力画像から上記歩行者の全身モデル画像及び全身の部分モデル画像とを用いたパターンマッチングにより、上記全身モデル画像を囲む全身領域と上記全身の部分モデル画像を囲む部分候補領域とを抽出する歩行者候補抽出手段と、上記歩行者候補抽出手段で抽出した上記全身領域に上記部分候補領域が存在する場合、抽出した上記部分候補領域は歩行者の一部分であると判定する歩行者抽出手段とを備え、 上記歩行者抽出手段は、上記歩行者候補抽出手段で全身領域が抽出されなかった場合、直前の入力画像から抽出した直前部分候補領域と、現入力画像から抽出した上記部分候補領域とを比較し、該両部分候補領域間の距離が設定距離以内の場合、現入力画像から抽出した該部分候補領域は歩行者の一部分であると判定することを特徴とする。

本発明によれば、演算処理に係る負荷を軽減すると共に、光源の無い暗闇においても、少ないモデル画像で、歩行者を高精度に抽出することができる。

以下、図面に基づいて本発明の一形態を説明する。図１に歩行者抽出装置を搭載した車両の概略図を示す。

同図に示すように、本形態で採用する自動車等の車両１には、自車両１の前方及びその周辺を撮像する、撮像手段としての赤外線カメラ或いは遠赤外線カメラ（以下、これらを「赤外線カメラ」と総称する）２と、赤外線カメラ２で撮像した自車両１の前方及びその周辺の画像（以下「入力画像」と称する）３から、歩行者４を抽出する歩行者抽出処理ユニット５とを備えている。尚、赤外線カメラ２は、夜間等の暗闇においても、物体の発するわずかな、可視光より長い波長帯の電磁波である赤外線あるいは遠赤外線を捕らえて撮像し、映像信号に変換して出力するものである。

歩行者抽出処理ユニット５はマイクロコンピュータ等のコンピュータを主体に構成されている。コンピュータには、ＲＯＭに記憶されている制御プログラムに従いシステム全体を制御するＣＰＵ（演算処理部）、制御プログラムと歩行者の全身及び頭部モデル画像等の固定データを記憶するＲＯＭ、演算作業における一時記憶部として使用するＲＡＭ等が備えられている。

図２に示すように、歩行者抽出処理ユニット５は、歩行者を抽出し処理する機能として、歩行者候補抽出手段としての歩行者候補抽出部１２、歩行者部分抽出手段としての歩行者抽出部１３、歩行者を抽出するための基準となる全身及び全身の一部分である頭部候補のモデル画像６，７を複数記憶するモデル画像記憶部１４、及び、歩行者抽出結果記憶部１５を有している。

又、図４、図５に、モデル画像記憶部１４に記憶されている全身モデル画像６、及び頭部モデル画像７を示す。両モデル画像６，７は、何れも、道路を横断する歩行者を車両側から見たときの典型的な形状をパターン化したもので、複数のパターンが記憶されている。

歩行者候補抽出部１２は、入力画像３と、モデル画像記憶部１４に記憶されている全身モデル画像６、及び頭部モデル画像７とのパターンマッチングにより、全身領域８、及び頭部候補領域９を抽出する。パターンマッチングとは、モデル画像と、入力画像３との類似度を評価するための一手法であり、評価関数としては相関係数が多く用いられる。

歩行者抽出部１３は、歩行者候補抽出部１２で抽出した全身領域８、及び頭部候補領域９から誤抽出部分を除去し、最終的に歩行者の頭部を抽出する。尚、入力画像３から頭部が抽出された場合、入力画像３に歩行者が映し出されていると判断することができる。

歩行者抽出結果記憶部１５は、歩行者抽出部１３での歩行者の抽出結果を記憶する。

歩行者抽出処理ユニット５で処理される歩行者抽出処理は、具体的には、図３に示す歩行者抽出ルーチンに従って実行される。

このルーチンは１フレーム毎の入力画像３について実行される。先ず、ステップＳ１で入力画像３を入力し、ステップＳ２で、ＲＯＭに記憶されている全身モデル画像６と頭部モデル画像７とを読み込む。

そして、ステップＳ３へ進み、入力画像３と、全身及び頭部候補の各モデル画像６，７とのパターンマッチングを行う。

以下、パターンマッチングの手法について一例を示す。先ず、全身及び頭部候補の各モデル画像６，７を囲む所定大きさのウインドウを、入力画像３に対して一画素ずつ移行させて全画面をスキャンする。尚、この各ウインドウは全身領域８、及び頭部候補領域９を画定するものであり、その領域は全身領域８、及び頭部候補領域９と同一である。従って、ウインドウに付す符号を省略する。

そして、各ウインドウ内の全身モデル画像６と頭部モデル画像７との類似度を正規化相関演算によって算出する。すなわち、正規化相関によるパターンマッチングを行う。尚、正規化相関によるパターンマッチングは、例えば特開平５−１８９５７０号公報に開示されている。

その後、ステップＳ４で、入力画像３と全身モデル画像６とのパターンマッチングにより全身領域８が抽出された否かを調べる。全身領域８が抽出された場合、ステップＳ５へ進み、又、全身領域８が抽出されなかった場合は、ステップＳ６へ分岐する。尚、図６に、全身モデル画像６とのパターンマッチングで抽出された全身領域８、及び頭部モデル画像７とのパターンマッチングにより抽出された頭部候補領域９を示す。

以下においては、先ず、全身領域８が抽出された場合について説明し、次いで全身領域８が抽出されなかった場合について説明する。

ステップＳ５へ進むと、入力画像３から全身領域８外にある頭部候補領域９を削除する処理を行い、誤抽出要因を除去する。図７に示すように、本形態では、全身領域８の横方向にある頭部候補領域９ａを除去している。

次いで、ステップＳ７へ進み、全身領域８内に頭部候補領域９が存在するか否かを調べる。そして、全身領域８内に頭部候補領域９が存在している場合は（図８参照）、ステップＳ１１へ進み、頭部候補領域９が存在していない場合は、ステップＳ１２へ分岐する。

ステップＳ１１へ進むと、全身領域８内の頭部候補領域９のうち、最も高い位置の頭部候補領域９ｂ（図８参照）の頭部モデル画像７にマッチした画像を頭部として採用する。これにより、頭部の誤抽出要因を除去することができる。

その後、ステップＳ１４へ進み、抽出結果、すなわち、頭部と判定した情報（例えば、頭部判定フラグＦＬＧをセット(FLG=1)すると共に、頭部候補領域９の特定位置（中央など）の座標）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５で抽出結果を出力して、ルーチンを抜ける。

一方、ステップＳ７からステップＳ１２へ分岐すると、頭部候補領域９が抽出されなかったので、頭部と判定しないとの判定結果を設定する。この判定結果は、例えば頭部判定フラグＦＬＧをクリア（ＦＬＧ＝０）することで設定する。そして、ステップＳ１４へ進み、頭部と判定しないとの抽出結果を（例えば、ＦＬＧ＝０）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５へ進み、その抽出結果を出力して、ルーチンを抜ける。

次に、ステップＳ４で全身領域８が抽出できなかった場合について説明する。ステップＳ４からステップＳ６へ分岐すると、入力画像３に頭部候補領域９が存在するか否かを調べ、頭部候補領域９が存在しない場合は、ステップＳ１２へジャンプし、頭部候補領域９が存在している場合は、ステップＳ８へ進む。

ステップＳ８では、直前の入力画像３’（図９参照）を読み込み、この入力画像３’に存在する頭部候補領域９ｃと、現在の入力画像３から抽出した頭部候補領域９とを比較し、最も近い位置、すなわち位置変化の最も少ない頭部候補領域９を選出する。この場合、直前の入力画像３’で全身領域８が抽出されている必要はない。

尚、直前の入力画像３’に存在する頭部候補領域９ｃと現在の入力画像３から抽出した頭部候補領域９との距離を算出する手法は、種々のものが考えられる。例えば、各頭部候補領域９の特定位置（中央など）の座標を比較するようにしても良い。又、図示しないがステップＳ８において、直前の入力画像３’で頭部候補領域９ｃが抽出されていない場合は、判断対象が存在しないのでそのままルーチンを抜ける。

次いで、ステップＳ９へ進み、検出した頭部候補領域９と直前の入力画像３’から抽出した頭部候補領域９ｃとの距離Ｌを算出する。この距離Ｌは、例えば頭部候補領域９の中央と頭部候補領域９ｃの中央の座標との間の距離であっても良い。

その後、ステップＳ１０へ進み、距離Ｌと予め設定した許容値Ｌｏとを比較する。許容値Ｌｏは現在の入力画像３と直前の入力画像３’との間で同一人物が相対移動する際の距離を実験などから求めて設定したもので、位置変化の小さい値に設定されている。

そして、距離Ｌが許容値Ｌｏ以内（Ｌ≦Ｌｏ）のときは、ステップＳ１３へ進み、頭部候補領域９の頭部モデル画像７とマッチした画像は頭部であると判定する。そして、ステップＳ１４へ進み、頭部と判定した情報（例えば、ＦＬＧ＝１、及び頭部候補領域９の特定位置（中央など）の座標）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５で抽出結果を出力して、ルーチンを抜ける。

このように、本形態では、最初に全身モデル画像６に基づいて入力画像３中の全身領域８を抽出し、抽出した全身領域８の中から頭部モデル画像７を用いて頭部を抽出するようにしたので、歩行者の誤抽出を低減することができる。

又、他の障害物等の影響で、全身領域８が抽出できなかった場合であっても、直前の入力画像３’で頭部候補領域９ｃが抽出されていれば、その頭部候補領域９ｃに基づいて現在の入力画像３で抽出した頭部候補領域９と比較し位置変化が小さい場合は、全身の一部分が隠れている場合であっても、頭部候補領域９の頭部モデル画像７にマッチした画像を頭部と判定できるので、歩行者の抽出精度を大幅に高めることができる。

同様に、歩行者の姿勢と全身モデル画像６の形状との相違により、全身領域８が抽出されなかった場合であっても、別の形状の全身モデル画像を多数記憶させる必要が無く、少ない全身モデル画像数で、歩行者を効率よく抽出することができる。その結果、演算処理に係る負荷を軽減することができると共に、歩行者を高精度に抽出することができる。

又、赤外線カメラ２で撮像した入力画像３に基づいて歩行者を抽出するようにしているので、光源の無い暗闇においても、歩行者を高精度に抽出することができる。

更に、全身領域８内に複数の頭部候補領域９が存在する場合には、最も高い位置の頭部候補領域９ｂの頭部モデル画像７にマッチした画像を頭部と判定するようにしたので、誤抽出要因となる頭部候補領域９が多数存在していても歩行者を正確に抽出することができる。

そして、自車両１に搭載した赤外線カメラ２で撮像した入力画像３から歩行者が検出された場合、車両１では、例えばブレーキ動作等により車速を所定速度まで減速させる減速制御や、歩行者の存在をランプ、ブザー、或いはスピーカからの音声により知らせる警報制御を行うことができる。

尚、本発明は、上述した形態に限るものではなく、例えば撮像手段は赤外線カメラに限らず可視カメラに適用することも可能である。又、赤外線カメラ２は街頭等に固設する固定カメラであっても良い。固定カメラの場合、例えば横断歩道に配設することで、歩行者を検知したとき車両側の信号機を自動的に青信号から黄信号を経て赤信号に切換えるようにすることができる。

歩行者抽出装置を搭載した車両の概略図 歩行者抽出処理ユニットの構成を示すブロック図 歩行者抽出ルーチンを示すフローチャート 全身モデル画像の説明図 頭部モデル画像の説明図 入力画像から抽出された全身領域及び頭部候補領域を示す説明図 全身領域を抽出する手法を示す説明図 頭部候補領域を抽出する手法を示す説明図 直前の入力画像を示す説明図 直前の入力画像から抽出した頭部候補領域と現在の入力画像から抽出した頭部候補領域とに基づいて頭部を判定するときの説明図

符号の説明

１ 車両
２ 赤外線カメラ
３ 入力画像
４ 歩行者
５ 歩行者抽出処理ユニット
６ 全身モデル画像
７ 頭部モデル画像
８ 全身領域
９，９ａ，９ｂ，９ｃ 頭部候補領域
１２ 歩行者候補抽出部
１３ 歩行者抽出部
１４ モデル画像記憶部
１５ 歩行者抽出結果記憶部

代理人 弁理士 伊 藤 進

Claims (3)

1. 撮像手段で撮像した入力画像と、歩行者のモデル画像とのパターンマッチングにより該入力画像から歩行者を抽出する歩行者抽出装置において、
   上記入力画像から上記歩行者の全身モデル画像及び全身の部分モデル画像とを用いたパターンマッチングにより、上記全身モデル画像を囲む全身領域と上記全身の部分モデル画像を囲む部分候補領域とを抽出する歩行者候補抽出手段と、
   上記歩行者候補抽出手段で抽出した上記全身領域に上記部分候補領域が存在する場合、抽出した上記部分候補領域は歩行者の一部分であると判定する歩行者抽出手段とを備え、 上記歩行者抽出手段は、上記歩行者候補抽出手段で全身領域が抽出されなかった場合、直前の入力画像から抽出した直前部分候補領域と、現入力画像から抽出した上記部分候補領域とを比較し、該両部分候補領域間の距離が設定距離以内の場合、現入力画像から抽出した該部分候補領域は歩行者の一部分であると判定する
   ことを特徴とする歩行者抽出装置。
2. 上記部分モデル画像は頭部モデル画像であることを特徴とする請求項１に記載の歩行者抽出装置。
3. 上記歩行者抽出手段は、上記全身領域に複数の上記部分候補領域がある場合、最も高い位置にある該部分候補領域を頭部と判定することを特徴とする請求項２記載の歩行者抽出装置。