JP6569416B2 - 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラムに関する。

近年、情報処理技術や画像処理技術の発達により、視差を用いて高速に人や自動車などを検出（認識）する車載認識技術が開発されてきている。例えば、検出の対象が人や自動車である場合、撮像した画像データから検出の非対象となる画像データを棄却して、検出精度の向上、及び画像データの削減を図ることがある。

また、特許文献１には、撮像手段により時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得し、取得された領域と、記憶手段に記憶された領域の系列とが対応するか照合し、領域の系列が検出対象であるか否かを判定する物体検出装置が開示されている。

しかしながら、視差が輝度画像を基準に算出される場合、照明条件や被写体のテクスチャの影響を受ける問題や、輝度画像のブロックマッチングの性能によって視差が正確に算出されないことが発生することがある。したがって、撮像した画像データから検出の非対象となる画像データを棄却するときに、棄却の精度を十分に向上させることができないことがあった。換言すると、所定の方法で画像データを棄却する際に、視覚的に類似していたとしても、上記のように照明条件などで画像情報が変化すると、その差異によって棄却できる物体とできない物体が発生する可能性があった。

本発明は、上記に鑑みてなされたものであって、撮像された画像データから検出の非対象となる画像データを精度よく棄却することができる画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、１つ以上の物体が撮像された基準画像と、前記基準画像とは異なる撮像位置から撮像された比較画像との間で生じる視差の頻度分布に基づいて、前記基準画像を示す基準画像データの一部を、予め定められた方向に連続するように設置された設置物を示す設置物画像データであると判定する第１判定部と、前記設置物画像データを前記基準画像データから棄却する第１棄却部と、前記第１棄却部が前記設置物画像データを棄却させた前記基準画像データの一部を、前記設置物画像データに基づいて、前記設置物に連続する物体を示す連続物画像データであると判定する第２判定部と、前記第１棄却部が前記設置物画像データを棄却させた前記基準画像データから、前記連続物画像データを棄却する第２棄却部と、を有することを特徴とする。

本発明によれば、撮像された画像データから検出の非対象となる画像データを精度よく棄却することができるという効果を奏する。

図１は、本発明の実施の形態にかかる機器制御システムである車両に搭載されたステレオカメラの位置を示す図である。 図２は、車両が有するステレオカメラ及びその周辺の構成を示す図である。 図３は、ステレオカメラを備えた物体認識装置の構成例を示す図である。 図４は、車両が有する画像による機器制御機能の概要を示す機能ブロック図である。 図５は、カメラ部が撮像した基準画像を模式的に示した図である。 図６は、図５に示した基準画像に対応する頻度Ｕマップを示す図である。 図７は、図６に示した頻度Ｕマップをリアル頻度Ｕマップに変換した結果を示す図である。 図８は、棄却部の構成例を示すブロック図である。 図９は、俯瞰マップにおける先行車両の視差の頻度分布例を示す図である。 図１０は、左隣の車線を走行している先行車両の視差の頻度分布と、先行車両のコーナー等を検出する処理過程を示す図である。 図１１は、視野角が最大になるブロックａと、視野角が最小になるブロックｂとを示す図である。 図１２は、視差頻度の高い点Ａ、Ｂの第１の選択方法を示す図である。 図１３は、視差頻度の高い点Ａ、Ｂの第２の選択方法を示す図である。 図１４は、視差頻度の高い点Ａ、Ｂの第３の選択方法を示す図である。 図１５は、自車と同じ車線を走行している先行車両の視差の頻度分布と、先行車両のコーナー等を検出する処理過程を示す図である。 図１６は、走行車両の左側に側壁物がある状態を示す図である。 図１７は、走行車両の右側を走行している追い越し車両と、遠方の側壁物が新規検出物体である場合を示す図である。 図１８は、側壁物の面が１つの場合と、２つの場合を示す図である。 図１９は、前方を走行する車両が形成する２つの面を示す図である。 図２０は、第１算出部の動作を示すフローチャートである。 図２１は、棄却部の第１動作例を示すフローチャートである。 図２２は、側壁物中に出現する誤認識物体を示す図である。 図２３は、棄却されていなかった面を側壁物の一部と判定する場合の例を示す図である。 図２４は、棄却部の第２動作例を示すフローチャートである。 図２５は、残存物体を誤検出物体と判定する場合の例を示す図である。 図２６は、残存物体を誤検出物体と判定する条件を例示する図である。 図２７は、棄却部の第３動作例を模式的に示す図である。 図２８は、棄却部の第４動作例を模式的に示す図である。 図２９は、棄却部の第４動作例を示すフローチャートである。 図３０は、棄却部の第５動作例を模式的に示す図である。

以下に添付図面を参照して、実施形態にかかる機器制御システムについて説明する。図１は、本発明の実施の形態にかかる機器制御システムの例である車両１に搭載されたステレオカメラ２の位置を示す図である。例えば、車両１は、進行方向前側の所定の撮像範囲を撮像するステレオカメラ２が前部に設けられた自動車である。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する撮像部である。

図２は、車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの画像を車両ＥＣＵ（Engine Control Unit）３に対して出力する。車両ＥＣＵ３は、車両１に設置され、車両１のエンジン及び車両１のその他の電気的な制御及び処理を総合的に行う。

図３は、ステレオカメラ２を備えた物体認識装置４の構成例を示す図である。物体認識装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。

カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

画像処理装置３０は、例えば図２に示した車両ＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。

上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂそれぞれの画像センサ２２が撮像した撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。

ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。また、ＲＯＭ３０８には、状況認識、予測、及び物体認識等を実行するための（立体）物体認識プログラムが記憶されている。

物体認識プログラムは、画像処理プログラムの一例である。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。そして、ＣＰＵ３０４は、ＲＯＭ３０８に記憶されている物体認識プログラムに従って、ＲＡＭ３１０に記憶されている輝度画像データ及び視差画像データを用いて、状況認識等の各種処理を実行し、例えば先行車両等の検出対象の検出（認識）を行う。また、画像データの棄却処理もＣＰＵ３０４が実施する。

検出対象（認識対象）の検出データ（認識データ）は、シリアルＩＦ３１２を介して、例えば車両ＥＣＵ３内に制御機能を設けられた自動ブレーキシステム、又は自動速度制御システム等に対して出力される。自動ブレーキシステムは、認識対象の認識データを用いて車両１のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて車両１の速度制御を行う。

次に、車両１がステレオカメラ２を用いて実行する機器制御について説明する。図４は、車両１が有する画像による機器制御機能の概要を示す機能ブロック図である。なお、図４においては、車両１がステレオカメラ２を用いて行う機器制御機能が示されている。

車両１は、画像による機器制御を実行するために、撮像部（ステレオカメラ）２、視差計算部４０、クラスタリング部４２、棄却部４４、トラッキング部４６、及び出力制御部３２を有する。ここで、視差計算部４０、クラスタリング部４２、棄却部４４、及びトラッキング部４６は、画像処理装置３０が物体認識プログラムを実行することによって実現される。また、出力制御部３２は、例えば車両ＥＣＵ３内に設けられ、車両１に設けられたエンジンやブレーキなどの機構等を制御する。なお、視差計算部４０、クラスタリング部４２、棄却部４４、トラッキング部４６、及び出力制御部３２は、ソフトウェアによって構成されることに限定されることなく、それぞれ一部又は全部がハードウェアによって構成されてもよい。

ここでは、車両１が動画の１フレームの画像（左目視界と右目視界の２つの画像）を処理する場合を例に説明する。まず、撮像部（ステレオカメラ）２は、フレーム情報を取得する。入力フレームは、ステレオカメラ２が２つの画像センサ２２を用いて撮像した２枚の画像である。２枚の画像の一方は基準画像となり、他方は比較画像となる。比較画像は、基準画像とは異なる撮像位置から撮像される。カメラ部２ａは、例えば図５に模式的に示した基準画像を撮像する。基準画像には、先行車両５００、対向車両５０２、左ガードレール５０４ａ、及び右ガードレール５０４ｂが撮影されている。

視差計算部４０（図４）は、基準画像と比較画像を用いて、局所領域のブロックマッチングなどにより、画素ごとの視差を計算する。

クラスタリング部４２は、視差計算部４０が計算した視差の頻度をカウントし、視差の頻度に応じた画素値をもつ画素を輝度画像の二次元直交座標系上に分布させたマップ（頻度Ｕマップ）を作成する。例えば、クラスタリング部４２は、基準画像及び比較画像に撮影された路面からの高さが３０ｃｍ〜２ｍの間の画像の視差を用いて頻度Ｕマップを作成する。

図６は、図５に示した基準画像に対応する頻度Ｕマップである。頻度Ｕマップは、横軸が画像の横方向（Ｘ方向）と同じであり、縦軸が奥行方向となっている。図６に示した頻度Ｕマップでは、図５の基準画像に撮影されていた先行車両５００、対向車両５０２、左ガードレール５０４ａ、及び右ガードレール５０４ｂに対応する位置に、視差を示す画素が密集している領域（密集領域）ができている。

さらに、クラスタリング部４２は、頻度Ｕマップをリアル頻度Ｕマップに変換する。頻度Ｕマップ上のｘ方向の距離は、実空間上のｘ方向の距離が同じであっても、ステレオカメラ２からの距離が離れるほど（頻度Ｕマップの上側に向かって）、頻度Ｕマップ上の消失点に近づくので、短くなってしまう。図７は、図６に示した頻度Ｕマップをリアル頻度Ｕマップに変換した結果を示す図である。リアル頻度Ｕマップは、頻度ＵマップにおけるＸ方向の距離を、ステレオカメラ２から撮影された物体までの距離によらず、実空間上のｘ方向の位置に変換したものである。つまり、リアル頻度Ｕマップは、基準画像に撮影されている領域を実空間上で真上から見た場合の視差の頻度の分布を表すマップである。リアル頻度Ｕマップの縦軸は、ステレオカメラ２からの距離を示している。

図７に示したリアル頻度Ｕマップでは、左ガードレール５０４ａ及び右ガードレール５０４ｂは、上下方向に延びる密集領域となる。また、先行車両５００及び対向車両５０２は、車両の背面と片側面に対応する形状の密集領域になる。このように、リアル頻度Ｕマップでは、物体を示す密集領域は、実空間上の車両１の前方の領域を真上から見たときの物体の形状に近い形状となる。リアル頻度Ｕマップは、フレーム（視差画像）全体に対して作成されてもよいし、部分領域に対して作成されてもよい。なお、リアル頻度Ｕマップのことを、俯瞰マップと記すことがある。

そして、クラスタリング部４２は、俯瞰マップ上での密集領域を新規検出物体として検出する。この時、クラスタリング部４２は、新規検出物体に対して、輝度画像上の座標やサイズから予測した物体のタイプ（人や自動車）などの個体情報を付与する。図７に示した俯瞰マップでは、図５の基準画像に撮影されていた先行車両５００、対向車両５０２、左ガードレール５０４ａ、及び右ガードレール５０４ｂが真上から見た実際の形状に近い形で密集領域になっている。

棄却部４４（図４）は、フレーム情報（輝度画像、視差画像）、俯瞰マップ、及び新規検出物体の個体情報を用いて、新規検出物体が検出対象（認識対象）の物体であるか、非検出対象の物体であるかを判定する。ここでは、例えば人及び自動車を検出対象とし、その他の側壁物などを非検出対象とする。なお、検出対象の物体は、継続的に検出すべき物体（追跡対象）として扱われる。そして、棄却部４４は、非検出対象を示す画像データを棄却対象の画像データと判定する（棄却判定）。棄却部４４は、棄却対象となった画像データ（個体情報）に棄却判定結果を付与する。

さらに、棄却部４４について詳述する。図８は、棄却部４４の構成例を示すブロック図である。棄却部４４は、例えばネットワークバス４４０、取得部４４２、第１処理部４４４、第２処理部４４６を有し、記憶部４４８を備えるように構成されてもよい。記憶部４４８は、例えば棄却部４４を構成する各部が処理した結果を記憶する。また、出力部４４９を備えてもよい。出力部４４９は、棄却部４４内での棄却結果を、後段の処理部（例えば、トラッキング部４６）に出力する。そして、棄却部４４は、着目フレーム以前に棄却した非検出対象を用いて、着目フレームに対する処理を行ってもよい。なお、取得部４４２、第１処理部４４４、及び第２処理部４４６は、それぞれ一部又は全部がハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。

ネットワークバス４４０は、データを伝送するバスである。例えば、ネットワークバス４４０は、新規検出物体ごとにデータを伝送する。

取得部４４２は、クラスタリング部４２が検出した新規検出物体の個体情報、フレーム（輝度画像、視差画像）、俯瞰マップなどを取得する。より具体的には、取得部４４２が棄却処理に必要な情報を取得する。取得部４４２は、ステレオカメラ２などのデバイスが取得した情報を直接読み込んでもよいし、これらの情報を予めＣＤ、ＤＶＤ、ＨＤＤなどの記録メディアやネットワーク・ストレージに保存しておき、必要時にこれらを読み込んでもよい。また、取得部４４２は、静止画を取得しても、ステレオカメラ２が撮影した動画像データを逐次取得してもよい。

取得部４４２が取得する情報は、任意の組み合わせで構成されてもよい。例えば、取得部４４２は、ステレオカメラ２が撮影したフレーム（視差画像）から生成した俯瞰マップとクラスタリング結果として生成された新規検出物体情報を併せて取得してもよい。新規検出物体情報は、クラスタリング結果として得られた、輝度画像上の位置、サイズから判定したオブジェクトタイプ（歩行者や人）、棄却情報、トラッキング情報などを物体ごとに任意に組み合わせたものである。また、取得部４４２は、視差画像をクロップしたものを取得してもよいし、物体情報が持つ座標情報に基づいて視差画像中の該当箇所の画素を示す情報を取得してもよい。

第１処理部４４４は、例えば第１算出部４５０、対象面決定部４５１、第１判定部４５２、及び第１棄却部４５３を有する。なお、第１処理部４４４は、対象面決定部４５１を有していない構成であってもよい。

第１算出部４５０は、新規検出物体が有する面を算出し、算出した面の角度をさらに算出する。なお、新規検出物体が有する面の角度とは、例えばステレオカメラ２が有する２つの画像センサ２２をそれぞれ通過する直線に対する俯瞰マップ上の角度であるとする。

ここで、第１算出部４５０が新規検出物体の面を算出し、算出した面の角度をさらに算出する具体例について説明する。図９は、俯瞰マップにおける先行車両の視差の頻度分布例を示す図である。俯瞰マップの分解能を例えば１２８ｍｍとすると、先行車両の視差の頻度分布は、１２８ｍｍ×１２８ｍｍのブロックが複数並んだ形状となる。なお、俯瞰マップの分解能を高くすると（例えば、６４ｍｍ）、精度は上がるが、ブロックの密度が疎らになって物体の検出が困難になる。また、俯瞰マップの分解能を低くすると（例えば、２５６ｍｍ）、ブロックの密度が密になるが、分解能が低いために物体の正確な位置が検出しにくくなる。

先行車両の視差の頻度分布では、図９に示したＺ軸方向及びＸ軸方向において、ステレオカメラ２からの距離が遠い位置でブロックが斜め方向に伸びる形状となる。これは、撮影時の条件等に応じて生じる視差の誤差（分散）によるものである。俯瞰マップを作成する元となった基準画像及び比較画像において、先行車両の側面しか写っていない場合は、当該斜め方向に延びるブロックは少ない。また、俯瞰マップを作成する元となった基準画像及び比較画像において、先行車両の近くに、先行車両より遠方に存在するものが背景として写っている場合等は、当該背景の視差の影響による誤差で、当該斜め方向に延びるブロックが多くなる。

次に、先行車両の視差の頻度分布を用いて、当該先行車両のコーナー（先行車両の側面と背面の境界）等を検出する処理について説明する。図１０は、左隣の車線を走行している先行車両の視差の頻度分布と、先行車両のコーナー等を検出する処理過程を示す図である。

まず、第１算出部４５０は、検出した先行車両の視差を示すブロックの密集領域に対し、視野角が最小になる位置付近の領域、及び視野角が最大になる位置付近の領域それぞれで、視差頻度の高い点Ａ、Ｂを算出する。なお、視野角は、例えば２つの画像センサ２２の中心点（基準画像及び比較画像それぞれの撮像位置の中心点）からのＺ方向に延びる直線に対する角度である。

より具体的には、図１１に示すように、第１算出部４５０は、視野角が最小になる位置付近の領域、及び視野角が最大になる位置付近の領域をそれぞれ決定するために、まず、視野角が最大になるブロックａと、視野角が最小になるブロックｂとを探索して選択する。

次に、第１算出部４５０は、第１の選択方法として、図１２に示すように、各ブロックを包含する外接矩形６００を設定し、ブロックａを包含する三角領域６０２と、ブロックｂを包含する三角領域６０４とを設定する。ここでは、外接矩形６００の左下に三角領域６０２が設定され、右上に三角領域６０４が設定されている。そして、第１算出部４５０は、三角領域６０２の中で頻度が最大となるブロックを点Ａとして選択し、三角領域６０４の中で頻度が最大となるブロックを点Ｂとして選択する。

また、第１算出部４５０は、第２の選択方法として、図１３に示すように、選択したブロックａ及びブロックｂをそれぞれ中心にした所定の矩形範囲６０６（例えば５×５、又は長方形）に含まれるブロック集合の中で、頻度が最大となる点Ａ、点Ｂを選択する。

また、第１算出部４５０は、第３の選択方法として、図１４に示すように、選択したブロックａ及びブロックｂをそれぞれ中心にした所定の半径の円６０８（例えば半径３．５、又は楕円）に含まれるブロック集合の中で、頻度が最大となる点Ａ、点Ｂを選択する。

このように、第１算出部４５０は、第１の選択方法〜第３の選択方法のいずれか等の方法を用いて、視差頻度の高い点Ａ、Ｂを算出する。

次に、第１算出部４５０は、図１０に示したように、点Ａ、Ｂを直径の端点とする円周上の点Ｄを俯瞰マップ上で設定する。そして、第１算出部４５０は、線分ＡＤ及び線分ＢＤが通過する俯瞰マップ上の点（ブロック）の頻度の平均値を、頻度平均値として算出する。

第１算出部４５０は、頻度平均値を例えば次のように算出してもよい。まず、第１算出部４５０は、俯瞰マップ上の各ブロックの中心を、Ｘ座標及びＺ座標の整数の座標値とする。そして、点ＡのＸ座標の値から、点ＤのＸ座標の値まで、１ずつ値を変え、各Ｘ座標の値において、線分ＡＤのＺ座標の小数点以下を四捨五入する等により量子化する。そして、第１算出部４５０は、各Ｘ座標における量子化されたＺ座標の各ブロックの頻度の値を合計する。つまり、線分ＡＤについての頻度の合計値が算出される。

同様に、第１算出部４５０は、線分ＢＤについての頻度の合計値も算出する。そして、第１算出部４５０は、線分ＡＤ、線分ＢＤの頻度の合計値を、当該合計値に自身の頻度の値を算入された上記各ブロックの数で除算する。図１０に示した例の場合、○が付与されたブロックに対応する頻度の値が合計され、○が付与されたブロックの数である１１で除算される。また、第１算出部４５０は、線分ＡＤ及び線分ＤＢが通過する俯瞰マップ上のブロック毎の頻度の値を積分することによって合計値を算出し、線分ＡＤ及び線分ＤＢの長さで除算することにより、頻度平均値を算出してもよい。また、頻度平均値を使用せずに、頻度の合計値を使うことも可能である。要するに二本の線分が視差分布上に配置されるように決定できれば任意の方法が使用可能である。

さらに、第１算出部４５０は、点Ｄを点Ａから点Ｂまで移動させ、頻度平均値の算出を繰り返す。例えば、第１算出部４５０は、点Ｄを、点Ａ、Ｂを直径の端点とする円周上で、円の中心からの角度が所定の角度（例えば２°）ずつ変わるように移動させる。そして、第１算出部４５０は、弧ＡＢ間で頻度平均値が最大となる点ＤをＤｍａｘとして出力する。図１０に示した例の場合には、線分ＡＤｍａｘ及び線分ＢＤｍａｘのＸ軸方向に対する角度は、それぞれ０度、９０度となる。

図１５は、自車と同じ車線（正面）を走行している先行車両の視差の頻度分布と、先行車両のコーナー等を検出する処理過程を示す図である。自車と同じ車線（正面）を走行している先行車両の視差の頻度分布に対して、頻度平均値が最大となる点Ｄｍａｘを算出すると、点Ｄｍａｘの位置は点Ａ又は点Ｂの位置となる。なお、図１５に示した例の場合、線分ＡＤｍａｘ及び線分ＢＤｍａｘのＸ軸方向に対する角度は、どちらも０度となる。

そして、第１算出部４５０は、線分ＡＤｍａｘに対応する平面の角度、線分ＢＤｍａｘに対応する平面の角度、及び各平面の垂直な辺の（Ｘ、Ｙ）座標を算出する。つまり、第１算出部４５０は、基準画像及び比較画像それぞれの撮像位置を通る直線に対して、基準画像に撮像された物体が備える面の角度を視差の頻度分布に基づいて算出する。

対象面決定部４５１（図８）は、新規検出物体が複数の面を有する場合、複数の面の数と形状（サイズ）に応じて、棄却処理の対象となる面を決定する（図１８、１９を用いて後述）。

第１判定部４５２は、第１算出部４５０が算出した面の角度、又は対象面決定部４５１が決定した面の有無に応じて、新規検出物体が検出対象であるか非検出対象であるかを判定する。例えば、第１判定部４５２は、面の角度が略９０度（予め定められた範囲）の新規検出物体を非検出対象であると判定する。そして、第１判定部４５２は、非検出対象を示す画像データを棄却対象とする。

図１６は、走行車両の左側に側壁物がある状態を示す図である。図１６に示した状態の場合、第１判定部４５２は、第１算出部４５０が算出した面の角度に応じて、新規検出物体が検出対象であるか非検出対象であるかを判定する。例えば、第１判定部４５２は、第１算出部４５０が算出した面の角度が所定範囲に入っている場合に、処理対象となっている新規検出物体を棄却対象とする。例えば、側壁物は、２つの画像センサ２２を通過する直線に対して９０度以上の角度を持っている可能性があり、側壁物の中央部（枠部）では角度が９０度を超えている。つまり、第１判定部４５２は、車両が持ち得ない面の角度の範囲を判定の基準となる所定値として設定しておくことにより、誤って検出対象を棄却することなく、非検出対象を棄却対象と判定することができる。

第１判定部４５２は、追い越し車両に対して判定を行う場合、追い越し車両が側壁物と同じような面の角度を持つことが多いため、判定の基準となる面の角度を９０度以上に設定してしまうと棄却できる非検出対象が減少してしまう可能性がある。そこで、第１判定部４５２は、画像上の位置や自車からの実距離を用いて、判定対象を限定してもよい。これにより、第１判定部４５２は、追い越し車両が含まれない領域に対して、狭い視野角の範囲（例えば、７０度以上など）を判定基準として設定することができる。

図１７は、走行車両の右側を走行している追い越し車両と、遠方の側壁物が新規検出物体である場合を示す図である。図１７に示すように、追い越し車両は自車（図１７では中央）に対して、近距離に存在する場合が多い。従って、第１判定部４５２は、自車を中心に各物体までの実距離を計測し、距離が所定値以上の新規検出対象（側壁物の枠部）を棄却処理対象としてもよい。また、画像上の位置を使う方法には、画像を横方向でいくつかに分割し、その両端の領域に含まれる物体に対して判定を行う方法もある。このように、第１判定部４５２は、第１算出部４５０が算出した面が１つである物体の面の角度に基づいて、基準画像データの一部を設置物画像データであると判定して棄却対象とする。つまり、第１判定部４５２は、基準画像を示す基準画像データの一部を、予め定められた方向に連続するように設置された設置物を示す設置物画像データであると判定して棄却対象としている。

次に、新規検出物体が複数の面を有する場合に対象面決定部４５１が行う処理について説明する。図１８は、側壁物の面が１つの場合（ａ）と、２つの場合（ｂ）を示す図である。本来、側壁物の面は１つになるはずであるが、俯瞰マップを用いて面と角度を算出する場合、視差の分散の影響によって図１８（ｂ）に示したように面の底辺の長さが一方に比べて大きく異なる面が算出される可能性がある。

面が２つある新規検出物体は、側壁物であるか車両であるかを明確にする必要がある。そこで、対象面決定部４５１は、面が２つある新規検出物体に対し、車両でないことを確認する処理と、２つの面のどちらの面の角度を算出するかを決定する処理を行う。

対象面決定部４５１は、面が２つある新規検出物体に対し、２つの面の底辺の比を算出し、算出した比に応じて新規検出物体が車両であるか否か、及び角度を算出する面を決定する。

図１９は、前方を走行する車両が形成する２つの面を示す図である。図１９に示すように、新規検出物体が車両である場合、側壁物と同様に面が２つ算出されるが、２つの面の底辺の長さの差は大きくならない。よって、対象面決定部４５１は、面が２つ算出される場合、２つの面の底辺、又は上辺の比を算出し、その比が所定値以上である場合には、新規検出物体が側壁物であると仮定し、角度を算出する面を決定する。一方、対象面決定部４５１は、２つの面の底辺の比が所定値未満である場合、新規検出物体が車両であると仮定して棄却のための処理を行わない。

なお、対象面決定部４５１は、底辺（又は上辺）の比を二次元の画像上（輝度画像、視差画像）で算出してもよいし、俯瞰マップから実距離を算出して使用してもよい。さらに、対象面決定部４５１は、辺の比ではなく、２つの面の面積比を使ってもよい。また、対象面決定部４５１は、新規検出物体に対して３つ以上の面を算出しても、同様に任意の２つの面に対して上述した処理を行い、棄却判定に使用する面を決定してもよい。

また、第１判定部４５２は、対象面決定部４５１が有する機能を兼ね備えていてもよい。つまり、第１判定部４５２は、第１算出部４５０が算出した面を複数備える物体を示す画像データに対し、物体の画像データが示す複数の面それぞれの長さの比に基づいて、設置物画像データであるか否かを判定するように構成されてもよい。もちろん、上記における長さの比に代えて、面積の比が用いられてもよい。つまり、第１判定部４５２は、第１算出部４５０が算出した面を複数備える物体を示す画像データに対し、物体の画像データが示す複数の面それぞれの面積の比に基づいて、設置物画像データであるか否かを判定するように構成されてもよい。

第１棄却部４５３（図８）は、第１判定部４５２が棄却対象とした非検出対象を示す画像データ（設置物画像データ）を、基準画像の画像データから棄却する。

このように、第１判定部４５２が新規検出物体の面の角度に応じて棄却する物体の画像データを決定する方式を面角度棄却方式と呼ぶことにする。また、面角度棄却方式により画像データを棄却された新規検出物体を棄却物体と呼ぶことにする。また、面角度棄却方式により画像データを棄却されなかった新規検出物体を残存物体と呼ぶことにする。また、面角度棄却方式により画像データを棄却されるべき非検出対象であって、画像データを棄却されなかった新規検出物体を誤検出（誤認識）物体と呼ぶこととする。

第２処理部４４６は、第２算出部４５４、第２判定部４５５、及び第２棄却部４５６を有し、以下に記す各動作を任意に組み合わせて動作可能にされている。

第２算出部４５４は、次に記す動作の少なくともいずれかを行う。例えば、第２算出部４５４は、棄却物体の所定の特徴量と、棄却物体が有する面の角度に対して面の角度が予め定められた範囲内にある残存物体の所定の特徴量とを算出する。また、第２算出部４５４は、俯瞰マップ上で棄却物体を近似する近似直線を算出する。第２算出部４５４は、着目フレームにおける棄却物体から残存物体までの距離と、着目フレーム以前のフレームにおける棄却物体から残存物体までの距離とを算出する。

第２判定部４５５は、次に記す動作の少なくともいずれかを行う。例えば、第２判定部４５５は、第２算出部４５４が算出した棄却物体及び残存物体それぞれの特徴量を比較し、特徴量の差が所定値以下である場合には、当該残存物体を非検出対象であると判定する。つまり、第２判定部４５５は、設置物画像データが有する特徴量に対し、類似度が所定値以上である特徴量を有する基準画像データの一部を連続物画像データであると判定する。

また、第２判定部４５５は、第２算出部４５４が算出した近似直線上に存在する残存物体を誤検出物体とみなして非検出対象であると判定する。また、第２判定部４５５は、設置物が連続している方向を示すように設置物画像データを近似させた近似直線上にある物体を示す基準画像データの一部を連続物画像データであると判定してもよい。

また、第２判定部４５５は、残存物体が基準画像及び比較画像それぞれの撮像位置の中間点との間に近似直線を挟む場合、当該残存物体を非検出対象であると判定する。つまり、第２判定部４５５は、物体を示す基準画像データの一部が、基準画像及び比較画像それぞれの撮像位置の中間点との間に近似直線を挟む場合、当該物体を示す基準画像データの一部を棄却対象画像データであると判定する。

また、第２判定部４５５は、着目フレームにおける棄却物体から残存物体までの距離と、着目フレーム以前のフレームにおける棄却物体（設置物）から残存物体までの距離との差が所定値以下である場合、当該残存物体を非検出対象（連続物画像データ）であると判定する。つまり、第２判定部４５５は、第１棄却部４５３が設置物画像データを棄却させた基準画像データの一部を、設置物画像データに基づいて、設置物に連続する物体を示す連続物画像データであると判定する。

また、第２判定部４５５は、基準画像及び比較画像が撮像される以前の時刻に撮像された基準画像のフレームと比較画像のフレームとの間で生じる視差の頻度分布に基づいて、第１判定部４５２が判定した設置物画像データを、基準画像及び比較画像の間で生じる視差の頻度分布に基づいて第１判定部４５２が判定した設置物画像データとみなしてもよい。つまり、第２判定部４５５は、過去の設置物画像データを判定に用いるように構成されてもよい。

ここで、画像の特徴量と認識処理（検出処理）について補足説明する。画像認識の方式としては、これまで種々のものが提案されているが、２つの画像の類似度を定量化できるものであれば任意の手法でよい。例えば、棄却物体をテンプレートとして、誤って検出対象であると判定された誤検出物体に対してテンプレートマッチングを行う方法がある。

また、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などの局所特徴量を量子化したｖｉｓｕａｌ ｗｏｒｄｓなるベクトルを用いて認識に利用するＢａｇ−ｏｆ−Ｖｉｓｕａｌ−Ｗｏｒｄｓ法や、ニューラルネットを多層化したＤｅｅｐ Ｌｅａｒｎｉｎｇを用いる方法もある。

２つの物体の関係を定量化するには、類似度の他に距離尺度を使ってもよい。類似度の場合、スコアが高い方が２つの物体は類似していると考えられる。一方で、距離尺度を使用する場合、スコアが小さい方が２つの物体は類似していると考えられる。従って、最終的には、２つの物体から特徴量を算出し、それらを使って類似度、又は距離を算出して、このスコアが所定範囲に含まれる場合に、２つの物体は類似していると判定する。

第２棄却部４５６は、第２判定部４５５が非検出対象であると判定した新規検出物体の画像データを、基準画像の画像データから棄却する。つまり、第２棄却部４５６は、第１棄却部４５３が設置物画像データを棄却させた基準画像データから、第２判定部４５５が判定した連続物画像データ（棄却対象画像データ）を棄却する。

トラッキング部４６（図４）は、新規検出物体が複数のフレームで連続して出現する場合に、追跡対象であるか否かを判定する。トラッキング部４６は、新規検出物体が追跡対象である場合には、その情報を個体情報に付与する。

出力制御部３２は、トラッキング部４６が判定した結果に応じて、車両１のエンジンやブレーキなどの機構等を制御する。

次に、フローチャートを用いて、棄却部４４を構成する要部の動作を説明する。図２０は、第１算出部４５０の動作を示すフローチャートである。図２０に示すように、第１算出部４５０は、基準画像及び比較画像を用いて、俯瞰マップを作成する（Ｓ１００）。

次に、第１算出部４５０は、俯瞰マップ上で視野角が最小になる位置付近の領域、及び視野角が最大になる位置付近の領域それぞれで、視差頻度の高い点Ａ、Ｂを算出する。つまり、第１算出部４５０は、図１０等に示した両端点（Ａ、Ｂ）を設定し（Ｓ１０２）、円周上の点（Ｄ）を順次に設定する（Ｓ１０４）。

次に、第１算出部４５０は、線分ＡＤ、線分ＢＤが通過する点の頻度平均値を算出し（Ｓ１０６）、最大の頻度平均値を有する点（Ｄ）をＤｍａｘに決定する（Ｓ１０８）。この点Ｄｍａｘは、先行車の最も近いコーナーの位置となる。

第１算出部４５０は、正面の車、又は側壁物を新規検出物体とした場合、２つの面の１つが極小さく検出されることがある。第１算出部４５０は、小さい面を削除する（Ｓ１１０）。

第１算出部４５０は、削除されていないＡＤ、ＢＤの面の角度を算出し（Ｓ１１２）、対応する画像枠において、各平面の左右の辺のＸ座標及びＹ座標の最大最小を算出する（Ｓ１１４）。

図２１は、棄却部４４の第１動作例を示すフローチャートである。まず、棄却部４４は、俯瞰マップと新規検出物体情報を読み込む（Ｓ２００）。次に、棄却部４４は、俯瞰マップを使い、新規検出物体ごとに面角度棄却方式で棄却判定する（Ｓ２０２）。次に、棄却部４４は、棄却物体と残存物体の画像特徴量を検出し、類似度を測定する（Ｓ２０４）。このとき、棄却部４４が処理する新規検出物体の数や順序は任意に設定されてもよい。そして、棄却部４４は、類似度が所定範囲内か否かで棄却判定を実施する（Ｓ２０６）。なお、Ｓ２０２とＳ２０４の処理は、棄却物体ごとに実施するが、ある棄却物体により、類似度が近いものと判定され棄却された残存物体に対しては、その他の棄却物体との判定処理を実施しなくてもよい。

次に、棄却部４４の第２動作例について説明する。図２２は、側壁物中に出現する誤認識物体を示す図である。図２２（ａ）は、輝度画像上で側壁物中に出現する誤認識物体を示している。図２２（ｂ）は、俯瞰マップ上で側壁物中に出現する誤認識物体を示している。ここでは、側壁物に対して３つの新規検出物体（面Ａ、面Ｂ、面Ｃ）が算出されたものとする。この中で、面Ａと面Ｃは非検出対象として棄却され、面Ｂは角度が俯瞰マップ上の視差の分散の影響を受けて、面角度が正確に算出されなかったために棄却されていなかったとする。

この時、第２判定部４５５は、棄却された面Ｃ（又は、面Ａ）を使って、俯瞰マップ上における面Ｃを近似する近似直線上に誤認識物体が存在するか否かを判定する。図２２に示すように、面Ｂは、面Ｃを近似した近似直線上に存在することになるので、同じ側壁物の一部分と判定される（図２３参照）。

図２４は、棄却部４４の第２動作例を示すフローチャートである。なお、棄却部４４の各動作例において上述した処理と実質的に同じ処理には同一の符号が付してある。第２判定部４５５は、俯瞰マップ上の棄却物体を近似する近似直線上に存在する残存物体の有無を判定する（Ｓ３００）。

例えば、図２５に示すように、第２判定部４５５は、近似直線７００上に複数の残存物体７０２のいずれが存在するかを判定する。ここで、近似直線７００上に存在するか否かの判定は、近似直線７００が残存物体７０２に一部分でも重なっていれば含まれると判定してもよいし（図２６（ａ）参照）、残存物体７０２の中心から所定間隔離れた位置までに重なっていれば含まれると判定してもよい（図２６（ｂ）参照）。後者の条件下では、図２６（ａ）に示した重なり方では、近似直線７００上に残存物体７０２が存在しないと判定される。

そして、第２棄却部４５６は、近似直線上に存在している物体を誤検出物体と判定して棄却する（Ｓ３０２）。

図２７は、棄却部４４の第３動作例を模式的に示す図である。図２７において、第２判定部４５５は、２つの画像センサ２２の中間点（中心）からみて、上述した近似直線よりも外側に位置する面Ｃ及び面Ｄを非検出対象であると判定する。例えば、第２判定部４５５は、車道以外に存在する物体の認識が不要な場合、車道外（つまり側壁物よりも外側）に存在する物体を非検出対象であると判定する。

このように、棄却部４４は、側壁物を車道と歩道の境界と仮定して、側壁物よりも外部に当たる領域に存在する物体を棄却することにより、車道に存在する物体を誤って棄却することなく、不要な物体を棄却することができる。

次に、棄却部４４の第４動作例について説明する。側壁物は静止物体であるため、動画像のフレーム間で移動することはない。従って、２つのフレームそれぞれで検出される同一の物体間の距離は不変である。一方、移動する車両と移動しない側壁物との距離は、フレーム間で変化する。棄却部４４の第４動作例では、この特徴を利用して、面角度棄却方式で棄却された側壁物の一部分である棄却物体と、棄却されなかった側壁物の一部分である誤検出物体の内、相互間の距離が変化しない物体を、側壁物の一部分と見なして棄却する。ここでの距離は、画像上の距離であってもよいし、実距離であってもよい。

図２８は、棄却部４４の第４動作例を模式的に示す図である。図２８においては、棄却物体８００及び検出対象（非棄却物体）８０２、８０４の位置関係と、棄却物体８００及び誤検出物体８０６の位置関係を、それぞれ隣接するフレーム間で見たときの例が示されている。

図２８の上図では、画像がフレームｎ−１からフレームｎに変わったとき、棄却物体（側壁物）８００は移動し、検出対象８０２、８０４は移動していない。検出対象８０２、８０４となっている車両は、それぞれ自車と同じ速度で走行していることになる。そして、画像がフレームｎ−１からフレームｎに変わったとき、棄却物体８００から検出対象８０２、８０４までの距離がそれぞれ変化している。

一方で、図２８の下図では、棄却物体（側壁物）８００と誤検出物体（側壁物）８０６は共に移動しないため、両者の距離は変化していない。多くの場合、連続するフレームでは同じ物体が検出される。前フレームでの棄却物体８００と誤検出物体８０６（棄却物体でも可能）の位置関係を保存しておくことにより、誤検出物体を棄却することが可能である。

なお、車両１のＣＡＮデータを用いれば、前方に進んでいるのか、後方に進んでいるのかがわかるため、移動ベクトルから、前フレームでのペアの出現位置を推定することができる。従って、前フレームの情報を参照する時は、推定した位置に存在するペアのみを参照して処理対象とすることが可能である。これは、処理の高速化に寄与する。また、棄却部４４は、処理対象とするペアを棄却された物体と、その物体を近似する近似直線上に存在する物体とに限定してもよい。これにより、側壁物上に含まれない物体を誤って棄却してしまうリスクを回避できる。また、上記は自車両が前方に走行している場合を想定しているが、逆方向、つまり、背走している際にも同様の方法で棄却処理を実施できる。

図２９は、棄却部４４の第４動作例を示すフローチャートである。第２判定部４５５は、着目フレームの新規検出物体のペアを示す新規検出物体情報を記憶部４４８に保存し、前フレームの新規検出物体のペアを示す新規検出物体情報を記憶部４４８から取得する（Ｓ４００）。棄却部４４の第４動作例では、最低でも２つの新規検出物体情報を使用するため、着目フレームで検出される物体数が１つ以下である場合は、これ以降の処理を全てスキップする。

この時、保存する情報は、最低でも１つ以上の棄却物体が含まれるようにペアを生成して、該当するペアを示す新規検出物体情報を保存する。これは、検出対象のペアの新規検出物体情報を誤って保存してしまうと、次のフレームにおいて、検出対象のペアが移動ベクトルから推定される位置に出現した場合に、このペアを誤って棄却してしまうリスクがあるためである。

また、棄却部４４は、新規検出物体情報を保存するときに、常に１フレームの情報のみを保存してもよいし、数フレーム分の情報を保存させてもよい。１フレームの情報を保存し、１つ後のフレームでペアが検出されなかった場合、２つ後のフレームで参照する情報は２フレーム前の情報になる。

第２棄却部４５６は、着目フレーム、前フレーム内の新規検出物体ペアの距離を使って棄却判定を実施する（Ｓ４０２）。

図３０は、棄却部４４の第５動作例を模式的に示す図である。棄却部４４は、第１動作例〜第４動作例に示した動作を行う場合に、着目フレームの情報だけでなく、１つ以上前のフレーム情報を合わせて使用するように構成されてもよい。

例えば、図３０（ａ）に示したように、着目フレーム（ｎ）があったとする。図３０（ａ）では、フレーム（ｎ）において残存物体８０８が存在している。図３０（ｂ）では、フレーム（ｎ−１）において棄却物体８１０と、残存物体８０８が存在している。

図３０（ａ）において、フレーム（ｎ）内に存在する残存物体８０８は、側壁物の一部分（誤検出物体）であるにも関わらず、棄却物体８１０が同フレーム内に存在しないため、棄却することができない。そこで、棄却部４４は、１つ以上前のフレーム情報を使用する。

図３０（ｂ）において、フレーム（ｎ−１）に棄却物体８１０が存在しているため、この物体を使って、フレーム（ｎ）内の誤検出物体である残存物体８０８を棄却することが可能である。

図３０に示した例では、１つ前のフレーム情報を保存するようにしているが、２つ以上前のフレーム情報を保存するようにしてもよい。これは、１つ前のフレームで照明条件などの変化によって偶発的に棄却物体８１０が検出されないリスクがあるためである。２つ以上前のフレーム情報も使用することによって棄却物体８１０が検出されないリスクを回避することができる。なお、本実施形態においては、棄却部４４は、棄却判定を行う機能までを有する構成であるが、これに限らず、後段の処理部（例えば、トラッキング部４６）に対して出力する機能を有していてもよい。

１ 車両
２ ステレオカメラ（撮像部）
２ａ、２ｂ カメラ部
３ 車両ＥＣＵ
４ 物体認識装置
２１ レンズ
２２ 画像センサ
２３ センサコントローラ
３０ 画像処理装置
３２ 出力制御部（制御部）
４０ 視差計算部
４２ クラスタリング部
４４ 棄却部
４６ トラッキング部
３０４ ＣＰＵ
３０８ ＲＯＭ
３１０ ＲＡＭ
４４２ 取得部
４４４ 第１処理部
４４６ 第２処理部
４４８ 記憶部
４５０ 第１算出部
４５１ 対象面決定部
４５２ 第１判定部
４５３ 第１棄却部
４５４ 第２算出部
４５５ 第２判定部
４５６ 第２棄却部
７００ 近似直線
７０２ 残存物体

特開２００５−３１１６９１号公報

Claims (15)

1. １つ以上の物体が撮像された基準画像と、前記基準画像とは異なる撮像位置から撮像された比較画像との間で生じる視差の頻度分布に基づいて、前記基準画像を示す基準画像データの一部を、予め定められた方向に連続するように設置された設置物を示す設置物画像データであると判定する第１判定部と、
   前記設置物画像データを前記基準画像データから棄却する第１棄却部と、
   前記第１棄却部が前記設置物画像データを棄却させた前記基準画像データの一部を、前記設置物画像データに基づいて、前記設置物に連続する物体を示す連続物画像データであると判定する第２判定部と、
   前記第１棄却部が前記設置物画像データを棄却させた前記基準画像データから、前記連続物画像データを棄却する第２棄却部と、
   を有することを特徴とする画像処理装置。
2. 前記基準画像及び前記比較画像それぞれの撮像位置を通る直線に対して、前記基準画像に撮像された物体が備える面の角度を前記視差の頻度分布に基づいて算出する第１算出部
   を有し、
   前記第１判定部は、
   前記第１算出部が算出した面が１つである物体の面の角度に基づいて、前記基準画像データの一部を前記設置物画像データであると判定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第１判定部は、
   前記第１算出部が算出した面を複数備える物体を示す画像データに対し、物体の画像データが示す複数の面それぞれの所定の基準に基づいて、前記設置物画像データであるか否かを判定すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記第１判定部は、
   前記第１算出部が算出した面を複数備える物体を示す画像データに対し、物体の画像データが示す複数の面それぞれの長さの比に基づいて、前記設置物画像データであるか否かを判定すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記第１判定部は、
   前記第１算出部が算出した面を複数備える物体を示す画像データに対し、物体の画像データが示す複数の面それぞれの面積の比に基づいて、前記設置物画像データであるか否かを判定すること
   を特徴とする請求項３に記載の画像処理装置。
6. 前記第２判定部は、
   前記設置物画像データが有する特徴量に対し、類似度が所定範囲にある特徴量を有する前記基準画像データの一部を前記連続物画像データであると判定すること
   を特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２判定部は、
   前記設置物が連続している方向を示すように前記設置物画像データを近似させた近似直線上にある物体を示す前記基準画像データの一部を前記連続物画像データであると判定すること
   を特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２判定部は、
   物体を示す前記基準画像データの一部が、前記基準画像及び前記比較画像それぞれの撮像位置の中間点との間に前記近似直線を挟む場合、当該物体を示す前記基準画像データの一部を棄却対象画像データであると判定し、
   前記第２棄却部は、
   前記第１棄却部が前記設置物画像データを棄却させた前記基準画像データから、前記棄却対象画像データを棄却すること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記第２判定部は、
   前記基準画像及び前記比較画像が撮像される以前の時刻に撮像された基準画像のフレームと比較画像のフレームとの間で生じる視差の頻度分布に基づいて、前記第１判定部が判定した設置物画像データが示す設置物に対して、時間が経過しても前記基準画像データの一部が示す物体からの距離が所定値以下の変化である場合、当該物体を示す前記基準画像データの一部を前記連続物画像データであると判定すること
   を特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第２判定部は、
    前記基準画像及び前記比較画像が撮像される以前の時刻に撮像された基準画像のフレームと比較画像のフレームとの間で生じる視差の頻度分布に基づいて、前記第１判定部が判定した設置物画像データを、前記基準画像及び前記比較画像の間で生じる視差の頻度分布に基づいて前記第１判定部が判定した設置物画像データとみなすこと
    を特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 前記第２棄却部による棄却結果を出力する出力部をさらに有すること
    を特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記基準画像及び前記比較画像を撮像するステレオカメラと、
    請求項１〜１１のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする物体認識装置。
13. 請求項１〜１１のいずれか１項に記載の画像処理装置が有する前記第２棄却部が前記連続物画像データを棄却させた前記基準画像データに基づいて機器を制御する制御部
    を有することを特徴とする機器制御システム。
14. １つ以上の物体が撮像された基準画像と、前記基準画像とは異なる撮像位置から撮像された比較画像との間で生じる視差の頻度分布に基づいて、前記基準画像を示す基準画像データの一部を、予め定められた方向に連続するように設置された設置物を示す設置物画像データであると判定する工程と、
    前記設置物画像データを前記基準画像データから棄却する工程と、
    前記設置物画像データを棄却させた前記基準画像データの一部を、前記設置物画像データに基づいて、前記設置物に連続する物体を示す連続物画像データであると判定する工程と、
    前記設置物画像データを棄却させた前記基準画像データから、前記連続物画像データを棄却する工程と、
    を含むことを特徴とする画像処理方法。
15. １つ以上の物体が撮像された基準画像と、前記基準画像とは異なる撮像位置から撮像された比較画像との間で生じる視差の頻度分布に基づいて、前記基準画像を示す基準画像データの一部を、予め定められた方向に連続するように設置された設置物を示す設置物画像データであると判定するステップと、
    前記設置物画像データを前記基準画像データから棄却するステップと、
    前記設置物画像データを棄却させた前記基準画像データの一部を、前記設置物画像データに基づいて、前記設置物に連続する物体を示す連続物画像データであると判定するステップと、
    前記設置物画像データを棄却させた前記基準画像データから、前記連続物画像データを棄却するステップと、
    をコンピュータに実行させるための画像処理プログラム。

Images