JP6547292B2 - 画像処理装置、機器制御システム、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、機器制御システム、および画像処理プログラムに関する。

近年において、自車両の前方の走行車両、または歩行者等の移動物体の速度と移動状態の変化とを認識し、前方車両の急ブレーキ、自車両と前方車両との間への別の車両の割り込み、歩行者の飛び出し等の危険な状態を早期発見し、ドライバーに警告、危険を予防する移動物体認識装置が開発されている。

例えば、前方の移動物体を認識するのに、２次元画像の画像フレーム間におけるオブジェクトのサイズの変化とカメラの焦点距離とにより、前方のオブジェクトに対する距離の変化を求める方法がある。しかし、この方法によるオブジェクトの距離の測定精度、例えば、移動物体の移動変化の検出精度は低いという問題がある。

そこで、特許文献１（特開２０００−２６６５３９号公報）において、ステレオカメラ装置により得られたステレオ画像から視差を計算して視差画像（距離画像ともいう）を得る車間距離計測装置が提案されている。なお、視差画像とは視差を明るさに変換することにより得られる画像をいう。

この特許文献１に開示されている車間距離計測装置は、視差画像から前方の車両を検知し、検知した車両のエッジの移動ベクトルの大きさおよび方向により、車間距離と距離の変化とを計測している。

しかし、特許文献１に開示されている車間距離計測装置は、ステレオカメラ装置で得られた視差画像から直接的に移動物体を認識しているため、移動物体の認識精度が低いという問題があった。

本発明は、上述の課題に鑑みてなされたものであり、物体の認識精度の向上を図ることが可能な画像処理装置、機器制御システム、および画像処理プログラムの提供を目的とする。

本発明は、上述した課題を解決するための手段として、距離画像を取得する距離画像取得部と、取得された距離画像に相当する撮像領域の状況を示す外的状況を認識する状況認識部と、状況認識部の認識結果に基づいた認識手法により、距離画像から認識対象の認識を行う対象認識部と、対象認識部により、前フレームにおいて認識された認識対象を追跡する追跡部と、追跡部により追跡された認識対象を、距離画像から除去する除去部と、を有し、対象認識部は、除去部により認識対象が除去された後の距離画像から、新たな認識対象の認識を行うことを特徴とする。

本発明によれば、物体の認識精度の向上を図ることができるという効果を奏する。

図１は、一般的な立体物認識処理の流れを示す図である。 図２は、実施の形態の立体物認識装置の要部のハードウェア構成図である。 図３は、シーングラフを説明するための模式図である。 図４は、車シーングラフを説明するための模式図である。 図５は、実施の形態の立体物認識装置で記述されるシーン状況モデルのシーングラフを示す図である。 図６は、実施の形態の立体物認識装置で記述される立体物モデルのシーングラフを示す図である。 図７は、実施の形態の立体物認識装置の機能ブロック図である。 図８は、実施の形態の立体物認識装置の状況予測結果に応じて認識対象の認識手法等の変更動作を説明するためのフローチャートである。 図９は、実施の形態の立体物認識装置の認識処理の全体的な流れを説明するためのフローチャートである。 図１０は、認識対象を追跡している画面の一例を示す図である。

以下、本発明に係る画像処理装置、機器制御システム、および画像処理プログラムを適用した立体物認識装置の実施の形態を、添付図面を参照しながら詳細に説明する。なお、以下の説明において、「制御対象」とは、例えば自車両等のように、実施の形態の立体物認識装置による認識結果を利用して制御される対象物を示すこととする。また、「認識対象」とは、例えば先行車両等のように、実施の形態の立体物認識装置で認識される対象物で、制御対象の制御の起因となる物体を示すこととする。

まず、図１に、一般的な立体物認識処理の流れを示す。この図１に示すように、一般的な立体物認識処理においては、ステップＳ１において、カメラ装置等で撮像された画像を取得し、ステップＳ２において、取得した画像から特徴点を抽出する。また、ステップＳ３で、特徴点から物体の認識を行い、ステップＳ４で、認識した物体の重心を、それまで認識した各物体の重心の認識履歴と照合しながら各物体の追跡を行う。各物体の認識結果で制御する制御対象が、例えば自動ブレーキシステムの場合、自動ブレーキシステムは、ステップＳ５において、認識結果に応じて、自動的にブレーキをかける等の制御を行う。

このような立体物認識処理において、フレーム毎に認識対象の認識または非認識が生ずると、例えば車両の場合、一度、非認識となった後に、次に認識したときには、自車両と先行車両との間に予想以上の開きが生じており、反対に、先行車両がブレーキをかけることで、先行車両が自車両の手前まで迫っている等の不都合を生ずる（ハンチング）。このため、このような不都合を生じないように、認識対象を安定して認識し続けることが重要となる。

しかし、物体のエッジ情報で認識対象の認識を行う場合、同じ認識対象を撮像している場合でも、センサの感度特性または照明条件等の変化により、認識対象のエッジ情報の認識または非認識が生ずる。例えば、走行中において、太陽の位置または逆光等の変化が発生した場合、認識対象が他の物体の陰に隠れた場合、または、自車両が建物等の陰に入った場合等は、認識対象の非認識が生ずる。また、例えば薄暗い状況下のため、認識対象のエッジ情報の値が、認識アルゴリズムの閾値付近の値である場合、センサ感度のばらつき等で、認識対象の非認識が生ずる。これらに対応するためには、１フレームの認識ロジックの閾値を調整する等、認識アルゴリズムのパラメータ調整が必要となる。

ここで、一般的な立体物認識処理においては、「物体を認識すること」を目的とした物体認識アルゴリズムが適用されている。この「物体を認識すること」を目的とした物体認識アルゴリズムの場合、上述のように様々な外光変化や認識対象の見え方の変化等に対する、ロバストで、認識率が最大となるパフォーマンスを得ることを目的として開発されている。すなわち、物体の見え方および画像内の位置等に関わらず、１フレーム内に存在する物体をいかに多く正確に認識できるか、ということを目的として開発されている。このため、このアルゴリズムは、１フレーム内に存在する物体に対して、認識の優先順位は無く、全ての物体を均等に認識できるように、パラメータの調整等が施されている。

しかし、認識対象となる物体は、時間的な変化の中で、見え方が変わってしまうことが多く発生する。これは自車両等の制御対象も自律的に動いており、また、先行車両等の認識対象も自律的に動いているためである。例えば、先行車両が路面のカーブに沿って走行している場合、または、先行車両が隣接する車線に車線変更した場合等である。このような状況下では、先行車両の見え方が変化するため、先行車両の非認識が多く発生する。そして、このような状況においても先行車両を認識可能なように認識アルゴリズムのパラメータを調整すると、例えば直線道路上の先行車両の認識を行っている場合でも非認識が発生する等のように、通常の状況においても非認識または誤認識が発生する不都合を生ずるようになる。

このように、様々な状況下において、全ての認識対象を認識しようとすると（＝認識対象の認識を目的としてパラメータの調整等を行った認識アルゴリズムは）、非認識と誤認識のトレードオフが発生し、膨大な開発工数および開発時間をかけて非認識と誤認識のバランス設計を強いられることとなる。また、このようなバランス設計でパラメータの調整等を行ったにもかかわらず、通常の状況においても、非認識または誤認識が発生する不都合を生ずる。

一方、例えば自動車の自動ブレーキシステム等の制御は、物体の一度の認識結果で行われるわけではなく、時間の経過と共に連続して認識した認識結果に基づいて、連続的に制御が行われる。このため、制御対象の制御を行う場合、制御の起因となる認識対象を、確実に認識して追尾することが重要となる。これは、自動車だけではなく、ロボット、農機、および重機等においても同様である。すなわち、制御対象を制御することを目的とする場合は、全ての物体を均等に認識できればよいと言うわけではなく、制御の起因となる認識対象を、確実に認識して追尾することが重要となる。

また、制御対象の制御を目的とした物体認識を行う場合、
（１）認識対象には優先度を設けて認識を行うこと、
（２）一度認識した認識対象を非認識とすること無く、連続して認識（追尾：捕捉）可能とすること、
（３）認識状態が不安定なものは制御対象とはしないこと、
（４）非認識および誤認識の原因を特定可能とすること、
が好ましい。

（１）の優先度としては、目前の認識対象は優先度が高い認識対象となる。また、端の認識対象は、優先度が低い認識対象となる。（２）については、一度認識した対象を非認識としてしまうと、十分適切な制御を行うことができない。（３）の制御対象は、前述のハンチング等の不具合が生じる。（４）の原因の特定は、物体認識制御のプログラムの修正等を行う際に必要となる。例えば、自動車のブレーキを制御する走行安全システムにおいて、誤ブレーキ動作が発生した場合、原因を特定可能とすることは、プログラムの修正等を図るためにも重要なことである。このため、学習等の処理状態が不透明なアルゴリズムは、物体認識制御には採用し難い。また、上述したバランス設計においては、非認識が多少多くなっても誤認識を防止する方向に、物体認識制御の認識アルゴリズムが調整されることが多い。換言すると、誤認識による誤動作を防止して安全性を高めるように、物体認識制御の認識アルゴリズムが調整されることが多い。

このようなことから、実施の形態の立体物認識装置は、まず、制御対象（例えば自車両）の走行速度等の「内的状況」、既認識された認識対象（先行車両、壁、道路等）の有無等の「外的状況」から、現在の状況を認識する。現状を認識できれば、例えば先行車両の陰から自車両の前に人が出てくること等が予測（次の事象を予測）できる。このため、以後の制御に予測結果を反映させることができる。例えば、安定的に認識されている認識対象は優先度が高いと判断し、多少の輝度変化等が発生しても認識できるように閾値を下げたシンプルなアルゴリズムを適用する。また、道路のカーブ等で認識対象（先行車両）の形状が変化しまたは認識し難くなった場合でも、これらが予測した変化である場合は、積極的に認識を行う。すなわち、実施の形態の立体物認識装置は、複数のアルゴリズムまたはアルゴリズムのウェイトを、状況判断や予測に基づいて可変または選択して用いる。これにより、物体の認識精度を飛躍的に向上させることができる。

また、閾値を変化させる以外に、以下のアルゴリズムを実行してもよい。すなわち、通常の認識技術においては、例えば路面上に存在する物体であるか否か、対称性があるか否か等の複数のアルゴリズムによるチェックが行われる。しかし、安定的に認識されている対象に対しては、これらのアルゴリズムのうち、一部のアルゴリズムの実行を省略してもよい。すなわち、実施の形態の立体物認識装置は、撮像領域から認識される外的状況及び未来の外的状況に応じて、異なる認識手法を用いている。また、実施の形態の立体物認識装置は、所定の撮像フレームにおいて、前フレームで認識した既存物体の追跡を行った後に、既存物体を削除したうえで新規物体の認識を行う。これにより、安定的に認識されている既存物体を高精度に追跡し続け、新規物体の認識精度も高めることができる。

図２に、実施の形態の立体物認識装置のハードウェア構成図を示す。この図２に示すように、実施の形態の立体物認識装置は、ステレオカメラ部１と、情報処理部２とを有する。

ステレオカメラ部１は、左目用となる第１のカメラ部１ａと、右目用となる第２のカメラ部１ｂとの、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部１ａ，１ｂは、それぞれレンズ５、画像センサ６、センサコントローラ７を備えている。画像センサ６は、例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサとなっている。ＣＣＤは、「Charge Coupled Device」の略記である。また、ＣＭＯＳは、「Complementary Metal-Oxide Semiconductor」の略記である。センサコントローラ７は、画像センサ６の露光制御、画像読み出し制御、外部回路との通信、および画像データの送信制御等を行う。

情報処理部２は、データバスライン１０、シリアルバスライン１１、ＣＰＵ１５、ＦＰＧＡ１６、ＲＯＭ１７、ＲＡＭ１８、シリアルＩＦ１９、およびデータＩＦ２０を有している。ＣＰＵは、「Central Processing Unit」の略記である。ＦＰＧＡは、「Field-Programmable Gate Array」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＲＡＭは、「Random Access Memory」の略記である。ＩＦは、「interface」の略記である。

上述のステレオカメラ部１は、データバスライン１０およびシリアルバスライン１１を介して情報処理部２と接続されている。ＣＰＵ１５は、情報処理部２全体の動作、画像処理、および画像認識処理を実行制御する。各カメラ部１ａ，１ｂの画像センサ６で撮像された撮像画像の輝度画像データは、データバスライン１０を介して情報処理部２のＲＡＭ１２に書き込まれる。ＣＰＵ１５またはＦＰＧＡ１６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン１１を介して送受信される。

ＦＰＧＡ１６は、ＲＡＭ１８に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ１８に再度書き込む。ＣＰＵ１５は、ステレオカメラ部１の各センサコントローラ７の制御、および情報処理部２の全体的な制御を行う。また、ＲＯＭ１７には、後述する状況認識、予測、立体物認識等を実行するための立体物認識プログラムが記憶されている。立体物認識プログラムは、画像処理プログラムの一例である。ＣＰＵ１５は、データＩＦ２０を介して、例えば自車両のＣＡＮ情報（車速、加速度、舵角、ヨーレート等）をパラメータとして取得する。そして、ＣＰＵ１５は、ＲＯＭ１７に記憶されている立体物認識プログラムに従って、ＲＡＭ１８に記憶されている輝度画像および視差画像を用いて、状況認識等の各種処理を実行制御することで、例えば先行車両等の認識対象の認識を行う。ＣＡＮは、「Controller Area Network」の略記である。

認識対象の認識データは、シリアルＩＦ１９を介して、例えば自動ブレーキシステム、または、自動速度制御システム等の外部機器へ供給される。自動ブレーキシステムは、認識対象の認識データを用いて自車両のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて自車両の速度制御を行う。

次に、実施の形態の立体物認識装置は、人および車等の立体物、および、現在の状況をシーングラフで記述するようになっている。図３に、シーングラフの基本構造を、図４に、車のシーングラフの一例を示す。この図３および図４からわかるように、シーングラフは、木構造で表現される。また、シーングラフは、例えばＢＩＦＳまたはＶＲＭＬ等の言語を用いて記述される。ＢＩＦＳは、「Binary Format for Scene description」の略記である。また、ＶＲＭＬは、「Virtual Reality Modeling Language」の略記である。シーングラフでは、ノードと呼ばれる構成単位を階層的に組み合わせることで一つのグループを構成し、それらをまとめてシーン（状況）を構成する。ノードとは、光源、形状、材質、色、座標等をフィールドとして有する状況の構成単位であり、さらに下層のノードを持つことで階層化された記述となっている。

図５に、現在の状況を記述したシーングラフである「シーン状況モデル」の一例を示す。この図５のシーン状況モデルは、自車両の前方監視に有用な状況構成を記述した例である。この図５に示す例は、「背景物」、「道路」、および「自車」の各ノードが記述されている。また、「背景物」のノードの下層には、「側壁」、「正面壁」、および「屹立物」のノードが記述されている。各ノードは、例えば３次元位置、重心、相対速度、サイズ、信頼度等のエンティティを有する。また、ノードによっては、例えば道路の路面高さ、路端位置（走行可能領域）、またはカーブ曲率等の、ノード特有の情報を有する場合もある。

図６に、立体物を記述したシーングラフである「立体物モデル」の一例を示す。制御対象のブレーキ制御またはステアリング制御等による衝突回避を目的とするアプリケーションにおいては、最大の認識対象ターゲットは、人や車を含む立体物のグループに含まれる認識対象となる。実施の形態の立体物認識装置は、上述のシーン状況モデルとは別に、立体物モデルを記述するようになっている。この図６に示す例は、「車」、「人」および「その他の物体」の各ノードが記述されている。立体物モデルのノードは、例えば３次元位置、重心、相対速度、サイズ、信頼度等の、上述の背景物のエンティティと共通の構造を有し、また、詳細な立体物種別、および移動方向等のエンティティも有するように記述される。立体物種別としては、例えば立体物が車である場合は、大型車、または普通車等の種別が記述される。また、例えば立体物が人である場合は、大人、または子供等の種別が記述される。なお、上述の「シーン状況モデル」および「立体物モデル」は、予め定義され、ＲＯＭ１７に記憶されている。シーン状況モデルで記述されるシーンは、具体的には、高速道路やスクールゾーン等の状況である。また、立体物モデルで記述される各立体物は、具体的には、標識や信号等の静止物および車や人等の動体物である。

自動ブレーキシステム、または、自動速度制御システム等の制御対象においては、図６を用いて説明した立体物の認識結果が、図５を用いて説明したシーン状況モデルのＣＡＮ情報に含まれる位置および速度から計算して危険と判断された際に、制御が実行される。また、背景物との衝突の危険が計算された場合も制御が実行される。実施の形態の立体物認識装置は、次フレームにおける認識対象の優先度を、自車両の位置と道路情報を参酌し、認識された立体物（含背景物）に対する衝突の可能性を計算して決定する。すなわち、優先度は、自車両との衝突可能性が高い立体物に対して高く設定され、自車両との衝突可能性が低い立体物に対しては低く設定される。

図５および図６に示したシーン状況モデルおよび立体物モデルは、ステレオカメラ部１で撮像される撮像画像のフレーム毎に認識されると共に、履歴情報として記録およびアップデートされ、全体が次の動作の予測に利用される。

図７に、実施の形態の立体物認識装置のＣＰＵ１５が立体物認識プログラムに従って動作することで実現される各機能の機能ブロック図を示す。図７に示すように、ＣＰＵ１５は、３次元情報化部３２、車両情報（ＣＡＮ情報）取得部３３、シーン状況認識部３４、およびシーン状況更新部３５として機能する。また、ＣＰＵ１５は、状況予測部３６、および追跡認識部３７、既検出除去部３８、新規物体検出部３９、および立体物更新部４０として機能する。なお、ＦＰＧＡ１６は、図７に示す視差画像生成部３１として機能し、上述のように視差画像（距離画像）を生成する。また、これら各部３１〜４０は、全てをソフトウェアで実現してもよいし、全てまたは一部をハードウェアで実現してもよい。

視差画像生成部３１は、距離画像取得部の一例である。シーン状況認識部３４は、状況認識部の一例である。追跡認識部３７及び新規物体検出部３９は、対象認識部の一例である。車両情報取得部３３は、内的状況取得部の一例である。既検出除去部３８は、除去部の一例である。

このような立体物認識装置において、ステレオカメラ部１の各カメラ部１ａ，１ｂで撮像された、例えば前方の先行車両および風景等の各撮像画像がＲＡＭ１８に記憶されると、視差画像生成部３１が、各撮像画像の視差を明るさに変換した、いわゆる視差画像（距離画像）を生成し、ＲＡＭ１８に記憶する。３次元情報化部３２は、ＲＡＭ１８に記憶された視差画像から、３次元空間の情報を備えた３次元画像を生成し、ＲＡＭ１８に記憶する。なお、この例においては、距離画像は、各カメラ部１ａ，１ｂの各撮像画像から生成された視差画像とした。この他、一例ではあるが、各立体物にレーダー波を照射し、立体物に反射されたレーダー波を受波するまでの時間から算出した、物体との間の距離を示す距離情報を、視差画像の代わりに用いてもよい。なお、本明細書においては、視差画像を含め、距離情報及び画像情報が関連付けられたものを距離画像と定義する。

シーン状況認識部３４は、車両情報取得部３３で取得された現在の車両の状態（制御対象となる機器の動作状況を示す内的状況）を示すＣＡＮ情報から自車両の速度および移動方向等を認識する。また、シーン状況認識部３４は、３次元画像に含まれる背景物、道路、先行車両、人等の外的状況を認識する。シーン状況更新部３５は、シーン状況認識部３４の認識結果から、図５を用いて説明した現在の状況を示すシーン状況モデルを生成し、ＲＡＭ１８に記憶する。このような現在の状況の認識は、画像のフレーム毎に行われる。シーン状況更新部３５は、現在の状況の認識が行われる毎に、ＲＡＭ１８のシーン状況モデルを更新する。

次に、状況予測部３６は、現在の車両の状態を示すＣＡＮ情報、ＲＡＭ１８上で更新された現在の状況を示すシーン状況モデル、および現在、認識している立体物以外の人、車両等の新たな立体物の現在の状況を示す立体物モデル（図６参照）を用いて、自車両、人、先行車両、側壁、道路等の状況を予測して予測情報を生成する。

追跡認識部３７は、ＲＡＭ１８に記憶されている現在の視差画像内の立体物を認識すると共に、優先度が高い順に、いくつかの立体物を認識対象として認識する。追跡認識部３７は、例えば自車両の目前の認識対象は優先度が高い認識対象となる。また、フレーム端の認識対象は、優先度が低い認識対象となる。

また、追跡認識部３７は、ＲＡＭ１８に記憶されている現在の状況を示すシーン状況モデル、立体物モデル、および状況予測部３６からの予測結果を用いて、認識対象の認識手法で用いている閾値を変化させ、または、異なる認識手法を適用する。例えば、安定的に認識されている認識対象は優先度が高いと判断し、多少の輝度変化等が発生しても認識できるように閾値を下げたシンプルなアルゴリズムを適用する。また、道路のカーブ等で認識対象（先行車両）の形状が変化しまたは認識し難くなった場合でも、これらが予測した変化である場合は、積極的に認識を行う。

追跡認識部３７は、複数のアルゴリズムまたはアルゴリズムのウェイトを、状況判断や予測に基づいて可変または選択して認識対象の認識を行う。これにより、微妙な輝度変化によりフレーム毎に認識または非認識となっていた認識対象を、安定して認識し続ける（追跡）することができる。また、先行車両が道路のカーブを走行することで、形状が変化して見づらくなった場合でも、安定して認識し続けることができる。

次に、既検出除去部３８は、ＲＡＭ１８に記憶されている現在の視差画像内の物体のうち、追跡認識部３７で追跡している認識対象を除去し、更新視差画像としてＲＡＭ１８に記憶する。

新規物体検出部３９は、追跡認識部３７で追跡している認識対象を除去した更新視差画像内の車両または人等の立体物を認識することで、追跡認識部３７で現在、追跡している認識対象とは異なる新たな立体物を認識する。立体物更新部４０は、ＲＡＭ１８に記憶されている図６に示した立体物モデルに、新規物体検出部３９で認識された新たな立体物を反映させることで、ＲＡＭ１８に記憶されている立体物モデルを更新する。状況予測部３６は、このように新たな立体物が反映されて更新された立体物モデルを用いて、状況の予測を行う。

また、立体物更新部４０は、追跡認識部３７からの認識対象の認識結果を、例えば自動ブレーキシステム、または、自動速度制御システム等の制御対象となる外部機器へ供給する。これにより、認識対象の認識結果に応じて、自動的に車両のブレーキがかけられ、または、車両の走行速度が自動的に調整される。

次に、状況予測部３６における予測処理の詳細を説明する。状況予測部３６は、「認識対象物位置」、「認識対象物形状変化率」、および「認識対象物被遮蔽率」を算出する。追跡認識部３７は、これらの演算結果を認識対象の状況予測結果として用いる。

まず、認識対象物位置は、カルマンフィルタまたはベイズフィルタ等を用いて算出することができる。また、ある時刻ｔにおける自車両の位置、速度x_f(t)、v_f(t)、および先行車両等の位置、速度x_p(t)、v_p(t)は、以下の数式で算出される。

v_f(t)=v_f(t-1)+a_ft x_f(t)=x_f(t-1)+v_ft+((a_ft²)/2)
v_p(t)=v_p(t-1)+a_pt x_p(t)=x_p(t-1)+v_pt+((a_pt²)/2)

認識対象物の自車両からの相対的実座標位置は、「x_p(t)−x_f(t)」で表すことができる。「x_p(t)−x_f(t)」の数式で算出された自車両からの相対的実座標位置の３次元点を「（X_p，Y_p，Z_p）」とマップすると、時刻ｔにおける認識対象物の撮像内位置は、例えば以下の数式で算出される。

x_predict＝f(X_p/Z_p)
y_predict＝f(Y_p/Z_p)

ここで、「x_predict，y_predict」を、撮像画像における認識対象物の重心位置と仮定すると、この対象物認識における予測処理領域の面積P_areaは、重心位置を中心に認識対象物のサイズ「x_width，y_height」を用いて、物体全体を包含しつつ、例えば以下の数式で示すように設定される。

P_area＝(x_width＋ω₁/R＋ω₂E)×(y_height＋ω₁/R＋ω₂E)

この数式において、「Ｒ」は、ｔ−１までの認識結果の信頼度を示し（安定的に認識されていた場合、高い信頼度）、「Ｅ」は認識誤差、「ω₁，ω₂」は、これらを反映させる重みを示す。この実施の形態においては、一例としたｘ方向およびｙ方向共に同じ重みを適用している。ｘ方向およびｙ方向、それぞれ異なる重みを適用してもよい。信頼度が低い場合または認識誤差が高い場合は、より大きな範囲で認識を行う。なお、信頼度としては、対象が連続して認識されたフレーム数等を用いれば良い。

次に、認識対象物形状変化率「Δ_obj」は、例えば「X_P，Y_P，Z_P」をもとに、図６を用いて説明した立体物の移動方向（X_P，Y_P，Z_P）、および図５を用いて説明した道路情報から、この位置にある道路曲率（C(X_P，Y_P，Z_P)）、傾斜率（S(X_P，Y_P，Z_P)）を計算し、以下の数式に示すように、これらを乗算して算出される。なお、道路曲率及び傾斜率の算出には、特許文献２（特開２００４−１０２４２１号公報）又は特許文献３（特開２０１４−００６８８２号公報）に記載の手法及びその他公知の手法が適宜用いられる。

Δ_obj＝C((X_P＋X_v)，(Y_P＋Y_v)，(Z_P＋Z_v))×S((X_P＋X_v)，(Y_P＋Y_v)，(Z_P＋Z_v))

実装する際には、「Ｃ」および「Ｓ」に対して重み付けをしてもよく、また、正規化処理を施すことが望ましい。

同様に、認識対象物被遮蔽率「Ｈ_obj」は、例えば「X_P，Y_P，Z_P」、「X_V，Y_V，Z_V」をもとに、図５を用いて説明した背景情報から、この位置付近にある背景物および他の立体物との位置関係を計算し、認識対象物の動きの軌跡から、背景物が認識対象物の前方に位置することとなるか否かを予測することで計算される。この予測は、下記の関数で表すことができる。

Ｈ_obj＝Func(ΣD_bo，ΣD_oo，ΣR_info)

ここで、「D_bo」は、「（X_P，Y_P，Z_P）、（X_V，Y_V，Z_V）」をもとに、背景物との位置関係の差分を算出した、背景物との距離を示す変数である。「D_bo」の値は、位置関係が重複していた場合、高い値となる。「D_oo」は、「（X_P，Y_P，Z_P）、（X_V，Y_V，Z_V）」をもとに、他の立体物との位置関係の差分を算出した変数である。「D_oo」の値は、位置関係が重複していた場合、高い値となる。「R_info」は、図５を用いて説明した道路情報（上述の「Ｃ」および「Ｓ」をまとめたもの）である。なお、Ｈ_objは、方向の情報を含むベクトル量である。どの方向から、どの程度遮蔽されるかを算出することで、遮蔽後の物体の形状を特定できる。また、状況予測部３６は、これらに加えて、予測結果に基づき、認識対象物が他の認識対象物で遮蔽される割合を計算する。

これにより、認識対象物が他の認識対象物で遮蔽された際に認識可能となる認識対象物の形状がわかるため、認識対象物の認識率の向上を図ることができる。また、認識対象物が非認識となることなく、認識対象物を連続的に認識して追従可能とすることができる（認識対象物を見失うことなく追従可能とすることができる）。

このように状況予測部３６は、例えばカルマンフィルタ等の、従来の追跡手法で用いられている認識対象物の位置予測と共に、状況を認識することで、認識対象物形状変化率および認識対象物被遮蔽率を算出可能となる。このため、例えば認識対象物形状変化率または認識対象物被遮蔽率が低い場合は、認識対象の認識手法を、シンプルで積極的に認識対象を認識する認識手法に変更できる。また、認識対象物形状変化率または認識対象物被遮蔽率が高い場合には、算出された認識対象物形状変化率または認識対象物被遮蔽率に合致した認識手法を選択して用いることができる。

次に、図８のフローチャートに、追跡認識部３７が、状況予測部３６からの予測結果に応じて、認識対象の認識手法の変更または閾値の変更等を行う動作の流れを示す。追跡認識部３７は、状況予測部３６により、上述の認識対象物位置、認識対象物形状変化率、および認識対象物被遮蔽率が算出されたタイミングで、図８のフローチャートにステップＳ１１から処理を開始する。なお、認識対象物位置、認識対象物形状変化率、および認識対象物被遮蔽率は、フレーム毎に算出される。このため、追跡認識部３７は、図８のフローチャートに示す動作をフレーム毎に繰り返し実行する。

ステップＳ１１では、追跡認識部３７が、状況予測部３６により算出された認識対象物形状変化率が、所定の閾値よりも高いか否かを判別する。認識対象物形状変化率が閾値よりも高いということは、現在、認識している認識対象の形状が、大きく変化していることを示す。このため、追跡認識部３７は、認識対象物形状変化率が閾値よりも高い場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２に処理を進める。そして、例えば認識対象が先行車両の場合、追跡認識部３７は、道路のカーブ用または坂道の道路用の認識手法を選択し、または、現在、実行している認識手法の閾値を、道路のカーブ用または坂道の道路用の閾値に変更制御する。これにより、先行車両等の認識対象が、道路のカーブを走行し、または、坂道を走行することで認識している形状が変化した場合でも、確実に捕捉して認識し続けることができる。

次に、ステップＳ１１で認識対象物形状変化率が所定の閾値よりも低いものと判別した場合（ステップＳ１１：Ｎｏ）、追跡認識部３７は、処理をステップＳ１３に進め、認識対象物被遮蔽率が、所定の閾値よりも高いか否かを判別する。例えば、現在の認識対象となっている先行車両の認識対象物被遮蔽率が閾値よりも高いということは、先行車両と自車両との間に、壁または他の車両等の他の立体物が存在することを意味している。このため、認識対象物被遮蔽率が所定の閾値よりも高い場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４に処理を進め、認識対象の遮蔽面積に対応する認識手法を選択し、または、現在、実行している認識手法の閾値を、認識対象の遮蔽面積に対応する閾値に変更制御する。これにより、先行車両が物陰に隠れ、または、他の車両の陰に隠れた場合でも、確実に捕捉して認識し続けることができる。

次に、ステップＳ１３で、認識対象物被遮蔽率が所定の閾値よりも低い場合（ステップＳ１３：Ｎｏ）、追跡認識部３７は、処理をステップＳ１５に進め、立体物が安定的に検出できているか否かを判別する。具体的には、追跡認識部３７は、例えば画像形状（輝度画像）、または（および）視差形状（視差画像）が、時間的に略々変化なく検出できているか否かを判別することにより、立体物が安定的に検出できているか否かを判別する。そして、追跡認識部３７は、立体物が安定的に検出できているものと判別した場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に処理を進め、立体物が安定的に検出できていないものと判別した場合（ステップＳ１５：Ｎｏ）、ステップＳ１７に処理を進める。

立体物が安定的に検出できているものと判別することで、処理をステップＳ１６に進めると、追跡認識部３７は、現在、認識対象の認識手法で用いている閾値を所定分低い値の閾値に変更する。これにより、認識対象の予測位置等を用いて、認識対象を、より正確に認識して追跡可能とすることができる。

また、立体物が安定的に検出できていないものと判別することで、処理をステップＳ１７に進めると、追跡認識部３７は、現在、認識対象の認識手法で用いている閾値を、標準値（初期値）に変更する。これにより、認識対象の予測位置等を用いて、標準となる閾値で認識対象の認識を行い、認識対象の安定した追跡を図る。

なお、図８のフローチャートの説明において、認識対象物形状変化率に応じた処理と、認識対象物被遮蔽率に応じた処理とは、それぞれ別個独立に実施されることとして説明した。しかし、これら各処理を複合してもよいし、これら各処理を含めた統合的判断処理を先に行ってもよい。

以上説明した実施の形態の認識処理の全体的な流れを図９のフローチャートを用いて、再度説明する。すなわち、実施の形態の立体物認識装置は、まず、図９のフローチャートのステップＳ２１に示すように、シーン状況認識部３４が、視差画像生成部３１で取得された距離画像に相当する撮像領域の状況を示す外的状況を認識する。

次に、ステップＳ２２に示すように、状況予測部３６が、シーン状況認識部３４の認識結果から、未来（次フレーム）の外的状況を予測する。次に、ステップＳ２３に示すように、追跡認識部３７が、距離画像から認識対象を認識するための、一つまたは複数の認識手法のうち、状況予測部３６の予測結果に対応する認識手法を選択して決定する。

次に、ステップＳ２４に示すように、追跡認識部３７が、決定された認識手法を用いて既存物体の追跡を行う。また、追跡認識部３７は、ＲＡＭ１８に記憶されている現在の状況を示すシーン状況モデル、立体物モデル及び状況予測部３６からの予測結果に応じて、決定された認識手法で用いている閾値を変化させ又は異なる認識手法を用いて、既存物体の追跡を行う。

次に、ステップＳ２５に示すように、既検出除去部３８が、ＲＡＭ１８に記憶されている現在の視差画像内の物体のうち、追跡認識部３７で追跡している認識対象を除去し、更新視差画像としてＲＡＭ１８に記憶する。そして、ステップＳ２６に示すように、新規物体検出部３９が、追跡認識部３７で追跡している認識対象を除去した更新視差画像内の車両または人等の立体物を認識することで、追跡認識部３７で現在、追跡している認識対象とは異なる新たな立体物を認識する。

立体物更新部４０は、上述のようにＲＡＭ１８に記憶されている図６に示した立体物モデルに、新規物体検出部３９で認識された新たな立体物を反映させることで、ＲＡＭ１８に記憶されている立体物モデルを更新する。状況予測部３６は、このように新たな立体物が反映されて更新された立体物モデルを用いて、状況の予測を行う。

図１０は、認識対象を追跡している画面の一例を示す図である。図１０の（ａ）の符号を付した図は、ステレオカメラ部１で撮像されたステレオ画像を示している。また、図１０の（ｂ）の符号を付した図は、視差画像生成部３１で生成された視差画像を示している。図１０の（ａ）の符号を付した通常の撮像画像を参照しながら、図１０の（ｂ）の符号を付した視差画像を見ていただきたいのであるが、シーン状況認識部３４は、道路の縁石５０，５１を認識することで、縁石５０，５１の間は、自車両が走行中の道路であることを認識する。また、縁石５０，５１に沿って壁部５２，５３が形成されていることを認識する。また、道路上において、自車両の前方を走行する先行車両５４〜５６を認識する。図１０（ａ）の符号を付した図からわかるように、先行車両５４は、乗り合いバスである。また、乗り合いバスと自車両との間を走行中の先行車両５５は、オートバイである。また、この例において乗り合いバスとなっている先行車両５４の前方の先行車両５６は、軽自動車である。

このような状況において、従来、先行車両５６の軽自動車のように、遠方の車両は、認識および非認識が繰り返され、安定した認識および追跡は困難であった。しかし、実施の形態の立体物認識装置の場合、上述の予測結果を用いて安定して認識し続けることができる（追跡することができる）。また、この例の場合、オートバイである先行車両５５に遮蔽された乗り合いバス（先行車両５４）も、上述の認識対象物被遮蔽率等を計算した予測結果を用いることで、オートバイの動きおよび乗り合いバスの動きを把握しながら安定して認識し続けることができる（追跡することができる）。

以上の説明から明らかなように、実施の形態の立体物認識装置は、まず、自車両等の制御対象物が、現在どのような状況下にあるか、既検出された立体物があるか、それらが現在の状況下でどのような状態にあるか、などを状況認識する。すなわち、現在の状況を認識すると共に、未来的な状況を予測し、予測結果に応じた認識手法を選択的に用いて認識対象の認識を行い、または、予測結果に応じて認識手法で用いている閾値等を変更して認識対象の認識を行う。これにより、微妙な輝度変化によってフレーム毎に認識／非認識を繰り返す立体物でも、安定して認識し続けることができる。また、先行車両がカーブした道路を走行することで、先行車両の形状が変化し、または、壁等の陰になり見づらくなった場合でも、安定して認識し続けることができる。

上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ステレオカメラ部
２ 情報処理部
５ レンズ
６ 画像センサ
７ センサコントローラ
１０ データバスライン
１１ シリアルバスライン
１５ ＣＰＵ
１６ ＦＰＧＡ
１７ ＲＯＭ
１８ ＲＡＭ
１９ シリアルＩＦ
２０ データＩＦ
３１ 視差画像生成部
３２ ３次元情報化部
３３ 車両情報（ＣＡＮ情報）取得部
３４ シーン状況認識部
３５ シーン状況更新部
３６ 状況予測部
３７ 追跡認識部
３８ 既検出除去部
３９ 新規物体検出部
４０ 立体物更新部

特開２０００−２６６５３９号公報 特開２００４−１０２４２１号公報 特開２０１４−００６８８２号公報

Claims (8)

1. 距離画像を取得する距離画像取得部と、
   取得された前記距離画像に相当する撮像領域の状況を示す外的状況を認識する状況認識部と、
   前記状況認識部の認識結果に基づいた認識手法により、前記距離画像から認識対象の認識を行う対象認識部と、
   前記対象認識部により、前フレームにおいて認識された前記認識対象を追跡する追跡部と、
   前記追跡部により追跡された認識対象を、前記距離画像から除去する除去部と、を有し、
   前記対象認識部は、前記除去部により前記認識対象が除去された後の前記距離画像から、新たな認識対象の認識を行うこと
   を特徴とする画像処理装置。
2. 前記状況認識部の認識結果から、次フレームの前記外的状況を予測する状況予測部を、さらに有し、
   前記対象認識部は、前記状況予測部の予測結果に応じた認識手法により、前記認識対象の認識を行うこと
   を特徴とする請求項１に記載の画像処理装置。
3. 前記対象認識部は、距離画像から認識対象を認識するための、一つまたは複数の認識手法のうち、前記状況予測部の予測結果に対応する認識手法を選択し、認識対象の認識に用いている認識手法の閾値を、状況予測部の予測結果に対応する閾値に変更し、選択した認識手法および変更した閾値を用いて認識対象の認識を行うこと
   を特徴とする請求項２に記載の画像処理装置。
4. 制御対象となる機器の動作状況を示す内的状況を取得する内的状況取得部を、さらに有し、
   前記状況予測部は、前記状況認識部の認識結果、および前記内的状況から、前記次フレームの状況を予測すること
   を特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記状況予測部は、認識対象の位置、認識対象の形状の変化率、および認識対象の被遮蔽率をそれぞれ算出して、前記予測結果として出力すること
   を特徴とする請求項２から請求項４のうち、いずれか一項に記載の画像処理装置。
6. 前記対象認識部は、優先度の高い順に前記認識対象の認識を行うこと
   を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
7. 距離画像を取得する距離画像取得部と、
   取得された前記距離画像に相当する撮像領域の状況を示す外的状況を認識する状況認識部と、
   前記状況認識部の認識結果に基づいた認識手法により、前記距離画像から認識対象の認識を行う対象認識部と、
   前記対象認識部により、前フレームにおいて認識された前記認識対象を追跡する追跡部と、
   前記追跡部により追跡された認識対象を、前記距離画像から除去する除去部と、を有し、
   前記対象認識部は、前記除去部により前記認識対象が除去された後の前記距離画像から新たな認識対象の認識を行うこと
   を特徴とする機器制御システム。
8. コンピュータを、
   距離画像を取得する距離画像取得部と、
   取得された前記距離画像に相当する撮像領域の状況を示す外的状況を認識する状況認識部と、
   前記状況認識部の認識結果に基づいた認識手法により、前記距離画像から認識対象の認識を行う対象認識部と、
   前記対象認識部により、前フレームにおいて認識された前記認識対象を追跡する追跡部と、
   前記追跡部により追跡された認識対象を、前記距離画像から除去する除去部と、として機能させ、
   前記対象認識部は、前記除去部により前記認識対象が除去された後の前記距離画像から新たな認識対象の認識を行うこと
   を特徴とする画像処理プログラム。