JP4740038B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に係り、特に、撮像画像中から特定のオブジェクトを抽出可能な画像処理装置に関する。

近年、ＴＶカメラやＣＣＤ（Charge Coupled Device）カメラ等の撮像手段で被写体や風景等を撮像し、得られた画像に画像処理を施して、画像中から特定のオブジェクトを抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献１〜５等参照）。

このような画像処理装置では、動画像中から特定対象を抽出するために、例えば、水平方向に離間した２台のＣＣＤカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、パターンマッチング処理によりデータベースに登録されているモデルと照合して特定対象を推定したり、或いは画像をオブジェクトごとに領域分割してオブジェクトの種類を識別する等の画像処理方法が採られている。

また、各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施して画像中から特定対象を抽出する自動構築法ＡＣＴＩＴ（Automatic Construction of Tree-structural Image Transformations）と呼ばれる画像処理技術が開発されている（非特許文献１参照）。
特開平５−２６５５４７号公報 特開平１０−１１５８５号公報 特開２００２−８３２９７号公報 特開平９−２７１０１４号公報 特開２００５−６３３０７号公報 青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４

これらの従来の画像処理装置や画像処理方法では、画像中である程度の領域を占めるオブジェクトを抽出することは可能である。すなわち、例えば風景を撮像した画像中からオブジェクトとして空や建物、車両、人物等を大まかに抽出することは可能である。しかしながら、オブジェクトのより詳細な特定の属性、すなわち、例えば人物が撮像手段の方を向いているか或いは撮像手段に背を向けているかや、人物が大人か子供か等の属性まで抽出することは必ずしも容易ではない。

特に、撮像手段が乗用車等の車両に搭載される場合、価格の高騰を抑えるために比較的安価な撮像手段が用いられるが、そのような撮像手段は通常、解像度がさほど高くなく、得られる画像データにノイズが含まれることが多いため、前記のようなオブジェクトの特定の属性の抽出はより困難になる。

しかし、前記のようなオブジェクトのより詳細な特定の属性が抽出できれば、例えば、自車両前方の歩行者が自車両に背を向けている場合には自車両が接近していることを認識していない可能性が高いから歩行者が自車両の方を向いている場合よりも警戒度を高め、或いは歩行者が子供であれば大人である場合よりも警戒度を高める等の措置を取ることが可能となり、車両の走行安全性を向上させることが可能となる。

本発明は、このような事情に鑑みてなされたものであり、車載の比較的安価な撮像手段で撮像された画像中からオブジェクトの特定の属性を的確に抽出し識別することが可能な画像処理装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
画像処理装置において、
車両に搭載され、自車両進行路を撮像する撮像手段と、
前記撮像手段により撮像された画像から特定のオブジェクトを含む画像領域を抽出するオブジェクト抽出部と、
抽出された前記画像領域に含まれる前記オブジェクトの特定の属性を投票するための複数の自己組織化マップを備える並列処理部と、
前記複数の自己組織化マップによる投票結果を統合して前記オブジェクトの特定の属性を識別する統合部とを備え、
前記自己組織化マップに属する複数のユニットは、予め前記オブジェクトの特定の属性に応じてクラス分けされており、
前記並列処理部は、前記複数の自己組織化マップにそれぞれ１つずつ画像フィルタを対応させ、前記画像フィルタによる前記画像領域に対する前処理により生成されたベクトルを前記自己組織化マップに入力し、それぞれ勝者ユニットを決定し、各勝者ユニットが属するクラスに対応付けられた前記オブジェクトの特定の属性を投票結果として出力させることを特徴とする。

第２の発明は、第１の発明の画像処理装置において、前記並列処理部は、前記勝者ユニットの決定において、入力されるベクトルの成分と、それに対応する自己組織化マップの各ユニットに属する参照ベクトルの成分との差の絶対値が予め設定された値以上となる成分がある場合には、その成分についてはその差の絶対値を前記予め設定された値に圧縮して入力されるベクトルと自己組織化マップ上の参照ベクトルとの距離を計算することを特徴とする。

第３の発明は、第１または第２の発明の画像処理装置において、前記特定のオブジェクトは、人物であり、前記オブジェクトの特定の属性は、人物が自車両の方を向いていることおよび自車両に背を向けていることであることを特徴とする。

第４の発明は、第１から第３のいずれかの発明の画像処理装置において、前記オブジェクト抽出部により抽出された前記画像領域は、その大きさ、前記画像領域に含まれる各画素の輝度の平均および分散を正規化されて前記並列処理部における処理に付されることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の画像処理装置において、前記自己組織化マップの学習を、予め前記オブジェクトの特定の属性のクラスが分かっている画像領域を用いて教師あり学習により行うことを特徴とする。

第６の発明は、第１から第５のいずれかの発明の画像処理装置において、前記自己組織化マップに属する複数のユニットは、サポートベクターマシンによる領域分割の手法またはＫ最近接近傍法による領域分割の手法による自己組織化マップの前記オブジェクトの特定の属性に応じた領域分割により予めクラス分けされることを特徴とする。

第７の発明は、第１から第６のいずれかの発明の画像処理装置において、前記統合部は、前記並列処理部の各自己組織化マップによる投票結果を多数決により統合し、前記並列処理部の各自己組織化マップによる投票結果を、前記各自己組織化マップの識別能力で重み付けした多数決により統合することを特徴とする。

第８の発明は、第７の発明の画像処理装置において、前記統合部は、前記並列処理部の各自己組織化マップから出力される投票結果の信頼度に応じて重み付けした多数決により統合することを特徴とする。

第９の発明は、第１から第６のいずれかの発明の画像処理装置において、前記統合部は、前記並列処理部の各自己組織化マップによる投票結果を、学習されたニューラルネットワークに入力して統合することを特徴とする。

第１の発明によれば、撮像画像中から抽出された特定のオブジェクトを含む画像領域に対して各種画像フィルタで種々のフィルタ処理を行ってオブジェクトの特定の属性が投票されるため、撮像画像中から抽出された特定のオブジェクトを含む１つの画像領域に対して種々の観点から処理を施してオブジェクトの特定の属性を判断することが可能となる。

また、画像フィルタの処理により生成されたベクトルをそれぞれユニットが適切にクラス分けされた自己組織化マップに入力してオブジェクトの特定の属性を投票するため、それぞれの自己組織化マップがオブジェクトの特定の属性を適切に決定して出力することが可能となる。

さらに、複数の自己組織化マップからそれぞれ出力される投票結果を総合してオブジェクトの特定の属性が決定され識別されるため、各種画像フィルタと自己組織化マップにより種々の観点から適切に決定された結果を総合してオブジェクトの特定の属性を識別することが可能となる。

そのため、車載の比較的安価で解像度がさほど高くない撮像手段を用いても、それを用いて撮像された画像中からオブジェクトの特定の属性、すなわち本実施形態では人物が自車両の方を向いているか或いは自車両に背を向けているかという詳細な属性を的確に抽出して識別することが可能となる。

第２の発明によれば、前記発明の効果に加え、勝者ユニットの決定において、入力されるベクトルと参照ベクトルの差の絶対値が設定値以上となる成分については差の絶対値がその設定値に圧縮された両ベクトル間の距離によって決定するため、画像領域に比較的大きなノイズが入っている場合でもその影響を緩和して距離を計算して勝者ユニットを決定することが可能となる。

また、同時に、勝者ユニットを決定する際の入力されるベクトルと各参照ベクトルとの各距離の比較において、圧縮により、ベクトルと参照ベクトルとの差の絶対値が大きい成分の影響が排除され、ベクトルと参照ベクトルとがどれほど似かよっているかを重視して勝者ユニットを決定することが可能となる。そのため、撮像画像中から人物等の特定のオブジェクトを抽出した場合、抽出された画像領域が比較的小さい領域となり、通常のユークリッド距離等の算出手法ではノイズ等が評価値に大きく影響するような場合でも、前記のように圧縮を行うことで、ノイズ等の影響を排除した上でベクトルと参照ベクトルとがどれだけ似ているかによって勝者ユニットを決定することが可能となり、有効かつ的確にオブジェクトのさらに詳細な特定の属性を抽出することが可能となる。

第３の発明によれば、特定のオブジェクトが人物であると、撮像画像から抽出される画像領域は比較的小さい領域となる場合が多いが、そのような場合でも前記各発明によれば的確にオブジェクトのさらに詳細な特定の属性を抽出することが可能となる。また、車両の走行において大きな注意を払うべき人物の特定の属性を的確に抽出して、例えば歩行者が子供であるという属性を有する場合には大人であるという属性を有する場合よりも警戒度を高める等の適切な措置を取ることが可能となり、車両の走行安全性を向上させることが可能となる。

更に、自車両前方の歩行者が自車両に背を向けているという属性を有する場合には自車両が接近していることを認識していない可能性が高いから、歩行者が自車両の方を向いているという属性を有する場合よりも警戒度を高める等の措置を取ることが可能となり、前記各発明の効果が効果的に発揮されるとともに、車両の走行安全性をより向上させることが可能となる。

第４の発明によれば、前記各発明の効果に加え、画像領域を大きさ、各画素の輝度の平均および分散を正規化して処理することで、例えば撮像されたオブジェクトが曇天や雨天或いは夜間等で撮像された画像の輝度が全体的に暗くて分散も小さいような場合でも、正規化により明るさや輝度の分散の影響を排除して同じ条件で画像処理を行うことが可能となる。そのため、装置の信頼性が向上する。

第５の発明によれば、自己組織化マップの学習を教師なし学習により行うことも可能である。しかし、第４の発明のように、例えば、２つのクラスを予め自己組織化マップの左右に仮に割り当てて教師あり学習を行うと、それぞれのクラスのユニットが自己組織化マップ上でほぼ左右に分かれて分布するようになる。

このように、自己組織化マップのユニットをどのようにクラス分けさせたいかに応じて学習の初期に予め適切に仮のクラス分けを行うことで、クラス分けの目的を明確に指定して学習を行うことが可能となる。そして、そのため前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、自己組織化マップの学習を適切に行うことで、各自己組織化マップでは同一のクラスに属するユニットが適切に集まった状態となる。そのため、前記各発明の効果に加え、各ユニットをサポートベクターマシンやＫ最近接近傍法によるクラス分けの手法によりクラス分けすることにより、容易かつ適切にクラス分けを行うことが可能となり、かつ、オブジェクトの特定の属性を適切に投票する自己組織化マップを形成することが可能となる。

第７の発明によれば、画像処理装置は、前記各発明で述べたように、撮像画像中から抽出された特定のオブジェクトを含む画像領域を各種画像フィルタで種々のフィルタ処理し、生成されたベクトルを各ユニットが適切にクラス分けされた自己組織化マップに入力してオブジェクトの特定の属性を投票するものである。そのため、それらの投票結果を単純に多数決して統合することで、十分に良好にオブジェクトの特定の属性を識別することができる。

更に、並列処理部の画像フィルタの種類や自己組織化マップの学習結果等によっては自己組織化マップから出力される投票結果が必ずしも精度が高くない可能性がないわけではない。そのため、自己組織化マップの識別能力、正確には画像フィルタと自己組織化マップとの組の識別能力を、例えば種々の画像領域を入力した際の正解率等で適切に評価して投票結果の統合に反映させることで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となり、前記各発明の効果がより精度良く発揮される。

第８の発明によれば、第７の発明のように、自己組織化マップ自体の識別能力ではなく、或いはそれと合わせて、自己組織化マップにおける勝者ユニットの決定に用いられた前記距離や、自己組織化マップ上のクラスの境界からの勝者ユニットの距離、或いは勝者ユニットと２番目に評価が高かったユニットとの距離等に基づいて投票結果自体の信頼度に応じて重み付けした多数決により統合する。そのため、投票結果自体の信頼度を投票結果の統合に反映させることで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となり、前記各発明の効果がより精度良く発揮される。

第９の発明によれば、各自己組織化マップによる投票結果を学習されたニューラルネットワークに入力して統合することで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となり、前記各発明の効果がより精度良く発揮される。また、ニューラルネットワークの学習は、公知の遺伝的アルゴリズムの手法等を用いて容易に行うことができる。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。

本実施形態に係る画像処理装置は、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等がＢＵＳにより接続されて構成されたコンピュータにより構成されている。車載のＥＣＵ（Electric Control UnitまたはEngine Control Unit）内に構成することも可能である。

画像処理装置１は、図１に示すように、画像入力部２と、オブジェクト抽出部３と、正規化部４と、並列処理部５と、統合部６と、ＳＯＭ学習部７と、メモリ８とを備えている。

画像入力部２は、自車両前方の風景を撮像し、撮像した画像を電気信号に変換可能な撮像手段２１を備えている。撮像手段２１には、例えばカラーＣＣＤセンサが用いられる。

本実施形態では、撮像手段２１は、図示しない自動車車両に取り付けられており、通常のテレビ画像と同様に１／３０秒ごとに車両前方を撮像するようになっている。なお、本実施形態では、一定の時間間隔ごとに送信されてくる撮像画像の単位を１フレームという。

画像入力部２は、撮像手段２１が出力する画像データを図示しないＡ／Ｄコンバータでデジタル画像データに変換し、ＲＧＢ表色系の画像データをＨＳＢ表色系やＬ^＊ａ^＊ｂ^＊表色系等の輝度、色相および彩度の画像データに変換してオブジェクト抽出部３に出力するようになっている。なお、本実施形態では、色の３要素のうち明度や明るさ等と呼ばれる要素を輝度と表現し、他の２要素をそれぞれ色相および彩度と表現する。また、画素の輝度は０〜２５５の２５６階調で表される。

オブジェクト抽出部３は、画像入力部２から送信されてきた画像データを入力画像としてメモリ８に順次保存するようになっている。

また、オブジェクト抽出部３は、入力画像中から特定のオブジェクトを含む画像領域を抽出するように構成されている。本実施形態では、オブジェクト抽出部３は、予め学習された処理プログラムに基づいて入力画像中から特定のオブジェクトとして歩行者等の人物を含む画像領域を抽出するようになっている。

本実施形態に用いられる処理プログラムは、図２に示すように、各種画像フィルタが木構造状に組み合わされて構成されており、画像フィルタには、図３に例示するような各種画像フィルタが用いられるようになっている。また、本実施形態では、処理プログラムには、現在の時刻ｔに画像入力部２から入力された入力画像Ｉtと、メモリ８から読み出された過去の入力画像Ｉt-1、…、Ｉt-sが入力されるようになっている。

本実施形態では、入力画像Ｉt、Ｉt-1、…、Ｉt-sとして、図４（Ａ）に示すように、現在の時刻ｔの入力画像Ｉtおよびそれ以前の１フレームごとの入力画像Ｉt-1、…、Ｉt-3が処理プログラムに入力されるようになっている。この他にも、例えば、図４（Ｂ）に示すように現在の時刻ｔの入力画像Ｉtとそれ以前の３フレームごとの入力画像Ｉt-1、Ｉt-2の計３枚の画像を入力するように構成することも可能である。また、他の選択方法により相異なる複数種類の入力画像を選択して処理プログラムに入力するように構成することも可能である。

オブジェクト抽出部３は、装置の起動時に、図２に示すような各種画像フィルタが木構造状に組み合わされた処理プログラムをメモリ８から読み出すようになっている。また、オブジェクト抽出部３は、現在の時刻ｔに画像入力部２から入力された入力画像Ｉtと、メモリ８から読み出した入力画像Ｉt-1、Ｉt-2、Ｉt-3とを処理プログラムに入力して出力画像Ｏtを得るようになっている。

なお、このオブジェクト抽出は、本実施形態のように各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて行う代わりに、例えば、本出願人の出願に係る特開平１０−２８３４７７号公報に記載のステレオ撮像による車外監視装置における抽出方法に基づいて行ってもよい。また、画像中から特定のオブジェクトを含む画像領域を好適に抽出できる限り、他の装置や方法を用いることも可能である。

オブジェクト抽出部３は、例えば図５に示すような入力画像Ｉt等を木構造状の処理プログラムに入力して図６に示すような出力画像Ｏtを得ると、図６に斜線で示される輝度が０より大きい部分すなわち歩行者を抽出した部分を囲むように矩形状の画像領域ｒtを設定して、図７に示すように入力画像Ｉtから特定のオブジェクトである人物を含む画像領域ｒtを抽出するようになっている。なお、入力画像Ｉt中に人物が複数撮像されている場合には、複数の画像領域ｒtが抽出される。

オブジェクト抽出部３は、出力画像Ｏtや、抽出した人物を含む画像領域ｒtの頂点の座標などオブジェクトについての情報をメモリ８に保存するとともに、正規化部４に送信するようになっている。

正規化部４は、送信されてきたオブジェクトについての情報に基づいて入力画像Ｉtからオブジェクトを含む画像領域ｒtを切り出して正規化するようになっている。

具体的には、正規化部４は、まず、切り出した例えば横方向にｍ画素、縦方向にｎ画素の大きさすなわちｍ×ｎ画素の画像領域ｒtを、予め設定されたＭ×Ｎ画素の画像領域Ｒtに正規化し、画像領域の大きさを揃えるようになっている。

正規化部４は、さらに画像の明るさの影響を排除するため、画像領域Ｒtの各画素の輝度について以下の正規化処理を行うようになっている。

（ａ）画像領域Ｒtの各画素の輝度ｂｉ（ｉ＝１〜Ｍ×Ｎ）のヒストグラムをとり、平均ｂaveおよび分散σを求める。
輝度ｂｉの平均ｂaveおよび分散σは下記（１）、（２）式に従って計算されるようになっている。なお、下記（１）、（２）式中の総和は、Ｍ×Ｎ画素に変換された画像領域Ｒt中の全画素について行われる。

（ｂ）平均輝度ｂaveが１２８になるように各画素の輝度をシフトする。
すなわち、各画素の輝度ｂｉをそれぞれ
ｂｉshift＝ｂｉ＋（１２８−ｂave） …（３）
に従ってｂｉshiftに変換するようになっている。なお、本実施形態では、この処理で変換された画素の輝度ｂｉshiftが２５５を超えてもその値のまま扱う。そのため、各画素の輝度ｂｉshiftの分散はσである。

（ｃ）分散σが一定になるように１２８の輝度を中心に各画素の輝度を変化させる。
この処理では、各画素の輝度ｂｉshiftを、さらに１２８を中心に拡大或いは縮小させて変化後の各画素の輝度の分散が予め設定された分散σrに統一させる。すなわち、各画素の輝度ｂｉshiftをそれぞれ
Ｂｉ＝１２８＋（ｂｉshift−１２８）×（σr／σ）^１／２ …（４）
に従って変換して最終的に正規化された輝度Ｂｉをそれぞれ算出するようになっている。

なお、本実施形態では、この（ｃ）の処理が終了した段階で、画素の輝度Ｂｉが２５５を超えた場合にはその画素の輝度Ｂｉを２５５にするようになっている。また、画素の色相Ｈｉや彩度Ｓｉを正規化するように構成することも可能であり適宜行われる。

正規化部４は、このようにしてＭ×Ｎ画素に変換され輝度等が正規化された抽出した人物を含む画像領域Ｒtの各画素の３要素すなわち輝度Ｂｉ、色相Ｈｉおよび彩度Ｓｉをメモリ８に保存するとともに、並列処理部５に送信するようになっている。

並列処理部５は、正規化部４により正規化された画像領域Ｒtを前処理するための画像フィルタとそれに対応する自己組織化マップとの組を複数備えている。本実施形態では、この画像フィルタと自己組織化マップとの組が奇数組備えられている。

画像フィルタには、図３に例示したような各種画像フィルタのほか、例えば、彩度フィルタ処理や時間差分フィルタ処理等を行う各種画像フィルタの中から適宜選択されて用いられるようになっている。

自己組織化マップＳＯＭは、図８に示すように、本実施形態では１００×１００個のユニットｕｊ（ｊ＝１〜１００００）を備えた２次元マップとして構成されており、各ユニットｕｊはそれぞれ参照ベクトルｍｊを備えている。参照ベクトルｍｊは、後述する自己組織化マップＳＯＭに入力されるベクトルｘと同一次元のベクトルである。

参照ベクトルｍｊは、図９に示すように、ベクトルｘの各成分ｘ_１、ｘ_２、ｘ_３、ｘ_４、…と自己組織化マップＳＯＭ上のユニットｕｊとを結ぶ各結線の荷重ｍｊ_１、ｍｊ_２、ｍｊ_３、ｍｊ_４、…を成分とするベクトルとみることもできる。

本実施形態では、自己組織化マップＳＯＭは、オブジェクトである歩行者等の人物の特定の属性、すなわち本実施形態では人物が自車両の方を向いているか或いは自車両に背を向けているかを判別してその属性を投票するようになっている。

具体的には、自己組織化マップＳＯＭを構成する各ユニットｕｊは、人物が自車両の方を向いているという属性に対応するクラスＣｆと、人物が自車両に背を向けているという属性に対応するクラスＣｂとにそれぞれクラス分けされている。本実施形態では、自己組織化マップＳＯＭは後述する学習により予め図８に示すように領域分割されており、それに基づいて各ユニットｕｊがそれぞれのクラスにクラス分けされている。

そして、自己組織化マップＳＯＭは、あるベクトルｘが入力されて勝者ベクトルｍｃが決定されると、その勝者ベクトルｍｃを有する勝者ユニットｕｃが属するクラスに対応する属性を投票結果Ｖとして出力するようになっている。

勝者ベクトルｍｃの決定については、通常の自己組織化マップの手法では、入力されたベクトルｘと自己組織化マップＳＯＭの参照ベクトルｍｊとのユークリッド距離やシティブロック距離等を算出してその距離が最小となる参照ベクトルｍｊが勝者ベクトルｍｃとされる。

しかし、本実施形態では、入力されるベクトルｘの各成分ｘ_ｉとそれに対応する自己組織化マップＳＯＭ上の参照ベクトルｍｊの各成分ｍｊ_ｉとの差の絶対値が予め設定された値以上となるような成分がある場合には、その成分についてはその差の絶対値を前記設定値に圧縮してベクトルｘと自己組織化マップＳＯＭ上の参照ベクトルｍｊとのシティブロック距離を計算する。そして、その距離が最小となる参照ベクトルｍｊを勝者ベクトルｍｃとして決定するようになっている。

具体的には、入力されるベクトルｘ＝｛ｘ_ｉ｝＝（ｘ_１，ｘ_２，ｘ_３，ｘ_４，…）と自己組織化マップＳＯＭ上の参照ベクトルｍｊ＝｛ｍｊ_ｉ｝＝（ｍｊ_１，ｍｊ_２，ｍｊ_３，ｍｊ_４，…）との距離ｙｊを下記（５）式に従って計算されるようになっている。

なお、式中のＣは前述した予め設定される値である。また、前記（５）式のただし書きの部分をグラフに表すと、図１０のように表される。すなわち、本実施形態では、距離ｙｊの算出に非線形な評価式が用いられる。また、設定値Ｃを各画素の輝度、色相、彩度についてそれぞれ別々に設けることも可能である。

さらに、本実施形態では、前記のようにシティブロック距離ｙｊを評価値として勝者ベクトルｍｃを決定する場合について述べたが、同様に、入力ベクトルｘと参照ベクトルｍｊとの差の絶対値が設定値以上となる成分についてその差の絶対値を設定値に圧縮してユークリッド距離を計算することで評価値を算出するように構成することも可能である。

具体的には、例えば下記（６）式に従って評価値ｙｊが計算される。

並列処理部５は、図１１に示すように、正規化部４で形成されたＭ×Ｎ画素の人物を含む画像領域Ｒtを各画像フィルタＦｋに入力してそのフィルタ特性に従った画像処理を行わせるようになっている。各画像フィルタＦｋでは、画像領域Ｒtの各画素の輝度Ｂｉや色相Ｈｉ、彩度Ｓｉがそれぞれ輝度βｉ、色相ηｉおよび彩度σｉに変換され、それらを成分とするベクトルｘｋが生成されるようになっている。この場合、ベクトルｘｋは３×Ｍ×Ｎ次元となる。

並列処理部５は、生成されたベクトルｘｋを対応する自己組織化マップＳＯＭｋに入力してそれぞれ勝者ベクトルを決定し、その勝者ベクトルが属する勝者ユニットｕｃｋを決定し、勝者ユニットｕｃｋが属するクラスに対応するオブジェクトの特定の属性をそれぞれ投票結果Ｖｋとして出力させるようになっている。

本実施形態では、図１１の自己組織化マップＳＯＭ１、ＳＯＭ２のように勝者ユニットｕｃｋが後向きの属性に対応するクラスＣｂに属している場合には、それぞれの自己組織化マップＳＯＭｋから投票結果Ｖｋとして−１が出力され、同図の自己組織化マップＳＯＭ３のように勝者ユニットｕｃｋが前向きの属性に対応するクラスＣｆに属している場合には、それぞれの自己組織化マップＳＯＭｋから投票結果Ｖｋとして１が出力されるようになっている。

並列処理部５は、これらの投票結果Ｖｋを統合部６に出力するようになっている。

統合部６は、並列処理部５の各自己組織化マップＳＯＭｋによる投票結果Ｖｋを統合してオブジェクトの特定の属性Ａ、すなわち本実施形態では人物が自車両の方を向いているか或いは自車両に背を向けているかを最終的に決定して識別するようになっている。

本実施形態では、統合部６は、並列処理部５の各自己組織化マップＳＯＭｋによる投票結果Ｖｋの多数決をとって投票結果Ｖｋを統合するようになっている。具体的には、前述したように、投票結果Ｖｋとして前向きの属性である場合に１、後向きの属性である場合に−１を出力するように構成した場合、統合部６は、下記（７）式に従って並列処理部５の各自己組織化マップＳＯＭｋからの各投票結果Ｖｋの総和Ｐを計算する。

そして、総和Ｐが正であればオブジェクトの特定の属性Ａが前向きの属性すなわち人物が自車両の方を向いていると決定し、総和Ｐが負であればオブジェクトの特定の属性Ａが後向きの属性すなわち人物が自車両に背を向けていると決定して識別するようになっている。

統合部６は、決定し識別したオブジェクトの特定の属性Ａを、メモリ８から読み出した入力画像Ｉtや出力画像Ｏt、抽出した人物を含む画像領域ｒt等とともに装置外に出力するようになっている。

ＳＯＭ学習部７は、装置の稼動に先立って、並列処理部５の各自己組織化マップＳＯＭｋの学習を行って各自己組織化マップＳＯＭｋの領域分割を行い、各自己組織化マップＳＯＭｋに属するユニットｕｊのクラス分けを行うようになっている。

ＳＯＭ学習部７には、各自己組織化マップＳＯＭｋの学習のために、予め特定のオブジェクトすなわち本実施形態では人物を含む正規化された所定個数Ｑ個の画像領域Ｒtが入力されている。この学習段階では、入力されるＱ個の画像領域Ｒtは人物を含むものであればよく、人物が自車両の方を向いているか或いは自車両に背を向けているかのクラス情報Ｃｆ、Ｃｂを有するものでなくてよい。

学習において、ＳＯＭ学習部７は、まず、並列処理部５の各自己組織化マップＳＯＭｋの各ユニットｕｊに、ランダムに生成させた値を成分とする参照ベクトルｍｊをそれぞれ割り当てて、各自己組織化マップＳＯＭｋを初期状態にセットするようになっている。なお、この段階では各ユニットｕｊはクラス分けされていない。

そして、ＳＯＭ学習部７は、それらの画像領域Ｒtを順次並列処理部５に送信し、前述した並列処理部５における処理の手順と同様に画像領域Ｒtを各画像フィルタＦｋで処理させ、それぞれベクトルｘｋを生成させ、各自己組織化マップＳＯＭｋに入力して勝者ベクトルｍｃｋを決定する。勝者ベクトルｍｃｋは、前記（５）式に従って計算される評価値ｙｊに基づいて決定される。

その際、ＳＯＭ学習部７は、各自己組織化マップＳＯＭｋにおいて、Ｑ個の画像領域Ｒtのうちｑ番目の画像領域Ｒtを入力してそれぞれ勝者ベクトルｍｃｋが決定されるごとに、勝者ベクトルｍｃｋと、その勝者ベクトルｍｃｋを有する勝者ユニットｕｃの近傍のユニットｕｊに属する参照ベクトルｍｊとを下記（８）式に従って更新するようになっている。

ここで、ベクトルｍｊ（ｑ）はｑ番目に入力された画像領域Ｒtから生成されたベクトルｘｋとの対比に用いられた参照ベクトルｍｊおよび勝者ベクトルｍｃｋを表し、ベクトルｍｊ（ｑ＋１）は、次のｑ＋１番目に入力される画像領域Ｒtから生成されるベクトルｘｋとの対比に用いられる参照ベクトルｍｊを表す。

また、α（ｑ）は学習率係数を表し、正の値を取り、ｑが大きくなるに従ってすなわち学習が進むに従って単調減少する関数とされている。なお、前記勝者ベクトルｍｃの近傍すなわち勝者ベクトルｍｃを中心とする一定の範囲は最初は広範囲を設定し、学習が進むに従って範囲を縮小するように構成することも可能である。

なお、予め正規化した画像領域Ｒtを並列処理部５に順次入力する代わりに、例えば、撮像画像から抽出した人物を含む画像領域ｒtをＳＯＭ学習部７から正規化部４に入力して正規化部４で正規化させてから並列処理部５に入力させるように構成することも可能であり、撮像画像をオブジェクト抽出部３に入力して人物を含む画像領域ｒtを抽出するところから行わせるように構成することも可能である。

ＳＯＭ学習部７は、Ｑ個の画像領域Ｒtをすべて入力して各自己組織化マップＳＯＭｋの学習が終了すると、続いて、各自己組織化マップＳＯＭｋの領域分割を行うようになっている。なお、この領域分割では、入力された画像領域Ｒtによる自己組織化マップＳＯＭｋの学習すなわち参照ベクトルｍｊの更新は行われない。

領域分割では、ＳＯＭ学習部７は、予め入力された前向きまたは後向きのクラスＣｆ、Ｃｂが分かっているＧ個の画像領域Ｒtを各自己組織化マップＳＯＭｋに入力するようになっている。なお、Ｇ個の画像領域Ｒtは、前向きまたは後向きのクラスＣｆ、Ｃｂが分かっている限り前記Ｑ個の画像領域Ｒtのすべてを用いてもよく、或いはそれらの中から選ばれたものでもよく、また、まったく新規なものを用いてもよい。

そして、図１２に示すようにＧ個の画像領域Ｒtに対応する自己組織化マップＳＯＭｋ上の勝者ユニットｕｃ１〜ｕｃｇが特定されると、本実施形態では、ＳＯＭ学習部７は、勝者ユニットｕｃ１〜ｕｃｇの位置およびそれらのクラスＣｆ、Ｃｂに基づいてサポートベクターマシン（support vector machine）による領域分割の手法を用いて図８や図１１に示したように自己組織化マップＳＯＭｋを領域分割するようになっている。

そして、ＳＯＭ学習部７は、領域分割された自己組織化マップに属する各ユニットｕｊのクラスを、そのユニットｕｊが位置する領域内にある前記勝者ユニットが属するクラスと同じクラスにクラス分けするようになっている。

なお、適切に自己組織化マップの領域分割を行うことができる手法であれば、前記サポートベクターマシンによる手法に限定されず、例えばＫ最近接近傍（k-nearest-neighbor）法等の公知の領域分割の手法を用いることも可能である。また、他の特別な領域分割の手法を用いることも可能である。

次に、本実施形態に係る画像処理装置１の作用について説明する。

画像処理装置１の稼動に先立って行われるＳＯＭ学習部７による並列処理部５の各自己組織化マップＳＯＭｋの学習においては、初期状態では、ランダムに生成された値を成分とする参照ベクトルｍｊが各ユニットｕｊに割り当てられて自己組織化マップＳＯＭｋが作成される。

そして、画像領域Ｒtが入力され、画像フィルタＦｋでフィルタ処理を受けて生成されたベクトルｘｋが入力されて勝者ベクトルｍｃおよび勝者ユニットｕｃが決定されるごとに、勝者ベクトルｍｃとその近傍のユニットｕｊの参照ベクトルｍｊが前記（８）式に従って更新される。

前記（８）式は、勝者ベクトルｍｃやその近傍の参照ベクトルｍｊの成分が入力されたベクトルｘｋの成分に近づくことを意味する。すなわち、各参照ベクトルｍｊの成分のうち、入力されたベクトルｘｋの対応する成分との違いが大きい成分は大きく近づく。そのため、前記更新を繰り返すことで、次第に隣接する参照ベクトルｍｊの成分が互いに近似してくる。

成分が似かよった参照ベクトルｍｊは、一般に、互いにオブジェクトの同じ特定の属性に対応するから、前記のように隣接する参照ベクトルｍｊの成分が互いに近似することで、あるユニットｕｊの近傍のユニットｕｊはそのユニットｕｊと同一のクラスに属するようになる。

このようにして多数の画像領域Ｒtを順次入力して学習することで、各自己組織化マップＳＯＭｋは、各ユニットｕｊが独立にそれぞれのクラスに属していた初期状態から、同一のクラスに属するユニットが集まった状態となる。

そして、学習が終了した時点で、各自己組織化マップＳＯＭｋはいずれのクラスに属するかが分かっている画像領域Ｒtから生成されたベクトルｘｋが入力されて特定された勝者ユニットｕｃに基づいてサポートベクターマシンやＫ最近接近傍法等の領域分割の手法によって図８や図１１に示したように領域分割される。

前記のように、学習により、各自己組織化マップＳＯＭｋは同一のクラスに属するユニットが集まった状態となっているから、領域分割によって各領域に属するユニットを同一のクラスにクラス分けすることで、各ユニットが良好にクラス分けされる。

装置の稼動時には、オブジェクト抽出部３で撮像画像中から抽出された特定のオブジェクトを含む画像領域ｒtが正規化部４で正規化されて画像領域Ｒtとされ、並列処理部５に送られて複数の画像フィルタＦｋに入力される。そして、各画像フィルタＦｋから生成されたベクトルｘｋが対応する自己組織化マップＳＯＭｋにそれぞれ入力されると、自己組織化マップＳＯＭｋ上で勝者ユニットｕｃが決定され、勝者ユニットｕｃが属するクラスに対応付けられた属性を特定され、その属性が投票結果Ｖｋとして出力される。

統合部６は、複数の自己組織化マップＳＯＭｋから出力された投票結果Ｖｋを統合してオブジェクトの特定の属性、すなわち本実施形態では人物が自車両の方を向いているか或いは自車両に背を向けているかを識別して出力する。

一方、学習時および装置の稼動時において、各種画像フィルタＦｋで生成されたベクトルｘｋを自己組織化マップＳＯＭｋに入力して勝者ベクトルｍｃや勝者ユニットｕｃを決定する際に、本実施形態では、前記（５）式や（６）式に従ってベクトルｘｋと自己組織化マップＳＯＭｋ上の参照ベクトルｍｊとの距離ｙｊすなわち評価値ｙｊが計算される。

すなわち、図１０に示したように、入力されるベクトルｘｋの各成分ｘｋ_ｉと自己組織化マップＳＯＭ上の参照ベクトルｍｊの各成分ｍｊ_ｉとの差の絶対値が設定値Ｃ以上となるような成分がある場合には、その成分については、その差の絶対値が設定値Ｃに圧縮され、評価値ｙｊが計算される。

本実施形態のような圧縮を行わない通常の評価式では、例えば、画像領域ｒt中に白黒が反転したような比較的大きなノイズが混入している場合、評価値にそのノイズの影響が強く現れる。しかし、本実施形態のような計算手法を用いれば、そのようなノイズの影響が緩和される。

また、このような圧縮を行うことにより、ベクトルｘｋと参照ベクトルｍｊとの差が大きい成分についてはその差の絶対値がいくら大きな値となる場合でもすべて設定値Ｃに圧縮される。そのため、前記（５）式によれば、ベクトルｘｋと参照ベクトルｍｊとがまったく異なり各成分の差の絶対値がいくら大きくても、評価値ｙｊはＭ×Ｎ×Ｃを超えない。また、例えば前記（６）式に従う場合も評価値ｙｊは（Ｍ×Ｎ）^１／２×Ｃを超えない。

すなわち、勝者ユニットｕｃを決定する際の評価値ｙｊの算出においては、ベクトルｘｋと参照ベクトルｍｊとの差の絶対値が大きい成分の影響は排除され、むしろ、その差の絶対値が設定値Ｃより小さい成分、すなわちベクトルｘｋと参照ベクトルｍｊとで似かよった値を持つ成分がどれほど近い値であるかが評価値ｙｊの優劣に大きく影響するようになる。

つまり、本実施形態のようにベクトルｘｋと参照ベクトルｍｊの差の絶対値が大きい成分を圧縮して評価値ｙｊの算出を行うと、通常の圧縮を行わない評価値ｙｊの算出に比べて、差の絶対値が大きい成分の影響を排除した状態で、ベクトルｘｋと参照ベクトルｍｊがどれだけ似ているかが評価値ｙｊに反映され、その状態で最も似ている参照ベクトルｍｊを有するユニットｕｊが勝者ユニットｕｃとして決定される。

以上のように、本実施形態に係る画像処理装置１によれば、撮像画像中から抽出された特定のオブジェクトを含む画像領域Ｒtに対して図３に例示したような各種画像フィルタＦｋや彩度フィルタ処理や時間差分フィルタ処理等を行う各種画像フィルタＦｋで種々のフィルタ処理を行って、オブジェクトの特定の属性が投票される。

そのため、撮像画像中から抽出された特定のオブジェクトを含む１つの画像領域ｒtに対して種々の観点から処理を施してオブジェクトの特定の属性を判断することが可能となる。

また、画像フィルタＦｋの処理により生成されたベクトルｘｋを、それぞれユニットｕｊが適切にクラス分けされた自己組織化マップＳＯＭｋに入力してオブジェクトの特定の属性を投票する。そのため、それぞれの自己組織化マップＳＯＭｋがオブジェクトの特定の属性を適切に決定して出力することが可能となる。

さらに、複数の自己組織化マップＳＯＭｋからそれぞれ出力される投票結果Ｖｋを総合してオブジェクトの特定の属性が決定され識別される。そのため、各種画像フィルタＦｋと自己組織化マップＳＯＭｋにより、種々の観点から適切に決定された結果を総合してオブジェクトの特定の属性を識別することが可能となる。

そのため、車載の比較的安価で解像度がさほど高くない撮像手段を用いても、それを用いて撮像された画像中からオブジェクトの特定の属性、すなわち本実施形態では人物が自車両の方を向いているか或いは自車両に背を向けているかという詳細な属性を的確に抽出して識別することが可能となる。

一方、学習時および装置の稼動時において、各種画像フィルタＦｋで生成されたベクトルｘｋと自己組織化マップＳＯＭｋ上の参照ベクトルｍｊとの距離ｙｊすなわち評価値ｙｊを、前記（５）式等の非線形な評価式に従って、ベクトルｘｋの各成分ｘｋ_ｉと参照ベクトルｍｊの各成分ｍｊ_ｉとの差の絶対値が設定値Ｃ以上となるような成分がある場合には、その成分についてはその差の絶対値を設定値Ｃに圧縮して計算することが可能である。

このように構成すれば、画像領域ｒtに比較的大きなノイズが入っている場合でもその影響を緩和して評価値ｙｊを計算することが可能となると同時に、勝者ユニットｕｃを決定する際の各評価値ｙｊの比較において、圧縮により、ベクトルｘｋと参照ベクトルｍｊとの差の絶対値が大きい成分の影響が排除され、ベクトルｘｋと参照ベクトルｍｊとがどれほど似かよっているかを重視して勝者ユニットｕｃを決定することが可能となる。

そのため、撮像画像中から人物等の特定のオブジェクトを抽出した場合、抽出された画像領域ｒtが比較的小さい領域となり、通常の評価値ｙｊの算出手法ではノイズ等が評価値ｙｊに大きく影響するような場合でも、本実施形態のように圧縮を行うことで、ノイズ等の影響を排除した上でベクトルｘｋと参照ベクトルｍｊとがどれだけ似ているかによって勝者ユニットを決定することが可能となり、有効かつ的確にオブジェクトのさらに詳細な特定の属性を抽出することが可能となる。

また、自己組織化マップＳＯＭｋの学習においては、前記のように多数の画像領域Ｒtを入力して前記（８）式に従って参照ベクトルｍｊを更新することで、各自己組織化マップＳＯＭｋは同一のクラスに属するユニットが適切に集まった状態となる。そのため、更新された参照ベクトルｍｊが属する各ユニットｕｊをサポートベクターマシンやＫ最近接近傍法によるクラス分けの手法によりクラス分けすることにより、容易かつ適切にクラス分けを行うことが可能となる。しかも、オブジェクトの特定の属性を適切に投票する自己組織化マップＳＯＭｋを形成することが可能となる。

なお、本実施形態では、オブジェクトの特定の属性として、歩行者等の人物が自車両の方を向いているか或いは自車両に背を向けているかの２通りの属性に限定して説明したが、この他にも、例えば自車両前方の道路を横断している人物のように自車両に対して横を向いているという属性を加えて３通りの属性について識別したり、さらに人物の右向きや左向きの属性を加えて識別するように構成することも可能である。また、より多く属性を識別するように構成することも可能である。

また、歩行者等の人物が自車両の方を向いている等の属性以外にも、例えば人物が大人か子供か等の別の属性を識別するように構成することも可能である。また、オブジェクトは人物に限定されない。

さらに、本実施形態では、統合部６で、前記（７）式に従って並列処理部５の各自己組織化マップＳＯＭｋから出力された各投票結果Ｖｋの総和Ｐを計算することで、単純な多数決によって投票結果Ｖｋを統合してオブジェクトの特定の属性を識別する場合について説明した。

しかし、この他にも、例えば各自己組織化マップＳＯＭｋからの各投票結果Ｖｋを種々の観点から重み付けして多数決をとるように構成することも可能である。

第１に、下記（９）式に示すように、並列処理部５の各自己組織化マップＳＯＭｋによる投票結果Ｖｋを各画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋで重み付けして総和Ｐを計算し、総和Ｐの値が正であるか負であるかによってオブジェクトの特定の属性を識別するように構成することが可能である。すなわち、統合部６は各自己組織化マップＳＯＭｋによる投票結果Ｖｋを、各画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋで重み付けした多数決により統合する。

この場合、各画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋは、例えば本実施形態の例で言えば、人物が自車両の方を向いているか背を向けているかが分かっている一定数の画像領域を画像フィルタＦｋに入力し生成されたベクトルｘｋを学習済みの各自己組織化マップＳＯＭｋに入力して正解を出力した割合として決定することができる。

このように、画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋを適切に評価して投票結果Ｖｋの統合に反映させることで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となる。

第２に、下記（１０）式または（１１）式に示すように、並列処理部５の各自己組織化マップＳＯＭｋによる投票結果Ｖｋや各画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋで重み付けされた投票結果Ｖｋを、さらにその投票結果Ｖｋの信頼度Ｔｋで重み付けして総和Ｐを計算し、総和Ｐの値が正であるか負であるかによってオブジェクトの特定の属性を識別するように構成することが可能である。

すなわち、統合部６は、各自己組織化マップＳＯＭｋによる投票結果Ｖｋや各画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋで重み付けされた投票結果Ｖｋを、その投票結果Ｖｋの信頼度Ｔｋで重み付けした多数決により統合する。

この場合、投票結果Ｖｋの信頼度Ｔｋは、種々の手法で決定することが可能である。

例えば、自己組織化マップＳＯＭｋにおける勝者ベクトルｍｃや勝者ユニットｕｃを決定する際に用いられる評価値ｙｊは、入力されるベクトルｘｋと勝者ベクトルｍｃとの距離が近いほど小さい値をとる。そのため、信頼度Ｔｋをベクトルｘｋと勝者ベクトルｍｃとの距離ｙｊに基づいて
Ｔｋ＝ｙｊ^−１ …（１２）
のように決めることができる。

また、投票結果Ｘｋの信頼度Ｔｋを、自己組織化マップＳＯＭｋにおける勝者ユニットｕｃの位置に基づいて決定することができる。例えば、図１１に示した自己組織化マップＳＯＭｋでは、自己組織化マップＳＯＭ１、ＳＯＭ２における勝者ユニットｕｃ１、ｕｃ２と比べて自己組織化マップＳＯＭ３における勝者ユニットｕｃ３はクラスＣｆ、Ｃｂの境界に近く信頼性が低い。

そのため、例えば図１３に示すように、自己組織化マップＳＯＭｋ上で、勝者ユニットｕｃｋとは別のクラスに属するユニットｕｊの中で最も勝者ユニットｕｃに近いユニットｕｊnearestと勝者ユニットｕｃとのユークリッド距離をその投票結果Ｖｋの信頼度Ｔｋとすることができる。

さらに、勝者ユニットｕｃｋの決定の際に、勝者ユニットｕｃｋの次に評価値ｙｊが良好だった２番目のユニットｕｊが自己組織化マップＳＯＭｋ上で勝者ユニットｕｃｋの近傍にある場合には、前記評価値ｙｊの分布がいわば単峰性を有する分布或いはそれに準ずる分布であると考えられ、勝者ユニットｕｃｋの信頼性は高い。しかし、逆に２番目のユニットｕｊが勝者ユニットｕｃｋから遠い位置にある場合には、前記評価値ｙｊの分布がいわば多峰性を有する分布であると考えられ、勝者ユニットｕｃｋの信頼性は低い。

そのため、自己組織化マップＳＯＭｋ上で勝者ユニットｕｃｋと２番目に評価値ｙｊが良好だったユニットｕｊとのユークリッド距離を求め、例えばその逆数をその投票結果Ｖｋの信頼度Ｔｋとすることができる。

このように、投票結果Ｖｋや、画像フィルタＦｋと自己組織化マップＳＯＭｋとの組の識別能力Ｄｋで重み付けされた投票結果Ｖｋを、さらにその投票結果Ｖｋの信頼度Ｔｋで重み付けして投票結果Ｖｋの統合に反映させることで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となる。

一方、前記のように、統合部６で投票結果Ｖｋを単純な多数決或いは重み付けされた多数決によって統合する代わりに、例えば、各自己組織化マップＳＯＭｋから出力された投票結果Ｖｋを例えば図１４に示すようなニューラルネットワークに入力して統合するように構成することも可能である。

この場合、シグモイド関数等の各ノードの伝達関数に用いられる閾値θやノード間の結合重み係数ｗ等を、例えば遺伝的アルゴリズム等の手法により予め学習するように構成することが可能である。

このように、各自己組織化マップＳＯＭｋによる投票結果Ｖｋを学習されたニューラルネットワークに入力して統合することで、画像領域から抽出されたオブジェクトの特定の属性をより精度良く識別することが可能となる。また、ニューラルネットワークの学習は、公知の遺伝的アルゴリズムの手法等を用いて容易に行うことができる。なお、ニューラルネットワークは、図１４に示したように入力層や出力層のみからなる構成に限定されず、例えば、中間層を有するように構成してもよい。

また、本実施形態では、ＳＯＭ学習部７において、クラス情報を持たないＱ個の画像領域Ｒtによって各自己組織化マップＳＯＭｋの学習を行う場合について説明した。しかし、自己組織化マップＳＯＭｋの学習を、予めオブジェクトの特定の属性のクラス情報を持つ例えばＱ個の画像領域Ｒtを用いて教師あり学習により行うことも可能である。

この場合、学習初期において、並列処理部５の各自己組織化マップＳＯＭｋの各ユニットｕｊにランダムに生成させた値を成分とする参照ベクトルｍｊをそれぞれ割り当てて、各自己組織化マップＳＯＭｋを初期状態にセットする点では本実施形態と同様であるが、その際、例えば、各自己組織化マップＳＯＭｋの各ユニットｕｊを左右半分に分け、右側の各ユニットｕｊをクラスＣｆに、左側の各ユニットｕｊをクラスＣｂに仮にクラス分けしておく。

そして、ＳＯＭ学習部７は、それらのＱ個の画像領域Ｒtを順次並列処理部５に送信し、前述した並列処理部５における処理の手順と同様に画像領域Ｒtを各画像フィルタＦｋで処理させ、それぞれベクトルｘｋを生成させ、各自己組織化マップＳＯＭｋに入力して前記（５）式に従って計算される評価値ｙｊに基づいて勝者ベクトルｍｃｋを決定する。

ＳＯＭ学習部７は、本実施形態と同様に、各自己組織化マップＳＯＭｋにおいて、Ｑ個の画像領域Ｒtのうちｑ番目の画像領域Ｒtを入力してそれぞれ勝者ベクトルｍｃｋが決定されるごとに、勝者ベクトルｍｃｋと、その勝者ベクトルｍｃｋを有する勝者ユニットｕｃの近傍のユニットｕｊに属する参照ベクトルｍｊとを更新する。

しかし、その際、画像領域Ｒtのクラスと勝者ベクトルｍｃｋのクラスとが同じであれば本実施形態における前記（８）式に従って勝者ベクトルｍｃｋとその近傍の参照ベクトルｍｊとを更新するが、画像領域Ｒtのクラスと勝者ベクトルｍｃｋのクラスとが異なる場合には下記（１３）式に従ってそれらを更新する。

ここで、β（ｑ）は学習率係数を表し、正の値を取る。前記（８）式におけるα（ｑ）と同一の値とすることも可能である。

前記（８）式および（１３）式によれば、画像領域Ｒtのクラスと勝者ベクトルｍｃｋのクラスとが同じであれば勝者ベクトルｍｃｋやその近傍の参照ベクトルｍｊを入力されたｘｋに近づけるようにその成分を更新し、一方、クラスとが異なる場合には勝者ベクトルｍｃｋやその近傍の参照ベクトルｍｊを入力されたｘｋから遠ざけるようにその成分を更新する。

このような更新の手法を用いることで、学習の初期状態では、ランダムな成分を持っていた各自己組織化マップＳＯＭｋの各参照ベクトルｍｊが、各自己組織化マップＳＯＭｋの右側では、クラスＣｆすなわち自車両の方を向いている人物を含む画像領域Ｒtが入力されるとその特徴を保持したベクトルｘｋに近づくように勝者ベクトルｍｃｋやその近傍の参照ベクトルｍｊの成分が更新される。

また、クラスＣｂすなわち自車両に背を向けている人物を含む画像領域Ｒtが入力されるとその特徴を保持したベクトルｘｋから遠ざかるように勝者ベクトルｍｃｋやその近傍の参照ベクトルｍｊの成分が更新される。

一方、各自己組織化マップＳＯＭｋの左側では、クラスＣｂのベクトルｘｋが入力されるとそれに近づくように、またクラスＣｆのベクトルｘｋが入力されるとそれから遠ざかるように、それぞれ勝者ベクトルｍｃｋやその近傍の参照ベクトルｍｊの成分が更新される。

また、多数の画像領域Ｒtによる学習が終了した段階で、各自己組織化マップＳＯＭｋの右側および左側の各ユニットｕｊの仮のクラス分けを一旦解除する。そして、クラスＣｆ、Ｃｂが分かっているＧ個の画像領域Ｒtを各自己組織化マップＳＯＭｋに入力して例えばサポートベクターマシンによる領域分割の手法を用いて各自己組織化マップＳＯＭｋをそれぞれ領域分割して、各ユニットｕｊのクラス分けを行う。

このようにクラス分けを行うと、仮のクラス分けと似た状態に各自己組織化マップＳＯＭｋが領域分割される。すなわち、前記の例ではクラスＣｆのユニットｕｊが各自己組織化マップＳＯＭｋの主に右側に分布し、クラスＣｂのユニットｕｊが各自己組織化マップＳＯＭｋの主に左側に分布するようになる。

このように、自己組織化マップＳＯＭｋのユニットｕｊをどのようにクラス分けさせたいかに応じて学習の初期に予め適切に仮のクラス分けを行うことで、クラス分けの目的を明確に指定して学習を行うことが可能となる。

また、このようにクラス分けを行うと、クラスＣｆに属するかクラスＣｂに属するかが微妙な画像領域Ｒtに由来するベクトルｘｋに対応する参照ベクトルｍｊを有するユニットｕｊがクラス分けの境界付近に集まるようになる。

そのため、例えば、前述した投票結果Ｖｋの重み付けた多数決において、投票結果Ｖｋの信頼度Ｔｋを自己組織化マップＳＯＭｋにおける勝者ユニットｕｃの位置に基づいて決定する場合に、クラス分けの境界に近い勝者ユニットｕｃの信頼性は低く、境界から遠い勝者ユニットｕｃの信頼性が高いと明確に意味付けすることが可能となり、装置の識別の信頼性を向上させることができる。

本実施形態の画像処理装置の構成を示すブロック図である。 本実施形態の処理プログラムの構造を説明する図である。 本実施形態で用いられる画像フィルタの例を示す表である。 処理プログラムに入力される入力画像の選択方法を説明する図である。 入力画像の例を示す図である。 図５の入力画像に基づく出力画像を説明する図である。 図５の入力画像から抽出された人物を含む画像領域を説明する図である。 自己組織化マップの構成および勝者ユニット等を説明する図である。 入力されるベクトルと参照ベクトルとの関係を示す図である。 ベクトルと参照ベクトルとの成分の差の絶対値の圧縮を説明するグラフである。 並列処理部における画像領域の処理を説明する図である。 学習済みの自己組織化マップ上に特定された勝者ユニットを表す図である。 勝者ユニットと別のクラスに属する最も近いユニットを表す図である。 投票結果を統合するためのニューラルネットワークを表す図である。

符号の説明

１ 画像処理装置
２１ 撮像手段
３ オブジェクト抽出部
５ 並列処理部
６ 統合部
Ｉt 画像
ｒt、Ｒt 画像領域
Ｆ 画像フィルタ
ＳＯＭ 自己組織化マップ
ｕｊ ユニット
ｕｃ 勝者ユニット
ｍｊ 参照ベクトル
ｘ ベクトル
Ｃｆ、Ｃｂ クラス
Ｖ 投票結果
Ａ オブジェクトの特定の属性
Ｃ 設定値
ｙｊ 距離
ｂｉ 輝度
Ｄｋ 自己組織化マップの識別能力
Ｔｋ 投票結果の信頼度

Claims (1)

1. 車両に搭載され、自車両進行路を撮像する撮像手段と、
   前記撮像手段により撮像された画像から特定のオブジェクトを含む画像領域を抽出するオブジェクト抽出部と、
   抽出された前記画像領域に含まれる前記オブジェクトの特定の属性を投票するための複数の自己組織化マップを備える並列処理部と、
   前記複数の自己組織化マップによる投票結果を統合して前記オブジェクトの特定の属性を識別する統合部とを備え、
   前記自己組織化マップに属する複数のユニットは、予め前記オブジェクトの特定の属性に応じてクラス分けされており、
   前記並列処理部は、前記複数の自己組織化マップにそれぞれ１つずつ画像フィルタを対応させ、前記画像フィルタによる前記画像領域に対するフィルタ処理により生成されたベクトルを前記自己組織化マップに入力し、それぞれ勝者ユニットを決定し、各勝者ユニットが属するクラスに対応付けられた前記オブジェクトの特定の属性を投票結果として出力させ、
   前記並列処理部は、前記勝者ユニットの決定において、入力されるベクトルの成分と、それに対応する自己組織化マップの各ユニットに属する参照ベクトルの成分との差の絶対値が予め設定された値以上となる成分がある場合には、その成分についてはその差の絶対値を前記予め設定された値に圧縮し、入力されるベクトルと自己組織化マップ上の参照ベクトルとの距離を計算することを特徴とする画像処理装置。

Images