JP2006031390A - 画像分割処理システム - Google Patents

Abstract

【課題】 画像を前景及び背景領域に分離するシステムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、統計的ノイズ、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストな領域分割を行うことができるシステムを提供する。
【解決手段】 画像全体に小さな領域（窓）を設定し、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の集合に関してクラスタリングを行い、最も多くの点が属するクラスタに属する点を逆写像して得られる部分画像を背景領域であると判定する。
【選択図】 図７

Description

本発明は、画像分割処理システムに関し、特に、画像の特徴量に基づいて背景領域を分離するシステムに関するものである。

画像の中から前景領域と背景領域とを分離（背景差分とも言う）するための方法として、画像をその特徴量に基づいて複数の小さい部分領域に分割する方法がある。このような方法では、特徴量（の相関係数）が大きく変化する箇所を検出し、そこを部分領域間の境界と見なすことで領域の分割を行うことができる。ここで、特徴量とは、画像の各部分領域における構造を特徴付ける情報である。特徴量を抽出するには、平均輝度と分散を用いる方法、あるいはエッジ強度やテクスチャー構造を特徴づける共起（co-occurrence）行列、ランレングス・コード（run-length code）、フラクタル次元、窓フーリエ変換、ウェーブレット変換などの情報に基づいて抽出するヒューリスティックな方法などがある。ところが、このようにして抽出される特徴量が画像を領域分割するにあたって最適な基準となるかどうかは自明ではないので、客観的な評価に基づいて真に最適な特徴量を求めることが重要である。

例えば、特許文献１に記載のPOSシステムでは、前景又は背景のいずれか一方の領域、あるいは両方の領域において基準となる輝度及び色相のヒストグラム又は統計的な出現確率モデルをあらかじめ取得しておき、一般の入力画像において前景又は背景領域を求める際には、入力画像を複数の部分画像に分割し、それぞれの部分画像における輝度又は色相のヒストグラムを計測し、基準となる前景又は背景モデルとの非類似性をヒストグラムに関するハミング距離又はユークリッド距離によって求め、最も非類似度が小さい領域を前景又は背景領域であるとして求める最適ヒストグラム・マッチングの手法が用いられている。

また、特許文献２に記載の画像認識処理方法や、特許文献３に記載の顔基準点抽出法では、前景物体における基準となる特徴点を予め取得しておき、一般の入力画像に対しては、その画像中から特徴点を抽出し、先の基準とマッチングをとることで前景領域を求める方法が採用されている。

さらに、特許文献４に記載の適応学習型汎用画像計測装置や、特許文献５に記載の適応学習型汎用画像計測方法は、幾何学的に不変な特徴および統計的判別特徴を抽出する方法であり、前景物体に関する２値化された基準画像を多く取得し、それらから平行移動不変な特徴である高次局所自己相関特徴を抽出し、線形判別解析などを行うことで、前景物体に関する特徴を学習し、一般の入力画像において学習した特徴と同じ特徴を持つ部分を探索することを特徴としている。

特許文献４及び５に記載されているように、画像に関する統計的な特徴量を構成する手法について全般的に言える問題は、統計的分析を行う前に、原始的な特徴量として平均輝度と分散、またはエッジやテクスチャー情報など、分析者がヒューリスティックに導入した特徴量を初期特徴量として抽出した後に、統計処理を行って、さらに統計的特徴量を抽出していることである。つまり、統計処理を行う以前に分析者がノイズであると判断した情報は取り除かれてしまうこととなる。ところが、実際にはどのような情報がノイズであるかを予め予測することはできない。また、特徴量として抽出された情報にもノイズが含まれている可能性がある。むしろ、従来の統計的特徴抽出方法は、ヒューリスティックに定義された特徴量に含まれているノイズを除去するためだけに統計分析を行うものであると言える。そうすると、本来、ヒューリスティックな方法によって原始データを加工することは必要ないと言える。

特願平５−１９６９５号公報。 特開平５−２２５３４４号公報。 特開平６−４４３６５号公報。 特許第２８３４１５３号公報。 特許第２９８２８１４号公報。 田口善弘他，2001年，「非計量多次元尺度構成法への期待と新しい視点」，統計数理第49巻第1号，p133-153。

しかしながら、特許文献１〜３に開示されているような画像処理技術では、前景又は背景領域における輝度や色相に関するヒストグラムや特徴点などの基準となるデータが予め取得されたものに固定されているため、様々な前景物体に汎用的に対応できるものではなく、また、測定過程において生じるノイズ、前景物体の姿勢変化によって起こる変形やオクルージョン、環境の変動などに対応することができないという問題がある。

一方、特許文献４及び５に開示されているような画像の統計的特徴量を使用する手法では、統計的なノイズやオクルージョンにある程度は対応することができるが、特徴量が画像情報に関する線形変換として与えられることを仮定しているため、そのような仮定が成り立たないものは適用対象外となってしまうという問題がある。さらに、特許文献４及び５の手法では、線形判別分析のような統計分析を行う前に、ヒューリスティックに画像から特徴量を抽出しているが、このように特徴量を抽出することで、オリジナルの画像が持っていた情報がノイズであるか意味のある信号であるかに関らず捨てられている可能性がある。

従って、統計分析によってノイズを排除し統計学的に真に意味のある特徴量を抽出するためには、画像から情報を切り落とすことなく統計分析を実行するのが望ましい。しかしながら、一般的に画像データは非常に次元が高いデータであり、そのような高次元のデータに対して判別分析などを行うに膨大な量の計算処理が必要となるため、画像から情報を切り落とすことなく統計分析を実行するのは実質的には困難である。このため、従来の手法では、まず分析者がヒューリスティックな特徴量を抽出し、こうして次元が下がったデータに対して統計分析を実行している。

さらに、MRI画像のような３次元画像に対して、従来の手法を適用する際には、特徴量を抽出するために、一度、２次元の断面画像を取ってから解析を行い、再度３次元の情報に組み直す必要性があるが、このような場合には、断面間のグローバルな特徴を抽出するのが困難である。また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、テンソル値（行列値）のデータは色相や輝度のようなデータとは異なり、各成分自体の値よりも、行列式、固有値およびトレースなどの量の方に本質的な意味があり、従来手法のような平均輝度やエッジ強度のような特徴量は有効な特徴量とはならない場合が多い。

本発明は、このような従来技術における問題点に鑑みてなされたものであり、画像を前景及び背景領域に分離するシステムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、統計的ノイズ、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストな領域分割を行うことができるシステムを提供しようとするものである。

本発明は、また、従来技術のように基準となる画像を予め用意しておくことを必要とせずに、画像を前景及び背景領域に分離することができるシステムを提供しようとするものである。

本発明者は、上記の課題を解決するために、まず画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し（窓はお互いに重なりあっても良いし、重なりがないようにしても良い）、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、それらの部分画像に対してヒューリスティックな特徴量は導入せずに、切り出されたすべての部分画像同士の間にそれらの間の非類似度（あるいは類似度）に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の集合に関してクラスタリングを行い、最も多くの点が属するクラスタを背景領域に対応するクラスタであると判定し、この背景領域と判定されたクラスタに属する点を逆写像して得られる部分画像の集合を背景領域であると見なし、全体画像からこの背景領域を差分することにより、画像中の対象物体（前景）の領域を切り出すことに想到した。

さらに、本発明者は、切り出された部分画像に非計量的多次元尺度構成法を適用して得られる部分画像から距離空間への写像を重回帰分析することにより背景差分フィルタを構成しておき、一般の入力画像の部分画像に対してこの背景差分フィルタを適用することにより、非計量的多次元尺度構成法を実行せずとも、部分画像から距離空間への写像結果を推定的に取得することができる。

従来技術で説明した手法に比べ、本発明では、従来技術にあるようなヒューリスティックな方法ではなく、統計的な客観性の高い方法によって、画像から真に意味のある統計的特徴を、線形性や非線形関数形に関する仮定を置くことなく抽出することができること、基準となる画像を予め用意することなく、前景と背景領域とを分離することできること、写像元における非類似度又は類似度といった量の間での順序関係のみを使用するため、ノイズや環境輝度の変動、背景の変化、および、前景物体の姿勢変化やオクルージョンなどに対してロバスト性が高いことを特徴としている。

さらに、本発明の背景差分処理においては、従来技術にあるようにでは背景画像を蓄積して持っていなくとも、重回帰分析により構成された背景差分フィルタを用いて背景画像差分処理を行うことができることを特徴としている。背景画像の蓄積、ノイズ削除、輝度補正、背景変動補正などの画像に対する前処理を実行しなくとも背景差分ができるため、メモリ量及び計算コストが大きく削減されることとなる。

さらに、MRI画像のような３次元画像に対しても、本発明では、３次元画像を２次元の断面に分割する必要性はなく、３次元画像のまま、解析を行うことが可能であり、また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、このようなテンソル値のデータであっても客観的に本質な特徴量を抽出することができるようになることにおいても特徴を有している。

以上のような特徴を実現するための手段として、本発明は、画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、前記距離空間上に写像された点から距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、含まれる点の数が最も大きいクラスタを背景に対応するクラスタであると判定する判定手段と、背景に対応するクラスタであると判定したクラスタに属する点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの背景領域として統合する背景領域分割手段と、を含むことを特徴とする画像分割処理システムを提供するものである。

本発明は、また、画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、前記距離空間における直線、平面又は超平面であって、前記部分画像が写像された各点から該直線、平面又は超平面までの距離（幾何学的距離又は代数的距離）に基づく残差の総和が最小となるような直線、平面又は超平面を計算し、前記各点からそのように計算された直線、平面又は超平面までの距離（幾何学的距離又は代数的距離）に基づく残差の標準偏差を計算し、該標準偏差に基づいて前記計算された直線、平面又は超平面の近傍領域を計算し、該近傍領域内に属する点を背景に対応する点であると判定する判定手段と、背景に対応すると判定した点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの背景領域として統合する背景領域分割手段と、を含むことを特徴とする画像分割処理システムを提供するものである。

本発明の画像分割処理システムにおいて、前記判定手段は、計算された標準偏差が所定の閾値未満である場合には、前記部分画像が写像された各点のうち、該点から前記直線、平面又は超平面までの距離に基づく残差が前記標準偏差の所定数倍未満であるものを選択し、選択された点を背景に対応する点であると判定することを特徴とする。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組の間で決定された順序関係に基づいて各部分画像組に自然数による番号付けを行うとともに、前記部分画像集合から前記距離空間に写像される点の集合から、互いに異なる２点からなる組を生成し、それらの組に対して２点間の距離により順序関係を決定し、この順序関係に従ってそれらの組に自然数による番号付けを行い、前記部分画像の組に付けられた番号とそれらが前記距離空間に写像される点の組に付けられた番号との差の自乗を全ての前記部分画像の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組が前記距離空間に写像される点の組の２点間距離を計算するとともに、前記写像される点の組において補助距離の大小関係によって定められる順序関係が、前記部分画像の組の間で決定される順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値（あるいはスカラー値）とを与える関数の汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする。ここで、差分とは色相の差分又は濃淡値の差分のことであり、負の値を取り得るものとする。また、オプティカルフローは速度場に相当し、２次元あるいは３次元のベクトルで表されるものである。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数（構造テンソル）に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリング行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定して行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、K-最近接法又はK-平均法を実行するクラスタリングを行うことを特徴とする。

本発明は、さらに、上記した画像分割処理システムによって、１以上の画像を含む集合についてそれぞれ背景領域を抽出し、前記各画像について、前記距離空間における前記背景領域に対応する点の集合の重心の周りに対する主成分を計算することにより、前記距離空間に正規座標系を設定し、各画像の部分画像から前記正規座標への写像に対して重回帰分析を行うことにより、背景差分フィルタを構成する方法を提供するものである。

本発明は、さらに、上記した画像分割処理システムによって、１以上の画像を含む集合についてそれぞれ背景領域を抽出し、前記各画像について、前記距離空間における直線、平面又は超平面であって、前記距離空間における前記背景領域に対応する各点から前記直線、平面又は超平面から前記点までの距離（幾何学的距離又は代数的距離）に基づいて計算される残差の総和を最小にするような直線、平面又は超平面を計算し、
計算された直線、平面又は超平面に関し、
１．直線の場合には、その直線を第１座標軸として、その他の座標軸を第１座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
２．平面の場合には、その平面上に第１座標軸及び２座標軸をお互いに直交するように取り、その他の座標軸を第１座標軸及び２座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
３．超平面の場合には、その超平面上に超平面の次元と同じ数の座標軸を互いに直交するように取り、その他の座標軸を前記超平面上の座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
設定された座標軸により前記距離空間における正規座標系を構成し、各画像の部分画像から前記正規座標への写像に対して重回帰分析を行うことにより、背景差分フィルタを構成する方法を提供するものである。

本発明は、さらに、上記の方法によって構成された背景差分フィルタを用いて画像をフィルタリングする方法であって、前記背景差分フィルタに対して、前記正規座標系における原点を含む所定の近傍領域を設定し、画像の各部分画像について、前記背景差分フィルタを適用して得られる写像された点が前記近傍領域内にある場合には、その部分画像は背景領域に含まれると判定し、画像の各部分画像について、前記背景差分フィルタを適用して得られる写像された点が前記近傍領域外にある場合には、その部分画像は前景領域に含まれると判定する背景差分フィルタリング方法を提供するものである。

以上、説明したように、本発明の画像分割処理システムによれば、客観性の高い規準に従って画像が持つ統計的な特徴量が抽出されるので、画像に含まれる対象物体の違い、変化、オクルージョン及び環境の変動に対してロバスト性が高い背景差分処理を行うことが可能となる。また、そのロバスト性の高さから、画像の解像度の違いや、各種の統計的又は非統計的なノイズ、環境の状態の大きな変化があっても、特別な前処理を行う必要はないため、広範囲の対象画像について適用することができる。

また、重回帰分析により構成された背景差分フィルタを用いて画像分割処理を行うことにより、計算量及び処理時間が大幅に低減される。

また、３次元以上の画像中における空間的な構造を特徴づける特徴量を抽出することができるようになる。さらには、テンソル値（行列値）の画像（２次元及び３次元以上）であっても、画像を特徴づける特徴量を抽出することができるようになる。

以下、添付図面を参照しながら、本発明の画像分割処理システムを実施するための最良の形態を詳細に説明する。図１〜図１１は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。

図１は、本発明の一実施形態として構築される画像分割処理システムの内部構成を概略的に示す機能ブロック図である。この画像分割処理システムは、画像データを保存する記録装置１００、ユーザに対するインタフェース画面や画像データを分割処理した結果などを表示するための表示装置１０１、ユーザからの操作入力を受け付けるためのキーボード１０２とマウスなどのポインティングデバイス１０３、画像分割処理に必要な演算処理、制御処理等を行う中央処理装置１０４、画像分割処理に必要なプログラムを格納するプログラムメモリ１０５、画像分割処理の対象となる画像データ１１０を格納するデータメモリ１０６を備えている。

図２は、図１に示す画像分割処理システムのプログラムメモリ１０５に含まれる各種の処理プログラムを概略的に示す機能ブロック図である。図２において、プログラムメモリ１０５には、画像入力処理部Ｂ１、部分画像構成処理部Ｂ２、非類似度計算用特徴量計算処理部Ｂ３、非類似度計算処理部Ｂ４、順序関係保存特徴写像構成処理部Ｂ５、ロバスト回帰処理部Ｂ６、例外値判定処理部Ｂ７、領域演算処理部Ｂ８、背景差分画像出力処理部Ｂ９、クラスタリング処理部Ｂ１０、クラスタ要素計数処理部Ｂ１１、正規座標計算処理部Ｂ１２、データ蓄積部Ｂ１３、重回帰処理部Ｂ１４、背景差分フィルタ処理部Ｂ１５、背景判定閾値処理部Ｂ１６、画像処理部Ｂ１７が含まれている。以下において、これらの処理部における処理を詳細に説明する。

画像入力処理部Ｂ１は、記録装置１００などから分割対象となる画像データをメモリ１０６に取得する。以下においては、２次元画像を分割する場合について説明するが、本発明の画像分割処理システムは３次元画像であっても同様に分割処理を実行することができる。

画像処理部Ｂ１７は、取得した対象画像がカラー画像である場合には、グレースケール画像への変換、輝度正規化、ヒストグラム平滑化、サイズ変更、ノイズ低減などの各種フィルタリング処理を行うものとする。但し、これらの画像処理は必ずしも行う必要があるものではなく、画像入力処理部Ｂ１により取得した画像データをそのまま用いて以下の処理を行ってもよい。従来技術では、ここで輝度の正規化処理などを行わないと以下の処理に重大な影響を与えることとなるが、本発明の画像分割処理システムは、ここで輝度の正規化処理を行わなくとも以下の処理に問題が生じないという点でロバスト性が高いシステムである。ここでは、取得した画像データはRGB値で表されるカラー画像データであり、画像処理部Ｂ２では特に上記したような画像処理を行わないものとする。

部分画像構成処理部Ｂ２は、画像データ全体を覆うように窓を設定して、複数の部分画像を構成する。ここで、画像データに対する窓の設定方法を図６に示す。図６に示す窓の設定方法は、注目領域が画像全体であり窓が矩形である場合の例であり、図６（ａ）に示すように窓はお互いに交差しないように設定されていても良く、あるいは図６（ｂ）に示すようにお互いに交差するものがあるように設定されていても良い。また、窓の形も図６に示すような矩形ではなくても、注目領域全体を覆うことができるようになっていれば、形は任意で構わない。以下の処理では、図６（ａ）に示すような窓の設定方法を採用するが、部分画像の大きさは原理的にはかならずしも全て同じではなくても良い。

非類似度計算用特徴量計算処理部Ｂ３は、構成された各部分画像からヒストグラムやエッジ強度などの特徴量を抽出する。但し、特に特徴抽出せずに、与えられた部分画像そのものを特別な場合における特徴量として使用してもよい（その場合、ここでは一切処理は行うことはない）。非類似度の計算用に良く利用される特徴量としては、平均輝度と分散又はエッジ強度やテクスチャー構造を特徴づける共起(co-occurrence)行列、ランレングス・コード(run-length code)、フラクタル次元、窓フーリエ変換係数、ウェーブレット変換係数、輝度や色相のヒストグラムなどがある。

非類似度計算処理部Ｂ４は、お互いに異なるように選ばれた２つの部分画像からなる組全体について、各組に属する２つの部分画像間の非類似度を計算する。非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、各部分画像をC_i (i=1,2,...,N) と表す。Nは部分画像構成処理部Ｂ２において、切り出された部分画像の数（すなわち設定された窓の数）を表す。部分画像C_iに属する画素をkと表し、部分画像C_j に属する画素をlと表し、画素kにおけるRGBの値をそれぞれR_k 、G_k、B_k と表すことにする。非類似度としては、２つの部分画像それぞれに属する画素値すべてから実数への任意の関数が使用できる。例えば、画像の領域の平行移動や回転に対して不変性が高い非類似度の与え方としては、（１）式に示すような関数dが使用できる。

または、カラーヒストグラムインターセクションのような量も非類似度として良く使用される。このようにして与えられた非類似度に基づいて、部分画像組全体からなる集合の上に順序関係が、非類似度が写像する順序集合上において定義されている順序関係によって自然に定義される。このように、非類似度計算処理部Ｂ４では、各部分画像の組の間に順序関係が定義される。この順序関係を与える順序関数δを（２）式のように表す。

順序関数は（３）式のような関係を満たすものである。

このように任意の２つのお互いに異なる部分画像の組の間に順序関係が定義された部分画像の集合は、順序関係保存特徴写像構成処理部Ｂ５において写像処理されることとなる。

順序関係保存特徴写像構成処理部Ｂ５は、部分画像の集合をある距離空間の点の集合に１対１で写像する。ここで写像に関しては、写像によって写される距離空間上の点全体からなる集合から選ばれるお互いに異なる２点の組合せ全体がなす集合上に、２点間の距離に基づいて与えられる、お互いに異なる２点の組の全体からなる集合上に定義される順序関係が、写像元の部分画像のお互いに異なる２つの部分画像の組全体からなる集合対して、非類似度計算処理部Ｂ４において計算される順序関係と一致するように選ばれていれば、任意の写像を使用することができる。以下では、このような写像を「特徴写像」と呼ぶ。例えば、非計量多次元尺度構成法を用いて、このような写像の一つを構成することができる。特に、以下の処理では、非計量的多次元尺度構成法を部分画像の全体からなる集合上から選ばれたお互いに異なる２つの部分画像の組合せ全体からなる集合上に定義される順序関係のみを用いて特徴写像を構成する方法（非特許文献１参照）に従う。

特徴写像を構成するために、まず、部分画像C_i が写される距離空間上の点の位置座標をランダムに初期状態として選び、ベクトル

で表す。お互いに異なる２つの部分画像の組から成る集合上における順序関係を順序が小さいものから順に1,2,...,Nと番号をつけるものとする。つまり、ある部分画像組(C_i, C_j)の写像元での順番がmであったとき、順序関数δ(C_i, C_j)の値はmで与えられ、（４）式のように表すことができる。

同様に、位置ベクトル

から選ばれるお互いに異なる２つの位置ベクトルの組合せ全体から成る集合上に、位置ベクトル

間の距離

の大小関係に基づいて順序関係を定義し、順序が小さいものから順に1,2,...,N番号が付けるものとする。この順序関係を与える順序関数を とおく。つまり、位置ベクトルの組

の順序がnであったとき、順序関数

の値はnで与えられ、（５）式のように表すことができる。

部分画像組(C_i, C_j)の写像元での順位がmで与えられるとき、写像先での位置座標の組

の順位をT_m と置く。つまり、（６）式のように表すことができる。

目的の特徴写像を構成するためには、以下の手順（ア）〜（オ）に従う。
（ア）以下の（７）式に定義する行列の成分を対角成分以外のすべてについて計算する。（対角成分はすべて０と置いても良い。）ここで、mは部分画像の組(C_i, C_j)の順位を表し、T_m は（６）式で定義される位置ベクトルの組

の順位を表す。

（イ）位置ベクトル

それぞれについて以下の（８）式で与えられる差分ベクトル

を計算する。

（８）式におけるμは更新率で小さい正の数である。

（ウ）手順（イ）で求めた差分ベクトルによって、位置ベクトルを以下の（９）式のように更新する。

（エ）更新された位置ベクトル

を

と置きなおし、以下の（１０）式が満たされるように、位置ベクトル

のスケールを変換する。

（オ）手順（ア）〜（エ）を終了条件が満たされるまで繰返し行う。例えば、（７）式で与えられる行列D_i,j の全ての非対角成分がすべて０となるか、予め決めた最大繰返し数に達するまで繰り返す。

以上のようにして、順序関係保存特徴写像構成処理部Ｂ５により特徴写像が構成される。この処理の様子を図７に示す。図７（ｂ）は、２次元のユークリッド空間に写像する特徴写像の例である。ここに示す写像結果では、背景に属する部分画像同士では非類似度が小さく、背景以外に属する部分画像と背景に属する部分画像とは非類似度が大きいので、背景に属する部分画像同士は写像先の距離空間では近くの点に写像され、背景以外の部分画像に対応する点からは離れている。また、背景は前景に比べ、領域が十分に大きく、背景に対応するクラスタは前景のクラスタに比べて、一般に大きな広がりを持つ。特に、２次元に写像した場合には、主軸方向に長く伸びたクラスタが形成されやすい。

部分画像の集合及び特徴写像によって写像される距離空間上の点の集合は、ロバスト回帰処理を行うモードに設定されている場合には、ロバスト回帰処理部Ｂ６によってさらに処理され、ロバスト回帰モードに設定されていない場合には、クラスタリング処理部Ｂ１０によってさらに処理されることとなる。

ロバスト回帰処理部Ｂ６では、特徴写像によって得られた距離空間における点の集合に対して、残差のメディアン（中央値）の２乗が最小となるような直線を計算する。尚、本実施形態では、図７（ｂ）に示すように２次元の距離空間に写像しているので直線にフィッティングするが、３次元以上の距離空間に写像する場合には、同様の手順で平面や超平面にフィッティングすることとなる。このフィッティングの方法を図８（a）に示す。

まず、距離空間に座標軸x,yを導入する。特徴写像によって得られる各部分画像C_iに対応する点の位置ベクトルの成分を（１１）式のように表す。

直線の方程式を（１２）式で定義し、

傾きaと切片bを最小メディアン２乗法によって計算する。特に、ここではモンテカルロ法に基づく手法に関して説明する。まず、距離空間に写像された点の集合から２点の組合せ(x_i,y_i)^T及び(x_j,y_j)^Tをランダムに選択する。この２点を通る直線の傾きは（１３−１）式のように計算され、切片は（１３−２）式のように計算される。

このように決められた直線に対して、直線の方程式を計算するために使用した２つの点以外のすべての点に対する残差を（１４）式のように計算する。

このようにして計算された残差に関するメディアンを（１５）式のように表す。

予め決められた個数だけ、２点の組合せをランダムに発生させて、それらの中から、メディアンが最小となるものを求めて、（１６）式のように表す。

この最小のメディアンを与える直線のパラメタを（１７）式のように表す。

（１７）式で与えられるパラメタを部分画像の集合を距離空間に写像したときに得られる点の集合への最小メディアン２乗法による直線のフィッティング結果とする。このフィッティングに関するロバスト標準偏差は（１８）式のように計算される。

（１８）式で計算されたロバスト標準偏差が予め定められた閾値以下であるかどうかによって、以降の処理が分岐する。ロバスト標準偏差が予め定められた閾値より大きい場合には、例外値判定処理部Ｂ７による処理へと進み、ロバスト標準偏差が予め定められた閾値以下である場合には、クラスタリング処理部Ｂ１０による処理へと進む。

例外値判定処理部Ｂ７では、（１４）式で計算される残差と、（１８）式で計算されるロバスト標準偏差に予め定めた定数（例えば２．５）を掛けた値とを比較し、残差がその値以下である場合には、その点は正常値であると判定し、残差がその値より大きい場合には、その点は例外値であると判定する。正常値であると判定した点に対応する部分画像を背景領域に属すると判定し、この判定結果に基づいて、領域演算処理部Ｂ８以降の処理を行う。

一方、クラスタリング処理部Ｂ１０は、順序関係保存特徴写像構成処理部Ｂ５で計算された特徴写像による部分画像全体の像である位置ベクトル

の配置に関するクラスタリングを行う。クラスタリング手法としてはクラスタ数を予め与える必要のない混合ガウス分布などの混合確率分布を用いた最尤推定法のようなクラスタリング手法が良いが、位置ベクトル間の距離を用いたdivisive clusteringなどを用いても良い。

混合ガウス分布を使用する場合には、位置ベクトルの配置

は、以下の（１９）式で表されるような混合ガウス分布からランダムに選ばれたN個の点であると見なす。

（１９）式において、Jは特徴写像の写像先の距離空間の次元を表し、Lはガウス分布の成分数を表し、

は各ガウス分布成分のそれぞれ平均値ベクトル、共分散行列を表し、Θ_l ^-1 は共分散行列Θ_l の逆行列を表し、|Θ_l|は共分散行列Θ_lの行列式を表し、λ_l は各ガウス分布成分の重みを表し、以下の（２０）式を満たす。

各ガウス分布成分が一つのクラスタを表す。このとき、位置ベクトルの配置

に関する対数尤度関数

は以下の（２１）式で表される。

この対数尤度関数

をパラメタ

について最適化することで、目的のクラスタ数およびクラスタ位置とサイズとが計算される。最適化手法としては、例えば、Greedy-EMアルゴリズム（J. Verbeek, N. Vlassis, and B. Krose, Neural Computation Vol.15, No.2, pages 469-485, 2003.）が使用できる。

以上のようにして、クラスタリング処理部Ｂ１０では、特徴写像構成処理部Ｂ５で計算された特徴写像による部分画像全体の像である位置ベクトル

の配置に関するクラスタリングを行い、クラスタ要素計数処理部Ｂ１１へと処理を進める。

クラスタ要素計数処理部Ｂ１１では、クラスタごとにどの位置ベクトルがそのクラスタに属するかを表すリストを構成する。位置ベクトル

がどのクラスタに属するかは、各ガウス分布成分に関するマハラノビス距離を計算し、もっともマハラノビス距離が小さくなるガウス成分として決めることができる。第lガウス分布成分で表されるクラスタから位置ベクトル

までのマハラノビス距離は（２２）式で計算される。

図８（ｂ）に、混合ガウス分布によるクラスタリング結果の例を表す。楕円は同一のクラスタに属する点を囲んでいる。

クラスタ要素計数処理部Ｂ１１では、最も多くの点が属するクラスタを背景領域に対応するものと判定し、その判定結果と各クラスタに属する点のリストとを領域演算処理部Ｂ８に出力する。

領域演算処理部Ｂ８では、窓の重なり状態を判定し、画像の注目領域を重なりが生じていない領域と重なりが生じている領域とを計算する。重なりが生じている領域に関しては幾つの窓によって重なりが生じているかで、さらに分離する。このように、画像の注目領域における窓の重なりによって決まる領域の分割データと、このように分割された各領域上に載る窓のリストと、その領域が各窓領域の大きさに対してどれくらいの割合の面積を占めるかを示すリストとが作成され、背景差分画像出力処理部Ｂ９に出力される。

背景差分画像出力処理部Ｂ９では、領域演算処理部Ｂ８で分割された各領域について、その領域の上にある各窓のうち背景と判定された窓がある場合には、その窓がその領域を占有する割合を足し上げ、同様に前景と判定された窓がある場合には、その窓がその領域を占有する割合を足し上げる。こうして得られた２つの和を比較し、もし前景と判定された窓についての和の方が大きい場合には、その領域を前景と判定し、そうではない場合には、背景であると判定する。画像が得られる。このようにして、画像分割処理システムの表示装置１０１には、画像データの注目領域を背景領域と前景領域とに分割した結果が図９のようにして表示されることとなる。

尚、以上の処理は、図３に示すフローチャートの手順に従って実行することができる。
さらに、本実施形態の画像分割処理システムでは、背景差分フィルタを構成することができる。以下において、図４に示すフローチャートを参照しながら、背景差分フィルタの構成方法を説明する。

背景差分フィルタ構成処理では、読み込む画像数Iが与えられており、各画像についてステップＳ２−３からステップＳ２−１０までの処理が繰り返し実行される。但し、画像入力処理ステップＳ２−３からロバスト回帰処理ステップＳ２−８までにおける処理は、図３に示す画像入力処理ステップＳ１−２からロバスト回帰処理ステップＳ１−８までと同様にして行われるものとする。また、以下では２次元の距離空間への特徴写像を構成し、直線に関するロバスト回帰分析を行ったものとしているが、３次元以上の距離空間に写像した場合にも、同様の処理を行うことができる。

正規座標計算処理ステップＳ２−９では、（２３）式に示すような正規座標を各点について計算する。

但し、（２３）式における

は（２４）式で与えられる。

また、（２３）式では、ロバスト回帰分析によってフィッティングされた直線上で（２５）式が満たされるように正規座標が取られている。

つまり、ロバスト回帰分析によってフィッティングされた直線によって決まる方向に

軸を取り、それと直交する方向に

軸が取られている。この処理により計算される正規座標の例を図１０及び図１１に示す。尚、この正規座標計算処理は、図２に示す正規座標計算処理部Ｂ１２により実行されるものである。

ステップＳ２−９において、全ての部分画像に対して（２３）式で計算される正規座標を計算し終えると、ステップＳ２−１０において、各部分画像について非類似度計算に用いた特徴量とそれに対応する正規座標データとの組を重回帰分析データとして蓄積する。尚、この重回帰分析データ蓄積処理は、図２に示すデータ蓄積部Ｂ１３により実行されるものである。

全ての入力画像について、ステップＳ２−３からステップＳ２−１０までの処理を行った後、ステップＳ２−１２において、蓄積された各部分画像についての非類似度計算用特徴量及び正規座標の組のデータを使用して重回帰分析処理を行う。すなわち、各部分画像の非類似度計算用の特徴量から、（２３）式によって計算される正規座標への写像を重回帰分析によって推定する。どのような式により重回帰分析を行うかは、（２３）式で計算される正規座標の性質を調べて決定する必要があるが、以下では簡単のために、（２６−１）、（２６−２）式に示すような線形写像による写像の近似を行う例を挙げて説明する。重回帰分析の結果が上手く写像を近似しない場合には、より高次の非線形項を逐次追加して、近似の程度を上げていくことにより対処することができる。特に、（２６−１）、（２６−２）式は、部分画像から特に特徴量を抽出することなく、部分画像データそのものを使用した場合の例である。

（２６−１）、（２６−２）式において、添字Aは画像の番号を表し、添字iはそのA番目の画像における部分画像の番号を表し、

はA番目の画像におけるi番目の部分画像上におけるk番目の画素上におけるＲＧＢ値を表し、和の記号は部分画像C_i上の全ての画素kに関する和を表している。つまり、（２６−１）、（２６−２）式で表される重回帰分析はAI個のデータに関して行われる。このようにして、各部分画像から抽出した非類似度計算用の特徴量から、（２３）式によって計算される正規座標への写像が背景差分フィルタとして構成される。尚、この重回帰分析処理は、図２に示す重回帰分析処理部Ｂ１４により実行されるものである。

以上のようにして構成された背景差分フィルタを用いて入力画像をフィルタリングする処理について、図５に示すフローチャートを参照しながら説明する。以下での説明では、フィルタによる出力は１次元

であるとする。つまり、入力された画像における部分画像C_i に関するフィルタ値は（２７）式で計算されることとなる。

但し、（２７）式における係数α_k ^y，β_k ^y，γ_k ^y，μ^y は、（２６−１）、（２６−２）式に対する重回帰分析によって得られたものである。

図５におけるステップＳ３−１からＳ３−４までの処理は、図３におけるステップＳ１−１からＳ１−４までと同様にして実行される。ステップＳ３−５では、図２に示す非類似度計算用特徴量計算処理部Ｂ３により、上記同様にして部分画像から特徴量を抽出する。ステップＳ３−６では、各部分画像C_i に対するフィルタ値

を（２７）式によって計算する。このフィルタ値計算処理は、図２に示す背景差分フィルタ処理部Ｂ１５により実行されるものである。

ステップＳ３−７では、ステップＳ３−６において計算されたフィルタ値

を、予め定められた閾値τと比較し、（２８）式に例を示すように、フィルタ値

の絶対値が閾値τ未満であるかどうかを判定し、（２８）の不等式が満たされる場合には、部分画像C_i は背景領域に属すると判定する。

この閾値処理は、図２に示す背景判定閾値処理部Ｂ１６により実行されるものである。

ステップＳ３−８では、ステップＳ３−７で得られたフィルタリング結果に基づき、与えられた画像の注目領域を背景領域と前景領域とに分割して出力する処理を行う。この処理は、上記同様に図２に示す領域演算処理部Ｂ８及び背景差分画像出力処理部Ｂ９によって実行されるものである。以上のようにして、入力画像に対して背景差分フィルタリング処理が行われる。

以上、本発明の画像分割処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。

本発明の画像分割処理システムは、医療システム、監視システム、検査システムおよび高度道路交通システム（Intelligent Transportation Systems；ITS）などにおいて、計測された画像から背景領域を分離し、前景領域に含まれる物体を検出及び認識するシステムとして利用可能である。

本発明の一実施形態として構築される画像分割処理システムの内部構成を概略的に示す機能ブロック図である。 図１に示す画像分割処理システムのプログラムメモリに含まれる各種の処理プログラムを概略的に示す機能ブロック図である。 本発明の画像分割処理システムにより前景領域と背景領域とを分離する処理の流れを示すフローチャートである。 本発明の画像分割処理システムにより背景差分フィルタを構成する処理の流れを示すフローチャートである。 本発明の画像分割処理システムにより構成された背景差分フィルタを用いて入力画像をフィルタリングする処理の流れを示すフローチャートである。 図１に示す画像分割処理システムの部分画像構成処理部により画像データに対する窓を設定する方法を示す図である。 図１に示す画像分割処理システムの順序関係保存特徴写像構成処理部において特徴写像が構成される様子を示す図である。 （a）は、特徴写像によって得られた距離空間における点の集合に対して、ロバスト回帰分析により直線をフィッティングする方法を示す図であり、（ｂ）は、混合ガウス分布によるクラスタリング結果の例を表す図である。 画像データの注目領域を背景領域と前景領域とに分割した結果を示す図である。 正規座標計算処理部により計算される正規座標の例を示す図である。 正規座標計算処理部により計算される正規座標の例を示す図である。

符号の説明

１００ 記録装置
１０１ 表示装置
１０２ キーボード
１０３ ポインティングデバイス
１０４ 中央処理装置
１０５ プログラムメモリ
１０６ データメモリ
１１０ 画像データ

Claims (24)

1. 画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、
   前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、
   前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、
   前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、
   前記距離空間上に写像された点から距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、
   含まれる点の数が最も大きいクラスタを背景に対応するクラスタであると判定する判定手段と、
   背景に対応するクラスタであると判定したクラスタに属する点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの背景領域として統合する背景領域分割手段と、を含むことを特徴とする画像分割処理システム。
2. 画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、
   前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、
   前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、
   前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、
   前記距離空間における直線、平面又は超平面であって、前記部分画像が写像された各点から該直線、平面又は超平面までの距離に基づく残差の総和が最小となるような直線、平面又は超平面を計算し、前記各点からそのように計算された直線、平面又は超平面までの距離に基づく残差の標準偏差を計算し、該標準偏差に基づいて前記計算された直線、平面又は超平面の近傍領域を計算し、該近傍領域内に属する点を背景に対応する点であると判定する判定手段と、
   背景に対応すると判定した点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの背景領域として統合する背景領域分割手段と、を含むことを特徴とする画像分割処理システム。
3. 前記判定手段は、計算された標準偏差が所定の閾値未満である場合には、前記部分画像が写像された各点のうち、該点から前記直線、平面又は超平面までの距離に基づく残差が前記標準偏差の所定数倍未満であるものを選択し、選択された点を背景に対応する点であると判定することを特徴とする請求項２に記載の画像分割処理システム。
4. 前記写像手段は、前記部分画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする請求項１から３のいずれか１項に記載の画像分割処理システム。
5. 前記写像手段は、前記部分画像の組の間で決定された順序関係に基づいて各部分画像組に自然数による番号付けを行うとともに、前記部分画像集合から前記距離空間に写像される点の集合から、互いに異なる２点からなる組を生成し、それらの組に対して２点間の距離により順序関係を決定し、この順序関係に従ってそれらの組に自然数による番号付けを行い、前記部分画像の組に付けられた番号とそれらが前記距離空間に写像される点の組に付けられた番号との差の自乗を全ての前記部分画像の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする請求項１から３のいずれか１項に記載の画像分割処理システム。
6. 前記写像手段は、前記部分画像の組が前記距離空間に写像される点の組の２点間距離を計算するとともに、前記写像される点の組において補助距離の大小関係によって定められる順序関係が、前記部分画像の組の間で決定される順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする請求項１から３のいずれか１項に記載の画像分割処理システム。
7. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜６のいずれか１項に記載の画像分割処理システム。
8. 各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜６のいずれか１項に記載の画像分割処理システム。
9. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする請求項１〜６のいずれか１項に記載の画像分割処理システム。
10. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする請求項７に記載の画像分割処理システム。
11. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする請求項７に記載の画像分割処理システム。
12. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする請求項７に記載の画像分割処理システム。
13. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする請求項７に記載の画像分割処理システム。
14. 各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする請求項７に記載の画像分割処理システム。
15. 前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリング行うことを特徴とする請求項１に記載の画像分割処理システム。
16. 前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする請求項１５に記載の画像分割処理システム。
17. 前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする請求項１６に記載の画像分割処理システム。
18. 前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする請求項１５に記載の画像分割処理システム。
19. 前記クラスタリング手段は、全クラスタ数を予め指定して行うことを特徴とする請求項１に記載の画像分割処理システム。
20. 前記クラスタリング手段は、K-最近接法を実行するクラスタリングを行うことを特徴とする請求項１９に記載の画像分割処理システム。
21. 前記クラスタリング手段は、K-平均法を実行するクラスタリングを行うことを特徴とする請求項１９に記載の画像分割処理システム。
22. 請求項１〜２１に記載のいずれか１項に記載の画像分割処理システムによって、１以上の画像を含む集合についてそれぞれ背景領域を抽出し、
    前記各画像について、前記距離空間における前記背景領域に対応する点の集合の重心の周りに対する主成分を計算することにより、前記距離空間に正規座標系を設定し、
    各画像の部分画像から前記正規座標への写像に対して重回帰分析を行うことにより、背景差分フィルタを構成する方法。
23. 請求項１〜２１に記載のいずれか１項に記載の画像分割処理システムによって、１以上の画像を含む集合についてそれぞれ背景領域を抽出し、
    前記各画像について、前記距離空間における直線、平面又は超平面であって、前記距離空間における前記背景領域に対応する各点から前記直線、平面又は超平面から前記点までの距離幾何学的距離又は代数的距離に基づいて計算される残差の総和を最小にするような直線、平面又は超平面を計算し、
    計算された直線、平面又は超平面に関し、
    １．直線の場合には、その直線を第１座標軸として、その他の座標軸を第１座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
    ２．平面の場合には、その平面上に第１座標軸及び２座標軸をお互いに直交するように取り、その他の座標軸を第１座標軸及び２座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
    ３．超平面の場合には、その超平面上に超平面の次元と同じ数の座標軸を互いに直交するように取り、その他の座標軸を前記超平面上の座標軸と直交するように取って、距離空間の次元と同数の座標軸を設定し、
    設定された座標軸により前記距離空間における正規座標系を構成し、
    各画像の部分画像から前記正規座標への写像に対して重回帰分析を行うことにより、背景差分フィルタを構成する方法。
24. 請求項２２又は２３に記載の方法によって構成された背景差分フィルタを用いて画像をフィルタリングする方法であって、
    前記背景差分フィルタに対して、前記正規座標系における原点を含む所定の近傍領域を設定し、
    画像の各部分画像について、前記背景差分フィルタを適用して得られる写像された点が前記近傍領域内にある場合には、その部分画像は背景領域に含まれると判定し、
    画像の各部分画像について、前記背景差分フィルタを適用して得られる写像された点が前記近傍領域外にある場合には、その部分画像は前景領域に含まれると判定する背景差分フィルタリング方法。

Images