JP6472279B2

JP6472279B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6472279B2
Application number: JP2015046343A
Authority: JP
Inventors: 賀保橋口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2019-02-20
Anticipated expiration: 2035-03-09
Also published as: JP2016167150A; US20160267356A1; US9842260B2

Description

本発明は、画像の領域分割を行う画像処理装置及び画像処理方法に関する。

画像をそれぞれの領域の色や模様、明るさなどの属性が同じになるように複数の領域に分割する技術として領域分割(Segmentation)手法が用いられる。これら分割された領域は領域単位で各種画像処理が行えるため、画素単位で画像を処理する場合に比べ演算量を削減することができる。

領域分割の処理を高速化するためにいくつかの手法が提案されている。例えば、色情報(l,a,b)と座標(X,Y)の5次元の情報を用いて画素データのクラスタリングを行うことで画像を複数の領域に分ける手法として非特許文献1がある。非特許文献1に記載された手法は、Simple Linear Iterative Clustering(SLIC)と呼ばれる。SLIC手法ではまず、画像中に、クラスターの中心となる代表データを格子状に配置する。SLIC手法における代表データは、色情報(l,a,b)と座標(X,Y)の5次元の情報を持ち、シードやクラスター中心(cluster centroid)とも呼ばれる。そして、クラスタリングにより得られた領域をスーパーピクセル(Superpixel)と呼ぶ。SLIC手法はクラスタリングの1つであるk-means法をベースにしており、格子状に配置した代表データに画素データをクラスタリングする。そして、クラスタリングされた画素データの5次元の情報を用いて各代表データを更新し、再度クラスタリングする。SLIC手法ではクラスタリングと更新を1回以上繰り返して、領域分割結果を得る。SLIC手法とk-means法の違いは、代表データにクラスタリングする画素データの範囲を限定している点にある。

また、非特許文献1の手法をGraphic Processing Unit(GPU)で高速化した手法として非特許文献2がある。非特許文献2ではGPUで高速処理を実現するために階層クラスタリング方式(Hierarchical clustering scheme)が提案されており、これにより高解像度画像の高速な領域分割処理を実現している。

また、代表データの初期値設定方法を工夫してk-means処理を高速化した手法として非特許文献3がある。非特許文献3では、複数の類似する画像を順番に処理する場合に、1枚目の画像は通常通り処理し、2枚目以降は前の画像で得られた代表データを使用することで繰り返し回数を減らして、高速化を実現している。

R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Ssstrunk,"SLIC Superpixels,"tech.rep.,EPFL,EPFL,2010. C.Y.Ren and I.Reid.gSLIC:a real-time implementation of SLIC superpixel segmentation.University of Oxford,Department of Engineering,Technical Report,2011. T.Maruyama,"Real-time K-Means Clustering for Color Images on Reconfigurable Hardware",International Conference on Pattern Recognition,pp.816-819,2006

しかしながら、非特許文献3のような高速化の手法を動画像に適用した場合、カメラを動かしたり、シーンチェンジしたり、画像に大きな変化が生じると、代表データに画素データが1つもクラスタリングされない現象が起こる。この現象はデッドクラスタ(Dead Cluster)、Dead centroidあるいはEmpty Clusterなどと呼ばれており、以下、本願ではデッドクラスタと呼ぶ。デッドクラスタが発生すると領域数が減少し、領域分割精度が低下する。

本発明は、時間的に連続する画像ごとに複数の領域に分割する際に、領域分割の精度の低下を抑制することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、時間的に連続する画像について、画像ごとに、初回のクラスタリングに用いる代表データを設定する設定手段と、前記画像において前記代表データに基づき画素のクラスタリングを繰り返すクラスタリング手段と、前記クラスタリングの繰り返しごとに前記代表データを更新する更新手段と、前記画像ごとに、所定の入力情報に基づいて、前記代表データとして、初期値または一つ前の画像の最後のクラスタリングに使用された代表データのいずれを用いるかを判定する判定手段と、を有し、前記設定手段は、前記判定手段による判定結果に基づいて前記代表データを設定することを特徴とする。

本発明によれば、時間的に連続する画像ごとに複数の領域に分割する際に、領域分割の精度の低下を抑制することができる。

本実施形態における領域分割装置の構成を示すブロック図、本実施形態における領域分割処理を示すフローチャート、本実施形態における代表データの初期配置と領域分割を説明する図、本実施形態におけるデッドクラスタの発生を説明する図、その他の実施形態における部分領域の説明図、その他の実施形態における領域分割装置の構成を示すブロック図、その他の実施形態におけるシステム構成を示すブロック図、である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第1実施形態＞
●装置構成
図1に、本実施形態における画像処理装置のブロック構成を示す。本実施形態の画像処理装置は、時間的に連続する画像ごとに、代表データに基づき画素をクラスタリングする処理を繰り返すことで、領域分割を行う領域分割装置である。

画像入力部101は光学系デバイス、光電変換デバイスを制御するドライバー回路、ADコンバーター、各種画像補正を司る信号処理回路、フレームバッファ、等により構成される。画像入力部101の機能は入力光を画像化して画像データを出力することである。本実施形態で扱う画像データは可視光線を画像化したRGBのカラー画像とする。ただし、輝度を表したグレイ画像や、不可視光線の紫外線領域、赤外線領域などを捉えた画像等も利用でき、入力画像の種類やフォーマットは本発明を限定するものではない。

動作条件入力部103は、領域分割装置を備える機器の動作条件を入力する。本実施形態ではこの機器が遠隔操作可能な固定式の撮像装置(以下、監視カメラ)であるとして説明する。そして動作条件として、該監視カメラの撮影範囲を変えるための遠隔からの操作情報が入力されるとする。一般に監視カメラの遠隔操作にはパン(PAN)、チルト(TILT)、ズーム(ZOOM)の動作がある。パンはカメラ部分の左右の動きであり、チルトは上下の動きである。そしてズームはレンズを制御して被写体に接近したように大きく写したり、被写体から離れて広域を写したりする動作である。動作条件入力部103はこれらパン、チルト、ズームの操作情報を入力する。

スーパーピクセル生成部110は、画像入力部101で得られた画像をクラスタリングによって領域分割処理し、スーパーピクセルを生成する。スーパーピクセル生成部110は、代表データ初期化部111、代表データ保持部112、クラスタリング処理部113、代表データ更新部114、代表データ初期化判定部115、からなる。各構成における動作の詳細については後述する。本実施形態のスーパーピクセル生成には、非特許文献2で用いられているSLICをベースにした方法を用いる。以下、本実施形態では画像特徴として画素データの色情報(R,G,B)を用いて説明する。

図1に示す領域分割装置における動作概要は以下の通りである。すなわち、画像入力部101から動画像がフレーム毎に入力され、スーパーピクセル生成部110で処理された結果が、領域分割結果保持部102に出力される。スーパーピクセル生成部110は、画素データを代表データにクラスタリングする。クラスタリングは1回以上繰り返され、代表データは繰り返しの際に更新される。スーパーピクセル生成部110は、2フレーム目以降について、前のフレーム画像を領域分割して得られた代表データを引き継ぐか、代表データの初期値を用いるか、を判定する。この判定は、動作条件入力部103からの入力情報に基づいて行われる。以下、本実施形態では代表データに所定の初期値を設定する処理を、初期化と称する。

●領域分割処理
以下、本実施形態の領域分割処理の手順について、図2のフローチャートを用いて説明する。

S201でフレーム画像のループを開始する。

S202では、動作条件入力部103が、操作情報を入力する。操作情報には、パン、チルト、ズームの操作指示の有無が示される。動作条件入力部103から入力された操作情報は、代表データ初期化判定部115に入力される。

S203では、代表データ初期化判定部115が、操作指示があったか否かに応じて代表データの初期化の要否を判定する。本実施形態の領域分割装置は、操作指示があった場合には代表データの値を初期化し、操作指示が無い場合には前のフレーム画像を領域分割して得られた代表データを引き継ぐ。代表データを前のフレームから引き継ぐことによって、非特許文献3で説明したようにクラスタリングの繰り返し回数を減らし、処理を高速化することができる。

S203での代表データの初期化を行うか否かの判定結果に基づいて、代表データを設定する。すなわち、代表データの初期化を行うと判定された場合はS204に進んで代表データを初期化し、初期化を行わないと判定された場合はS205に進んで代表データを引き継ぐ処理を行う。但し、フレーム画像のループの初回、すなわち1枚目のフレームでは代表データの初期化が必要なため、S204に進む。

S204では代表データ初期化部111が代表データの初期化を行う。本実施形態の代表データは色情報(R,G,B)と座標(X,Y)の5次元の情報を持つ。ここで、代表データの座標(X,Y)の初期配置例を図3(a)に示す。図3(a)において301は画像を表し、画像301の内部に配置された円は各代表データの位置を表す。そしてSは代表データの間隔を表す。代表データ302は、画像の左上を原点として、XとYがそれぞれS/2、S/2の位置となる。そして代表データ302を起点として、間隔Sの格子状に各代表データの座標(X,Y)を設定する。また色情報(R,G,B)は、代表データが配置された座標に対応する画像301の画素値で設定する。以上の処理で初期化した代表データは、代表データ保持部112に保存する。

一方、S205では、前のフレームの更新された代表データを引き継いで設定する処理を行う。この処理の詳細については後述する。

S206では、クラスタリング処理部113は、クラスタリングの繰り返し回数を設定し、繰り返し計算のループ(S206〜S215)を開始する。繰り返し回数としては1以上の値を設定する。

S207では、入力データのループ(S207〜S210)を開始する。入力データは画素データであり、クラスタリング処理部113は、画像の左上からラスタ順に走査して、S208〜S210の繰り返しで全ての入力データをクラスタリングする。この処理はクラスタリング処理部113で行われる。

S208では、画素データと対応する代表データとの距離D_sを算出する。画素データと代表データの対応関係を図3(b)に示す。図3(b)において画像311内の円は代表データ、四角で示す321は画素データを表す。画素データは、その周囲に位置する3×3個の代表データと対応付けられている。例えば画素データ321は、その周囲の代表データ312〜320と対応付けられる。S208での距離計算は、各画素データとその周囲の3×3個の代表データとの間で行われる。距離D_sの計算を式(1)に示す。

d_rgb=√((r_k-r_i)^2+(g_k-g_i)^2+(b_k-b_i)^2)
d_xy=√((x_k-x_i)^2+(y_k-y_i)^2)
D_s=d_rgb+(m/S)d_xy …(1)
式(1)において、k番目の代表点の色情報(R,G,B)は(r_k,g_k,b_k)、座標(X,Y)は(x_k,y_k)とする。kは、間隔Sで配置した代表点の総数をKとした時、0〜K-1の値をとる。画像301内の画素位置をiで表すと、i番目の画素位置の色情報(R,G,B)は(r_i,g_i,b_i)で表される。同様にi番目の画素位置の座標(X,Y)は(x_i,y_i)で表される。また、mは色空間上の距離d_rgbと座標空間上の距離d_xyを足し合わせる際の重みを表すパラメータである。

S209では、クラスタリング処理部113は、入力データを最近傍の代表データに帰属させる処理を行う。具体的には、画素データについて、その周囲の3×3個の代表データのうち、画素データとの距離D_sが最も小さい代表データを選択する。図3(c)に示すように、画像301に配置された代表データにはインデックスが振られている。したがってS209では、画素データごとに、選択された代表データのインデックスをラベル値として、図3(d)に示すようなラベルマップを作成し、領域分割結果保持部102に送る。

S210では、全ての入力データを処理したか否かを判定し、全て処理した場合はS211に進み、入力データのループを終了する。未処理の入力データが残っている場合はS208に戻り、次の入力データの処理を開始する。

S211では、代表データ更新部114における代表データ更新のループ(S211〜S214)を開始する。

S212では、代表データ更新部114は、代表データに帰属した画素データから、色情報(R,G,B)と座標情報(X,Y)の累積値を計算して画素データの数で除算する。つまり、各情報の平均値を求めることで、色情報(R,G,B)と座標情報(X,Y)の更新値を得る。S212で得られた代表データの更新値は、S213で代表データ保持部112に保存される。

S214では、代表データ更新部114は、全ての代表データについて更新が終了したか否かを判定し、終了した場合はS215に進んで代表データ更新のループを終了する。全ての代表データについての更新が終了していない場合はS212に戻り、次の代表データの更新処理を開始する。

S215では、クラスタリング処理部113は、繰り返し計算が所定の回数を超えたか否かを判定し、超えた場合は繰り返し計算を終了する。超えていない場合はS207に戻り、次のクラスタリングの繰り返し計算を開始する。次回のクラスタリングでは、更新された代表データを使ってS207〜S214の処理を行う。一方、繰り返し計算が所定の回数を超えたら、繰り返し計算を終了するとしてS216に進む。この時、領域分割結果保持部102に保存されているラベルマップが、フレーム画像の領域分割結果である。

S216ではフレーム画像の入力が終了したか否かを判定する。入力が終了した場合はフレーム画像のループを終了するが、終了していない場合はS202に戻り、次のフレーム画像の処理を開始する。

●操作指示の有無による代表データの初期化/引き継ぎ
以上、本実施形態における領域分割処理について説明したが、本実施形態では注目フレームの領域分割を行う際の初回のクラスタリングに使用する代表データを、操作指示の有無に応じて決定する。すなわち操作指示の有無に応じて、代表データの初期化を行うか、または前フレーム画像の代表データを引き継ぐか、を判定することを特徴とする。以下、操作指示の有無による代表データの処理について、詳細に説明する。

上述したように本実施形態では、S202で動作条件入力部103から操作情報を取得し、S203で該操作情報が示す操作指示の有無に応じて、代表データを初期化するか否かを判定する。

まず、操作指示が無い場合の処理について説明する。操作指示が無い場合、S203では代表データを初期化しないと判定し、S205に進む。S205では前のフレーム画像の更新で得られた代表データを、フレーム画像の2回目以降のループにおけるはじめの代表データとして設定する。すなわち、前のフレーム画像で設定された代表データを引き継ぐ。ここで、引き継ぐ代表データは、具体的には、S206〜S215の繰り返し計算の最後のループにおいて、S211〜S214の代表データ更新処理により得られた代表データである。更新された代表データは代表データ保持部112に保持されており、2回目以降のループ処理におけるはじめの代表データとして設定される。

次に、操作指示がある場合の処理について説明する。操作指示がある場合、S203では代表データを初期化すると判定し、S204に進む。S204では、代表データ初期化判定部115が代表データ初期化部111に初期化を指示し、代表データ保持部112に保持されている代表データを初期化する。

このように本実施形態では、代表データの初期化を操作指示の有無に応じて行うが、これは以下の理由による。あるフレームについて、前のフレーム画像で得られた代表データを引き継いでクラスタリング処理を行う場合、物体が画面を横切る等の映像内の大きな変化によって、デッドクラスタが発生することがある。上述したようにデッドクラスタとは、代表データに1つも画素データが帰属しない状態である。代表データを引き継ぐことにより、処理は高速化するが、映像内の大きな変化が起きるたびにデッドクラスタが蓄積され続けてしまう。デッドクラスタが増えると領域分割数が減ってしまい、領域分割の精度が劣化する。そこで本実施形態では、動作条件(操作指示の有無)によって代表データを初期化することで、デッドクラスタが蓄積され続けることを抑制し、デッドクラスタの発生による領域分割の精度劣化を最低限にとどめる。

ここで、デッドクラスタの発生原因について、図4を用いて説明する。図4は、撮影中のエリアを人や車などの物体が横切る様な変化が起こる状況を想定し、白い壁を背景とする撮影エリアを黒い物体が通過した際のクラスタリング例を示す。

図4(a)は、一面に白い壁が写っている画像401を領域分割した結果を示し、402に示す円は代表データである。図4(a)における代表データの色情報は白色である。図4(b)は、画像401と同じ画像410に黒い物体411が写り込んだ際の画像を領域分割した結果を示す。黒い物体411の領域に存在する黒色の画素データは、座標距離の近い代表データ412にクラスタリングされる。したがって領域分割により、代表データ412の色情報が黒色になる。図4(c)は、図4(b)で代表データ412にクラスタリングされた黒色の画素群が、黒い物体421として移動した画像420を領域分割した結果を示す。画像420に対してクラスタリングを施すと、黒色の代表データ422については、白色の画素データとの距離が、周辺の代表データとの距離よりも遠くなり、黒色の代表データ422には画素データが1つも帰属せず、デッドクラスタとなる。

上述したように本実施形態ではS205で、前のフレームで得られた代表データを引き継ぐが、このとき、デッドクラスタとなった代表データも同様に引き継がれる。そしてフレーム画像のループが進むにつれて新たにデッドクラスタとなった代表データが除々に蓄積される。中には一部のデッドクラスタは解消される場合もあるが、ほとんどのデッドクラスタは蓄積され続ける。

一般に、パン、チルト、ズームの遠隔操作は映像に大きな変化を与えるため、これらの操作指示があった場合はデッドクラスタが多く発生することが予測される。そこで本実施形態では、パン、チルト、ズームの操作指示があった場合にはS202、S203、S204で代表データの初期化処理を行うことで、デッドクラスタが蓄積され続けることを回避する。

本実施形態の領域分割処理結果を図4(d)に示す。図4(d)は、図4(b)で代表データ412にクラスタリングされた黒色の画素群が、黒い物体421として移動した画像420を、本実施形態の手法を適用して領域分割した結果を示す。図4(c)では黒色の代表データ422がデットクラスタとなったが、これが図4(d)では白色の代表データ432に初期化され、デッドクラスタ消滅していることが分かる。

以上説明したように本実施形態によれば、大きな画像変化によりデッドクラスタの発生が予測されるような操作指示の有無に応じて、代表データの初期化または引き継ぎを制御する。これにより、デッドクラスタの蓄積を制限し、領域分割の精度の低下を抑制することができる。

なお、本実施形態では監視カメラの遠隔操作による操作指示の有無を表す2値によって代表データの初期化を制御する例を示したが、操作情報は2値に限らず、動作速度を表す情報のように多値で表される場合がある。この場合、代表データ初期化判定部115では多値の操作情報を受け取って、所定の閾値との比較を行う。すなわち、動作速度を示す値が閾値を超える場合は初期化を行い、閾値未満であれば前のフレームの代表データを引き継ぐ。つまり動作速度が速い場合は初期化して、動作速度が遅い場合は引き継ぐ処理を行う。また、監視カメラの操作であるパン、チルト、ズームの各操作情報の有無を、それぞれ異なる閾値によって判定してもよい。

また、本実施形態ではネットワークを介して監視カメラの遠隔操作を行う例を示したが、監視カメラのリモコンによる操作や、監視カメラに備わるボタンによる操作であっても、操作情報として同様に扱える。

また、本実施形態では操作指示として、パン、チルト、ズームの操作を例として説明したが、本発明はこの例に限定されず、例えばシーンチェンジ等の他の操作指示を適用することも可能である。ここで、シーンチェンジの操作について説明する。魚眼レンズを備えるカメラによる撮影画像から1つ以上の部分画像を設定しておき、選択された部分画像を所定の幾何変換によって歪みを補正した画像を得ることができる。シーンチェンジは、これら複数の部分画像から1つを選択する操作指示である。魚眼レンズに限らず、望遠レンズ、広角レンズを備えるカメラでも同様に、シーンチェンジの操作が行われる。シーンチェンジを行うと映像に大きな変化が起こるため、デッドクラスタが発生する可能性が高い。そこで本実施形態の領域分割装置では、このシーンチェンジの操作指示を受けた場合に、代表データを初期化することで、デッドクラスタの発生を抑制する。

＜その他の実施形態＞
上述した第1実施形態では、監視カメラを遠隔操作する際の操作情報を用いて初期化判定を行う例を示したが、本発明はこの例に限定されない。上述したように、注目フレームを領域分割する際に、該注目フレームとその前フレームとで画像の大きな変化があった場合に、デッドクラスタが発生しやすい。したがって、本発明における代表データの初期化判定は、上述した操作情報に限らず、フレーム間の画像の変化の発生、またはその予測を示す情報に応じて行えば良い。

例えば、デッドクラスタの発生原因となる映像の大きな変化は、監視カメラに動きが無い場合であっても、例えば画面を電車や車が横切る場合等、様々な撮影場面または撮影状況によって発生しうる。このように、監視カメラの動きが発生しない場合には、定期的に代表データの初期化を行うことが効果的である。定期的な初期化を行うためには例えば、動作条件入力部103からタイマーの値を入力したり、画像入力部101から入力されるフレーム画像のカウント値を入力したりすればよい。代表データ初期化判定部115では、タイマーを用いる場合は所定時間が経過したか否かを判定し、また、フレーム画像のカウント値を用いる場合は例えば100フレームに1回のタイミングで初期化されるような判定を行えばよい。また、フレーム画像に添付されている撮影時間情報を参照して、初期化判定を行ってもよい。

また、上述したような定期的な初期化に限らず、デッドクラスタが発生しやすい時間帯が予めわかっているのであれば、当該時間帯に初期化頻度をあげる等、不定期に初期化するようにしても構わない。すなわち、画像の撮影日時に応じて、初期化の間隔や時期を決定すればよい。

また、動作環境の変化を検知して初期化のタイミングを判定する方法もある。例えば、照度センサーを用いて測定した撮影環境の照度に応じて初期化判定を行う方法がある。監視カメラによる監視場所が屋内であれば、屋内の蛍光灯の照明スイッチがON又はOFFされると画面全体に大きな変化が起こるため、デッドクラスタが発生しやすい状態になる。したがって、照明スイッチのON/OFFによって撮影環境が変わったことを照度センサーの信号変化で捉えることで、代表データの初期化を制御する。具体的には、動作条件入力部103から照度センサーの信号より得られた照度の値を受け取り、代表データ初期化判定部115で照度が所定の閾値を跨いだ場合に代表データを初期化する。なお、閾値は複数であっても構わないが、この場合、各閾値を跨いだタイミングで代表データを初期化するようにすればよい。

また、上記では監視カメラにおける処理を例としたが、手持ち可能なハンディビデオカメラ等のポータブルカメラにおいても同様に、領域分割の際に代表データの初期化判定を行うことが可能である。ポータブルカメラの場合は、照度センサー以外に加速度センサーやジャイロセンサーの信号に基づいて、フレーム画像の変化に応じた初期化判定を行うことも効果的である。上述した第1実施形態では、監視カメラの動きを遠隔操作やボタン操作で検出する例を示したが、ポータブルカメラの場合には腕の動きを考慮する必要がある。腕の動きによってもデッドクラスタが多く発生することが予想されるため、加速度センサーやジャイロセンサーの信号によってカメラの動きを捉え、代表データの初期化判定を行えばよい。

また、画像の解析結果によって映像の変化を検出することも有効である。ここで図6は、上述した図1に対し入力画像を解析する画像解析部116を追加し、代表データ初期化判定部115がその出力を参照する構成を示す。画像解析部116では例えば、前のフレーム画像と現在のフレーム画像の平均輝度値の差を映像の変化として検出できる。この場合、代表データ初期化判定部115では、平均輝度値の変化が所定の閾値を超える場合に代表データを初期化すると判定する。画像解析部116では、図5(a)に示すように画像データに部分領域を設定し、部分領域ごとに平均輝度値の変化を取得することで、部分的に代表データの初期化を行ってもても構わない。図5(a)は等間隔に部分領域を設定した例であり、画像データ内に部分領域が等間隔に横方向に3つ、縦方向に3つ並べて配置されている。部分領域の設定はこの例に限らず、図5(b)に示す部分領域501と部分領域502のように、部分領域を重複させても構わない。なお、ここでは画像解析の一例として平均輝度値を使って全体又は部分的に代表データを初期化する方法を説明したが、本発明はこの例に限定されず、例えば動きベクトルや画像の差分を用いて初期化判定を行ってもよい。

以上、代表データの初期化判定の方法として複数の例を示したが、これら各判定方法を組み合わせて実施してもよい。例えば、代表データの定期的な初期化と操作情報による初期化を組み合わせた場合においては、例えばパンの操作が行われた場合には定期的な初期化のタイミングを待たずに、代表データを強制的に初期化する。このように、初期化判定方法を組み合わせることによっても、デッドクラスタが蓄積され続ける問題を解消し、領域分割の精度劣化を抑制する効果が得られる
また第1実施形態では、スーパーピクセルの生成にSLICをベースにした手法を適用するとして説明したが、本発明はこの例に限定されない。本発明は、代表データを用いたクラスタリングによって領域分割した際にデッドクラスタが発生するものであれば、適用することができる。

また第1実施形態では、画像特徴として色情報(R,G,B)を用いる例を示したが、画像特徴としてCIELAB(l,a,b)やYCC(Y,Cb,Cr)のような他の色空間の情報を使用しても構わない。

また第1実施形態では、色情報と座標情報の合計5次元の情報でクラスタリングする例を示したが、色情報を輝度だけにして3次元の情報でクラスタリングしても構わないし、特徴量を追加して5次元を超える情報を用いてクラスタリングしても構わない。また座標情報についてXとYの2次元の情報を用いる例を示したが、さらに奥行き方向のZ軸の情報または時間方向のT軸の情報を使用してクラスタリングしても構わない。

また、画像に対するクラスタリングを所定の回数繰り返す例を示したが、例えば代表データが収束した時点でクラスタリングのループを終了しても良く、この場合、画像に対するクラスタリングの回数としては、繰り返しの上限値を設定しておけばよい。

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

図7は、本発明に係る領域分割方法が実施可能な機能を備えたパーソナルコンピュータのシステム1001の構成を示すブロック図である。同図において、1002は装置全体の制御を司るCPUである。1003はブートプログラムやBIOSを記憶しているROM、1004はCPU1002のワークエリアとして利用されるRAMである。1005はOSや、領域分割情報を作成するためのアプリケーション、ならびに様々なデータを格納するためのハードディスクドライブ(HDD)である。1006はキーボード、1007はマウスであり、ユーザーインターフェースとして機能する。1008は内部にビデオメモリ及び表示コントローラを内蔵する表示制御部であり、1009は表示制御部1008からの映像信号を受信し、表示するための表示装置である。1010は各種外部デバイスと通信するインターフェースである。動作条件入力部103から入力される機器の操作指示、各種センサー値は、インターフェース1010を介して入力される。これらデータはバス1011を介してやり取りされる。

図7に示すシステム1001において動作するソフトウェアは、第1実施形態で図2に示したフローチャートの処理を行う。第1実施形態で示した入力画像データはRAM1004またはHDD1005に格納され、処理が開始される。そして、領域分割結果保持部102に保存されていた領域分割結果となるラベルマップや代表データの情報は、RAM1004またはHDD1005に出力される。また、代表データ初期化部111、クラスタリング処理部113、代表データ更新部114、代表データ初期化判定部115で行われていた処理は、CPU1002で行われる。代表データ保持部112に保存されていた代表データは、RAM1004や不図示のCPU内のローカルメモリ内に保持され処理される。但し、代表データの数が非常に多い場合はHDD1005を使用しても構わない。

101:画像入力部、102:領域分割結果保持部、103:動作条件入力部、111:代表データ初期化部、112:代表データ保持部、113:クラスタリング処理部、114:代表データ更新部、115:代表データ初期化判定部

Claims

時間的に連続する画像について、画像ごとに、初回のクラスタリングに用いる代表データを設定する設定手段と、
前記画像において前記代表データに基づき画素のクラスタリングを繰り返すクラスタリング手段と、
前記クラスタリングの繰り返しごとに前記代表データを更新する更新手段と、
前記画像ごとに、所定の入力情報に基づいて、前記代表データとして、初期値または一つ前の画像の最後のクラスタリングに使用された代表データのいずれを用いるかを判定する判定手段と、を有し、
前記設定手段は、前記判定手段による判定結果に基づいて前記代表データを設定することを特徴とする画像処理装置。
前記所定の入力情報は、前記画像を撮影する撮像手段に対する操作情報であることを特徴とする請求項1に記載の画像処理装置。
前記操作情報は、前記撮像手段に対するパン、チルト、ズームの少なくともいずれかの操作を示す情報であることを特徴とする請求項2に記載の画像処理装置。
前記所定の入力情報は、前記画像の切り替え操作を示す情報であることを特徴とする請求項1に記載の画像処理装置。
撮影画像を分割した複数の部分領域に対応する部分画像が、前記時間的に連続する画像として入力される場合、前記所定の入力情報は、前記画像が対応する部分領域を示し、
前記所定の入力情報が前記画像が対応する部分領域の切り替えを示す場合、前記設定手段は、前記代表データとして前記初期値を設定することを特徴とする請求項4に記載の画像処理装置。
前記所定の入力情報は、前記画像を撮影する撮像手段の動作環境の変化を検知するセンサ手段で検知された情報であることを特徴とする請求項1に記載の画像処理装置。
前記センサ手段は、照度センサであることを特徴とする請求項6に記載の画像処理装置。
前記撮像手段はポータブルな機器であり、
前記センサ手段は、加速度センサまたはジャイロセンサであることを特徴とする請求項6に記載の画像処理装置。
前記所定の入力情報は、前記画像と、前記一つ前の画像との間における差分を示す情報であることを特徴とする請求項1に記載の画像処理装置。
前記所定の入力情報は、前記画像を分割した部分領域ごとに、前記画像と前記一つ前の画像との間における差分を示す情報であり、
前記設定手段は、前記部分領域ごとに、前記初回のクラスタリングに用いる代表データを設定することを特徴とする請求項9に記載の画像処理装置。
前記所定の入力情報は所定時間を示し、
前記設定手段は、前記所定時間が経過したタイミングで前記代表データとして前記初期値を設定することを特徴とする請求項1に記載の画像処理装置。
前記設定手段は、前記所定時間を前記画像の撮影日時に応じて決定することを特徴とする請求項11に記載の画像処理装置。
前記クラスタリング手段は、前記画像における前記クラスタリングを、所定の条件が満たされるまで繰り返すことを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
前記クラスタリング手段は、前記画像における前記クラスタリングを所定の回数繰り返すことを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
設定手段が、時間的に連続する画像について、画像ごとに、初回のクラスタリングに用いる代表データを設定するステップと、
クラスタリング手段が、前記画像において前記代表データに基づき画素のクラスタリングを繰り返すステップと、
更新手段が、前記クラスタリングの繰り返しごとに前記代表データを更新するステップと、
判定手段が、前記画像ごとに、所定の入力情報に基づいて、前記代表データとして初期値または一つ前の画像の最後のクラスタリングに使用された代表データのいずれを用いるかを判定するステップと、を有し、
前記設定するステップにおいては、前記判定するステップによる判定結果に基づいて前記代表データを設定することを特徴とする画像処理方法。
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。