JP2004310475A - 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム - Google Patents

Abstract

【課題】動画像においてフレーム毎に階調量子化を行うと、量子化基準値の変化によって再生画像にフリッカが発生する問題があり、また、既存の階調量子化手法は処理速度が遅いか、処理結果の画像品質が悪いという問題があった。
【解決手段】動画像のアニメーション化や物体抽出における領域分割処理を行う場合の階調量子化処理において、 フレーム毎に頻度ヒストグラムを作成し、これを比較することによって量子化基準値を再計算するか否かを判定し、再計算する場合には、頻度ヒストグラムと誤差係数の積に従って逐次的に量子化基準値を求めることによって、高速かつ高品質な階調量子化処理を実現する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は動画像を処理する画像処理装置、および画像処理方法をコンピュータに実行させるためのプログラムに関し、特に画像の階調量子化やアニメーション化、領域分割処理、物体抽出処理の方法に関する方法に関する。
【０００２】
【従来の技術】
監視システムや自動車の自動運転システムなど、様々なシステムにおいて画像処理技術が用いられている。その中で、階調量子化処理は、画像の色情報に関する画像コンポーネントの値（例えばＲＧＢの各成分や、ＹＵＶの各成分の画素値）のレベル数を減らし、画像の減色を行う処理である。例えば、ＲＧＢのそれぞれが２５６階調で表現されたフルカラーの画像を、それぞれ１０階調程度以下に減色する処理等をいう。階調量子化処理は、撮影された画像から人物や自動車等の物体を分離する物体抽出処理において、似た色を持つ領域毎に領域を分割する領域分割処理の前段階として行われる。
【０００３】
又、一般家庭へのデジタルカメラやビデオカメラの普及により、ユーザがＰＣを用いて撮影した画像を様々に加工・編集する画像処理として、撮影した動画像をアニメーションのセル画のように変換するアニメーション化の技術や、画像に文字や記号、絵などを貼り付けたり、特定部分を切り取って別の画像と合成したりする技術の登場が期待されている。動画像のアニメーション化においては、スムージングや輪郭検出・強調処理の精度が画像印象に対する大きな決定要素となるが、前段階としての階調量子化方式も重要となっている。
【０００４】
更に、最近の携帯電話は多くの機種がカメラを内蔵するようになっており、動画像のリアルタイム記録が可能となっている。こうした高機能化により、撮影した画像をリアルタイムにアニメーション化したり、商品を撮影して、これに関連する情報をネットワークから収集したりするような、高度なアプリケーションの実装が可能になると予想される。このような高度な画像処理を小型のデバイスで行うためには、階調量子化のような基本的な処理を、より高速に、かつ最終的な出力結果が好ましい状態になるように処理できる方法が必要とされている。
【０００５】
従来の階調量子化処理には、色空間（画像コンポーネント空間）の中で多次元的に処理する方法と、画像コンポーネント別に処理する方法がある。多次元的に処理する方法にはベクトル量子化法などがあり、量子化後の色再現性を高くすることができるという特徴がある。一方で、画像コンポーネント別に処理する方法としては、反復処理によって解析する方法や、ヒストグラムの面積が一定になるように分割する方法、画像コンポーネントのレベルを一定間隔で分割する方法等がある。
【０００６】
例えば反復処理を用いる方法にはＫ平均クラスタリング法がある。これは各画像コンポーネントについて、まず基準値（階調量子化後のレベル値）を適当に定め、これらを一定の幅で動かしながら、画像コンポーネント値（画素値）との誤差の和を反復計算して、これが最小になる基準値の組合せを求めるものである。
【０００７】
更に、ヒストグラムの面積が一定になるように分割する方法としては、画像コンポーネント値の頻度ヒストグラムの面積が各基準値周辺で一定となるように基準値を決定する方法がある（例えば特許文献１参照）。この方法はヒストグラムのピークが一つであれば、ピーク付近に基準値をより多く割り当てることができる。又、画像コンポーネントのレベルを一定間隔で分割する方法では、入力される画像に関係なく、全てのフレームにおいて基準値が固定される。
【０００８】
このように階調量子化にはいくつかの種類があり、静止画には処理速度が遅くとも精度の高い手法が、動画には精度が低くとも処理速度の速いものが用いられてきた。
【特許文献１】特開平１０−１６４３７７号公報
【発明が解決しようとする課題】
本発明は携帯電話等の処理能力の低いシステム上で動画像をリアルタイムにアニメーション化したり、領域分割によって画像認識による物体抽出を行ったりする場合に必要な、階調量子化処理を高速かつ高品質に行うことを可能にするものである。
【０００９】
ベクトル量子化法は、処理が複雑になり非常に時間がかかるため、動画像のリアルタイム処理には適用が難しいという問題点があった。又、Ｋ平均クラスタリング法は、多次元処理方法と同様に非常に時間がかかるため動画像には適用が難しいという問題点があった。また、この方式をアニメーション化に用いた場合、基準値がフレーム毎に変化するため色や輝度の変化が画像の点滅として現れ、フリッカが生じるという問題点がある。
【００１０】
又、上記特許文献１記載の方法は、基準値と画像コンポーネント値の誤差が考慮されていないため、ヒストグラムが一つのピークを持つ場合にはある程度有効ではあるが、他の場合には品質が極端に劣化するという問題点があった。また前述の方法と同様に、フリッカが生じる場合がある。
【００１１】
レベルを一定間隔で分割する方法は、高速に処理が可能であり、全てのフレームについて基準値が一定となるためフリッカは生じないが、画像の変化に対応しないため色再現性が悪いという問題点があった。特にアニメーション化や物体抽出等、階調数を低く抑える必要がある場合には都合が悪い。
【００１２】
このように、これまで、高速に処理が可能で、動画に対応した時の品質を高く保つことのできる階調量子化は存在しなかった。
【００１３】
【課題を解決するための手段】
上記課題を解決するために本願で開示する構成の代表的なものは以下の通りである。
【００１４】
任意の動画像を入力する画像入力部と、上記入力された動画像を保持するメモリ装置と、上記動画像を構成するフレームの階調量子化処理を行うプロセッサ装置と、上記階調処理された動画像を出力する画像出力部を有し、上記プロセッサ装置は、上記動画像を構成するフレーム毎に上記階調量子化処理の基準値を変更する画像処理装置を用いる。
【００１５】
より詳しくは、上記プロセッサ装置は、上記動画像を構成する複数のフレームについて、色情報に関する画像コンポーネントの値（画素値）の頻度ヒストグラムの一部または全体を比較することによって、上記階調量子化処理の基準値を変更する。
【００１６】
【発明の実施の形態】
以下、本発明の実施例を図示により説明する。
【００１７】
図１に本発明による画像処理方法の一実施例を示し、その特徴について述べる。
【００１８】
まずステップ（１０１）において映像を入力する。映像はカメラによって撮影された映像でもよいし、保存・伝送・放送されたストリームでもよい。入力された映像はフレーム毎にメモリに格納される。複数のフレームを格納してもよいし、一枚だけ格納してもよい。次にステップ（１０２）に進む。
【００１９】
ステップ（１０２）ではフレーム毎に画像の統計処理を行う。画像の統計処理とは、ＲＧＢやＹＵＶの各画像コンポーネントの値（画素値）について頻度ヒストグラムを作成したり、最大値、最小値、中央値等の画像に関する各種統計情報を算出したりする処理である。本ステップには、画像処理のための色空間の変換も含まれる。次にステップ（１０３）に進む。
【００２０】
ステップ（１０３）ではフレーム間で画像特徴量の比較を行う。画像特徴量とは、前記ステップ（１０２）の統計処理によって求められた画像の特徴を示す値である。本ステップではフレーム間でこの画像特徴量の比較を行う。次にステップ（１０４）に進む。
【００２１】
ステップ（１０４）では階調量子化のための基準値の調整を行う。前記ステップ（１０３）によって決定される比較結果に従って、各フレームの基準値を決定する。階調量子化のための基準値とは、階調量子化後におけるＲＧＢやＹＵＶの各画像コンポーネントのレベル値のことである。前記ステップ（１０３）によってフレーム間の特徴量の変化が小さいと判断されれば前フレームと同じ基準値を用い、変化が大きければ新たに基準値を計算して設定する。次にステップ（１０５）に進む。
【００２２】
ステップ（１０５）ではフレーム毎の画像処理を行う。前記ステップ（１０４）によって決定された基準値に従って階調量子化を行う。本ステップは、アニメーション化処理における輪郭強調処理やスムージング、物体抽出処理における領域分割や領域統合、形状マッチング等のフィルタ処理や、画像表示のための色空間の変換を含む。次にステップ（１０６）に進む。
【００２３】
ステップ（１０６）では処理された画像を出力する。出力はディスプレイに対する表示でもよいし、ファイルへの書き込み・保存でもよい。以上で一通りの処理が終了する。
【００２４】
次に、図２を用いて本発明による一実施例の詳細について説明する。以下では、撮影された動画像を入力とし、各フレームをアニメーション化する方法を例に挙げて説明する。
【００２５】
ステップ（１０１）において映像が入力された後、ステップ（２０１）に進む。
【００２６】
ステップ（２０１）では色空間の変換を行う。例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等によって取得された映像は色空間としてＲＧＢの画像コンポーネントを持つ。ここでは一例として色空間をＲＧＢからＹＵＶに変換して処理を行う。ＹＵＶ空間中における２点間の距離はＲＧＢ空間中よりも人間の視覚によって感じられる色の距離に近い。このためＹＵＶ空間において処理を行うことによって、量子化によって発生する人間が見た時の色の誤差を小さくすることができる。人間の心理的な色の距離を考慮した色空間として、ＣＩＥ−Ｌ＊ａ＊ｂ＊空間もあるが、変換処理が複雑となるためここではＹＵＶ空間を用いた。変換方式は一般的な方式を用いればよい。色空間の変換は行わなくてもよい。次にステップ（２０２）に進む。
【００２７】
ステップ（２０２）では画像コンポーネント毎に頻度ヒストグラムを作成する。前記図１における画像特徴量として頻度ヒストグラムを用いる。前記ステップ（２０１）においてＹＵＶ空間に変換したので、ＹＵＶのそれぞれについて現フレームの頻度ヒストグラムを作成しメモリに格納する。ＹＵＶの全てについて作成してもよいし、一部、例えばＹのみについて頻度ヒストグラムを作成してもよい。ＹＵＶ全てについてヒストグラムを作成すれば、後段のステップにおいてフレーム間の比較を行う時に画像の変化を正確に判定できる。一方、Ｙのみについて作成すれば、画像内の照明条件の変化など、フレーム間で色のみが変化した場合などを把握できない可能性があるが、物体の移動など輝度の変化を伴う画像の変化を把握でき、他のヒストグラムを作成しない分、メモリを節約でき高速化できる。次にステップ（２０３）に進む。ステップ（２０１）とステップ（２０３）はステップ（１０２）に相当する。
【００２８】
ステップ（２０３）では現フレームと前フレームについての頻度ヒストグラムを比較する。本ステップでは、画像の統計処理された情報を比較することにより、動画像の前フレームと現フレームがどの程度変化したかを判定する。大きな変更があれば基準値を再計算し、そうでなければ再計算を行わず前フレームと同じ基準値を用いる。ＹＵＶ全てについて比較してもよいし、Ｙだけ比較してもよい。両フレームのヒストグラムを重ねて異なる部分の面積を求め、これがヒストグラムの面積（すなわち１フレームの総画素数）の何％になるかを調べ、判定する。例えば３０％を超える場合には量子化基準値の再計算を行うと判定し、それ以下であれば前フレームと同じ基準値を用いるように判定する。複数の成分について比較する場合には、全ての成分について一定の値を超えるときに再計算を行うようにしてもよいし、どれか一つの成分でも一定の値を超えれば再計算をするというように判定してもよい。利用する画像の条件によって、ノイズが多ければ全ての成分が一定の値を超える時に判定を行った方が処理は安定する。ノイズが少なく、色や輝度の変化に敏感に対応させたければ、どれか一つの成分が一定の値を超える時に判定を行うようにする。判定の条件となる一定の値は予め設定しておく。状況に合わせて動的に変化させてもよい。又、ユーザが適宜設定できるようにインターフェイスを設けることも可能である。
【００２９】
ヒストグラムの異なる部分の面積の割合を求める方法を、図４を用いて説明する。図４は、輝度や色差の画像コンポーネント値ｌに関する頻度のヒストグラムｈ（ｌ）を示している。グラフ（４０１）が現フレームのヒストグラム、グラフ（４０２）が前フレームのヒストグラムを示す。輝度値Ｙについて比較する場合、入力画像のＹのレンジが０〜２５５の範囲であれば、この範囲において両フレームのヒストグラムの頻度値の差分の絶対値を合計し、１フレームの総画素数で割ればよい。本ステップはステップ（１０３）に相当する。ここではヒストグラムの面積を比較したが、ヒストグラムのピーク値が一定以上ずれているかどうか、頻度の上位数点を比較し、これらが同じかどうか、等判定する方法を用いても、フレーム間の特徴量の変化を得ることができる。単純なヒストグラムの比較ではなく、ヒストグラムに後述の誤差係数をかけたものを比較してもよい。また、後述の基準値決定方法に従って基準値を決め、これを格納しておき、基準値同士を比較することによって判定を行ってもよい。このように画像同士を比較するのではなく画像の統計情報同士を比較することによって、画像を格納するのに比べてデータを保存しておくメモリが少なくてすむ。次に判定に応じてステップ（２０４）またはステップ（２０５）に進む。
【００３０】
ステップ（２０４）では基準値を前フレームと同じ基準値に設定する。次にステップ（２０６）に進む。
【００３１】
ステップ（２０５）では量子化基準値の再計算を行う。基準値の計算方法としては、本発明においては後述する誤差ピーク追跡法等を用いる。次にステップ（２０６）に進む。ステップ（２０４）と（２０５）はステップ（１０４）に相当する。
【００３２】
ステップ（２０６）では前記ステップによって設定された基準値を用いて各フレームの階調量子化を行う。階調量子化は、画像中の全ての画素の各画像コンポーネント、ここではＹＵＶについて、レベル値を設定された最も近い基準値に合わせる。例えばＹの基準値が（０，１２８，２５５）、Ｕの基準値が（−５０，０，５０）、Ｖの基準値が（−３０，１０，４０）だったとする時、［Ｙ，Ｕ，Ｖ］＝［１０，１５，１５］である画素は［０，０，１０］に量子化される。次にステップ（２０７）に進む。
【００３３】
ステップ（２０７）ではフィルタ処理を行う。フィルタ処理は、アニメーション化処理における輪郭強調処理やスムージング、物体抽出処理における領域分割や領域統合、形状マッチング等の画像処理である。例えばアニメーション化での輪郭強調処理では、一般的な画像処理で用いられるエッジ強調処理等を行えばよい。本発明では、各画素のＵＶ成分を原点からのベクトルとしてＵＶ２次元平面にプロットし、注目画素と周辺画素の両ベクトルのなす角が一定以上である場合には、これらの画素境界に輪郭があると判定して、Ｙ成分の値を一定の値で割ることによって輪郭を濃く表示して強調する処理を行う。スムージングに関しては、Ｙ成分に関してはメディアンフィルタリングを用い、ＵＶ成分に関しては８近傍画素の平均を取る処理を行う。その他にもアンシャープマスキングやノイズ除去等、一般的なフィルタ処理を適用することが可能である。次にステップ（２０８）に進む。
【００３４】
ステップ（２０８）では色空間の変換を行う。ここでは画像表示のために、色空間をＹＵＶからＲＧＢに戻す。次にステップ（１０６）に進む。ステップ（２０６）（２０７）（２０８）はステップ（１０５）に相当する。
【００３５】
ステップ（１０６）では映像を出力し、一連の動作を終わる。
【００３６】
次に、図３を用いて本発明による別の一実施例の詳細について説明する。本実施例では、ＹＵＶ空間のＹ成分のみ別の手法で処理を行う点が特徴となる。
【００３７】
ステップ（１０１）において映像が入力された後、ステップ（２０１）に進み、続いてステップ（２０２）に進む。ステップ（２０１）（２０２）は前述と同様のステップである。次にＹＵＶの画像コンポーネントのうち、Ｙ成分（３０１）に関してはステップ（３０３）に進み、ＵＶ成分についてステップ（２０３）に進む。
【００３８】
ステップ（３０３）では、Ｙ成分のレンジに対して等間隔に基準値を設定する。例えば、Ｙ成分のレンジが０〜２５５の範囲である時、基準値を５つ決めるとすると等間隔にするためには、（０，６４，１２８，１９２，２５５）のように設定する。ここでＹ成分のみ別に扱うのは、人間の視覚の感度が輝度成分と色差成分で異なり、色差の変化より輝度の変化に敏感なためである。利用するアプリケーションにより、輝度と色差を同じ方式で処理した方がよい場合と、別々に処理した方がよい場合がある。例えば輝度について基準値を等間隔に設定すると、基準値数が少ない場合には、後述の誤差ピーク追跡法に比べて画像全体にノイズが多く見られるが、細部のエッジは保存されやすいという特徴がある。次にステップ（２０６）に進む。
【００３９】
ステップ（２０３）はＵＶ成分について前述と同様の処理を行う。以降、ステップ（２０４）、（２０５）、（２０６）、（２０７）、（２０８）、（１０６）については前述と同様である。
【００４０】
次に、図５を用いて本発明による量子化基準値の計算方法の詳細について説明する。これは前述のステップ（２０５）を詳細に説明したものであり誤差ピーク追跡法と呼ぶ。
【００４１】
量子化基準値の計算を行う場合、まずステップ（５０１）において、誤差係数ｆｉ（ｌ）を求める。ｆｉ（ｌ）はｉ番目の基準値を求めるための、輝度や色差の画像コンポーネント値ｌに関する誤差係数である。例えば誤差係数ｆｉ（ｌ）として、数式１を用いる。
【００４２】
【数１】

【００４３】
ここで、Ｓｉはｉ番目の基準値、ｊはｉより小さい基準値の番号を示す変数、Ｌは画像コンポーネントｌのレンジ幅である。レンジ幅とは各成分の値の取りうる幅を示す。数式１は、１番目の基準値を求める場合には、ｆ１（ｌ）＝１として全てのｌについて誤差係数が一定となり、２番目以降の基準値を求める場合には、全てのｌに関して、それまでに取得された基準値のうち最も近い基準値との距離をレンジ幅で割ったものが誤差係数になることを示している。ここでは誤差係数を数式１のようにしたが、これに比例するように一定の係数をかけてもよい。つまり各画像コンポーネントの値から最も近い基準値までの距離に比例する値を用いることも可能である。次にステップ（５０２）に進む。
【００４４】
ステップ（５０２）では、ヒストグラムｈ（ｌ）と前記ステップ（５０１）において求めた誤差係数ｆｉ（ｌ）を用いて、全てのコンポーネントｌについて、これらの積ｆｉ（ｌ）×ｈ（ｌ）を計算し、最大値を取るｌをｉ番目の基準値Ｓｉとする。ヒストグラムと誤差係数の積は、それまでに取得された基準値を用いて階調量子化を行った時の誤差を示す値であり、これのピークを選択することにより最も誤差の大きくなる画像コンポーネント値を取得できる。これを式で示すと数式２のようになる。
【００４５】
【数２】

【００４６】
最大値が複数ある場合にはこれらの中央値を取る等、任意の値を選択する。続いてステップ（５０３）に進む。
【００４７】
ステップ（５０３）では、取得する基準値の数Ｎとこれまでに取得した基準値数ｉを比較し、全ての基準値を取得した場合には処理を終了し、まだ取得していない場合には番号ｉを一つ増やしてステップ（５０１）に戻る。ここでは終了条件を取得する基準値の数で判定したが、ヒストグラムｈ（ｌ）と誤差係数ｆｉ（ｌ）の積ｆｉ（ｌ）×ｈ（ｌ）が一定の値を超えているか否かを判定し、一定の値を超える部分がある場合にはステップ（５０１）に戻って基準値の取得を継続し、そうでない場合には終了する、というようにしてもよい。また、ヒストグラムｈ（ｌ）と誤差係数ｆｉ（ｌ）の積ｆｉ（ｌ）×ｈ（ｌ）を全てのｌについて合計し、この和が一定の値を超えているか否かを判定し、一定の値を超える部分がある場合にはステップ（５０１）に戻って基準値の取得を継続し、そうでない場合には終了する、という方式も可能である。ヒストグラムと誤差係数の積は、画像における階調量子化による誤差の量を示すため、これらの方式を用いると、定める値によって量子化後の画質を調整することができる。
【００４８】
次に図６を用いて、誤差ピーク追跡法の詳細を説明する。
【００４９】
図６は１番目から３番目の基準値と誤差係数を求める方法の説明図である。まず１番目の基準値を求める時、ｉ＝１であるので数式１から、ｆ１（ｌ）＝１となる。すなわち、ｆ１（ｌ）×ｈ（ｌ）はｈ（ｌ）と等しくなり、数式２に従ってこれのピークを求めることは、ヒストグラムのピークとなるレベル値を求めるのと同じになる。これを１番目の基準値と設定する。次に、２番目の誤差係数を数式１から求める。数式１は、それまでに選択された基準値のうち、最も近い基準値からの距離を誤差とするものであるから、ｆ２（ｌ）の誤差係数は図に示すような基準値Ｓ１を中心としたＶ字型のグラフとなる。これに数式２に従ってヒストグラムの値をかけると、誤差の最も大きな画像コンポーネントの値が求まり、ピークを追跡して２番目の基準値Ｓ２が選択される。３番目以降の基準値は同様の方法によって求められる。
【００５０】
別の方法として、１番目の基準値をヒストグラムのピークとせず、画像コンポーネントのレンジの中央や、頻度ヒストグラムの面積を二分する位置のレベル値である２分点値にとり、ｉ≧２について数式１を用いるようにしてもよい。誤差ピーク追跡法は、初期値の設定の仕方によって選択される基準値が異なるため、このように状況に合わせて初期値を変えることによって利用アプリケーションに応じた画質の調整を行うことができる。
また、ｈ（ｌ）として単純に頻度ヒストグラムを用いるのではなく、頻度を計算する際に画面の中央の画素ほど重み付けを大きくしてヒストグラムを作成する、重み付け頻度ヒストグラムを用いてもよい。この方法は、画面の中央部に映っているものの階調量子化後の色再現性を、その周辺部に比べて高めることができる。
【００５１】
次に図７を用いて、本発明にて実現される画像処理装置の構成の一実施例を説明する。
【００５２】
本発明による画像処理装置は、大きく分けて画像入力部（７０１）とメモリ装置（７１３）とプロセッサ装置（７１４）と画像出力部（７０２）からなる。
【００５３】
画像入力部（７０１）は動画像を入力する手段である。動画像はカメラによって撮影された映像でもよいし、保存・伝送・放送されたストリームでもよい。入力された映像はフレーム毎にメモリ装置（７１３）内のフレームメモリ（７０３）に格納される。
【００５４】
画像出力部（７０２）は動画像を出力する手段である。出力はディスプレイに対する表示でもよいし、ファイルへの書き込み・保存でもよい。
【００５５】
メモリ装置（７１３）はフレーム画像やこれに関連する情報を格納するメモリである。メモリ装置（７１３）は機能として、フレームメモリ（７０３）、ヒストグラムメモリ（７０４）、比較用ヒストグラムメモリ（７０５）、基準値メモリ（７０６）、フィルタ処理メモリ（７０７）に分けられる。
【００５６】
フレームメモリ（７０３）は処理のためにフレーム画像を格納する。複数フレームを格納してもよいし一枚だけ格納してもよい。ヒストグラムメモリ（７０４）は、現フレームの各画像コンポーネントに関するヒストグラムを作成し格納するメモリである。比較用ヒストグラムメモリ（７０５）は、比較のために前フレームのヒストグラムを格納するためのメモリである。基準値メモリ（７０６）は前記基準値決定方法に従って決定された階調量子化処理のための基準値を格納するためのメモリである。フィルタ処理メモリ（７０７）は、前述のフィルタ処理のために用いられるメモリである。
【００５７】
プロセッサ装置（７１４）は前述の画像処理、統計処理の計算を行うためのプロセッサである。プロセッサ装置（７１４）は機能として、色変換処理部（７０８）、ヒストグラム処理部（７０９）、基準値計算処理部（７１０）、量子化処理部（７１１）、フィルタ処理部（７１２）に分けられる。
【００５８】
色変換処理部（７０８）は各フレームについて、色情報に関する画像コンポーネントをＲＧＢからＹＵＶに変更したり、その逆を行ったりする。色空間の変換処理については一般的な手法を用いればよい。ヒストグラム処理部（７０９）はフレーム画像の画素をチェックし、各画像コンポーネントについての頻度ヒストグラムを作成し、ヒストグラムメモリ（７０４）、比較用ヒストグラムメモリ（７０５）に格納する。基準値計算処理部（７１０）は前述の基準値決定方法に従って基準値を計算し、基準値メモリ（７０６）に格納する。量子化処理部（７１１）は前述の階調量子化方法に従って画像の量子化処理を行う。フィルタ処理部（７１２）はフレーム画像に対して前述のフィルタ処理を行う。
【００５９】
図７に示した画像処理装置は説明のために機能毎に各手段を記述したが、これらの手段はコンピュータチップ上にまとめて実装されたり、ソフトウェアによって実現されたりしてもよい。
カメラ付きの携帯電話に本願の処理方法を適用した場合を図８に示す。画像入力部（７０１）がカメラに相当し、ディスプレイ（８０３）や記憶装置（８０４）が画像出力部（７０２）に相当する。ユーザインタフェース（８０１）からのユーザの指示に応じて、カメラから入力される映像を前記手法に従い階調量子化、フィルタ処理を行い、ディスプレイ（８０３）に表示し、記憶装置（８０４）に格納する。処理した動画像をメールに添付して無線通信部（８０２）から送信してもよい。また処理した動画像をリアルタイムに無線通信部（８０２）からストリーミング送信することも可能である。前記の階調量子化手法は処理が軽く、ＣＰＵの処理能力を要求しないため、携帯電話のような小型の端末でも高速に動作可能である。
【００６０】
なお、前記実施例では動画像のリアルタイムアニメーション化処理、物体抽出における領域分割処理を例に挙げて説明してきたが、本発明はこれに限定されるわけではない。
以上説明したように、画像認識の分野では、撮影された画像から人物や自動車等の物体を分離する物体抽出処理や、動画像のアニメーション化等の技術が重要となってきている。
物体抽出処理は、階調量子化処理、領域分割処理、形状マッチング処理等を連携して行うことによって実現される。領域分割処理は、階調量子化によって減色された画像において、似た色を持つ領域を一かたまりとして、複数の領域に分割する処理である。形状マッチング処理は、領域分割によって得られたそれぞれの領域を、データとして保持する形状情報と比較することにより、領域を統合しながら特定の物体が存在するかどうか検証する処理である。このように、画像処理は様々な処理が組み合わされて実現されており、中でも階調量子化のような基本的な処理は非常に重要である。
【００６１】
また最近では、ビデオカメラで撮影した動画像をＰＣに取り込んで編集するソフトも存在し、撮影した動画像に簡単なエフェクトを付加して新しい動画像を作成することができる。今後は、アニメーション化方式の登場が期待されており、前段階としての階調量子化方式の実現が重要となっている。
【００６２】
これに対し、これまで説明した本願構成を階調量子化に採用することで、高速に、かつ高品質な出力を行う階調量子化が可能となる。本願は、物体抽出処理やアニメーション化等の画像処理機器に応用されることによって、これらの機器の性能を高め、効率的に動作させる効果を持つものである。
【００６３】
【発明の効果】
本発明により、動画像のアニメーション化や物体抽出における領域分割処理を行う場合の階調量子化処理において、フレーム間ヒストグラム比較によって再生画像のフリッカ発生を抑制し、頻度ヒストグラムと誤差係数の積に従って逐次的に量子化基準値を求める誤差ピーク追跡法を用いることによって、高速に処理でき、かつ高品質な出力画像を得られる階調量子化処理を実現できる。これによって、携帯電話等の小型機器に動画像のアニメーション化や物体認識機能を搭載することができるようになる。
【図面の簡単な説明】
【図１】本発明で用いる画像処理方法の一実施例の説明図である。
【図２】本発明で用いる画像処理方法の一実施例を詳しく示した図である。
【図３】本発明で用いる画像処理方法の一実施例を詳しく示した図である。
【図４】本発明で用いるフレーム間画像情報比較方法を説明した図である。
【図５】本発明で用いる画像処理方法の一実施例を詳しく示した図である。
【図６】本発明で用いる階調化基準値計算方法を説明した図である。
【図７】本発明で用いる画像処理装置の一実施例の構成図である。
【図８】本発明で用いる画像処理装置の他の一実施例の構成図である。
【符号の説明】
１０１，１０２，１０３，１０４，１０５，１０６，２０１，２０２，２０３，２０４，２０５，２０６，２０７，２０８，３０１，３０２，３０３，５０１，５０２，５０３…ステップ；４０１，４０２…グラフ；７０１…画像入力部；７０２…画像出力部；７０３…フレームメモリ；７０４…ヒストグラムメモリ；７０５…比較用ヒストグラムメモリ；７０６…基準値メモリ；７０７…フィルタ処理メモリ；７０８…色変換処理部；７０９…ヒストグラム処理部；７１０…基準値計算処理部；７１１…量子化処理部；７１２…フィルタ処理部；７１３…メモリ装置；７１４…プロセッサ装置；８０１…ユーザインタフェース；８０２…無線通信部；８０３…ディスプレイ；８０４…記憶装置。

Claims (9)

1. 任意の動画像を入力する画像入力部と、上記入力された動画像を保持するメモリ装置と、
   上記動画像を構成するフレームの階調量子化処理を行うプロセッサ装置と、上記階調処理された動画像を出力する画像出力部を有し、
   上記プロセッサ装置は、上記動画像を構成するフレーム毎に上記階調量子化処理の基準値を変更する
   ことを特徴とする画像処理装置。
2. 上記プロセッサ装置は、上記動画像を構成する複数のフレームについて、色情報に関する画像コンポーネントの値の頻度ヒストグラムの一部または全体を比較することによって、上記階調量子化処理の基準値を変更することを特徴とする、請求項１記載の画像処理装置。
3. 上記プロセッサ装置は、上記フレームに応じて基準値を変更しない場合もあることを特徴とする請求項１又は２に記載の画像処理装置。
4. 動画像を入力するステップと、
   上記動画像を構成するフレーム毎に画素値に関する統計処理を行うステップと、
   上記統計処理された画像特徴量を上記フレーム間で比較するステップと、
   該比較結果に基づいて上記フレーム毎に基準値を再設定するステップと、
   上記基準値に基づいて上記フレームの階調量子化を行うステップを有することを特徴とする、
   画像処理方法をコンピュータに実行させるためのプログラム。
5. 上記基準値を再設定するステップは、上記比較結果によって該基準値を再設定しない場合もあることを特徴とする請求項４記載のプログラム。
6. 上記画素値に関する統計処理を行うステップは、上記フレーム毎に頻度ヒストグラムを作成し、
   上記比較するステップは上記ヒストグラムの一部または全体を比較することを特徴とする、
   請求項４又は５に記載のプログラム。
7. 上記基準値を再設定するステップは、上記ヒストグラムと誤差係数の積のピークを追跡することで該基準値を求めることを特徴とする、請求項４乃至６の何れかに記載のプログラム。
8. 上記、ｉ番目の基準値を求める時の誤差係数は、各画素値と、ｉ−１番目までの基準値のうちその画素値に最も近い基準値との差分の絶対値、に比例する値であることを特徴とする、請求項７記載のプログラム。
9. カメラと制御部と表示部を有する携帯端末であって、
   上記制御部は請求項４乃至８の何れかに記載のプログラムを実行し、
   上記カメラで撮像された動画像を処理して、上記表示部に表示することを特徴とする携帯端末。

Images