JP2015011585A - 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】処理対象画像に対して最適なトーンカーブを簡便に生成することができる画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラムを提供する。【解決手段】実施形態の画像処理装置は、画像のデータ分布を確率分布モデルによりモデル化してモデルパラメータを取得する画像解析部１３と、処理対象画像のデータ分布をモデル化することで取得されたモデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するトーンカーブ生成部１５と、生成されたトーンカーブを用いて処理対象画像を補正する画像補正部１６と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラムに関する。

画像の階調を補正するために、トーンカーブを用いて階調変換を行う手法が知られている。トーンカーブは、入力階調をどの出力階調に割り当てるかを規定した曲線（直線の場合もある）である。この曲線の形状を工夫することで、特定の範囲の階調を圧縮したり、逆に伸張したりすることができる。一般に、トーンカーブは少数の点により定義され、この点は制御点と呼ばれる。制御点の間を所定の関数で補間して曲線を描画することで、トーンカーブが得られる。トーンカーブは、明るさやコントラスト、カラーバランスなどの補正をまとめて行えることから、画像を補正する用途において広く利用されている。

トーンカーブは一般に手動で生成されるが、トーンカーブの生成は自由度が高く、適切に生成するには技術を要するという問題がある。例えば、各チャンネルが２５６階調で表現されるＲＧＢ画像に対し、チャンネルごとに独立なＲＧＢのトーンカーブを生成するケースを考えると、最大で７６８点の制御点を設定できる。また、画像の破綻を防止する観点から、黒潰れ、白飛び、階調飛びなどを避けるように制御点を設定する工夫も必要となる。多数の制御点をユーザが適切に設定して最適なトーンカーブを生成するには、熟練した技術や試行錯誤が必要となる。

また、ある画像に対して最適なトーンカーブが生成できたとしても、最適なトーンカーブは画像の特徴に依存するため、過去に生成したトーンカーブを他の画像で使いまわすことが難しい。例えば、同じシーンを異なる露出で撮影し、若干暗い画像と非常に暗い画像を得たとする。これらを全体的に明るく変換する同一のトーンカーブで階調変換した場合、前者に適したものを後者に適用すると十分に明るくならず、逆に後者に適したものを前者に適用すると明るくなりすぎることは、容易に想像できる。また、両者の中間的なトーンカーブを利用した場合、どちらにとっても最適な結果とならないことも想像に難くない。

したがって、処理対象の画像（以下、処理対象画像という。）に対して最適なトーンカーブをいかに生成するか、そしてそのトーンカーブの生成をいかに簡単に実現するかが重要な課題とされている。

トーンカーブを用いた画像の補正を簡便に行えるようにする従来技術としては、例えば特許文献１に記載された技術が知られている。特許文献１に記載の技術は、画像のハイライト、中間調、シャドーの制御情報の組である補正パターンを、色に関する不具合パターンに対応させて記憶する。そして、ユーザが任意の補正パターンを選択して補正量を指定すると、選択された補正パターンの制御情報と指定された補正量とからトーンカーブを算出し、算出したトーンカーブを用いて全画素に色変換処理を行う。

しかし、特許文献１に記載の従来技術では、複数の補正パターンの中からトーンカーブのベースとなる補正パターンを選択して補正量を指定する必要がある。このため、熟練した技術を持たないユーザは、どの補正パターンを選択してどの程度の補正量を指定すれば処理対象画像を補正する上で最適なトーンカーブが算出できるかが分からず、依然として試行錯誤が必要となる。また、特許文献１に記載の従来技術では、予め用意された補正パターンをベースとしてトーンカーブを算出するため、処理対象画像に対して最適なトーンカーブが算出できるとは限らない。

本発明は、上記に鑑みてなされたものであって、処理対象画像に対して最適なトーンカーブを簡便に生成することができる画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得する画像解析部と、処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するトーンカーブ生成部と、前記トーンカーブを用いて前記処理対象画像を補正する画像補正部と、を備えることを特徴とする。

本発明によれば、処理対象画像の画素値の分布をモデル化することで得られるモデルパラメータとその目標値とを対応付けた制御情報に基づいてトーンカーブを生成するので、処理対象画像に対して最適なトーンカーブを簡便に生成することができるという効果を奏する。

図１は、第１実施形態の画像処理装置の構成を示す機能ブロック図である。 図２は、第１実施形態の画像処理装置の動作を説明するフローチャートである。 図３は、データ分布を３つのガウス分布でモデル化する例を説明する図である。 図４は、データ分布を３つの指数分布でモデル化する例を説明する図である。 図５は、制御情報をトーンカーブの座標系の制御点として配置した様子を示す図である。 図６は、図５の制御点を用いて直線補間によりトーンカーブを生成した例を示す図である。 図７は、図５の制御点を用いてキュービック・スプライン補間によりトーンカーブを生成した例を示す図である。 図８は、図５の制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。 図９は、データ分布を２つのガウス分布でモデル化する例を説明する図である。 図１０は、図９のモデル化により得られる制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。 図１１は、データ分布を４つのガウス分布でモデル化する例を説明する図である。 図１２は、図１１のモデル化により得られる制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。 図１３は、第２実施形態の画像処理装置の構成を示す機能ブロック図である。 図１４は、第２実施形態の画像処理装置の動作を説明するフローチャートである。 図１５は、第４実施形態の画像処理装置の構成を示す機能ブロック図である。 図１６は、第４実施形態の画像処理装置において目標パラメータを設定する処理の詳細を説明するフローチャートである。 図１７は、画像形成システムのバリエーションを説明する図である。 図１８は、画像処理装置を画像形成装置の一部の機能として実施した例を説明する図である。

以下、この発明に係る画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラムの実施形態を説明する。

＜概要＞
本実施形態に係る画像処理装置は、処理対象画像における画素値の分布（以下、データ分布という。）を確率分布モデルによりモデル化してモデルパラメータを取得する。そして、取得したモデルパラメータと該モデルパラメータの目標値となる目標パラメータとを対応付けて制御情報を生成し、この制御情報に基づいてトーンカーブを生成する。

処理対象画像のデータ分布をモデル化することで、処理対象画像の特徴を自動的に抽出できる。一例として、処理対象画像のデータ分布をハイライト、中間調、シャドーの３つのクラスに分類されるようにモデル化する。この場合、各クラスに対応するモデルパラメータは、画像における各クラスの特徴（ハイライト部の明るさや飛び具合、シャドー部の暗さや締り具合、中間調部から画像全体の平均的な明るさなど）を表現したものとなる。

処理対象画像から取得されたモデルパラメータ（処理対象画像の特徴）と、モデルパラメータの目標値である目標パラメータ（目標とする画像の特徴）とを照らし合わせることで、処理対象画像をどのように補正すればよいかの方向性が定まる。

例えば、ハイライト部は階調が失われないギリギリまで明るく、逆にシャドー部は階調が失われないギリギリまで暗く、中間調部はダイナミックレンジを最大限に使いながら若干明るめにすることが好ましいとする。目標パラメータは、例えばこの条件を満たすように事前に設定しておく。

仮に処理対象画像が暗めで且つコントラストが低ければ、処理対象画像においてハイライトと分類された部分をより明るく、シャドーと分類された部分を暗く、中間調と分類された部分は明るめにしつつコントラストを上げるようにすれば、より好ましい画像になると判断できる。このような処理対象画像の補正の方向性を制御情報としてトーンカーブを生成することで、目的の補正を実現するトーンカーブを生成できる。なお、目標パラメータは、目標とする画像の特徴を表したものであればよく、例えば、事前に用意した複数の目標パラメータの候補の中から選択されたものを用いてもよい。また、目標とする特徴を有する画像である参照画像を処理対象画像と同様にモデル化し、得られたモデルパラメータを目標パラメータとしてもよい。

このように、本実施形態に係る画像処理装置は、処理対象画像のデータ分布をモデル化することで処理対象画像の特徴を自動的に抽出し、処理対象画像の特徴を目標となる画像の特徴に近づける補正の方向性を制御情報としてトーンカーブを生成する。したがって、熟練した技術を持たないユーザであっても、従来技術のように試行錯誤を繰り返すことなく、処理対象画像に対して最適なトーンカーブを簡便に生成することができる。

本実施形態に係る画像処理装置は、例えば、ＣＰＵなどの制御装置、ＲＯＭやＲＡＭなどの記憶装置、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置を備えた、通常のコンピュータを利用したハードウェア構成を採用することができる。そして、ＣＰＵなどの制御装置が記憶装置を利用しながら所定のプログラムを実行することにより、上述した画像のモデル化やトーンカーブの生成、トーンカーブを用いた画像の補正などを行う各機能を実現することができる。また、本実施形態に係る画像処理装置は、上述した機能の一部あるいは全部をＡＳＩＣやＦＰＧＡなどの専用のハードウェアを用いて実現することもできる。

以下では、より具体的な実施形態を、添付図面を参照しながら詳細に説明する。

＜第１実施形態＞
まず、第１実施形態の画像処理装置について説明する。第１実施形態では、処理対象画像がグレースケール画像であるものとして説明する。第１実施形態で扱われる処理対象画像のデータ分布は一次元であるため、後述するモデルパラメータは一次元（スカラ量）として説明する。

図１は、第１実施形態の画像処理装置の構成を示す機能ブロック図である。図１に示すように、第１実施形態の画像処理装置は、画像入力部１１と、目標パラメータ設定部１２と、画像解析部１３と、記憶部１４と、トーンカーブ生成部１５と、画像補正部１６と、画像出力部１７と、これら各部を接続するバス１８とを備える。

画像入力部１１は、ユーザにより指定された処理対象画像を入力する。画像入力部１１が入力した処理対象画像は、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

目標パラメータ設定部１２は、目標とする画像の特徴を表す目標パラメータを設定する。目標パラメータ設定部１２が設定した目標パラメータは、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

画像解析部１３は、記憶部１４から処理対象画像を取り出し、この処理対象画像のデータ分布を確率分布モデルによりモデル化してモデルパラメータを取得する。処理対象画像から取得されたモデルパラメータは、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

記憶部１４は、画像入力部１１が入力した処理対象画像、目標パラメータ設定部１２が設定した目標パラメータ、画像解析部１３が処理対象画像から取得したモデルパラメータ、トーンカーブ生成部１５が生成したトーンカーブ、画像補正部１６により補正された処理対象画像などを一時的に記憶する。

トーンカーブ生成部１５は、処理対象画像から取得されたモデルパラメータと目標パラメータとを取り出し、これらモデルパラメータと目標パラメータとを対応付けて制御情報を生成する。そして、トーンカーブ生成部１５は、生成した制御情報に基づいて、処理対象画像の補正に用いるトーンカーブを生成する。トーンカーブ生成部１５が生成したトーンカーブは、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

画像補正部１６は、記憶部１４から処理対象画像とトーンカーブを取り出し、処理対象画像にトーンカーブを適用して処理対象画像を補正する。画像補正部１６により補正された処理対象画像は、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

画像出力部１７は、記憶部１４から補正された処理対象画像を読み出し、補正された処理対象画像を、予め定められた出力先、あるいはユーザにより指定された出力先に出力する。

図２は、第１実施形態の画像処理装置の動作を説明するフローチャートである。以下、この図２のフローチャートに沿って、上述した各部の処理を具体的に説明する。

まず、画像入力部１１が、ユーザにより指定された処理対象画像を入力する（ステップＳ１０１）。処理対象画像の入力は、例えば、ＣＤやＤＶＤ、ハードディスクなどの記録メディアやネットワーク・ストレージに保存されている画像を読み出すことで実施してもよいし、図示しないスキャナなどの画像読取部を用いて紙の原稿やフィルムなどから画像を読み取ることで実施してもよい。

次に、目標パラメータ設定部１２が、目標とする画像の特徴である目標パラメータを設定する（ステップＳ１０２）。目標パラメータは、データ分布の分類に用いるクラスごとに設定される値の集合である。つまり、１つの処理対象画像に対して設定される目標パラメータに含まれる値の数は、処理対象画像のデータ分布のモデル化における混合数と一致する。したがって、処理対象画像のデータ分布をハイライト、中間調、シャドーの３つのクラスに分類されるようにモデル化する場合には、ハイライト用の値ｖｈｒｅｆ、中間調用の値ｖｍｒｅｆ、シャドー用の値ｖｌｒｅｆの３つの値からなる目標パラメータｖｒｅｆが設定されることになる。

目標パラメータに用いる画像の特徴の例としては、画素値の平均値や分散値などが挙げられる。他にも画像を微分して得られた微分画像の平均値や分散値などを用いてもよい。なお、目標パラメータは１つのクラスにつき１つの値であってもよいし、複数の値を組にしてもよい。例えば、画素値の平均値のみを用いてもよいし、画素値の平均値と分散値を組にして用いてもよい。仮に画素値の平均値と分散値とを組にして用いる場合、目標パラメータはこの組をクラス数分だけ束ねたものとなる。

目標パラメータは、好ましい画像の特徴として事前に設定された唯一のものであってもよいし、事前に用意した複数の目標パラメータの候補の中から選択されたものであってもよい。また、目標パラメータは、処理対象画像の付加情報として外部から与えられたものであってもよい。さらには、ユーザの指定により処理対象画像とともに入力した参照画像を処理対象画像と同様にモデル化し、得られたモデルパラメータを目標パラメータとしてもよい。また、事前に用意した複数の参照画像の候補の中から、処理対象画像に類似する参照画像またはユーザが指定した参照画像を選択し、選択した参照画像を処理対象画像と同様にモデル化して、得られたモデルパラメータを目標パラメータとしてもよい。

次に、画像解析部１３が、ステップＳ１０１で入力された処理対象画像のデータ分布を確率分布モデルによりモデル化して、モデルパラメータを取得する（ステップＳ１０３）。データ分布を確率分布モデルによりモデル化するとは、データ分布を最も近似する確率分布モデルを求めることをいう。モデル化に用いる確率分布モデルの例としては、ガウス分布や指数分布などが挙げられる。どの確率分布モデルを用いて処理対象画像のデータ分布をモデル化するかは、実際のデータ分布の形状に応じて決定すればよい。また、モデル化に用いる確率分布モデルは、単一モデル（単一分布）であってもよいし、複数の単一モデルを線形結合した混合モデル（混合分布）であってもよい。なお、単一ガウス分布や混合ガウス分布によるモデル化手法は広く知られているため、ここでは概要のみを説明する。また、指数分布を用いる場合であっても、基本的にガウス分布と同様のアプローチが利用できるため、詳細な説明は省略する。

第１実施形態で扱う画像はグレースケール画像であるため、色空間は１次元である。したがって、画像解析部１３は、例えば以下の手順で処理対象画像のデータ分布のモデル化を行うことができる。

まず、画像解析部１３は、処理対象画像の各階調に属する画素の数を集計してヒストグラムを作成する。このとき、必要に応じて各階調に属する画素の数を全画素数で除算して割合に直してもよい。

次に、画像解析部１３は、ヒストグラムを単一モデルまたは混合モデルを用いてモデル化する。ここでは、ガウス分布を用いてモデル化するものとする。単一ガウスでモデル化するのであれば、ヒストグラムの平均と分散を求めればよい。また、混合ガウス分布でモデル化するのであれば、例えばＥＭアルゴリズムなどを用いて、最尤推定によりパラメータを更新すればよい。ＥＭアルゴリズムなどを用いて反復計算によりモデルパラメータを更新する際の初期値は、予め決定された固定値を用いてもよいし、ランダムな値を用いてもよい。また、データ群のクラスタリングに際して、すでにクラスタリングされて記録されているデータ群の中から類似するデータ群を検索し、この類似するデータ群をクラスタリングする際に用いられたモデルパラメータに基づいて、反復計算によりモデルパラメータを更新する際の初期値を決定するようにしてもよい。最終的に得られたパラメータをモデルパラメータとする。

モデル化にガウス分布を用いた場合には平均と分散の組が混合数（モデル化に用いたガウス分布の数）分だけ得られる。したがって、混合数３の混合ガウス分布でモデル化した場合に、３つのクラスをハイライト、中間調、シャドーとラベル付けすれば、ハイライト用の値ｖｈｉｎ、中間調用の値ｖｍｉｎ、シャドー用の値ｖｌｉｎの３つの値からなるモデルパラメータｖｉｎが得られることになる。モデルパラメータは目標パラメータと同様に、１つのクラスに付き１つの値であってもよいし、複数の値を組にしてもよい。以下では、平均値のみをモデルパラメータとして利用するものとして説明する。

なお、ここではデータ分布を元にヒストグラムを作成するものとしたが、ヒストグラムを作成することは必須ではない。これは、データ分布の平均値や分散値は各データから直接計算することもできるためである。ここでは主に視覚的な分かりやすさの観点からヒストグラムを作成するものとして説明している。

データ分布を３つのガウス分布でモデル化する例を、図３を用いて説明する。図３（ａ）は、処理対象画像の画素値を用いて作成したヒストグラムの例である。横軸が階調であり、縦軸が頻度である。なお、ここでは頻度を割合で表しているものとする。処理対象画像の各画素について、画素値に対応する階調ごとに画素数を集計していくことで、図３（ａ）に示すようなヒストグラム３０１が構築される。このヒストグラム３０１は、大きく３つの山からなることが見て取れ、それぞれの山は、概ね階調が低い方からシャドー、中間調、ハイライトの分布に相当するものとみなすことができる。

図３（ａ）に示すヒストグラム３０１を３つのガウス分布でモデル化したしたものが図３（ｂ）である。平均値ａのガウス分布３１１、平均値ｂのガウス分布３１２、平均値ｃのガウス分布３１３によりヒストグラム３０１が良好にモデル化できたとすれば、モデルパラメータ（ａ，ｂ，ｃ）が得られる。図３（ｃ）は、図３（ａ）と図３（ｂ）を重ねたものであり、処理対象画像のデータ分布が３つのガウス分布により良好に近似できていることが分かる。なお、一般的にガウス分布のモデルパラメータは平均値と分散値であるが、本実施形態では簡便のために平均値のみを利用している。上述したように、平均値と分散値を併せて利用してもよい。

なお、図３の例では、シャドー、中間調、ハイライトの３つのクラスにそれぞれ対応する３つの山があるようなヒストグラム３０１が得られているが、処理対象画像から作成されるヒストグラムの形状は様々である。例えば、単峰性のヒストグラムや双峰性のヒストグラム、４つ以上の多峰性のヒストグラムが得られる場合もある。このような場合であっても、処理対象画像のデータ分布をハイライト、中間調、シャドーの３つのクラスに分類するのであれば、３つのガウス分布でモデル化する。

データ分布を３つの指数分布でモデル化する例を、図４を用いて説明する。図４（ａ）は、図３（ａ）に示したヒストグラム３０１を３つの指数分布でモデル化したしたものである。なお、一般に指数分布は下記式（１）で定義されが、本実施形態では、下記式（２）で定義するようにｘ＝μについて線対称となる２つの指数分布を組み合わせて用い、便宜上この組を１つの指数分布と呼ぶ。

λ＝λ１、μ＝αの指数分布４１１、λ＝λ２、μ＝βの指数分布４１２、λ＝λ３、μ＝γの指数分布４１３によりヒストグラム３０１が良好にモデル化できたとすれば、モデルパラメータ（（α，λ１），（β，λ２），（γ，λ３））が得られる。図４（ｂ）は、図３（ａ）と図４（ａ）を重ねたものであり、図３（ｃ）に示したガウス分布を用いた場合ほどではないにせよ、３つの指数分布により処理対象画像のデータ分布を良好に近似できていることが分かる。

次に、トーンカーブ生成部１５が、ステップＳ１０３のモデル化により得られたモデルパラメータと、ステップＳ１０２で設定された目標パラメータとを対応付けて、制御情報を生成する（ステップＳ１０４）。このステップＳ１０４の処理は、処理対象画像のデータ分布を分類したクラスごとに行われる。すなわち、トーンカーブ生成部１５は、１つのクラスに対応する制御情報を生成すると、全てのクラスの処理を終えたか否かを確認し（ステップＳ１０５）、全てのクラスの処理が終わるまで（ステップＳ１０５：Ｎｏ）、ステップＳ１０４の処理を繰り返す。具体的には、トーンカーブ生成部１５は、モデルパラメータと目標パラメータにおいて同じラベルのクラスに割り当てられた値同士を対応付けて当該クラスに対応する制御情報を生成する処理を、全てのクラスに対して繰り返す。例えば、処理対象画像のデータ分布がハイライト、中間調、シャドーの３つのクラスに分類されている場合には、３つの制御情報（ｖｈｉｎ，ｖｈｒｅｆ），（ｖｍｉｎ，ｖｍｒｅｆ），（ｖｌｉｎ，ｖｌｒｅｆ）が生成される。

次に、トーンカーブ生成部１５は、ステップＳ１０４で生成した制御情報に基づいて、処理対象画像を補正するためのトーンカーブを生成する（ステップＳ１０６）。例えばトーンカーブ生成部１５は、ステップＳ１０４で生成した制御情報を制御点として、所定の関数を用いた補間処理を行うにより、処理対象画像を補正するためのトーンカーブを生成する。

補間処理に用いる所定の関数としては、例えば、直線、Ｂスプライン関数、キュービック・スプライン関数などが挙げられる。直線を用いると計算コストが低く抑えられるが、制御点を挟んで傾きが急激に変化し階調が不連続となりやすい。一方、キュービック・スプライン関数は制御点を３次関数により結ぶ方法であり、滑らかな曲線が得られる。また、Ｂスプライン関数は制御点を通らないため、キュービック・スプライン関数よりも緩やかな勾配を持った曲線が得られる。なお、補間処理の制御点として用いる制御情報に階調の端部が含まれない場合には、階調の端部に相当する制御点を適宜追加することが望ましい。例えば、２５６階調のトーンカーブを設計するのであれば、制御点として（０，０）や（２５５，２５５）を追加することで階調全体をカバーするトーンカーブを生成できる。一方、ダイナミックレンジが制限されているようであれば、例えば（０，１０）や（２５５，２４５）のように、出力階調側（目標パラメータ側）の値を適宜設定すればよい。

図５は、制御情報をトーンカーブの座標系の制御点として配置した様子を示す図である。図５の横軸は入力階調を示し、縦軸が出力階調を示している。また、斜めの線５２１は入力階調と出力階調が一致する直線である。点５０１，５０２，５０３は、制御情報をトーンカーブの座標系に配置した制御点である。ここで、モデルパラメータは、処理対象画像のデータ分布を混合数３の混合ガウス分布でモデル化した際の各ガウス分布の平均値（ａ，ｂ，ｃ）であり、目標パラメータは、これらのガウス分布の平均値の目標値（ｄ，ｅ，ｆ）であるものとする。したがって、対応するクラスに属するガウス分布の平均値をその目標値と対応付けることで、制御情報は（ａ，ｄ），（ｂ，ｅ），（ｃ，ｆ）となる。制御点５０１，５０２，５０３は、この制御情報を座標値としてトーンカーブの座標系にプロットしたものである。なお、この例では、入出力共に値域の端部に制御点が存在しないことから、入力階調のａより小さい範囲とｃより大きい範囲でトーンカーブの形状が定まらなくなってしまう。このため、上述したように階調の端部に相当する制御点５１１，５１２を追加している。

図６は、図５に示した制御点を用いて直線補間によりトーンカーブを生成した例を示す図である。直線補間によりトーンカーブを生成する場合は、非常に簡便にトーンカーブを生成できる。しかし、制御点の近傍で直線の傾きが急激に変化する場合がある。このため、トーンカーブを用いて補正された処理対象画像は、階調の滑らかさが損なわれる場合がある。図６に示す例では、例えば横軸のａ付近で直線の傾きが急激に変換するため、このトーンカーブを用いて処理対象画像を補正した場合に、補正された処理対象画像の画素値ａ近傍で、階調の滑らかさが損なわれる虞がある。

図７は、図５に示した制御点を用いてキュービック・スプライン補間によりトーンカーブを生成した例を示す図である。キュービック・スプライン補間により生成されたトーンカーブは、図６に示した直線補間により生成されたトーンカーブと比較すると、曲線が滑らかにつながっており、上述した階調の滑らかさを損なう虞は低くなることが容易に想像できる。ただし、横軸のａとｂの間のように曲線の傾きが大きい場所があり、この範囲で階調飛びが生じる虞がある。

図８は、図５に示した制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。Ｂスプライン補間により生成されたトーンカーブは、図７に示したキュービック・スプライン補間により生成されたトーンカーブと比較すると、曲線の滑らかさは維持しつつ、曲線の傾きがよりなだらかになっていることが分かる。このことから、上述の階調飛びの懸念が緩和されることが分かる。一方、Ｂスプライン補間の特性として、補間により得られる曲線が端点を除く制御点を必ずしも通過しないことから、キュービック・スプライン補間を用いた場合よりも階調の変化が弱くなる。

トーンカーブをどの補間方法により生成するかは、補正の目的に応じて、計算コスト、階調の滑らかさ、階調変換の効果などの観点から適宜決定すればよい。なお、トーンカーブの生成に用いる補間方法として、ここでは３つの補間方法のみを例示したが、制御点を通るか通らないかに関わらず、一般的に知られたあらゆる補間方法や曲線の描画方法を適宜用いてトーンカーブを生成することができる。例えば、ｎ次スプライン曲線（ｎ≧１）、ｎ次ベジエ曲線（ｎ≧１）、ラグランジュ補間などによりトーンカーブを生成してもよい。

次に、画像補正部１６が、ステップＳ１０６で生成されたトーンカーブを用いて、処理対象画像を補正する（ステップＳ１０７）。具体的には、画像補正部１６は、トーンカーブを用いた処理対象画像の階調変換を行う。この際、トーンカーブにより定まる入力階調と出力階調との対応関係を記述したルック・アップ・テーブルを事前に作成しておき、このルック・アップ・テーブルを用いて階調変換を行うようにすれば、処理時間の短縮を図ることができる。

次に、画像出力部１７が、ステップＳ１０７で補正された処理対象画像を出力する（ステップＳ１０８）。補正された処理対象画像の出力先としては、例えば、画像を表示する図示しない表示装置や、画像を保存するハードディスクドライブなどの記憶装置、画像を印刷するプリンタなどが挙げられる。

以上、具体的な例を挙げながら詳細に説明したように、第１実施形態の画像処理装置によれば、処理対象画像のデータ分布を確率分布モデルによりモデル化することで得られるモデルパラメータと、このモデルパラメータの目標値となる目標パラメータとを対応付けた制御情報に基づいて、処理対象画像を補正するためのトーンカーブが生成される。したがって、ユーザが処理対象画像を指定するのみでその処理対象画像に対して最適なトーンカーブが生成されるので、熟練した技術を持たないユーザであっても、従来技術のように試行錯誤を繰り返すことなく、処理対象画像に対して最適なトーンカーブを簡便に生成することができる。

（変形例１）
上述した説明では、処理対象画像がグレースケール画像であるものとした。しかし、処理対象画像がカラー画像の場合であっても、同様の処理によりカラーの処理対象画像を補正するためのトーンカーブを生成できる。

処理対象画像がカラー画像の場合には、図２のステップＳ１０１で処理対象画像を入力した後に、図示しないチャンネル分割部によってチャンネルごとのグレースケール画像に分割して、チャンネルごとに独立に、図２のステップＳ１０２からステップＳ１０７までの処理を行う。そして、図示しないチャンネル結合部によってチャンネルごとに補正されたグレースケール画像を合成してカラー画像とした後に、図２のステップＳ１０８で補正された出力対象画像を出力すればよい。

なお、処理対象画像がカラー画像の場合に、全てのチャンネルを補正する処理を行うのではなく、特定のチャンネルのみを補正する処理を行ってもよい。この場合、カラー画像に対する目標パラメータは、処理するチャンネル数分だけ設定する必要がある。

（変形例２）
上述した説明では、ガウス分布のモデルパラメータとして得られる平均値と分散値のうち、平均値のみを利用してトーンカーブを生成するようにしていた。しかし、平均値に加えて分散値も利用してトーンカーブを生成するようにしてもよい。

例えば図３（ｂ）に示した３つのガウス分布を見ると、中間調に対応するガウス分布は他の２つのガウス分布よりも山が高く、また裾野が広いことが分かる。このため、このガウス分布に対応する中間調の階調をより重視したトーンカーブを生成することが望ましい場合がある。このような場合には、以下に示す方法により、中間調の階調をより重視したトーンカーブを生成することが考えられる。

例えば、ガウス分布の平均値を用いて設定された制御点の位置を、ガウス分布の分散値を用いて補正することが考えられる。具体的には、例えば図５に示した３つの制御点５０１，５０２，５０３のうち、分散値が最も大きいガウス分布に対応する制御点、つまりガウス分布の山が最も高い中間調に対応する制御点５０２を固定し、他の２つの制御点５０１，５０３の位置をそれぞれ制御点５０２から遠ざけるように補正する。

制御点の位置を補正する方法としては、例えば、図５の横軸に平行に移動させてもよいし、斜めの線５１２に平行に移動させてもよいし、端点５１１，５１２に向かう方向に移動させてもよい。制御点の移動量は、例えば、予め定めた移動量を用いてもよいし、２つのガウス分布の分散値の比率や差分に応じて算出される移動量を用いてもよい。

また、ガウス分布の平均値を用いて制御点を設定し、複数の補間方法を組み合わせた補間処理によりトーンカーブを生成する場合に、各クラスに対応するガウス分布の分散値を用いて、各クラスに適用する補間方法の割合を変化させることも考えられる。一例を挙げると、図５に示した制御点５０１から制御点５０３の間を、キュービック・スプライン補間とＢスプライン補間の２つの補間方法で補間した２つのトーンカーブを生成し、これら２つのトーンカーブを分散値に基づく重みにより合成して最終的なトーンカーブを生成する。より具体的には、分散値が最も大きいガウス分布に対応する制御点、つまりガウス分布の山が最も高い中間調に対応する制御点５０２ではキュービック・スプライン補間に対する重みが１となるように、またそこから離れるほどキュービック・スプライン補間に対する重みが小さくなり、相対的にＢスプライン補間に対する重みが大きくなるように重みを設定する。これにより、制御点５０２の近傍では大きな階調変換が生じるが、そこから離れるほど変化の度合いが弱くなるトーンカーブを生成することができ、キュービック・スプライン補間とＢスプライン補間の特性を組み合わせたトーンカーブを生成できる。

また、モデルパラメータの分散値だけでなく、目標パラメータの分散値も利用してトーンカーブを生成することも考えられる。例えば、中間調に着目したときにモデルパラメータでは分散値が大きいが、目標パラメータでは分散値が小さかったとする。この場合、処理対象画像において中間調のコントラストが高いが、補正後の画像では中間調のコントラストを抑えることが望ましいと考えられる。そこで、目標パラメータの分散値とモデルパラメータの分散値との比を求め、１より小さければ（モデルパラメータの分散値のほうが大きければ）、例えば図５に示した中間調に対応する制御点５０２以外の２つの制御点５０１，５０３の位置を、それぞれ中間調に対応する制御点５０２に近づけるように補正することで、中間調のコントラストを相対的に低めることができる。逆に、目標パラメータの分散値とモデルパラメータの分散値との比が１より大きければ（モデルパラメータの分散値のほうが小さければ）、２つの制御点５０１，５０３の位置をそれぞれ中間調に対応する制御点５０２から遠ざけるように補正することで、中間調のコントラストを相対的に高めることもできる。この場合、制御点の移動量は、例えば、予めルック・アップ・テーブルに記録しておき、その中から分散値や上述の分散値の比などに基づいて利用する移動量を選択する方法が挙げられる。この他にも、隣接する制御点との距離に、目標パラメータの分散値とモデルパラメータの分散値の比から１を引いた値を乗算した長さを制御点の移動量として用いてもよい。この場合、分散値の比が１であれば隣接する制御点は移動せず、１より大きければ遠ざかり、１より小さければ近づくことになる。

（変形例３）
上述した説明では、処理対象画像のデータ分布をハイライト、中間調、シャドーの３つのクラスに分類し、３つのガウス分布（混合数３の混合ガウス分布）でモデル化するようにしていた。しかし、処理対象画像のデータ分布を分類する数、つまりデータ分布のモデル化に用いるモデルの数（混合モデルの混合数）は任意に定めることができる。

データ分布を２つのガウス分布でモデル化する例を図９に示す。図９（ａ）は、図３（ａ）に示したヒストグラム３０１を２つのガウス分布でモデル化したしたものである。図３（ａ）に示したヒストグラム３０１を２つのガウス分布でモデル化すると、図９（ａ）に示すように、平均値ｇのガウス分布９１１と、平均値ｈのガウス分布９１２とが得られ、これらは概ね、処理対象画像の中の暗い領域と明るい領域に相当する。図９（ｂ）は、図３（ａ）と図９（ａ）を重ねたものである。図３（ｃ）に示した３つのガウス分布を用いた場合と比較するとヒストグラムの近似精度は低下しているが、必要なクラスが２つであれば、このようにモデル化すればよい。

図１０は、図９のモデル化により得られる制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。データ分布を２つのガウス分布でモデル化したため、２つのガウス分布に対応する２つのモデルパラメータが得られ、結果として２つの制御点１００１，１００２がトーンカーブの座標系に設定される。これら２つの制御点１００１，１００２に端点の制御点１０１１，１０１２を付加した４つの制御点を用いてＢスプライン補間によりトーンカーブを生成することで、図１０に示すトーンカーブが得られる。

データ分布を４つのガウス分布でモデル化する例を図１１に示す。図１１（ａ）は、図３（ａ）に示したヒストグラム３０１を４つのガウス分布でモデル化したしたものである。図３（ａ）に示したヒストグラム３０１を４つのガウス分布でモデル化すると、図１１（ａ）に示すように、平均値ｉのガウス分布１１１１と、平均値ｊのガウス分布１１１２と、平均値ｋのガウス分布１１１３と、平均値ｌのガウス分布１１１４とが得られ、これらは概ね、処理対象画像の中のシャドー領域、やや暗い領域、やや明るい領域、ハイライト領域に相当する。図１１（ｂ）は、図３（ａ）と図１１（ａ）を重ねたものである。図３（ｃ）に示した３つのガウス分布を用いた場合と比較すると、ヒストグラムの近似精度はさほど変わらない。

図１２は、図１１のモデル化により得られる制御点を用いてＢスプライン補間によりトーンカーブを生成した例を示す図である。データ分布を４つのガウス分布でモデル化したため、４つのガウス分布に対応する４つのモデルパラメータが得られ、結果として４つの制御点１２０１，１２０２，１２０３，１２０４がトーンカーブの座標系に設定される。これら４つの制御点１２０１，１２０２，１２０３，１２０４に端点の制御点１２１１，１２１２を付加した６つの制御点を用いてＢスプライン補間によりトーンカーブを生成することで、図１２に示すトーンカーブが得られる。

以上、処理対象画像のデータ分布を２つのガウス分布でモデル化する例と、４つのガウス分布でモデル化する例を示したが、単一のガウス分布でデータ分布をモデル化してもよいし、５つ以上のガウス分布でデータ分布をモデル化してもよい。データ分布のモデル化に用いるモデルの数（混合モデルの混合数）は、モデル化の目的（分類したいクラス数など）と実際のデータ分布の形状（ヒストグラム形状）に応じて適切に決定すればよい。

＜第２実施形態＞
次に、第２実施形態の画像処理装置について説明する。第２実施形態は、処理対象画像を異なる色空間に変換した上でトーンカーブを用いた補正を行うようにした例である。色空間の変換を除けば、基本的な処理の流れは上述した第１実施形態と同じであるため、以下では、第２実施形態に特徴的な部分を中心に説明し、第１実施形態と重複する説明は適宜省略する。なお、第２実施形態では、第１実施形態と異なり、処理対象画像がカラー画像（マルチチャンネル画像）であることを前提とする。

図１３は、第２実施形態の画像処理装置の構成を示す機能ブロック図である。図１３に示すように、第２実施形態の画像処理装置は、第１実施形態の画像処理装置の構成に対して、色空間変換部２１が付加された構成である。

色空間変換部２１は、画像入力部１１が入力した処理対象画像を記憶部１４から読み出し、この処理対象画像を元の色空間とは異なる色空間に変換する。色空間変換部２１により色空間が変換された処理対象画像は、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。第２実施形態では、画像解析部１３は、この色空間が変換された処理対象画像を記憶部１４から読み出して、データ分布をモデル化する処理を行う。また、画像補正部１６は、色空間が変換された処理対象画像を記憶部１４から読み出して、この色空間が変換された処理対象画像に対して、トーンカーブ生成部１５により生成されたトーンカーブを用いた補正（階調変換）を行う。

また、色空間変換部２１は、画像補正部１６により補正された処理対象画像を記憶部１４から読み出し、この補正された処理対象画像を元の色空間に変換する。色空間変換部２１により元の色空間に変換された補正後の処理対象画像は、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。第２実施形態では、画像出力部１７は、元の色空間に変換された補正後の処理対象画像を記憶部１４から読み出して、予め定められた出力先、あるいはユーザにより指定された出力先に出力する。

図１４は、第２実施形態の画像処理装置の動作を説明するフローチャートである。以下、この図１４のフローチャートに沿って、第２実施形態の画像処理装置における各部の処理を説明する。

まず、画像入力部１１が、第１実施形態と同様に、ユーザにより指定された処理対象画像を入力する（ステップＳ２０１）。

次に、色空間変換部２１が、ステップＳ２０１で入力された処理対象画像を、元の色空間とは異なる色空間に変換する（ステップＳ２０２）。色空間の例としては、ｓＲＧＢ色空間、ＣＩＥ−ＸＹＺ色空間、ＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間などが挙げられる。処理対象画像をどの色空間に変換するかは予め定めておいてもよいし、変換先の色空間の候補をユーザに提示して、その中からユーザが選択した色空間に変換するようにしてもよい。また、入力された処理対象画像のデータ分布の特徴に合わせて、変換先の色空間を自動的に選択してもよい。変換先の色空間を自動的に選択する方法の例としては、色空間における画素値の分布の分散が最も大きくなるものを選択する方法や、分布が所望の形状（例えば、多峰性であること）に近くなる色空間を選択する方法などが考えられる。

次に、目標パラメータ設定部１２が、第１実施形態と同様に、目標パラメータを設定する（ステップＳ２０３）。ただし、第２実施形態では、目標パラメータ設定部１２は、変換先の色空間において目標となる画像の特徴を表す目標パラメータを設定する。

次に、画像解析部１３が、ステップＳ２０２で色空間が変換された処理対象画像のデータ分布を確率分布モデルによりモデル化して、モデルパラメータを取得する（ステップＳ２０４）。モデル化の手法は、第１実施形態と同様である。

次に、トーンカーブ生成部１５が、第１実施形態と同様に、ステップＳ２０４のモデル化により得られたモデルパラメータとステップＳ２０３で設定された目標パラメータとを、ハイライト、中間調、シャドーなどのクラスごとに対応付けて制御情報を生成する（ステップＳ２０５、ステップＳ２０６）。

次に、トーンカーブ生成部１５は、第１実施形態と同様に、ステップＳ２０５で生成した制御情報に基づいて、処理対象画像を補正するためのトーンカーブを生成する（ステップＳ２０７）。

次に、画像補正部１６が、第１実施形態と同様に、ステップＳ２０７で生成されたトーンカーブを用いて、色空間が変換された処理対象画像を補正する（ステップＳ２０８）。

次に、色空間変換部２１が、ステップＳ２０８で補正された処理対象画像を、元の色空間に変換する（ステップＳ２０９）。なお、変換した色空間のままで補正された処理対象画像を出力することが求められる場合には、本ステップを省略してもよい。また、入力時や補正時と異なる別の色空間で出力することが求められる場合には、補正された処理対象画像を元の色空間に変換するのではなく、別の色空間に変換するようにしてもよい。

次に、画像出力部１７が、第１実施形態と同様に、補正された処理対象画像を出力する（ステップＳ２１０）。

なお、図１４のステップＳ２０３からステップＳ２０８までの処理は、第１実施形態の変形例１と同様に、チャンネルごとに独立に行ってもよいし、特定のチャンネルのみを対象として処理を行うようにしてもよい。

以上のように、第２実施形態の画像処理装置によれば、トーンカーブを用いた処理対象画像に対する補正（階調変換）を元の色空間とは異なる色空間で行うことができるので、補正の目的に沿ったより適切な補正を実現できる。例えば、ｓＲＧＢ色空間の処理対象画像に対して、明度成分のみの階調変換を行いたい場合には、処理対象画像を明度成分と色度成分とを分離した色空間（例えばＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間）に変換した上で、Ｌ^＊チャンネルについてのみトーンカーブを生成して補正を行い、補正後の処理対象画像を元のｓＲＧＢ色空間に変換すればよい。また、処理対象画像を色空間における各軸の間に相関がない色空間（例えばＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間）に変換した上で、各チャンネルに独立にトーンカーブを用いた補正（階調変換）を行うことで、想定しない色ずれを防止することができる。

＜第３実施形態＞
次に、第３実施形態の画像処理装置について説明する。第３実施形態は、処理対象画像の多次元のデータ分布を多次元の確率分布モデルを用いてモデル化する例である。つまり、第１実施形態のように処理対象画像を１次元ずつ独立にモデル化するのではなく、多次元のデータ分布を多次元のモデル（モデルの次元はデータ分布の次元以下）を用いてモデル化する。なお、第３実施形態では、第１実施形態と異なり、処理対象画像がカラー画像（マルチチャンネル画像）であることを前提とする。

第３実施形態の画像処理装置の構成は、図１の機能ブロック図で示した第１実施形態の画像処理装置の構成と同様である。また、第３実施形態の画像処理装置の基本的な動作は、図２のフローチャートで示した第１実施形態の画像処理装置の動作と同様である。ただし、第３実施形態では、扱われるデータが多次元であるため、それに応じた変更が加わる。以下では、図２に示したフローチャートを参照しながら、第３実施形態の画像処理装置における各部の処理を説明する。

まず、画像入力部１１が、第１実施形態と同様に、ユーザにより指定された処理対象画像を入力する（ステップＳ１０１）。

次に、目標パラメータ設定部１２が、目標とする画像の特徴である目標パラメータを設定する（ステップＳ１０２）。第１実施形態では、処理対象画像のデータ分布を１次元に射影した上でモデル化していたため、目標パラメータは各クラスにつき１つ以上の値（スカラ量）の組の集合として与えていた。これに対して第３実施形態では、処理対象画像のデータ分布を多次元でモデル化するため、目標パラメータにおける各パラメータ要素もベクトルないし行列となる。

例えば、ｓＲＧＢ色空間において、処理対象画像のデータ分布を混合ガウス分布でモデル化し、目標パラメータとして各ガウス分布の平均値を与えるケースを考える。第１実施形態ではデータ分布を色空間の各軸に射影しているため、このデータ分布を複数の１次元のガウス分布で構成される混合ガウス分布によりモデル化することになる。したがって、目標パラメータとして１つのガウス分布につき１つのスカラ量が割り当てられる。一方、第３実施形態ではｎ次元（１次元以上、色空間の次元以下）でモデル化するため、各ガウス分布の平均値はｎ次元ベクトルとなる。よって、目標パラメータは複数のｎ次元ベクトル（なお、ｎ＝１の場合は第１実施形態と同様にスカラ量となる）で構成されることになる。

次に、画像解析部１３が、ステップＳ１０１で入力された処理対象画像のデータ分布を確率分布モデルによりモデル化して、モデルパラメータを取得する（ステップＳ１０３）。上述したように、第３実施形態で扱うデータ分布は多次元であり、モデル化に用いるモデルも多次元となるため、処理対象画像をモデル化することで取得されるモデルパラメータも、対応する次元を持つことになる。例えば、ｍ次元の混合ガウス分布を用いてデータ分布をモデル化する場合、各ガウス分布のモデルパラメータである平均値はｍ次元ベクトル（平均値ベクトル）、分散値はｍ×ｍ行列（分散共分散行列）となる。

次に、トーンカーブ生成部１５が、ステップＳ１０３のモデル化により得られたモデルパラメータとステップＳ１０２で設定された目標パラメータとをクラスごとに対応付けて、制御情報を生成する（ステップＳ１０４、ステップＳ１０５）。第３実施形態では、平均値ベクトル同士の対応付けとなるため、制御情報も２つの平均値ベクトルの組となる。したがって、平均値ベクトルの組が集合として制御情報が得られる。なお、集合の要素数はクラス数と等しく、すなわちモデル化に用いる混合モデルの混合数と一致する。

次に、トーンカーブ生成部１５は、ステップＳ１０４で生成した制御情報に基づいて、処理対象画像を補正するためのトーンカーブを生成する（ステップＳ１０６）。上述したように、制御情報はベクトルの組として与えられる。トーンカーブは色空間と同じ次元で生成してもよいし、より低次元の複数のトーンカーブにしてもよい。例えば、制御情報に含まれる平均値ベクトルがｍ次元だったとき、トーンカーブはｍ次元の曲面として生成してもよいし、色空間の軸ごとに独立した曲線として生成してもよい。前者のケースでは、補間関数をｍ次元に拡張する必要があるため計算が複雑となるが、１次元の曲線ｍ個の重ね合わせとして表現することで近似することも可能である。この場合、１次元の曲線を重ね合わせる際に、ｍ次元の平均値ベクトルのうち、各要素を順次取り出して第１実施形態と同様にトーンカーブを生成すればよい。

次に、画像補正部１６が、ステップＳ１０６で生成されたトーンカーブを用いて、処理対象画像を補正する（ステップＳ１０７）。この際、ステップＳ１０６で生成されたトーンカーブが１次元であれば、画像補正部１６はチャンネルごとに独立に階調変換を行う。一方、ステップＳ１０６で生成されたトーンカーブが多次元であれば、画像補正部１６は複数のチャンネルをまとめて階調変換を行う。

次に、画像出力部１７が、第１実施形態と同様に、ステップＳ１０７で補正された処理対象画像を出力する（ステップＳ１０８）。

第３実施形態において、データ分布をモデル化する確率分布モデルの次元は、１次元以上でデータ分布の次元以下であればよい。また、データ分布の次元より低い複数の空間に写像した上でモデル化してもよい。より具体的に例示すれば、画像におけるＲＧＢ値には相関があることが知られているため、ｓＲＧＢ色空間においてモデル化する際には３次元の確率分布モデルを用い、軸間の相関が小さいＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間においてモデル化する際には各軸に射影した上で独立に１次元の確率分布モデルを用いることが考えられる。また、処理対象画像の明度と色度とを独立に補正したければ、例えばＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間においてＬ^＊軸に沿って１次元でモデル化し、ａ^＊ｂ^＊平面において２次元でモデル化するといった方法も可能である。

以上のように、第３実施形態の画像処理装置によれば、処理対象画像のデータ分布を多次元の確率分布モデルを用いてモデル化することで、色空間を構成する各軸の間に相関がある条件下でもデータ分布を高精度にモデル化することができる。これにより、２次元以上のトーンカーブも適切に生成することができる。また上述したように、多次元の色空間（例えば３次元のＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間）を各軸の持つ意味に応じてより低次元の空間（例えばＬ^＊軸とａ^＊ｂ^＊平面）に写像した上で、データ分布をモデル化することもできる。これにより、処理対象画像の明度と色度とを独立に補正するなど、補正の目的に沿ったより適切な補正を実現できる。

＜第４実施形態＞
次に、第４実施形態の画像処理装置について説明する。第４実施形態は、補正の目標となる参照画像を処理対象画像と同様にモデル化することで得られるモデルパラメータを目標パラメータとして設定するようにした例である。目標パラメータを設定する処理を除けば、基本的な処理の流れは上述した第１実施形態や第３実施形態と同じであるため、以下では、第４実施形態に特徴的な部分を中心に説明し、第１実施形態や第３実施形態と重複する説明は適宜省略する。

図１５は、第４実施形態の画像処理装置の構成を示す機能ブロック図である。図１５に示すように、第４実施形態の画像処理装置は、第１実施形態の画像処理装置の構成に対して、参照画像データベース４１および参照画像選択部４２が付加された構成である。

参照画像データベース４１は、参照画像の候補となる複数の画像を記憶するデータベースである。参照画像データベース４１が記憶する画像は、予め登録されたものであってもよいし、ユーザが登録したものであってもよい。

参照画像選択部４２は、参照画像データベース４１が記憶する複数の画像の中から１つ以上の参照画像を選択する。参照画像選択部４２により選択された参照画像は、バス１８を介して記憶部１４に送られ、記憶部１４に一時的に記憶される。

第４実施形態では、画像解析部１３は、処理対象画像だけでなく、参照画像選択部４２により選択された参照画像も記憶部１４から読み出し、参照画像のデータ分布をモデル化してモデルパラメータを取得する。そして、目標パラメータ設定部１２は、参照画像のモデル化により取得されたモデルパラメータを目標パラメータとして設定する。

図１６は、第４実施形態の画像処理装置において目標パラメータを設定する処理（図２のステップＳ１０２）の詳細を説明するフローチャートである。第４実施形態の画像処理装置の基本的な動作は、図２のフローチャートで示した第１実施形態（第３実施形態）の画像処理装置の動作と同様であるため、以下では、図１６のフローチャートに沿って、第４実施形態に特徴的な目標パラメータを設定する処理についてのみ説明する。

第４実施形態では、目標パラメータを設定する際に、まず参照画像選択部４２が、参照画像データベース４１が記憶する複数の画像の中から、１つ以上の参照画像を選択する（ステップＳ３０１）。参照画像選択部４２は、参照画像データベース４１が記憶する複数の画像の中から参照画像を自動的に選択してもよいし、参照画像データベース４１が記憶する複数の画像の中から任意の画像を指定するユーザの操作を受け付けて、ユーザにより指定された参照画像を選択するようにしてもよい。参照画像を自動的に選択する方法としては、例えば、類似画像検索の技術を利用する方法が挙げられる。類似画像検索は、画像特徴の類似度に基づいて画像を選択する技術であり、処理対象画像と画像特徴が類似する参照画像を選択することができる。なお、類似画像検索は広く知られた技術であるため、詳細な説明は省略する。

なお、参照画像としては、参照画像データベース４１が記憶する画像だけでなく、ユーザにより指定された任意の画像を用いることもできる。この場合、画像入力部１１が、ユーザにより指定された処理対象画像とともに、ユーザにより指定された参照画像を入力する。参照画像の入力は、例えば、ＣＤやＤＶＤ、ハードディスクなどの記録メディアやネットワーク・ストレージに保存されている画像を読み出すことで実施してもよいし、図示しないスキャナなどの画像読取部を用いて紙の原稿やフィルムなどから画像を読み取ることで実施してもよい。

次に、画像解析部１３が、ステップＳ３０１で選択された参照画像のデータ分布を確率分布モデルによりモデル化して、モデルパラメータを取得する（ステップＳ２０１）。モデル化の手順は処理対象画像のデータ分布をモデル化する場合と同様であるため、説明を省略する。ステップＳ３０１で複数の参照画像が選択された場合は、全ての参照画像のモデル化を終えたか否かを確認し（ステップＳ３０３）、全ての参照画像のモデル化が終わるまで（ステップＳ３０３：Ｎｏ）ステップＳ３０２の処理を繰り返す。なお、複数の参照画像に対する処理は、複数の参照画像のデータ分布を個別にモデル化して複数のモデルパラメータを取得するようにしてもよいし、全ての参照画像のデータ分布を加算するなどして統合した上でモデル化して、１つのモデルパラメータを取得するようにしてもよい。

次に、目標パラメータ設定部１２が、ステップＳ３０２の参照画像のモデル化により得られたモデルパラメータを、目標パラメータに設定する（ステップＳ３０４）。参照画像選択部４２が１つの参照画像のみを選択した場合や、参照画像を複数選択した場合であっても、画像解析部１３が複数の参照画像のデータ分布を統合した上でモデル化した場合には、得られるモデルパラメータは１つである。したがって、この場合は、そのモデルパラメータを目標パラメータに設定すればよい。一方、参照画像選択部４２が複数の参照画像を選択し、画像解析部１３が複数の参照画像のデータ分布を個別にモデル化した場合には、モデルパラメータが複数得られる。したがって、この場合は、これら複数のモデルパラメータを統合して目標パラメータとする。統合の方法としては、例えば、複数のモデルパラメータにおいて同じクラスに属する分布のパラメータの算術平均を取る方法や、中央値を取る方法、クラスごとに予め指定された特定の参照画像のパラメータを採用する方法が挙げられる。

複数の参照画像を用いて目標パラメータを設定することで、目標とする画像として理想的な画像が参照画像データベース４１に存在しない場合であっても、より理想に近い目標パラメータを取得することができる。また、例えばハイライト部は参照画像Ａから、シャドー部は参照画像Ｂから、中間調は参照画像ＣとＤから目標パラメータを設定するといったように、クラスごとに異なる参照画像を用いて目標パラメータを設定することもできる。これにより、目標パラメータを設定する際の自由度を高めることができる。

なお、参照画像データベース４１が記憶している画像に関しては、モデルパラメータを予め求めて参照画像と対応付けて記憶させておくようにしてもよい。この場合は、参照画像選択部４２が、参照画像として選択した画像に対応付けられたモデルパラメータを取得して記憶部１４に記憶することで、ステップＳ３０２の処理を省略することができる。

以上のように、第４実施形態の画像処理装置によれば、参照画像を用いて目標パラメータが設定されるため、パラメータに関する知識のないユーザが画像処理装置を利用する場合でも、直感的な操作で処理対象画像に対して最適なトーンカーブを簡便に生成することができる。また、参照画像データベース４１に存在しない画像も参照画像として利用できるため、ユーザが任意の画像を導入することで目標パラメータの設定自由度が高まる。さらに、複数の参照画像を用いて目標パラメータを設定することで、特定の参照画像では表現できない目標パラメータも設定できる。

＜画像形成システム＞
以上、本実施形態に係る画像処理装置について詳しく説明した。本実施形態に係る画像処理装置は、例えば、ネットワークを利用した画像形成システムの構成要素として実施することができる。

図１７は、画像形成システムのバリエーションを説明する図である。図１７（ａ）に示す画像形成システムでは、本実施形態に係る画像処理装置１００と、ユーザが使用するパーソナルコンピュータなどのユーザ端末２００とが、ＬＡＮなどのローカルネットワーク４００に接続されている。そして、ローカルネットワーク４００上の画像処理装置１００に対して、画像印刷部３１０を備えた画像形成装置３００が直接接続されている。画像形成装置３００は、例えばプリンタや複写機、複合機などである。

図１７（ａ）に示す画像形成システムでは、ユーザがユーザ端末２００を用いて指定した処理対象画像が、ユーザ端末２００からローカルネットワーク４００を介して画像処理装置１００に送信される。画像処理装置１００は、ユーザ端末２００からローカルネットワーク４００を介して送信された処理対象画像を受信し、受信した処理対象画像のデータ分布をモデル化してトーンカーブを生成し、生成したトーンカーブを用いて処理対象画像を補正する。補正された処理対象画像は、画像処理装置１００から画像形成装置３００へと送られて、画像形成装置３００の画像印刷部３１０により印刷出力される。

図１７（ｂ）に示す画像形成システムでは、本実施形態に係る画像処理装置１００と、ユーザ端末２００と、画像印刷部３１０を備えた画像形成装置３００とが、それぞれローカルネットワーク４００に接続されている。

図１７（ｂ）に示す画像形成システムでは、ユーザがユーザ端末２００を用いて指定した処理対象画像が、ユーザ端末２００からローカルネットワーク４００を介して画像処理装置１００に送信される。画像処理装置１００は、ユーザ端末２００からローカルネットワーク４００を介して送信された処理対象画像を受信し、受信した処理対象画像のデータ分布をモデル化してトーンカーブを生成し、生成したトーンカーブを用いて処理対象画像を補正する。補正された処理対象画像は、画像処理装置１００からローカルネットワーク４００を介して画像形成装置３００に送信される。画像形成装置３００は、画像処理装置１００からローカルネットワーク４００を介して送信された処理対象画像を受信し、受信した処理対象画像を画像印刷部３１０により印刷出力する。

図１７（ｃ）に示す画像形成システムでは、ユーザ端末２００と、画像印刷部３１０を備えた画像形成装置３００とが、それぞれローカルネットワーク４００に接続されている。そして、本実施形態に係る画像処理装置１００は、インターネットなどのグローバルネットワーク５００上に存在する。ユーザ端末２００は、グローバルネットワーク５００上の画像処理装置１００と通信可能に構成されている。

図１７（ｃ）に示す画像形成システムでは、ユーザがユーザ端末２００を用いて指定した処理対象画像が、グローバルネットワーク５００を介して画像処理装置１００に送信される。画像処理装置１００は、ユーザ端末２００からグローバルネットワーク５００を介して送信された処理対象画像を受信し、受信した処理対象画像のデータ分布をモデル化してトーンカーブを生成し、生成したトーンカーブを用いて処理対象画像を補正する。補正された処理対象画像は、画像処理装置１００からグローバルネットワーク５００を介してユーザ端末２００に送信される。ユーザ端末２００は、画像処理装置１００からグローバルネットワーク５００を介して送信された、補正された処理対象画像を受信し、これをローカルネットワーク４００を介して画像形成装置３００に送信する。画像形成装置３００は、画像処理装置１００からローカルネットワーク４００を介して送信された処理対象画像を受信し、受信した処理対象画像を画像印刷部３１０により印刷出力する。

本実施形態に係る画像処理装置１００は、図１７（ａ）〜（ｃ）のいずれの形態の画像形成システムにも適用できる。また、本実施形態に係る画像処理装置１００の機能を実現するプログラムをユーザ端末２００に組み込むことで、ユーザ端末２００の一機能として実施することもできる。この場合、画像処理装置１００の機能を持つユーザ端末２００に対して画像形成装置３００を直接接続する、あるいは、画像処理装置１００の機能を持つユーザ端末２００と画像形成装置３００とをローカルネットワーク４００に接続することで、画像形成システムが構築される。さらに、画像形成装置３００をグローバルネットワーク５００上の画像処理装置１００と通信可能な構成とし、ユーザが画像形成装置３００を用いて指定した処理対象画像を、グローバルネットワーク５００上の画像処理装置１００により補正する形態の画像形成システムを構築することもできる。

＜画像形成装置＞
また、本実施形態に係る画像処理装置は、画像形成装置の一機能として実施することもできる。

図１８は、本実施形態に係る画像処理装置を画像形成装置の一部の機能として実施した例を説明する図である。図１８に示す例では、ユーザ端末２００と、画像形成装置３００とが、ローカルネットワーク４００に接続されている。画像形成装置３００は、画像印刷部３１０を備えるほか、本実施形態に係る画像処理装置１００としての機能を備えている。本実施形態に係る画像処理装置１００の機能を実現するプログラムを画像形成装置３００に組み込む、あるいはＡＳＩＣやＦＰＧＡなど、本実施形態に係る画像処理装置１００の機能を実現するための専用のハードウェアを画像形成装置３００に組み込むことで、このような構成を実現できる。

図１８に示す例では、ユーザがユーザ端末２００を用いて指定した処理対象画像が、ユーザ端末２００からローカルネットワーク４００を介して画像形成装置３００に送信される。画像形成装置３００は、ユーザ端末２００からローカルネットワーク４００を介して送信された処理対象画像を受信する。そして、画像形成装置３００内の画像処理装置１００が、受信した処理対象画像のデータ分布をモデル化してトーンカーブを生成し、生成したトーンカーブを用いて処理対象画像を補正する。そして、画像印刷部３１０が、画像処理装置１００により補正された処理対象画像を印刷出力する。

＜プログラム＞
本実施形態に係る画像処理装置は、上述したように、例えば通常のコンピュータを利用したハードウェア構成を採用し、コンピュータによって実行されるプログラムにより、画像入力部１１、目標パラメータ設定部１２、画像解析部１３、トーンカーブ生成部１５、画像補正部１６、画像出力部１７、色空間変換部２１、参照画像選択部４２などの機能構成を実現し、記憶装置あるいは外部記憶装置を用いて記憶部１４や参照画像データベース４１などを実現する構成とすることができる。

コンピュータに上記機能構成を実現させるためのプログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。また、上記プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。さらに、上記プログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。

上記プログラムは、本実施形態に係る画像処理装置の上述した各部（画像入力部１１、目標パラメータ設定部１２、画像解析部１３、トーンカーブ生成部１５、画像補正部１６、画像出力部１７、色空間変換部２１、参照画像選択部４２など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記録媒体からプログラムを読み出して実行することにより上述した各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

以上、本発明の具体的な実施形態を説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。

１１ 画像入力部
１２ 目標パラメータ設定部
１３ 画像解析部
１４ 記憶部
１５ トーンカーブ生成部
１６ 画像補正部
１７ 画像出力部
１８ バス
２１ 色空間変換部
４１ 参照画像データベース
４２ 参照画像選択部
１００ 画像処理装置
２００ ユーザ端末
３００ 画像形成装置
３１０ 画像印刷部
４００ ローカルネットワーク
５００ グローバルネットワーク

特許第２８７４６５７号公報

Claims (17)

1. 画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得する画像解析部と、
   処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するトーンカーブ生成部と、
   前記トーンカーブを用いて前記処理対象画像を補正する画像補正部と、を備えることを特徴とする画像処理装置。
2. 前記画像解析部は、前記画素値の分布を複数のクラスに分類し、分類したクラス数と一致する混合数の混合モデルにより前記画素値の分布をモデル化して、前記混合モデルの混合要素である要素モデルごとに前記モデルパラメータを取得し、
   前記トーンカーブ生成部は、前記処理対象画像から取得された各クラスに対応する前記要素モデルの前記モデルパラメータと該モデルパラメータの目標値とを対応付けた前記制御情報をクラスごとに生成し、クラスごとに生成した複数の前記制御情報に基づいて前記トーンカーブを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像解析部は、混合ガウス分布により前記画素値の分布をモデル化して、前記混合ガウス分布の混合要素であるガウス分布ごとに少なくとも平均値を前記モデルパラメータとして取得し、
   前記トーンカーブ生成部は、前記処理対象画像から取得された各クラスに対応する前記ガウス分布の少なくとも平均値と該平均値の目標値とを対応付けた前記制御情報をクラスごとに生成し、クラスごとに生成した複数の前記制御情報に基づいて前記トーンカーブを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記トーンカーブ生成部は、クラスごとに生成される複数の前記制御情報の間で、前記平均値の大小関係と前記目標値の大小関係とが一致するように、複数の前記制御情報を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記トーンカーブ生成部は、クラスごとに生成した複数の前記制御情報をそれぞれ制御点として補間処理を行うことで前記トーンカーブを生成することを特徴とする請求項３に記載の画像処理装置。
6. 前記トーンカーブ生成部は、前記処理対象画像から取得された各クラスに対応する前記ガウス分布の分散値を用いて、前記制御点の位置を補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記トーンカーブ生成部は、複数の補間方法を組み合わせて前記トーンカーブを生成するとともに、前記処理対象画像から取得された各クラスに対応する前記ガウス分布の分散値を用いて、生成する前記トーンカーブの各クラスに対応する部分に適用する補間方法の割合を変化させることを特徴とする請求項５に記載の画像処理装置。
8. 画像の色空間を変換する色空間変換部をさらに備え、
   前記画像解析部は、色空間が変換された前記処理対象画像から前記モデルパラメータを取得し、
   前記トーンカーブ生成部は、色空間が変換された前記処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた前記制御情報に基づいて前記トーンカーブを生成し、
   前記画像補正部は、色空間が変換された前記処理対象画像を、前記トーンカーブを用いて補正することを特徴とする請求項１に記載の画像処理装置。
9. 前記画像解析部は、多次元の画素値の分布を多次元の確率分布モデルによりモデル化して前記モデルパラメータを取得し、
   前記トーンカーブ生成部は、多次元の前記トーンカーブを生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記画像解析部は、前記処理対象画像をモデル化して前記モデルパラメータを取得するとともに、参照画像をモデル化して前記モデルパラメータを取得し、
    前記トーンカーブ生成部は、前記参照画像から取得された前記モデルパラメータを、前記処理対象画像から取得された前記モデルパラメータの目標値として、前記制御情報を生成することを特徴とする請求項１に記載の画像処理装置。
11. 前記参照画像の候補となる複数の画像を記憶する参照画像記憶部と、
    前記参照画像記憶部が記憶する複数の画像の中から１つ以上の前記参照画像を選択する参照画像選択部と、をさらに備え、
    前記画像解析部は、前記参照画像選択部により選択された前記参照画像をモデル化して前記モデルパラメータを取得することを特徴とする請求項１０に記載の画像処理装置。
12. 前記参照画像選択部は、前記参照画像記憶部が記憶する複数の画像のうち、前記処理対象画像に類似する１つ以上の前記参照画像を選択することを特徴とする請求項１１に記載の画像処理装置。
13. 前記参照画像選択部は、前記参照画像記憶部が記憶する複数の画像のうち、ユーザにより指定された１つ以上の前記参照画像を選択することを特徴とする請求項１１に記載の画像処理装置。
14. 画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得する画像解析部と、
    処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するトーンカーブ生成部と、
    前記トーンカーブを用いて前記処理対象画像を補正する画像補正部と、
    補正された前記処理対象画像を印刷出力する画像印刷部と、を備えることを特徴とする画像形成装置。
15. 画像処理装置と画像形成装置とが通信可能に接続された画像形成システムであって、
    前記画像処理装置は、
    画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得する画像解析部と、
    処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するトーンカーブ生成部と、
    前記トーンカーブを用いて前記処理対象画像を補正する画像補正部と、を備え、
    前記画像形成装置は、
    前記画像処理装置により補正された前記処理対象画像を印刷出力する画像印刷部を備えることを特徴とする画像形成システム。
16. 画像処理装置において実行される画像処理方法であって、
    前記画像処理装置が、処理対象画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得するステップと、
    前記画像処理装置が、前記処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成するステップと、
    前記画像処理装置が、前記トーンカーブを用いて前記処理対象画像を補正するステップと、を含むことを特徴とする画像処理方法。
17. コンピュータに、
    画像の画素値の分布を確率分布モデルによりモデル化してモデルパラメータを取得する機能と、
    処理対象画像から取得された前記モデルパラメータと該モデルパラメータの目標値とを対応付けた制御情報に基づいてトーンカーブを生成する機能と、
    前記トーンカーブを用いて前記処理対象画像を補正する機能と、を実現させるためのプログラム。

Images