JP5074066B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、主に画像処理装置、及び、画像処理方法に関する。

近年、歯科の分野では、歯科技工士が患者の元の歯の色に近い色のクラウン（セラミック製の歯冠補綴物）を作成し、このクラウンを患者の歯にかぶせる治療が行われている。このような治療方法として、例えば、セラミッククラウン法などが知られている。セラミッククラウン法による治療においては、補綴物であるクラウンの作成が必須となる。患者の元の歯の色に近い色のクラウンを作成する際に、例えば、デジタルカメラなどの撮像装置によって患者の歯を撮影した画像を用いる場合がある。

そして、高画素で、かつ、操作性の高いデジタルカメラを用いれば、例えば歯列、歯牙等の患部の画像を容易に取得し、取得後直ちに画像の確認を行うことが可能である。しかしながら、ホワイトバランスによる色補正が撮影ごとに異なるなどの要因により、同一の患者から取得された画像であっても、取得された画像ごとに歯牙の色が異なる場合がある。
これに対し、例えば、特許文献１に示すように、画像のパターンマッチング演算（相関演算）を用いて、測色画像であるマルチバンド画像と、ＲＧＢ画像との対応位置を求め、その信号の対応関係からＲＧＢ画像の色補正を行う方法がある。
特開２００５−３４１１７５号公報

特許文献１に示す色補正方法を、歯科医療現場において用いる場合、ＲＧＢ画像の歯列画像と、マルチバンド画像の歯牙画像とを用いることとなる。この場合、マルチバンド画像の歯牙画像は、色補正をするためのテンプレート画像として、パターンマッチングの処理に用いられる。すなわち、マルチバンド画像の歯牙画像と、ＲＧＢ画像の歯列画像に含まれる歯牙と、を対応させる必要がある。しかしながら、ＲＧＢ画像と、マルチバンド画像とにおいて、歯牙の画像サイズが異なる場合があった。また、何れかの画像を拡大または、縮小することによって、画像サイズを合わせることも考えられるが、所望の精度で２つの画像サイズを合わせることが困難な場合があった。さらに、ＲＧＢ画像の撮影と、マルチバンド画像の撮影とにおいて、異なる傾きで撮影する場合があった。これらの場合、従来の方法のように、マルチバンド画像における歯牙の形状に着目しても、マルチバンド画像における歯牙に対応する、ＲＧＢ画像の歯牙を正確に抽出できない場合があった。具体的には、マルチバンド画像の歯牙画像が、ＲＧＢ画像上で、歯牙とは異なる部位、例えば、歯肉などとマッチングされるという問題があった。

本発明は、このような事情を考慮し、上記の問題を解決すべくなされたもので、その目的は、色補正の基準となる領域を用いて、取得された画像を色補正する場合、取得された画像上における、色補正の基準となる領域に対応する対象領域を正確に抽出することが可能な画像処理装置、及び、画像処理方法を提供することにある。

上記問題を解決するために、本発明の画像処理装置は、取得された第１画像を色補正する画像処理装置において、前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成手段と、前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定手段と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記各画素の色データは、複数の色に関する色データであり、前記ヒストグラム情報生成手段は、前記第１画像の各画素が有する複数の色データのうち、いずれかの色に関する色データのヒストグラム情報を生成することが好ましい。

また、前記色データは、輝度値であり、前記ヒストグラム情報は、前記第１画像が有する全画素についての前記輝度値と、該輝度値を示す画素の総画素数と、の情報であり、前記色補正係数算出領域設定手段は、前記ヒストグラム情報に基づいて、前記第１画像の平均輝度値を算出し、前記第１画像上の画素のうち前記平均輝度値より大きな輝度値を有する画素、又は、前記平均輝度値より小さな輝度値を有する画素のいずれか一方を前記色補正係数算出対象領域として設定することが好ましい。

また、本発明の画像処理装置は、前記ヒストグラム情報生成手段が、前記第１画像の各画素が有するＲＧＢ表色系の色データのうち、緑の色データのヒストグラム情報を前記第１画像から生成することが好ましい。

また、本発明の画像処理装置は、前記色補正係数算出領域における画素の色データと、前記第１画像の色補正の基準となる第２画像に含まれる目標色データとの対応関係を算出する補正係数算出手段と、前記補正係数算出手段が算出する対応関係に基づき、前記第１画像の色補正を施す色補正手段とをさらに備えることが好ましい。

また、本発明の画像処理方法は、取得された第１画像を色補正する画像処理方法であって、前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成過程と、前記ヒストグラム情報に基づいて、前記第１画像の色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出対象領域として設定する色補正係数算出領域設定過程とを有することを特徴とする。

本発明によれば、色補正の基準となる領域を用いて、取得された画像を色補正する場合、画像上における色補正の基準となる領域に対応する領域を正確に抽出することができるという効果を奏する。

以下、本発明の一実施形態による画像処理システムを図面を参照して説明する。
図１は、本実施形態による画像処理システムを示す概略ブロック図である。画像処理システムは、ＲＧＢ画像入力部１０、測色画像入力部２０、クレードル３０、表示部２００、及び、画像処理装置１００とからなる。

次に、各装置の内部構成について説明する。
ＲＧＢ画像入力部１０は、例えば、デジタルカメラや、スキャナ装置などを用いた撮影によって取得されたＲＧＢ画像データを、クレードル３０を介して、画像処理装置１００に入力する。ここで、ＲＧＢ画像データは、１画素ごとに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの輝度値を有する画像データである。また、本実施形態において、色データとは、定量的に表された色の度合いを示す色ごとの値である。例えば、ＲＧＢ表色系において、赤の輝度値、緑の輝度値、青の輝度値の３つの色データがある。本実施形態において、ＲＧＢ画像データとは図２に示すように、撮影対象である患者の歯列がほぼ中央に配置されている画像として説明する。
また、ＲＧＢ画像の取り込みの際は、撮影対象が、自然光、あるいは室内光等により照明された状態で撮影される。すなわち、ＲＧＢ画像は、撮影される環境によって、照明条件が異なる。

測色画像入力部２０は、マルチバンド撮影によるマルチバンド画像データを、クレードル３０を介して画像処理装置１００に入力する。ここで、マルチバンド撮影とは、７種類の波長帯域の照明光（７色の照明光）を被写体（患者の歯）に順次照射して、７枚の被写体分光画像を静止画として取り込む撮影を指す。
本実施形態において、マルチバンド画像データとは図３に示すように、撮影対象である患者の歯列のいずれかの歯牙がほぼ中央に配置されている画像として説明する。以下、ＲＧＢ画像データ、マルチバンド画像データを総称して、画像データと記載する。
クレードル３０はＲＧＢ画像入力部１０と測色画像入力部２０とに電気的に接続することが可能であり、ＲＧＢ画像入力部１０及び測色画像入力部２０と画像処理装置１００とを接続する。

画像処理装置１００は、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants：情報携帯端末）、携帯電話などのコンピュータ端末であり、画像記憶部１１０、補正係数演算部１２０、及び、ＲＧＢ色補正部１３０とを備える。
画像記憶部１１０は、入力されるＲＧＢ画像データと、マルチバンド画像データとを記憶する。ＲＧＢ画像データには、色補正対象となる歯列、口唇、歯肉茎等の情報が含まれている。また、マルチバンド画像データには、測色対象となる歯牙のほか、隣の歯牙や歯肉茎等の情報が含まれている。

補正係数演算部１２０は、ＲＧＢ画像データの被写体の色と、マルチバンド画像データの被写体の色との対応関係を示す補正係数の算出を行う。補正係数演算部１２０は、歯牙領域抽出部１２１、参照領域抽出部１２４、平均値算出部１２５、及び、補正係数算出部１２６とを備える。
歯牙領域抽出部１２１は、ＲＧＢ画像データから歯牙領域の抽出を行う。具体的には、ＲＧＢ画像データ内の各画素のＧ成分の色データの示す値が、所定範囲に含まれる場合に、歯牙領域抽出部１２１は、その色データに係る画素が歯牙領域内の画素として抽出する。歯牙領域抽出部１２１は、ヒストグラム生成部１２２と輝度範囲算出部１２３とを備える。
ヒストグラム生成部１２２は、ＲＧＢ画像データの全画素について、Ｇ成分の輝度値の度数分布情報、すなわち、ヒストグラム情報を生成する。ここで、ヒストグラム情報とは、色補正対象の画像データ中における輝度値ごとの、当該輝度値に係る画素の総画素数、すなわち、度数と、当該輝度値とからなる情報である。
このヒストグラム情報に基づき、例えば、図４に示すように、横軸に輝度値、縦軸に頻度をとるグラフであるヒストグラムを生成することが可能となる。

輝度範囲算出部１２３は、ＲＧＢ画像データから、歯牙領域を算出する。すなわち、輝度範囲算出部１２３は、ヒストグラム生成部１２２が生成するヒストグラム情報のうち、所定範囲の輝度値を歯牙領域として設定する。
ここで、所定範囲とは、画像データの信号値が全体的に増加又は減少する場合を勘案し、画像内の各画素のデータの統計量（平均値と標準偏差）に基づいて設定する。例えば、ＲＧＢ画像を取得する撮影装置に外光が入射する場合には、Ｒ値、Ｇ値、Ｂ値がそれぞれ異なる変化をして全体としてＲＧＢ値が変化する場合がある。また、撮影条件によっては、画像データの信号値が全体的に上昇あるいは、下降する場合がある。このような場合にも、所定範囲が固定されていると、抽出されるべき領域が歯牙領域として認識されないことがある。そのため、各画素のデータの統計量に基づいて抽出すべき所定範囲を設定することにより、歯牙領域を正確に認識することができるようになる。

参照領域抽出部１２４は、マルチバンド画像データから、歯牙を含む参照領域の抽出を行う。具体的な抽出方法については後述する。
平均値算出部１２５は、歯牙領域抽出部１２１が抽出したＲＧＢ画像データの歯牙領域の色データの平均値を算出する。この平均値を第１平均値と定義する。また、平均値算出部１２５は、参照領域抽出部１２４が抽出したマルチバンド画像データの参照領域の色データの平均値を算出する。この平均値を第２平均値と定義する。
補正係数算出部１２６は、平均値算出部１２５が算出した第１平均値と第２平均値とに基づき、ＲＧＢ画像データをマルチバンド画像データの色に対応させる補正係数を算出する。具体的な算出方法については後述する。

ＲＧＢ色補正部１３０は、補正係数算出部１２６が算出した補正係数に基づき、ＲＧＢ画像データの色補正処理を行う。
表示部２００は、ＣＲＴ（cathode ray tube）やＬＣＤ（liquid crystal display）などのディスプレイが適用され、ＲＧＢ画像データ、マルチバンド画像データなどの画像や情報などを表示する。

次に、本発明の一実施形態による画像処理システムの動作について、図を用いて説明する。図５は、本実施形態による動作例を示す図面である。
ＲＧＢ画像入力部１０は、色補正対象のＲＧＢ画像データに対し、事前に以下に示す第１の色補正処理を行う。そして、ＲＧＢ画像入力部１０は、第１の色補正処理を施したＲＧＢ画像データを、クレードル３０を介して画像処理装置１００の画像記憶部１１０に書き込む（ステップＳ１）。

第１の色補正処理を行うのは、ガンマ補正、彩度強調、エッジ強調等の画像処理が施されていないＲＧＢ画像データ（ＲＡＷ画像データ）を用いた場合、暗く、非常に見づらいＲＧＢ画像が、表示部２００に表示されるからである。
これを回避するため、ＲＧＢ画像入力部１０は、固定マトリクスをＲＡＷ画像データに乗算する方法を用いる。たとえば、（式１）に示されるａ１１〜ａ３３の３行３列の行列によって第１の色補正処理を行う方法がある。ここで、Ｒ´、Ｇ´、Ｂ´は、第１の色補正処理後のＲ、Ｇ、Ｂの輝度値を示す。また、ａ１１〜ａ３３は、前述した固定マトリクスを示す。
上述の通り、ＲＧＢ画像データは、外光の影響を受けている。このため、固定マトリクスではなく、撮影環境を考慮したマトリクスをＲＡＷ画像データに乗算することが望ましい。しかしながら、撮影環境を考慮したマトリクスを正確に選択することは、困難である。そこで、色補正としては十分ではないが、撮影環境を考慮せずにＲＡＷ画像データに一律に固定マトリクスを乗算する。固定マトリクスとしては、例えば、Ｄ６５照明光源で撮影されたことを想定して作成されたマトリクスを用いることができる。このような固定マトリクスを予め設定しておくことで、第１の色補正処理後に表示部２００に表示される画像は、歯科医師が視認可能となる程度に明るくなる。

画像記憶部１１０にＲＧＢ画像データが書き込まれると、ヒストグラム生成部１２２は、ＲＧＢ画像データを画像記憶部１１０から読み出し、ＲＧＢ画像データにおいて所定領域を設定する。例えば、所定領域として、ＲＧＢ画像データの縦横比が所定比率となる矩形の領域を切り出す。図２に示すＲＧＢ画像データ例のように、ＲＧＢ画像データの縦横比が５０％などとしてもよい。このように、切り出す所定領域を予め設定することで、歯列に対応する画素が多く存在する領域を抽出することができる。

設定した歯列を含む領域において、ヒストグラム生成部１２２は、ＲＧＢ画像データのＧ成分のヒストグラム情報を生成する。ヒストグラム生成部１２２は、生成したヒストグラム情報と、設定した領域情報と、読み出したＲＧＢ画像データとを含む輝度範囲算出命令信号を輝度範囲算出部１２３に出力する（ステップＳ２）。ここで、領域情報とは、歯列を含む領域の範囲を示す情報である。歯列を含む領域を識別することが可能であれば、例えば、矩形範囲の開始点の座標と、終着点の座標との二点の座標情報などを領域情報とすることが可能である。

輝度範囲算出部１２３は、入力された輝度範囲算出命令信号を受けて、ヒストグラム情報に基づき、歯列を含む領域のＲＧＢ画像データのＧ成分の第１の平均輝度値ｇ１を算出する（ステップＳ３）。図６は、歯列を含む領域のＲＧＢ画像データのＧ成分のヒストグラムにおける平均輝度値ｇ１を示す図である。
ここで、平均輝度値ｇ１以下の輝度範囲を輝度範囲９００、平均輝度値ｇ１を超える輝度範囲を輝度範囲９０１とする。輝度範囲９００は、歯牙以外の撮影対象が多く含まれる輝度値の範囲である。輝度範囲９０１は、歯牙が含まれる輝度値の範囲である。
次に、輝度範囲算出部１２３は、歯列を含む領域において、図７に示すように、第２の平均輝度値ｇ２を算出する（ステップＳ４）。
ここで、平均輝度値ｇ１及びｇ２の算出方法は、（式２）に示されるように、算出対象のヒストグラム情報に基づき、輝度値と、当該輝度に係る画素の度数とを乗算し、乗算した値をすべての輝度値について加算し、加算した値を全画素数で除算することにより算出する。

これにより、図７に示された平均輝度値ｇ１以下の輝度範囲９００、すなわち、歯牙ではない歯肉や口唇などが多く含まれる画素を簡便に除外することが可能となる。
次に、図７に示すように、輝度範囲算出部１２３は、輝度範囲９０１におけるヒストグラム情報と、平均輝度値ｇ２とから算出する標準偏差σに基づき、輝度範囲９０２を算出する。具体的には、輝度範囲算出部１２３は、（式３）を満たすＧ成分の輝度値ｇの範囲を算出し、算出した範囲を輝度範囲９０２とする。

（式３）を満たすＧ成分の輝度値ｇの範囲は、図８に示す歯列の領域となる。ここで、下限を設定することにより、歯肉に対応する画素の部分を取り除くことが可能となる。また、上限を設定することにより、歯牙において、正反射の画素の部分を取り除くことが可能となる。このため、歯牙に対応する画素の部分を抽出することが可能となる効果がある。
輝度範囲算出部１２３は、輝度範囲９０２に含まれる画素を、歯牙領域として抽出する（ステップＳ５）。そして、抽出した歯牙領域の座標情報と、ＲＧＢ画像データとを含む補正対象画像についての平均ＲＧＢ値算出命令信号を平均値算出部１２５に出力する（ステップＳ６）。
平均値算出部１２５は、入力された平均ＲＧＢ値算出命令信号を受けて、ＲＧＢ画像データにおいて、入力された歯牙領域に対応する全画素の色成分ごとの平均輝度値を算出する。すなわち、平均値算出部１２５は、Ｒ成分の平均輝度値ｒ３、Ｇ成分の平均輝度値ｇ３、Ｂ成分の平均輝度値ｂ３からなるＲＧＢ画像データの歯牙領域における平均のＲＧＢ値を算出する（ステップＳ７）。
以上のステップＳ１からＳ７までの動作が、ＲＧＢ画像データの第２の色補正処理を行う際に用いる、補正係数を算出するまでに行う処理である。

次に、測色画像であるマルチバンド画像データの画像処理の動作について説明する。
測色画像入力部２０は、分光画像撮影装置等によって撮影されたマルチバンド画像データに対し、ＲＧＢ変換処理を行う。その際、表示部２００の特性や、マルチバンド撮影の際の照明条件、カメラの特性等が考慮される。このＲＧＢ変換処理が施されたマルチバンド画像データを、測色画像入力部２０は、クレードル３０を介して画像記憶部１１０に書き込む（ステップＳ８）。このマルチバンド画像データには、ＲＧＢ画像における、輝度範囲９０２が有する色データの、色補正の目標値となる目標色データが含まれている。

次に、画像記憶部１１０にマルチバンド画像データが書き込まれると、参照領域抽出部１２４は、マルチバンド画像データを画像記憶部１１０から読み出し、歯牙を含む参照領域を抽出する（ステップＳ９）。図３に示されるように、マルチバンド画像は、予め、患者の歯牙のいずれかが画像の中央に配置されるように撮影される。このため、マルチバンド画像の中央に、図３に示されるように所定の矩形の参照領域を設定することが可能である。この参照領域は、図３のマルチバンド画像であれば、中央に、縦横比が所定比率となる矩形の参照領域としてもよい。また、矩形の領域として設定する場合、図３に示すマルチバンド画像例のように、例えば、参照領域の縦横比が１０％などとしてもよい。また、照明光によって歯牙が正反射する領域を参照領域から除く処理を施してもよい。

参照領域抽出部１２４は、抽出したマルチバンド画像データの歯牙を含む領域を示す参照領域の座標情報と、マルチバンド画像データとを含むマルチバンド画像についての平均ＲＧＢ値算出命令信号を平均値算出部１２５に出力する（ステップＳ１０）。
平均値算出部１２５は、入力された平均ＲＧＢ値算出命令信号を受けて、マルチバンド画像データにおいて、入力された参照領域に対応する全画素の色成分ごとの平均輝度値を算出する。すなわち、平均値算出部１２５は、Ｒ成分の平均輝度値ｒ４、Ｇ成分の平均輝度値ｇ４、Ｂ成分の平均輝度値ｂ４からなる参照領域における平均のＲＧＢ値を算出する（ステップＳ１１）。
平均値算出部１２５は、ＲＧＢ画像データと、マルチバンド画像データとにおいて、算出した平均のＲＧＢ値と、ＲＧＢ画像データとを含む補正係数算出命令信号を補正係数算出部１２６に出力する（ステップＳ１２）。

補正係数算出部１２６は、入力された補正係数算出命令信号を受けて、（式４）に基づき、マルチバンド画像データの参照領域における平均のＲＧＢ値をＲＧＢ画像データの歯牙領域の平均のＲＧＢ値で除算する。これにより、補正係数算出部１２６は、参照領域と、歯牙領域とのＲＧＢ値の比である補正係数ｃを算出する（ステップＳ１３）。そして、補正係数算出部１２６は、算出した補正係数ｃと、ＲＧＢ画像データと含むＲＧＢ色補正命令信号をＲＧＢ色補正部１３０に出力する（ステップＳ１４）。

ＲＧＢ色補正部１３０は、入力されたＲＧＢ色補正命令信号を受けて、全画素のＲＧＢ画像データのＲＧＢ値に対し、補正係数算出部１２６が算出した色補正係数ｃを乗算することにより、第２の色補正処理を行う（ステップＳ１５）。
ＲＧＢ色補正部１３０は、第２の色補正処理を行った補正済ＲＧＢ画像データを含む画像表示命令信号を表示部２００に出力する（ステップＳ１６）。表示部２００は、画像表示命令信号に基づき、補正済ＲＧＢ画像データによるＲＧＢ画像を出力する（ステップＳ１７）。

以上説明した実施形態において、ステップＳ１からＳ５の処理により、色補正の基準となる領域を用いて、取得された画像を色補正する場合、取得された画像上における、色補正の基準となる領域に対応する領域を正確に抽出することができる。すなわち、ヒストグラム生成部１２２は、ＲＧＢ画像を構成する各画素のＲＧＢ画像データに基づいて、ＲＧＢ画像におけるヒストグラム情報を生成することができる。また、輝度範囲算出部１２３は、ヒストグラム情報に基づいて、輝度値が所定範囲に含まれるＲＧＢ画像上の画素を、歯牙領域として設定することができる。例えば、口腔内を撮影したＲＧＢ画像には、歯牙の領域が多く含まれている。このため、ＲＧＢ画像におけるＲＧＢ画像データのヒストグラム情報の一部に、歯牙領域に対応する所定範囲の輝度値を示す画素が集中する。そして、輝度値が所定値に含まれる画素を、歯牙領域として設定することができる。これにより。ＲＧＢ画像と、マルチバンド画像とにおいて、歯牙の画像サイズが異なる場合も、マルチバンド画像における参照領域に対応する、ＲＧＢ画像上の歯牙領域を正確に抽出することができる。また、歯牙画像の撮影と、歯列画像の撮影とにおいて、異なる傾きで撮影する場合も、歯牙領域を正確に抽出することができる。

また、歯科医師は、ＲＧＢ画像上において、マルチバンド画像上の色補正の基準となる領域に対応する領域を設定する必要がない。また、歯科医師は、その領域が正反射領域に含まれるか否かの、判断をする必要がない。このため、例えば、歯科診療時における患者の歯牙撮影、歯列撮影において、歯科医師が、撮影から画像の確認までを、短時間で、煩雑な操作をすることなく行うことができる。また、輝度範囲算出部１２３は、歯科医師の主観的な判断によらず、客観的に歯牙領域を抽出することができる。このため、色補正の基準となる領域に対応する領域を正確に抽出することができる。

また、ＲＧＢ画像におけるＲＧＢ画像データの輝度値の分布範囲は、照明条件によって、同一の撮影対象であっても、撮影ごとに異なる分布範囲となる。しかしながら、輝度範囲算出部１２３は、ヒストグラム情報における輝度値の平均値に基づいて、歯牙領域を抽出する。このため、輝度範囲算出部１２３は、照明条件によらず歯牙領域を正確に抽出することができる。
また、設定した歯列を含む領域において、ヒストグラム生成部１２２は、ＲＧＢ画像データの各画素が有する色データのいずれかの色データのヒストグラム情報を生成する。これにより、ＲＧＢ画像において、色データのいずれか（例えば、ＲＧＢ色体系であれば、赤又は緑又は青のいずれか）に歯牙領域の特徴がある場合、歯牙領域を正確に抽出することができる。すなわち、ＲＧＢ画像の色補正の基準となる領域に対応する領域が有する色データの特性に応じて、ＲＧＢ画像から歯牙領域の画素を抽出することができる。

また、ヒストグラム生成部１２２は、ＲＧＢ画像の色データのうち、緑の色データのヒストグラム情報をＲＧＢ画像から検出する。これにより、口腔内など、歯牙が含まれる画像を取得した場合、歯牙が含まれる画素と、それ以外の画素との区分をすることができる。すなわち、歯牙は白色に近く、歯肉や口唇などは、赤みを帯びている。このため、緑の色データのヒストグラム情報においては、歯肉等の輝度値は低い分布範囲をもち、歯牙の輝度値は高い分布範囲をもつ。これにより、色補正の対象となる領域に対応する領域、すなわち、ＲＧＢ画像上における歯牙領域を正確に抽出することができる。

また、ステップＳ１からＳ１７の処理により、高精度な色補正を行うことができる。すなわち、ＲＧＢ画像は、遮光された状態で撮影されていないため、外光の影響を受ける。これにより、ＲＧＢ画像データにおけるＲ値等のバランスにズレが生じる。また、ＲＧＢ画像の撮影の際に用いられるデジタルカメラ等は、製品によってスペクトル感度が異なる。そして、歯科医師が用いるデジタルカメラごとに、そのスペクトル感度を分析することは困難である。一方、マルチバンド撮影は、上記の７種類の照明光以外の外光からの影響を受けないように、遮光された状態で撮影される。また、７種類の照明光のスペクトル特性や、対象物からの反射光を受光する撮影素子のスペクトル感度等は予め正確に測定されている。このため、マルチバンド撮影によって取得されたマルチバンド画像データを色補正の基準として設定することができる。そして、上述の通り、歯牙領域抽出部１２１は、正確に歯牙領域を含む部分を抽出することができる。このため、基準となるマルチバンド画像データを基に、高精度な色補正を行うことができる。

また、ステップＳ１７において、例えば、図９に示すように、マルチバンド画像データとともに補正済ＲＧＢ画像データを表示してもよい。そして、機器操作を行う歯科医師がＲＧＢ画像における歯牙領域の設定と、マルチバンド画像における参照領域の設定とをさらに行うことにより、より高精度な色補正処理を行ってもよい。
また、本実施形態において、ＲＧＢ画像の緑、すなわち、Ｇ成分におけるヒストグラム情報によって歯牙領域の抽出を行った。しかしながら、色補正係数算出領域の画素の色データがヒストグラム情報の一部に集中する場合、例えば、ＲＧＢ画像であれば、赤、青のいずれかのヒストグラム情報によって色補正係数算出領域を抽出してもよい。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明は、歯科用測色システムに限らず、皮膚用測色システム、さらに、他の分野として、自動車又は建物の塗装色、食料品の分光特性、絵画又は彫刻等の美術品の分光特性、衣料品の染色等を測定する測色システムにも適用が可能である。

なお、ＲＧＢ画像の撮影の際には、上述の通り、デジタルカメラ等を用いてもよいが、マルチバンド撮影に用いられる分光画像撮影装置等を用いてもよい。この際に、７種類の照明光から１以上の照明光を各種選択して、これらを順次に照射する面順次式の静止画を取得してもよい。
なお、本実施形態における輝度範囲算出部１２３は、第１の平均輝度値ｇ１と、第２の平均輝度値ｇ２と、を算出する。しかしながら、必要に応じて、あるいは、ヒストグラム情報における輝度値の分布に応じて、所望の輝度範囲を算出してもよい。

なお、マルチバンド撮影に用いられる照明光は、７種類の波長帯域に限らず、必要に応じて選択することができる。また、マルチバンド撮影は、色補正の基準となるマルチバンド画像データを取得することができれば、上記の方法に限定されない。
なお、本実施形態においては、第１の色補正処理及び第２の色補正処理を行ったが、第１の色補正処理については、必ずしも行う必要はない。
なお、表示部２００は、ＣＲＴ（cathode ray tube）やＬＣＤ（liquid crystal display）などのディスプレイに画像の情報を表示したり、プリンタなどにより情報を印刷する機能を有していてもよい。あるいは、記憶手段へ情報を書き込んだり、ネットワークを介して接続されるコンピュータ装置へ情報を出力してもよい。

なお、本発明に記載の画像処理装置は、画像処理装置１００に対応する。本発明に記載の第１画像は、ＲＧＢ画像データに対応する。本発明に記載のヒストグラム情報生成手段はヒストグラム生成部１２２に対応する。本発明に記載の所定範囲は符号９０２に示す範囲に対応する。本発明に記載の色補正係数算出領域は、歯牙領域に対応する。本発明に記載の色補正係数算出領域設定手段は、輝度範囲算出部１２３に対応する。本発明に記載の全画素についての輝度値の平均値は、平均輝度値ｇ１に対応する。本発明に記載の第２画像は、マルチバンド画像データから抽出される参照領域に対応する。本発明に記載の目標色データは、参照領域の色データに対応する。本発明に記載の補正係数算出手段は、補正係数算出部１２６に対応する。本発明に記載の色補正手段は、ＲＧＢ色補正部１３０に対応する。

なお、上述のＲＧＢ画像入力部１０、測色画像入力部２０、及び、画像処理装置１００は、内部にコンピュータシステムを有している。そして、画像処理装置１００の歯牙領域抽出部１２１、ヒストグラム生成部１２２、輝度範囲算出部１２３、参照領域抽出部１２４、平均値算出部１２５、補正係数算出部１２６、ＲＧＢ色補正部１３０の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されている。また、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

図１に示す画像処理装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。また、図５に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行させてもよい。これにより、色補正対象の画像データに対し、マルチバンド画像データに基づき色補正を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態による画像処理システムの全体構成を示すブロック図である。 同実施形態によるＲＧＢ画像データ例を示す図である。 同実施形態によるマルチバンド画像データ例を示す図である。 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。 同実施形態における画像処理システムの動作フローを示す図である。 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。 同実施形態におけるＲＧＢ画像の歯牙領域の例を示す図である。 同実施形態における手動による色補正処理の際に表示される画面例である。

符号の説明

１０ ＲＧＢ画像入力部
２０ 測色画像入力部
３０ クレードル
１００ 画像処理装置
１１０ 画像記憶部
１２０ 補正係数演算部
１２１ 歯牙領域抽出部
１２２ ヒストグラム生成部
１２３ 輝度範囲算出部
１２４ 参照領域抽出部
１２５ 平均値算出部
１２６ 補正係数算出部
１３０ ＲＧＢ色補正部
２００ 表示部

Claims (6)

1. 遮光されていない状態で撮影された第１画像を色補正する画像処理装置において、
   前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成手段と、
   前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定手段と、
   前記色補正係数算出領域における画素の色データと、遮光された状態で被写体に複数の波長帯域の照明光を順次照射した撮影により得られるマルチバンド画像に含まれる目標色データとの対応関係を算出する補正係数算出手段と、
   前記補正係数算出手段が算出する対応関係に基づき、前記第１画像の色補正を施す色補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記照明光のスペクトル特性が予め正確に測定されており、
   前記マルチバンド画像は、撮像素子のスペクトル感度が予め正確に測定された撮像装置により撮影された画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記マルチバンド画像から予め決められた参照領域を抽出する参照領域抽出手段と、
   前記色補正係数算出領域設定手段が設定した色補正係数算出領域における画素の色データの平均である第１の平均値を算出し、前記参照領域抽出手段が抽出した参照領域における画素の色データの平均である第２の平均値を算出する平均値算出手段と、
   を備え、
   前記補正係数算出手段は、前記第１の平均値と前記第２の平均値とに基づいて、前記対応関係を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記色補正係数算出領域設定手段は、前記ヒストグラム情報における輝度値の平均値に基づいて、前記第１画像から前記色補正係数算出領域を抽出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記色補正係数算出領域は歯牙領域であり、
   前記ヒストグラム情報生成手段は、第１の画像の歯列を含む領域において緑成分のヒストグラム情報を生成し、
   前記色補正係数算出領域設定手段は、前記緑成分のヒストグラム情報に基づいて、輝度範囲を設定し、該輝度範囲に含まれる画素を前記歯牙領域として抽出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
6. 遮光されていない状態で撮影された第１画像を色補正する画像処理装置が実行する画像処理方法であって、
   前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成過程と、
   前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定過程と、
   前記色補正係数算出領域における画素の色データと、遮光された状態で被写体に複数の波長帯域の照明光を順次照射した撮影により得られるマルチバンド画像に含まれる目標色データとの対応関係を算出する補正係数算出過程と、
   前記補正係数算出過程により算出された対応関係に基づき、前記第１画像の色補正を施す色補正過程と、
   を有することを特徴とする画像処理方法。
   

Images