JP2011124948A - 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 - Google Patents

Abstract

【課題】予測することが難しい明度ムラを補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。
【解決手段】
光学顕微鏡３００の観察領域３０６に試料が配置されていない状態で、撮像装置２００によりその観察領域３０６が撮像され全白画像１６０’が撮像される。全白画像１６０’は、理論的な全白に対比して、光源３０１、照明光学系３０２、結像光学系３０３の全てのムラ要因だけが重畳された画像となる。この全白画像１６０’から、明度分布情報として代表明度値Ｒ₁,Ｇ₁,Ｂ₁及び平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢが算出される。そして算出された明度分布情報に基づいて、試料が配置された状態の観察領域３０６の画像がシェーディング補正される。これにより、光学顕微鏡３００の光学系等に起因する予測することが難しい明度ムラを補正することができる。
【選択図】図７

Description

本発明は、撮像素子により得られた画像信号を処理することで、出力される画像の明度分布を補正する情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置に関する。

従来から、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物を撮影するときには、得られる画像の明度又は輝度の分布を補正するためのシェーディング補正技術が用いられることが多い。

例えば、特許文献１には、以下に示すシェーディング補正技術が開示されている。まず、基準となる被写体として、輝度レベルが高く無色の被写体が撮影される。これにより得られた映像信号の輝度レベルの分布状態に基づき、数式を用いて、レンズの中心点からの距離やレンズの位置に応じた補正データが作成される。この補正データにより、撮影により得られた映像信号の輝度レベルが補正される（特許文献１の段落［００２０］等参照）。

特開２００４−２００８８８号公報

例えば光学顕微鏡により得られた画像がデジタル化される場合、顕微鏡が有する複雑な拡大光学系により、出力される画像の明度ムラを予測することが難しくなる。従って、特許文献１に記載のような数式により作成された補正データにより、明度ムラを補正することが困難である。

以上のような事情に鑑み、本発明の目的は、予測することが難しい明度ムラを補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、取得手段と、補償手段とを具備する。
前記取得手段は、光学顕微鏡により得られる前記光学顕微鏡の光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得する。
前記補償手段は、前記取得手段により取得された前記明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する。

この情報処理装置では、試料が配置されない状態の観察領域の画像である第１の画像から、光学顕微鏡の光学系に起因する明度分布情報が取得される。この明度分布情報に基づいて、試料が配置された状態の観察領域の画像である第２の画像の、予測することが難しい上記光学系に起因する明度ムラを補正することができる。

前記情報処理装置は、前記取得手段により取得された前記明度分布情報を記憶する記憶手段をさらに具備してもよい。この場合、前記補償手段は、前記記憶手段により記憶された前記明度分布情報に基づいて前記第２の画像の前記明度ムラを補償してもよい。

例えば記憶手段により、照明光学系等が定められた所定の観察領域についての明度分布情報が記憶されているとする。そうすると、その観察領域に試料が配置される際に、改めて明度分布情報を取得する必要がなく、記憶されている明度分布情報に基づいて第２の画像の明度ムラを補償することができる。これにより明度ムラの補正に要する処理時間を短くすることができる。

前記取得手段は、前記第１の画像が複数の領域に分割されて得られる第１の分割領域ごとに前記明度分布情報を取得してもよい。この場合、前記補償手段は、前記第２の画像が複数の領域に分割されて得られる、前記第１の分割領域に対応する第２の分割領域ごとに、前記第２の画像の前記明度ムラを補償してもよい。

この情報処理装置では、第１の画像の第１の分割領域ごとに明度分布情報が取得される。そして第１の分割領域に対応する、第２の画像の第２の分割領域ごとに、第２の画像の明度ムラが補償される。これにより明度ムラの補正に要する処理時間を短くすることができる。

前記取得手段は、前記第１の画像の前記光学顕微鏡の前記光学系に起因する色度分布の情報を取得してもよい。この場合、前記補償手段は、前記取得手段により取得された前記色度分布情報に基づき前記第２の画像のホワイトバランスを調整してもよい。

この情報処理装置では、第１の画像から光学顕微鏡の光学系に起因する明度分布情報及び色度分布情報の両方が取得される。これにより明度分布情報に基づいて第２の画像の明度ムラを補償することができ、また、色度分布情報に基づいて第２の画像のホワイトバランスを調整することができる。

本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、光学顕微鏡により得られる前記光学顕微鏡の光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得する。
前記取得された明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラが補償される。

本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。

本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、取得手段と、補償手段とを具備する。
前記光学顕微鏡は、光学系を有する。
前記撮像手段は、前記光学顕微鏡により得られる前記光学系の光路上に設けられた観察領域の像を撮影することが可能である。
前記取得手段は、前記撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得する。
前記補償手段は、前記取得手段により取得された前記明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する。

以上のように、本発明によれば、光学顕微鏡の光学系に起因した予測することが難しい明度ムラを補正することができる。

第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。 図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。 図１に示す撮像装置の構成例を示すブロック図である。 図３に示す撮像装置により生成される画像データとしてのＲａｗデータを模式的に示す図である。 図１に示すＰＣの構成例を示すブロック図である。 図１に示すＰＣの処理を示すフローチャートである。 図６に示すキャリブレーション処理の方法について説明するための図である。 図７に示すキャリブレーション処理内で生成される全白画像の一例を示す図である。 図６に示すシェーディング補正処理の方法について説明するための図である。 図９に示すシェーディング補正前の試料画像の一例を示した図である。 図９に示すシェーディング補正後の試料画像を示す図である。 第２の実施形態に係る情報処理装置であるＰＣの処理を示すフローチャートである。 第２の実施形態のＰＣにより行われるキャリブレーション処理及びオートホワイトバランス補正処理を説明するための図である。 その他の実施形態に係る撮像システムの構成例を示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図２は、図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。この撮像システム４００は、光学顕微鏡３００と、撮像手段としての撮像装置２００と、情報処理装置としてのＰＣ（Personal Computer）１００とを有する。撮像装置２００としては、例えばデジタルスチルカメラ等が用いられる。

光学顕微鏡３００は、例えばＬＥＤ（Light Emitting Diode）等の光源３０１と、照明光学系３０２及び結像光学系３０３と、照明光学系３０２及び結像光学系３０３の光路上に設けられた試料台３０４とを有する。試料台３０４上には試料３０５が載置される観察領域３０６が設けられており、この観察領域３０６の像が生成される。

撮像装置２００は、例えばＣＣＤ等の撮像素子２０１を有し、光学顕微鏡３００により得られた観察領域３０６の像を撮影し画像データとして保持することが可能である。この画像データがＰＣ１００により読込まれ、以下で説明するデータ処理が行なわれて出力される。

ここで撮像装置２００及びＰＣ１００について詳しく説明する。

図３は、撮像装置２００の構成例を示すブロック図である。図４は、撮像装置２００により生成される画像データとしてのＲａｗデータを模式的に示す図である。

撮像装置２００は、撮像素子２０１と、前処理回路２０２と、記録媒体インターフェイス（Ｉ／Ｆ）２０３と、記録媒体２０４とを有する。記録媒体２０４としては、例えばメモリカード、光ディスク、光磁気ディスク等が用いられる。

図示しないレンズにより、所定の撮影条件（絞り、ズーム、フォーカス等）で入射光が集光され、撮像素子２０１の撮像面に光学像が形成される。撮像素子２０１は、撮像面に形成された光学像の撮像結果を前処理回路２０２に出力する。本実施形態では、撮像素子２０１として、Ｇ市松センサーが用いられるが、例えば３板センサー、白黒センサー、ラインセンサー、又はマルチセンサー等が用いられてもよい。

前処理回路２０２は、撮像素子２０１からの出力信号を前処理し、記録媒体Ｉ／Ｆ２０３を制御し、Ｒａｗデータファイルを記録媒体２０４に記録する。図４に示すように、Ｒａｗデータファイルには、Ｒａｗデータ２０５として、ＯＰＢ（Optical Black）等の無効画素の領域２０６、有効画素の領域２０７、及び実行画素の領域２０８を有する矩形状のＣＣＤイメージがＧ市松点順次で格納されている。

［情報処理装置の構成］
図５は、ＰＣ１００の構成例を示すブロック図である。ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部１０５、表示部１０６、記録媒体Ｉ／Ｆ１０７、プリンタインターフェースＩ／Ｆ１０８、及びこれらを互いに接続するバス１０９を備える。

ＣＰＵ１０１は、ＲＯＭ１０２等からオペレーティングシステム（ＯＳ）等のシステムプログラムを読出し、ＲＡＭ１０３上に確保される作業領域を用いて実行する。ＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４等から画像処理プログラム等を読み出し、ＲＡＭ１０３上に確保される作業領域、ＣＰＵ１０１に設けられる１次および／または２次キャッシュを用いて実行する。

ＣＰＵ１０１は、上記したＲａｗデータ２０５に対して、光学補正処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理等を含む一連の画質補正処理を行うことが可能である。また、ＣＰＵ１０１は、所定のデータ圧縮方式により輝度データおよび色データを圧縮して記録用画像データを形成し、記録用画像データを伸張することで圧縮される前のＲａｗデータ２０５を復元する。ここで、ＣＰＵ１０１は、処理実行部、進捗情報管理部、リソース情報取得部、処理優先度設定部、処理制御部として機能する。

ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラム、処理に必要とされる各種のデータ等を記憶している。

ＲＡＭ１０３は、図示しない画像表示用のビデオＲＡＭ（ＶＲＡＭ）を含み、主に各種の処理が行なわれるための作業領域として利用される。

ＨＤＤ１０４は、ハードディスクを含み、ＣＰＵ１０１による制御に応じて、ハードディスクに対するデータの書込み／読出しを行う。

操作部１０５は、数字キー、文字キー、上下左右キー、各種のファンクションキー等を含んでおり、ユーザからの操作入力をＣＰＵ１０１に供給する。操作部１０５は、マウス等のポインティングデバイスを含んでもよい。この操作部１０５を介してユーザにより入力される操作入力に応じて、ＣＰＵ１０１が各部を制御し操作入力に応じた処理を行う。

表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示素子を有し、輝度データおよび色データから形成される画像信号に対応する画像を表示する。

記録媒体Ｉ／Ｆ１０７は、例えばメモリカード、光ディスク、光磁気ディスク等の記録媒体１１０に対するデータの書込み／読出しを行う。あるいは、記憶媒体Ｉ／Ｆ１０７及び記録媒体１１０として、ハードディスクを有するＨＤＤが用いられてもよい。

プリンタＩ／Ｆ１０８は、画像の印刷データ等をプリンタ１１１に出力する。

［情報処理装置の動作］
図６は、本実施形態に係る情報処理である、ＰＣ１００の処理を示すフローチャートである。ここでは撮像装置２００により生成された、試料３０５が配置された観察領域３０６の画像である第２の画像としての試料画像のＲａｗデータファイルが、圧縮された状態でＰＣ１００のＨＤＤ１０４に記録されているものとする。

ＰＣ１００のＣＰＵ１０１は、ＨＤＤ１０４に記録されている試料画像のＲａｗデータファイルを伸張する。そして、Ｒａｗデータファイルに格納された試料画像のＲａｗデータ２０５を、伸張された状態でＲＡＭ１０３上の所定の格納領域に格納する。

ＣＰＵ１０１は、あらかじめ、ユーザの指示や工場調整によってキャリブレーション処理をする（ステップ１０１）。キャリブレーション処理とは、撮像装置２００による全白画像の撮像を伴う補正テーブル作成のための処理である。このキャリブレーション処理については後に詳しく説明する。

ＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、欠陥補正やＲａｗＮＲ（ノイズリダクション）等の光学補正処理を行う（ステップ１０２）。またＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、デモザイク処理を行う（ステップ１０３）。デモザイク処理とは、Ｇ市松点順次で格納されている試料画像のＲａｗデータ２０５に対してＲＧＢを同時化する処理である。以後、試料画像の各画素は画像空間上で一致した位置にあるＲＧＢの３値により構成される。なお、本実施形態においては、ガンマ補正処理等の、ＲＧＢ同時化後シェーディング補正前に行われる処理も、このデモザイク処理に含まれるものとする。

ＣＰＵ１０１は、ユーザに、例えばユーザインターフェイス等を介して、シェーディング補正をするか否かの指示を仰ぐ（ステップ１０４）。ユーザからシェーディグ補正をする指示を受けると、ＣＰＵ１０１は、ステップ１０１のキャリブレーション処理によって算出した補正テーブルに基づいてシェーディング補正処理をする（ステップ１０５）。シェーディング補正処理とは、試料画像の各画素を適切な明度にするための処理であり、詳しくは後述する。

ＣＰＵ１０１は、進捗フラグに従って未完の処理を判定する（ステップ１０６）。そして、未完の処理があれば、未完の処理がなくなるまで、処理を続ける（ステップ１０７）。本実施形態では、シェーディング補正後に行う処理は、全てこの工程で処理される。ＣＰＵ１０１により、処理された試料画像のＲａｗデータ２０５がエンコードされて（ステップ１０８）、画像処理が終わる。

［キャリブレーション処理］
図７は、図６に示すステップ１０１のキャリブレーション処理の方法について説明するための図である。図８は、このキャリブレーション処理内で生成される全白画像の一例を示す図である。

例えば、ユーザ１５０により、操作部１０５のキャリブレボタン１５１を介してキャリブレーション処理の指示が入力されたとする。そうすると撮像装置２００により、試料が配置されない状態の観察領域３０６の画像である全白画像（第１の画像）１６０が撮像され、全白画像１６０のＲａｗデータファイルが生成される。全白画像１６０のＲａｗデータファイルは、データ圧縮された状態でＰＣ１００のＨＤＤ１０４に記録される。なお、撮像装置２００により生成された全白画像１６０のＲａｗデータファイルが、あらかじめＰＣ１００のＨＤＤ１０４に記憶されていてもよい。

ＣＰＵ１０１により、全白画像１６０のＲａｗデータが伸張された状態でＲＡＭ１０３の所定の領域に格納される。そして全白画像１６０のＲａｗデータに対して、図６に示すステップ１０２及び１０３で説明した光学補正処理及びデモザイク処理が行われる。これにより、全白画像１６０は、理論的な全白に対比して、光源３０１、照明光学系３０２、結像光学系３０３の全てのムラ要因と、ステップ１０２の光学補正処理で取りきれなかったノイズとが重畳された画像となる。

ＣＰＵ１０１は、全白画像１６０の各画素にＬＰＦ（Low Pass Filter）処理をする。ＬＰＦ処理とは、全白画像１６０の各画素をその周辺の画素と平滑化する処理である。これにより、光学補正処理で取りきれなかったノイズが除去される。この結果、全白画像１６０は、理論的な全白に対比して、光源３０１、照明光学系３０２、結像光学系３０３の全てのムラ要因だけが重畳された全白画像１６０’となる。なお、ＬＰＦ処理ではなく、メディアンフィルタ、パターン認識、又は学習回路等のアルゴリズムにより、全白画像１６０のノイズ除去処理が行われてもよい。

図８に示すように、全白画像１６０’の図で見て右側の端部には、他の領域と比べて明るくなっている明度ムラ領域Ａがある。また、全白画像１６０’の中央部分には、例えば照明光学系３０２や結像光学系３０３の光路上に存在するゴミ等により生成される明度ムラ領域Ｂがある。

ＣＰＵ１０１は、全白画像１６０’を複数の第１の分割領域１６１に分割し、各第１の分割領域１６１ごとに、明度分布情報として代表明度値Ｒ₁,Ｇ₁,Ｂ₁を算出する。この代表明度値Ｒ₁,Ｇ₁,Ｂ₁としては、例えば各第１の分割領域１６１におけるＲＧＢごとの平均輝度値や、あるいは各第１の分割領域１６１におけるＲＧＢごとの最大輝度値等が用いられる。またＣＰＵ１０１は、明度分布情報として全白画像１６０’のＲＧＢごとのフレーム全体における平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢを算出する。そして平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢに対する代表明度値Ｒ₁,Ｇ₁,Ｂ₁の逆数ＫＲ、ＫＧ、ＫＢがそれぞれ算出され、補正テーブル１７０が作成される。例えば平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢをそれぞれ１．０とし、それを基準とした代表明度値Ｒ₁,Ｇ₁,Ｂ₁が算出されてもよい。この場合、各代表明度値Ｒ₁,Ｇ₁,Ｂ₁の補正テーブルが作成されてもよいし、その逆数ＫＲ、ＫＧ、ＫＢの補正テーブル１７０が作成されてもよい。

補正テーブル１７０は、ＰＣ１００のＨＤＤ１０４等に記憶され、あるいはＲＡＭ１０３の所定の格納領域に格納される。これにより、理論的な全白に対比した、光源３０１、照明光学系３０２、結像光学系３０３の全てのムラ要因だけが、各画素に対するＲＧＢごとの乗数としてＨＤＤ１０４等に記憶される。なお、各代表明度値Ｒ₁,Ｇ₁,Ｂ₁の補正テーブルが作成され、ＨＤＤ１０４等に記憶されてもよい。

例えば、光学顕微鏡３００の光源３０１の強度の変更、光学系の構造の変更、あるいは経年変化等により、キャリブレーション処理の更新が必要となることがある。こような場合にも、例えばユーザ１５０からの指示により上記のキャリブレーション処理が行われる。

［シェーディング補正処理］
図９は、図６に示すステップ１０５のシェーディング補正処理の方法について説明するための図である。図１０は、シェーディング補正前の試料画像１８０の一例を示した図である。図１１は、シェーディング補正後の試料画像１８２を示す図である。図１０に示すように、シェーディング補正前の試料画像１８０は、図８に示す全白画像１６０’に発生した明度ムラ領域Ａ及びＢを有している。

ＣＰＵ１０１は、ＨＤＤ１０４等に記憶された補正テーブル１７０から、以下のように試料画像１８０の各画素に対応するＲＧＢごとの乗数を算出する。ＣＰＵ１０１は、試料画像１８０を、全白画像１６０の第１の分割領域１６１に対応した複数の第２の分割領域１８１に分割する。そして、第１の分割領域１６１ごとの代表明度値Ｒ₁,Ｇ₁,Ｂ₁の逆数ＫＲ、ＫＧ、ＫＢを、対応する第２の分割領域１８１内の各画素のＲＧＢの輝度値に乗算する。これにより、試料画像１８０の第２の分割領域１８１ごとに、理論的な全白に対比した、光源３０１、照明光学系３０２、結像光学系３０３全てのムラ要因だけに起因する明度ムラが補償される。

図１１に示すシェーディング補正後の試料画像１８２を見てみると、試料画像１８０に発生した明度ムラ領域Ａ及びＢが補正されているのがわかる。なお、光学顕微鏡３００が有する被写界深度の狭い撮像光学系では、光源３０１からの光の放射角や照明絞りにより被写体からの光が並行ではなく一定の角度を持つため、色つきフレアやセンサーシェーディング等の明度ムラも発生する。また撮像装置２００のシャッター速度、あるいは光源３０１の温度変化に起因して明度ムラが発生する場合もある。このような明度ムラも本実施形態で説明したシェーディング補正処理により補正することができる。

光学顕微鏡３００の光源３０１や光学系は管理することが可能であり、時系列で、もしくは空間上で一定の撮像条件を保持することができる。従って、全白画像１６０’から得られた明度分布情報に基づいて、上記のようなシェーディング補正処理が可能となる。

以上、本実施形態に係る情報処理装置であるＰＣ１００では、撮像装置２００により撮像された全白画像１６０’の明度分布情報としての代表明度値Ｒ₁,Ｇ₁,Ｂ₁及び平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢに基づいて、試料画像１８０がシェーディング補正される。これにより、光学顕微鏡３００の光学系等に起因する予測することが難しい明度ムラを補正することができる。この結果、試料画像１８０の諧調性向上、解像感向上、ダイナミックレンジ拡大、あるいは色再現向上等を図ることができる。

また、例えば光源３０１、照明光学系３０２及び結像光学系３０３等が定められた所定の撮影条件における上記補正テーブル１７０がＨＤＤ１０４等に記憶されているとする。そうすると、その観察領域３０６に試料３０５が配置される際に、改めて観察領域３０６にて全白画像１６０が撮像され、代表明度値Ｒ₁,Ｇ₁,Ｂ₁が算出される必要がなくなる。すなわちＨＤＤ１０４に記憶されている補正テーブル１７０に基づいて試料画像１８０の明度ムラを補正することができる。これにより、明度ムラの補正に要する処理時間を短縮することができる。

補正テーブル１７０は、ユーザ１５０の指示によりロードされてもよいし、自動的にロードされてもよい。例えば、試料３０５が観察領域３０６の面積よりも大きい場合、複数枚の試料画像１８０が撮像される。このときに１枚の試料画像１８０が撮像されるごとに、補正テーブル１７０が自動的にロードされれば、ユーザ１５０の利便性が高くなる。複数の試料画像１８０には、上記したシェーディング補正処理が行われるので、明度ムラが補正された複数の試料画像１８２を貼り合わせることで違和感のない試料３０５の画像が得られる。

さらに、本実施形態では、全白画像１６０’の第１の分割領域１６１ごとに、代表明度値Ｒ₁,Ｇ₁,Ｂ₁が算出され、第１の分割領域１６１に対応する第２の分割領域１８１ごとに明度ムラが補償される。これにより、例えば１画像当たり１０ＭＢ等の大容量のＲａｗデータ２０５が処理される場合でも、ＰＣ１００のＣＰＵ１０１やＲＡＭ１０３等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。

＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置について説明する。これ以降の説明では、第１の実施形態で説明した撮像システム４００に用いられる各種の装置やデータ等と同様なものについては、その説明を省略又は簡略化する。

本実施形態の情報処理装置（ＰＣ）では、試料画像に対して第１の実施形態で説明したシェーディング補正処理に加えて、オートホワイトバランス（ＡＷＢ（Auto White Balance））補正処理をすることが可能である。オートホワイトバランス補正処理とは、試料画像の白であるべき領域を自動的に判定し、白になるべき領域が白になるように試料画像の各ＲＧＢの輝度値を補正する処理である。

従来から知られているオートホワイトバランス補正処理では、対象画像の画像データが検波される。検波とは、被写体に適応的な測光手法で測光し、ヒストグラムなどの統計手法などを用いて適正なホワイトバランスゲイン値を算出する処理を表す。このホワイトバランスゲイン値に基づいて、対象画像のホワイトバランスが調整される。

［情報処理装置の動作］
図１２は、本実施形態に係る情報処理装置であるＰＣの処理を示すフローチャートである。図１３は、本実施形態のＰＣにより行われるキャリブレーション処理及びオートホワイトバランス補正処理を説明するための図である。

［キャリブレーション補正処理］
図１２に示すステップ２０１にて、以下のようにしてキャリブレーション処理が行われる。まず、第１の実施形態で説明したのと同様に、ＰＣのＣＰＵにより、全白画像１６０の第１の分割領域１６１ごとに、明度分布情報としての代表明度値Ｒ₁,Ｇ₁,Ｂ₁が算出される。またＣＰＵにより明度分布情報として全白画像１６０のＲＧＢごとのフレーム全体における平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢが算出される。そして平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢに対する代表明度値Ｒ₁,Ｇ₁,Ｂ₁の逆数ＫＲ、ＫＧ、ＫＢがそれぞれ算出され、補正テーブルが作成される。

次に、ＣＰＵは、オートホワイトバランス補正のための乗数ＡＷＢ＿Ｒ及びＡＷＢ＿Ｂを算出する。これら乗数ＡＷＢ＿Ｒ及びＡＷＢ＿Ｂは以下の式で表される。
ＡＷＢ＿Ｒ＝ａｖｇＧ／ａｖｇＲ
ＡＷＢ＿Ｂ＝ａｖｇＧ／ａｖｇＢ
すなわち、ＣＰＵは、シェーディング補正処理のために算出された平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢを、オートホワイトバランス補正処理のための色度分布情報として流用する。これによりメモリ使用料、処理時間を低減させることができる。

ＣＰＵにより、算出された乗数ＡＷＢ＿Ｒ及びＡＷＢ＿Ｂの補正テーブルが作成される。あるいは、逆数ＫＲ、ＫＧ、ＫＢの補正テーブルから、必要なときに適宜ＡＷＢ＿Ｒ及びＡＷＢ＿Ｂが算出されてもよい。

ステップ２０２〜ステップ２０４までは、図６に示すフローチャートのステップ１０２〜ステップ１０４までの動作と同様であるので、その説明を省略する。

ステップ２０５にて、上記キャリブレーション処理で算出された逆数ＫＲ、ＫＧ、ＫＢが用いられ、試料画像１８０にシェーディング補正処理が行われる。これにより、明度ムラが補正された試料画像１８２が生成される。

ＰＣのＣＰＵは、例えばユーザインターフェイス等を介して、オートホワイトバランス補正をするか否かの指示を仰ぐ（ステップ２０６）。ＣＰＵは、オートホワイトバランス補正をする指示を受けると、ステップ２０１のキャリブレーション処理によって算出した補正テーブルに基づいて以下のようにしてオートホワイトバランス補正処理をする（ステップ２０７）。

［オートホワイトバランス補正処理］
ＣＰＵは、試料画像１８２の各画素のＲの輝度値にＡＷＢ＿Ｒを乗算し、各画素のＢの輝度値にＡＷＢ＿Ｂを乗算する。これにより、ホワイトバランスが調整された試料画像１８３が生成される。乗数ＡＷＢ＿Ｒ及びＡＷＢ＿Ｂは、理論的な全白に対比した、光源、照明光学系、結像光学系の全ての分光特性を内包するため、試料画像１８３は、光源、照明光学系、結像光学系の全ての分光特性が補正され、理論的な白が白になるよう補正された画像となる。

以上、本実施形態に係るＰＣでは、撮像装置により撮像された全白画像１６０からシェーディング補正処理のための明度分布情報、及びオートホワイトバランス補正処理のための色度分布情報の両方が取得される。これにより、図１２で示すステップ２０１のキャリブレーション処理内において、色度分布情報を取得することが可能となる。また従来のように試料画像１８２のＲａｗデータを検波する必要がなくなる。これにより、メモリ使用料や処理時間を大幅に低減させることができる。

なお本実施形態では、ユーザ１５０により、上記のオートホワイトバランス補正処理、またはユーザ１５０により設定されたホワイトバランス補正処理のいずれかが選択可能となっている。あるいは、プリセットされたホワイトバランス補正処理が選択されてもよい。図１３に示すように、ユーザ１５０は、例えば操作部のホワイトバランスボタン１８８を介してホワイトバランス補正処理を適宜設定する。あるいは、各ホワイトバランス補正処理のいずれかを選択する。切替ブロック１８９により、ユーザ１５０の指示に基づいて、試料画像１８２に行われるホワイトバランス補正処理の切替が行われる。

上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。

＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。

上記した各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、例えば図１で示す撮像装置２００により、キャリブレーション処理、シェーディング補正処理、又はオートホワイトバランス補正処理の一部あるいは全部の処理がおこなわれてもよい。この場合、撮像装置２００及びＰＣ１００が本発明の実施形態に係る情報処理装置として用いられる。さらに、例えば光学顕微鏡の機能を有するスキャナ装置等が、図１で示す光学顕微鏡３００、撮像装置２００、ＰＣ１００の機能をあわせ持つ、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられてもよい。

また、図１４に示すように、本発明の実施形態として用いられるスキャナ装置５００により生成された全白画像や試料画像のＲａｗデータが、ＰＣ１００とは別のコンピュータやサーバ６００に記憶され、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバ６００にアクセスしてそのＲａｗデータを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。

上記では、図３に示す撮像装置２００により、全白画像及び試料画像のＲａｗデータを含むＲａｗデータファイルが作成された。しかしながら、撮像装置２００により、Ｒａｗデータに画像処理が行われてもよいし、撮像装置２００を特定する情報や撮影条件を特定する情報等の各種のデータを含んだＲａｗデータファイルが作成されてもよい。また、それらの各種のデータが、キャリブレーション補正処理、シェーディング補正処理、もしくはオートホワイトバランス補正処理に用いられてもよい。

上記では、図９に示すように、全白画像１６０が複数の第１の分割領域１６１に分割され、第１の分割領域１６１ごとに代表明度値Ｒ₁,Ｇ₁,Ｂ₁が算出された。しかしながら、全白画像１６０が複数の領域ごとに分割されず、全白画像１６０の画素ごとのＲＧＢの輝度値が算出されてもよい。そして算出された画素ごとの輝度値を用いて、試料画像１８０の画素ごとにシェーディング補正処理等が行われてもよい。

上記では、キャリブレーション処理が予め行われる場合について説明した。しかしながら、キャリブレーション処理は、その全て、もしくはその一部がシェーディング補正処理、もしくはオートホワイトバランス補正処理と同時に行われてもよい。

上記では、キャリブレーション処理、シェーディング補正処理、およびオートホワイトバランス補正処理が光学補正処理やデモザイク処理の後に行われる場合について説明した。しかしながら、キャリブレーション処理、シェーディング補正処理、およびオートホワイトバランス補正処理は、その全て、もしくはその一部が光学補正処理やデモザイク処理の前に行われてもよい。

上記では、キャリブレーション処理により作成される補正テーブルについて、全白画像の画素ごとの理想白に対する乗数として持つ場合について説明した。しかしながら、画素ごとの理想白に対する差分として持ってもよい。また、画素ごとの理想白に対する一次近似として持ってもよい。また画素ごとの理想白に対する二次近似として持ってもよい。

上記では、全白画像の明度分布情報として代表明度値Ｒ₁,Ｇ₁,Ｂ₁及び平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢが算出され、色度分布情報としては平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢが流用された。しかしながらこれに限られず、全白画像のＲａｗデータから得られる明度、輝度、色度、又は色差等に関する情報が、明度分布情報及び色度分布情報として用いられてもよい。またキャリブレーション処理により作成される補正テーブルも、平均値ａｖｇＲ、ａｖｇＧ、及びａｖｇＢに対する代表明度値Ｒ₁,Ｇ₁,Ｂ₁の逆数ＫＲ、ＫＧ、ＫＢの補正テーブルに限られない。例えば、撮像素子のカラーフィルタに対応したＲＧｒＧｂＢの補正テーブルが作成されてもよい。

また、Ｚ位置、観察領域に対する撮影位置、照明光学系、結像光学系、試料、センサー、撮像装置、画像処理方法、温度、視野絞り、露光時間、アナログゲイン設定値、露出補正設定値、彩度設定値、あるいは倍率設定値等が変更されるたびにキャリブレーション処理において補正テーブルが作成されてもよい。

また、上記で説明した、各画像のＲａｗデータ、補正テーブル、又はシェーディング補正処理等が行われた試料画像が、キャリブレーション処理時、シェーディング補正処理時、又はオートホワイトバランス補正処理時に利用される統計データをとるために用いられてもよい。

上記では、光学顕微鏡の観察領域に試料が配置されていない状態の観察領域の画像を全白画像として説明した。しかしながら、光学顕微鏡の光学系による照明光の色が白に限られるというわけではない。例えば８０％グレー等の照明光であってもよい。また理想のシェーディング特性を有するように、全白画像が撮像されてもよい。

Ａ…明度ムラ領域
Ｂ…明度ムラ領域
Ｒ₁,Ｇ₁,Ｂ₁…第１の分割領域のＲＧＢごとの代表明度値
ａｖｇＲ、ａｖｇＧ、ａｖｇＢ…全白画像のフレーム全体におけるＲＧＢごとの平均値
１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＨＤＤ
１１０…ＰＣの記録媒体
１６０、１６０’…全白画像
１６１…全白画像の第１の分割領域
１８０、１８２、１８３…試料画像
１８１…試料画像の第２の分割領域
２００…撮像装置
３００…光学顕微鏡
３０２…照明光学系
３０３…結像光学系
３０５…試料
３０６…観察領域
４００…撮像システム
５００…スキャナ装置
６００…サーバ

Claims (7)

1. 光学顕微鏡により得られる前記光学顕微鏡の光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得する取得手段と、
   前記取得手段により取得された前記明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する補償手段と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記取得手段により取得された前記明度分布情報を記憶する記憶手段をさらに具備し、
   前記補償手段は、前記記憶手段により記憶された前記明度分布情報に基づいて前記第２の画像の前記明度ムラを補償する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記取得手段は、前記第１の画像が複数の領域に分割されて得られる第１の分割領域ごとに前記明度分布情報を取得し、
   前記補償手段は、前記第２の画像が複数の領域に分割されて得られる、前記第１の分割領域に対応する第２の分割領域ごとに、前記第２の画像の前記明度ムラを補償する
   情報処理装置。
4. 請求項１〜３のうちいずれか１項に記載の情報処理装置であって、
   前記取得手段は、前記第１の画像の前記光学顕微鏡の前記光学系に起因する色度分布の情報を取得し、
   前記補償手段は、前記取得手段により取得された前記色度分布情報に基づき前記第２の画像のホワイトバランスを調整する
   情報処理装置。
5. 光学顕微鏡により得られる前記光学顕微鏡の光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得し、
   前記取得された明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する
   ことを情報処理装置が実行する情報処理方法。
6. 光学顕微鏡により得られる前記光学顕微鏡の光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得し、
   前記取得された前記明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する
   ことを情報処理装置に実行させるプログラム。
7. 光学系を有する光学顕微鏡と、
   前記光学顕微鏡により得られる前記光学系の光路上に設けられた観察領域の像を撮影することが可能な撮像手段と、
   前記撮像手段により撮像された、前記観察領域内に試料が配置されない状態の前記観察領域の画像である第１の画像の、前記顕微鏡の光学系に起因する明度分布の情報を取得する取得手段と、
   前記取得手段により取得された前記明度分布情報に基づいて、前記撮像手段により撮像された、前記観察領域内に前記試料が配置された状態の前記観察領域の画像である第２の画像の明度ムラを補償する補償手段と
   を具備する、光学顕微鏡を搭載した撮像装置。