JP2012073285A - 撮像方法および顕微鏡装置 - Google Patents

Abstract

【課題】より精度の高いオートフォーカスを行うことができ、撮像した画像データの色再現性をより向上させることができる。
【解決手段】試料１０１からの光を光路Ａで撮像ユニット１１０に導き、光路ＢでＡＦユニット１１２に導く。ＡＦユニット１１２に導かれた光を分割し、光路Ｃと光路Ｄとに導く。第１の平面上に投影される光路Ｃに導かれた光と、第１の平面上に投影される光路Ｄに導かれた光とのコントラストの差に基づいて、撮像ユニット１１２の撮像面に光路Ａに導かれた試料１０１からの光による試料１０１の像が結像するように、撮像ユニット１１０の焦点を調節する。撮像ユニット１１０に導かれた光を用いて、試料１０１の像を撮像し画像データを生成する。ＡＦユニット１１２に導かれた光を用いて、試料１０１のスペクトル情報を検出する。検出したスペクトル情報に基づいて、画像データの色調を補正する。
【選択図】図１

Description

本発明は、撮像方法および顕微鏡装置に関する。

近年、細胞、組織診断といった病理学の分野などにおいて、試料が配置されているスライドガラス標本の標本全体をカラー撮影してデジタル画像化し、これをディスプレイ上に表示し、あたかも実際の顕微鏡で試料を観察しているかのように操作ができるバーチャル顕微鏡がよく知られている。また、病理学における細胞、組織診断に用いられる医用画像には正確な診断が必要とされるために、被写体の正確な色再現が求められている。

撮影画像の色再現性を向上させる方法として、被写体のＲＧＢカラー画像データと点計測した被写体のスペクトル情報（点計測スペクトル）とを用いて、ＲＧＢ３バンド画像の分光反射率の推定精度を向上させて、標本スライドのカラー画像の色再現性を向上させる方法が知られている（例えば、非特許文献１及び非特許文献２参照）。また、点計測スペクトルを取得する方法としては分光計測器などのスペクトル検出器を用いる方法が広く知られている。

図２４は、従来知られているスペクトル検出器を搭載した顕微鏡装置の構成を示したブロック図である。図示する顕微鏡装置１４００は、試料１４０１が載置されるステージ１４０２と、ステージ１４０２を水平方向と光軸方向とに駆動するステージ駆動部１４０３とを備えている。また、顕微鏡装置１４００は、試料１４０１を照明する光源１４０４と、光源１４０４の光を集光するコンデンサレンズ１４０５と、試料１４０１に対向するように複数のレンズで構成された対物レンズ１４０６と、対物レンズ１４０６の光軸に沿って配置された第１結像レンズ１４０７と、試料１４０１の像を撮影するカメラ１４０８とを備えている。

また、顕微鏡装置１４００は、試料１４０１の像をカメラ１４０８に合焦させるために必要な合焦信号を生成するＡＦユニット１４０９と、試料１４０１上の所定部分のスペクトル情報を取得するスペクトル検出器１４１０とを備えている。また、顕微鏡装置１４００は、試料１４０１からの光を分配してＡＦユニット１４０９とスペクトル検出ユニット１４１０に導くビームスプリッタ１４１１とビームスプリッタ１４１２とを、対物レンズ１４０６の光軸上に備えている。また、顕微鏡装置１４００は、ビームスプリッタ１４１１からの光を集光し、ＡＦユニット１４０９に導くコンデンサレンズ１４１３を備えている。また、顕微鏡装置１４００は、ビームスプリッタ１４１２からの光を集光し、スペクトル検出器１４１０に導くコンデンサレンズ１４１４を備えている。また、撮像装置１４００は、スペクトル検出器１４０９が検出したスペクトル情報に基づいて、カメラ１４０８が撮像した画像を補正する画像処理部１４１５を備えている。

次に、顕微鏡装置１４００による試料１４０１の撮像方法について説明する。まず、ステージ駆動部１４０３はステージ１４０２を水平方向に駆動させ、ステージ１４０２に載置された試料１４０１の所定の撮影領域をカメラ１４０８の視野範囲に移動させる。次に、ステージ駆動部１４０３は、ＡＦユニット１４１０からの指令に基づいて、カメラ１４０８の撮像素子面上に試料１４０１の像が結像するようにステージ１４０２を光軸方向に移動させる。

次に、カメラ１４０８の撮像素子面上に試料１４０１の像が結像した後に、カメラ１４０８は試料１４０１の所定の撮影領域の画像を撮像し、スペクトル検出器１４０９は試料１４０１の所定領域のスペクトル検出を行う。次に、画像処理部１４１５は、スペクトル検出器１４０９が検出したスペクトル情報に基づいて、カメラ１４０８が撮像した画像を補正することによって、試料１４０１の撮影画像の色再現性を向上させる。

このように、試料１４０１からの光を分割して、カメラ１４０８とＡＦユニット１４１０とスペクトル検出器１４０９に光を導く顕微鏡装置１４００が知られている（例えば、特許文献１参照）。

特開２００８−２０９６２７号公報

「多点計測スペクトルを利用したカラー画像の色推定手法の実験的評価」,第54回応用物理学会関係連合講演会講演予稿集. p. 1071. 2007. Mar 「Piecewise Wiener推定による多点測定スペクトルを利用した色再現」，第55回応用物理学関係連合講演会講演予稿集. p. 1055. 2008. Mar

上述したスペクトル検出器１４０９は、カメラ１４０８で撮像した試料１４０１の画像の色再現性を向上させるためのスペクトル情報を生成しており、高精度に試料１４０１の画像の色再現を行うためには、スペクトル検出器１４０９に十分な量の光を入射させて精度の高いスペクトル情報を生成する必要がある。また、ＡＦユニット１４１０は、カメラ１４０８の焦点を合わせるためのフォーカス信号を生成しており、精度の高いフォーカシングを行うためにはＡＦユニット１４１０内にある図示しない光検出素子に十分な量の光を入射させる必要がある。

しかし、従来の顕微鏡装置１４００による撮像方法では、試料１４０１からの光をビームスプリッタ１４１１及びビームスプリッタ１４１２により３分割し、３分割した光をそれぞれカメラ１４０８と、ＡＦユニット１４１０と、スペクトル検出器１４０９とに入射させて試料の撮像と、フォーカス信号の生成と、スペクトル情報の生成とを行っている。このように、従来の顕微鏡装置１４００では、試料１４０１からの光を３分割しているため、フォーカス信号の生成とスペクトル情報の生成とを行なうに十分な光量を得ることができない。そのため、顕微鏡装置１４００は、精度の高いオートフォーカスを行うことができず、試料１４０１を撮像した画像の色再現向上を十分に図ることができないという課題がある。

本発明は上記課題を解決するためになされたものであり、より精度の高いオートフォーカスを行うことができ、撮像した画像データの色再現性をより向上させることができる撮像方法および顕微鏡装置を提供することを目的とする。

本発明は、試料からの光を第１の光路で撮像ユニットに導く第１のステップと、前記試料からの光を第２の光路でオートフォーカスユニットに導く第２のステップと、前記オートフォーカスユニットに導かれた光を分割し、第３の光路および当該第３の光路と結像点が異なる第４の光路とに導く第３のステップと、第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差に基づいて、前記撮像ユニットの撮像面に前記第１の光路に導かれた前記試料からの光による当該試料の像が結像するように、当該撮像ユニットの焦点を調節する第４のステップと、前記撮像ユニットに導かれた光を用いて、前記試料の像を撮像し画像データを生成する第５のステップと、前記オートフォーカスユニットに導かれた光を用いて、前記試料のスペクトル情報を検出する第６のステップと、前記検出した前記スペクトル情報に基づいて、前記画像データの色調を補正する第７のステップと、を含むことを特徴とする撮像方法である。

また、本発明の撮像方法において、前記第６のステップは、前記第３の光路に導かれた前記光または／および前記第４の光路に導かれた前記光を用いて、前記試料のスペクトル情報を検出することを特徴とする。

また、本発明の撮像方法において、前記第６のステップで、前記第３の光路に導かれた前記光と前記第４の光路に導かれた前記光とは混色部を通ることを特徴とする。

また、本発明は、前記第４の光路に導かれた前記光の一部を、前記第１の平面上に結像するように第５の光路に導く第８のステップと、前記第５の光路に導かれた前記光を混色する第９のステップと、を含み、前記第６のステップでは、前記第９のステップで混色された前記光を用いて、前記試料のスペクトル情報を検出することを特徴とする撮像方法である。

また、本発明の撮像方法において、前記第４のステップでは、前記第１の平面上に配置されたセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、前記第６のステップでは、前記センサが、前記試料のスペクトル情報を検出することを特徴とする。

また、本発明の撮像方法において、前記第４のステップでは、前記第１の平面上に配置された第１のセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、前記第６のステップでは、前記第１の平面上に配置された第２のセンサが、前記試料のスペクトル情報を検出することを特徴とする。

また、本発明の撮像方法において、前記第４のステップでは、前記第１の平面上に配置された第１のセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、前記第６のステップでは、前記第３の光路または前記第４の光路に導かれた前記光の焦点が前記第１の平面よりも非合焦となる方向にずれた第２の平面上に配置された第２のセンサが、前記試料のスペクトル情報を検出することを特徴とする。

また、本発明は、試料からの光を受光し、当該試料の像を撮像して画像データを生成する撮像ユニットと、前記試料からの光を、前記撮像ユニットに導く第１の光路と、オートフォーカスユニットに導く第２の光路とに分割する第１のビームスプリッタと、前記オートフォーカスユニットに導かれた光を、第３の光路と、当該第３の光路と結像点が異なる第４の光路とに分割する第２のビームスプリッタと、前記第３の光路に導かれた前記光と、前記第４の光路に導かれた前記光とを受光し、前記第３の光路に導かれた前記光と前記第４の光路に導かれた前記光とのコントラストの差を検出し、前記オートフォーカスユニットに導かれた光を用いて、前記試料のスペクトル情報を検出する光検出器と、前記光検出器が検出した前記コントラストの差に基づいて、前記撮像ユニットの撮像面に、前記第１の光路に導かれた前記試料からの光による当該試料の像が結像するように、当該撮像ユニットの焦点を調節する焦点調節部と、前記光検出器が検出する前記スペクトル情報に基づいて、前記撮像ユニットが生成した画像データの色調を補正する色調補正部と、を備えることを特徴とする顕微鏡装置である。

本発明によれば、試料からの光を第１の光路で撮像ユニットに導く。また、試料からの光を第２の光路でオートフォーカスユニットに導く。また、オートフォーカスユニットに導かれた光を分割し、第３の光路と、第３の光路とは結像点が異なる第４の光路とに導く。そして、第１の平面上に投影される第３の光路に導かれた光と、第１の平面上に投影される第４の光路に導かれた光とのコントラストの差に基づいて、撮像ユニットの撮像面に第１の光路に導かれた試料からの光による試料の像が結像するように、撮像ユニットの焦点を調節する。また、オートフォーカスユニットに導かれた光を用いて、試料のスペクトル情報を検出し、検出したスペクトル情報に基づいて、画像データの色調を補正する。これにより、撮像ユニットとオートフォーカスユニットとに導かれる光の減衰を最小限に抑えることができるので、より精度の高いオートフォーカスを行うことができ、撮像した画像データの色再現性をより向上させることができる。

本発明の第１の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第１の実施形態における光検出器の上面図である。 本発明の第１の実施形態における光検出器の断面図である。 本発明の第１の実施形態において、光検出器に投影される投影像が表示される領域を示した概略図である。 本発明の第１の実施形態において、試料の位置を光軸方向に変化させたときの前ピンコントラスト信号と後ピンコントラスト信号の変化を示したグラフである。 本発明の第１の実施形態において、試料の位置を光軸方向に変化させたときの差分コントラスト信号値の変化を示したグラフである。 本発明の第２の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第３の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第３の実施形態における光検出器の上面図である。 本発明の第３の実施形態における光検出器の断面図である。 本発明の第３の実施形態において、光検出器に投影される投影像が表示される領域を示した概略図である。 本発明の第４の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第４の実施形態における光検出器の上面図である。 本発明の第４の実施形態において、光検出器に投影される投影像が表示される領域を示した概略図である。 本発明の第５の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第５の実施形態における光検出器の上面図である。 本発明の第５の実施形態において、光検出器に投影される投影像が表示される領域を示した概略図である。 本発明の第５の実施形態における８個のカラーセンサを備えた光検出器の上面図である。 本発明の第６の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第６の実施形態における光検出器の上面図である。 本発明の第７の実施形態における顕微鏡装置の構成を示した概略図である。 本発明の第７の実施形態における光検出器の上面図である。 本発明の第７の実施形態において、光検出器に投影される投影像が表示される領域を示した概略図である。 従来知られているスペクトル検出器を搭載した顕微鏡装置の構成を示したブロック図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における顕微鏡装置１の構成を示した概略図である。図示する例では、顕微鏡装置１は、ステージ１０２と、ステージ駆動部１０３と、ステージ制御部１０４と、光源１０５と、コンデンサレンズ１０６と、対物レンズ１０７と、第１の結像レンズ１０８と、撮像素子１０９を備えた撮像ユニット１１０と、第１のビームスプリッタ１１１と、ＡＦ（Ａｕｔｏｆｏｃｕｓ、オートフォーカス）ユニット１１２と、スペクトル検出部１１８と、色調補正装置１１９とを備える。また、ＡＦユニット１１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、光検出器１１６と、コントラスト検出部１１７とを備える。ＡＦユニット１１２は、撮像ユニット１１０の撮像素子１０９に投影される試料１０１の像を合焦状態にするための差分コントラスト信号と、撮像ユニット１１０が生成した画像データの色再現性を正確に補正するためのスペクトル情報を生成する。

ステージ１０２は、試料１０１を載置するための台である。ステージ駆動部１０３は、ステージ１０２を水平及び垂直方向に駆動する。ステージ制御部１０４は、ステージ駆動部１０３を制御する。光源１０５は、光を発生し、試料１０１を透過照明する。コンデンサレンズ１０６は、光源１０５が発生した光を集光して試料１０１に照射する。対物レンズ１０７は、複数のレンズで構成されており、試料１０１に対向するように配置されている。また、対物レンズ１０７は試料１０１からの光束を集光させる。

第１のビームスプリッタ１１１は、対物レンズ１０７の光軸上かつ対物レンズ１０７と第１の結像レンズ１０８との間に配置されている。また、第１のビームスプリッタ１１１は、対物レンズ１０７が集光した光の一部を透過して一部を反射する。これにより、第１のビームスプリッタ１１１は、対物レンズ１０７が集光した光を、第１の結像レンズ１０８の方向（撮像ユニット１１０の方向）と、ＡＦユニット１１２が備える第２の結像レンズ１１３の方向とに２分割する。なお、第１のビームスプリッタ１１１が透過し、第１の結像レンズ１０８に入射される光の光路を光路Ａ（第１の光路）とする。また、第１のビームスプリッタ１１１が反射し、ＡＦユニット１１２が備える第２の結像レンズ１１３に入射される光の光路を光路Ｂ（第２の光路）とする。

第１の結像レンズ１０８は、対物レンズ１０７の光軸に沿って配置されており、対物レンズ１０７が集光し、第１のビームスプリッタ１１１が透過した光を、撮像ユニット１１０が備える撮像素子１０９の撮像面上に結像させる。これにより、試料１０１からの光は、撮像素子１０９に導かれる。撮像ユニット１１０が備える撮像素子１０９は、試料１０１からの光を受光し、受光した光を、受光した光の強度に応じた電気信号に光電変換する。撮像ユニット１１０は、撮像素子１０９が光電変換した電気信号に基づいて試料１０１の画像データを生成する。また、撮像ユニット１１０は、生成した画像データを色調補正部１１９に入力する。

第２の結像レンズ１１３は、対物レンズ１０７が集光し、第１のビームスプリッタ１１１が反射した光を結像する。第２のビームスプリッタ１１４は、光路Ｂの延長上かつ第２の結像レンズ１１３と光検出器１１６との間に配置されている。また、第２のビームスプリッタ１１４は、第２の結像レンズ１１３からの光の一部を透過して一部を反射する。これにより、第２のビームスプリッタ１１４は、第２の結像レンズ１１３からの光を、光検出器１１６の方向と、ミラー１１５の方向とに２分割する。ミラー１１５は、第２のビームスプリッタ１１４が反射した光を、光検出器１１６の方向に反射する。なお、第２のビームスプリッタ１１４が透過し、光検出器１１６に入射する光の光路を光路Ｃ（第３の光路）とする。また、第２のビームスプリッタ１１４が反射し、ミラー１１５が反射し、光検出器１１６に入射する光の光路を光路Ｄ（第４の光路）とする。なお、前記ミラー１１５は光路Ｃと光路Ｄが略平行となるように配置されている。また、光路Ｃは第２のビームスプリッタ１１４から直接光検出器１１６に導かれる光路であり、光路Ｄは第２のビームスプリッタ１１４からミラー１１５を介して光検出器１１６に導かれる光路であるため、光路Ｄの光路長は光路Ｃの光路長よりも長い。

光検出器１１６は、光路Ｃかつ光路Ｄ上に配置され、光路Ｃに導かれた試料１０１からの光と、光路Ｄに導かれた試料１０１からの光とを受光し、受光した光を、受光した光の強さに応じた電気信号に光電変換し出力する。なお、光検出器１１６の光検出面である平面を第１の平面とする。コントラスト検出部１１７は、光検出器１１６が出力する電気信号に基づいて、光路Ｃに導かれて光検出器１１６に入射される試料１０１からの光のコントラストと、光路Ｄに導かれて光検出器１１６に入射される試料１０１からの光のコントラストとの差を検出する。また、コントラスト検出部１１７は、検出したコントラストの差を示すコントラスト信号を生成し、生成したコントラスト信号をステージ制御部１０４に入力する。

スペクトル検出部１１８は、光検出器１１６が出力する電気信号に基づいて、投影光のスペクトル情報を生成する。また、スペクトル検出部１１８は、生成したスペクトル情報を色調補正部１１９に入力する。色調補正部１１９は、スペクトル情報に基づいて、撮像ユニット１１０が生成した画像データの色調補正を行う。

なお、図１において、光路Ａと平行な方向をＺ軸とし、光路Ｂと平行な方向をＸ軸とし、Ｘ軸とＺ軸との両方と垂直な方向をＹ軸とする。また、顕微鏡装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央演算処理装置）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、読み出し専用記憶装置）と、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ)と、外部記憶装置等とを含む、図示せぬコンピュータシステムを有している。そして、上述したステージ制御部１０４と、撮像ユニット１１０と、スペクトル検出部１１８と、色調補正装置１１９とにより行なわれる処理の過程は、コンピュータシステムにより制御される。

次に、光検出器１１６の構成について説明する。図２は、本実施形態における光検出器１１６の上面図である。また、図３は、本実施形態における光検出器１１６の断面図である。図示するように、光検出器１１６は受光素子２０１が列を成して直線上に配置されたラインセンサ２００を備えている。また、受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎ（ｎは整数、本実施形態ではｎ＝６とする）が繰り返し配置されている。この構成により、ラインセンサ２００が備える各受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。

図４は、本実施形態において、光検出器１１６に投影される、光路Ｃに導かれた光による投影像が表示される領域と、光路Ｄに導かれた光による投影像が表示される領域とを示した概略図である。本実施形態では、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域４０１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域４０２に投影される。上述したとおり、光路Ｃの光路長よりも光路Ｄの光路長の方が長い。そのため、光路Ｃに導かれた光の結像点は、光検出器１１６の後方（図１、平面ｍ上の後ピン位置１１）となり、光路Ｄに導かれた光の結像点は光検出器１１６の前方（図１、平面ｎ上の前ピン位置１２）となる。

次に、光検出器１１６が出力する信号について説明する。光検出器１１６は、光路Ｃに導かれて入射した光と、光路Ｄに導かれて入射した光とを受光し、受光した光を強度に応じた電気信号に光電変換し出力する。ここで、光検出器１１６が、光路Ｃに導かれた像（光）を光電変換した電気信号を、後ピン信号と定義し、光検出器１１６が、光路Ｄに導かれた像を光電変換した電気信号を、前ピン信号と定義する。

次に、コントラスト検出部１１７が生成する信号について説明する。光検出器１１６が出力する前ピン信号と後ピン信号は、コントラスト検出部１１７に入力される。コントラスト検出部１１７は、前ピン信号と後ピン信号とのコントラスト差を検出し、差分コントラスト信号を生成する。具体的には、コントラスト検出部１１７は、先ず、前ピン信号と後ピン信号との各々において、受光素子の画素間出力差の絶対値をとり、その総和を取った前ピンコントラスト信号と後ピンコントラスト信号を生成する。次に、コントラスト検出部１１７は、前ピンコントラスト信号と後ピンコントラスト信号の差分をとり、差分コントラスト信号を生成する。

図５は、試料１０１の位置を光軸方向（Ｚ軸方向）に変化させたときの前ピンコントラスト信号と後ピンコントラスト信号の変化を示したグラフである。図示するグラフの横軸は、試料１０１と対物レンズ１０７との間の距離（デフォーカス量）を示し、縦軸は、コントラスト信号値を示す。また、曲線５０１は、デフォーカス量と前ピンコントラスト信号値との関係を示す。また、曲線５０２は、デフォーカス量と後ピンコントラスト信号値との関係を示す。Ｚ軸方向に移動するステージ１０２に載置された試料１０１を、対物レンズ１０７に対して十分に遠い位置（−Ｚ）から十分に近い位置（＋Ｚ）まで移動させると、先ず、前ピンコントラスト信号値が、光路Ｄによる投影像合焦位置（前ピン位置）で最大となりその後低下する。続いて、後ピンコントラスト信号値が、光路Ｃによる投影像合焦位置（後ピン位置）で最大となりその後低下する。

図６は、試料１０１の位置を光軸方向（Ｚ軸方向）に変化させたときの差分コントラスト信号値の変化を示したグラフである。図示するグラフの横軸は、試料１０１と対物レンズ１０７との間の距離（デフォーカス量）を示し、縦軸は、差分コントラスト信号値を示す。また、曲線６０１は、デフォーカス量と差分コントラスト信号値との関係を示す。Ｚ軸方向に移動するステージ１０２に載置された試料１０１を、対物レンズ１０７に対して十分に遠い位置（−Ｚ）から十分に近い位置（＋Ｚ）まで移動させると、差分コントラスト信号値は、光路Ｄによる投影像合焦位置で極大となり、その後急峻に低下してゼロとなり、光路Ｃによる投影像合焦位置で極小となるＳ字カーブを描く。

なお、本実施形態では、撮像ユニット１１０が備える撮像素子１０９の撮像面は、差分コントラスト信号値がゼロの時に試料１０１の像が結像する位置に配置されている。そのため、ステージ制御部１０４は、コントラスト検出部１１７から入力される差分コントラスト信号値がゼロとなるように試料１０１の位置（ステージ１０２の位置）をＺ軸方向に移動させることで、撮像素子１０９のピントが試料１０１に合うように制御することができる（光路差ＡＦ）。なお、撮像素子１０９のピントが試料１０１に合うように制御する処理を合焦処理と呼ぶ。

本実施形態では、ステージ制御部１０４は、入力される差分コントラスト信号値が正のとき、撮像素子１０９のピントは前ピン状態にあると判断し、ステージ駆動部１０３に、差分コントラスト信号の大きさに従った移動量で−Ｚ軸方向にステージ１０２を移動させる。また、ステージ制御部１０４は、入力される差分コントラスト信号値が負のとき、撮像素子１０９のピントは後ピン状態にあると判断し、ステージ駆動部１０３に、差分コントラスト信号の大きさに従った移動量で＋Ｚ軸方向にステージ１０２を移動させる。ステージ制御部１０４は、この操作を繰り返し、入力される差分コントラスト信号値がゼロとなったならば、撮像素子１０９は合焦状態であると判断し、合焦処理を終了する。

次に、本実施形態における顕微鏡装置１の動作について説明する。初めに、ステージ制御部１０４は、ステージ駆動部１０３にステージ１０２を水平方向に駆動させ、対物レンズ１０７の光軸上に試料１０１の撮影すべき所定の領域を移動させる。次に、光源１０５は試料１０１を照射する光を発生する。試料１０１を透過した光は、対物レンズ１０７で集光され、第１のビームスプリッタ１１１により第１の結像レンズ１０８の方向とＡＦユニット１１２の方向とに分割される。

第１の結像レンズ１０８の方向に分割された光は、第１の結像レンズ１０８を介して、即ち、光路Ａに導かれて、撮像ユニット１１０が備える撮像素子１０９の撮像面に照射される（第１のステップ）。一方、ＡＦユニット１１２の方向に分割された光は、光路Ｂに導かれてＡＦユニット１１２に入射する（第２のステップ）。ＡＦユニット１１２に入射した光は、ＡＦユニット１１２を構成する第２の結像レンズ１１３を通過した後、第２のビームスプリッタ１１４に入射する。第２のビームスプリッタ１１４に入射した光は、光検出器１１６の方向と、ミラー１１５の方向とに分割される。

光検出器１１６の方向に分割された光は、光路Ｃに導かれて光検出器１１６に投影される。光路Ｃに導かれた光の投影像は、図４に示した領域４０１に投影される。一方、ミラー１１５の方向に分割された光は、ミラー１１５を介して、即ち、光路Ｄに導かれて、光検出器１１６に投影される。光路Ｄに導かれた光の投影像は、図４に示した領域４０２に投影される（第３のステップ）。

次に、光検出器１１６は、光路Ｃに導かれて領域４０１に入射した光と、光路Ｄに導かれて領域４０２に入射した光とを受光し、受光した光の強さに応じた前ピン信号と後ピン信号とを出力する。光検出器１１６が出力する前ピン信号と後ピン信号とは、コントラスト検出部１１７に入力される。コントラスト検出部１１７は、前ピン信号と後ピン信号とのコントラスト差を検出して差分コントラスト信号を生成し、ステージ制御部１０４に入力する。ステージ制御部１０４は、コントラスト検出部１１７から入力される差分コントラスト信号値がゼロとなるように試料１０１の位置（ステージ１０２の位置）をＺ軸方向に移動させ、撮像素子１０９のピントが試料１０１に合うように制御する。そして、ステージ制御部１０４は、コントラスト検出部１１７から入力される差分コントラスト信号値がゼロとなったならば、撮像素子１０９のピントは合焦状態であると判定し、合焦処理を終了する（第４のステップ）。

合焦処理の終了後、図示せぬコンピュータシステムの指令により、撮像ユニット１１０は試料１０１を撮影し、試料１０１の画像データを生成する。その後、撮像ユニット１１０は、生成した画像データを色調補正部１１９に入力する（第５のステップ）。

また、撮像ユニット１１０が試料１０１の画像を撮影しているとき、即ち、差分コントラスト信号がゼロのとき、光検出器１１６には前ピン状態、及び後ピン状態の非合焦で且つコントラスト量が等しい光が照射されている。即ち、光路Ｃおよび光路Ｄにより導かれ、光検出器１１６に照射される光はピンボケ状態である。そのため、光検出器１１６の領域４０１と領域４０２には、試料１０１の所定の領域の像が混色された光が照射されている。光検出器１１６が備えるラインセンサ２００の各々の受光素子２０１は、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎを搭載している。この構成により、ラインセンサ２００の各受光素子２０１は、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎのスペクトルに対応した光を光電変換する。そして、光検出器１１６が備えるラインセンサ２００の各々の受光素子２０１が光電変換した、各スペクトルの光の強度に応じた電気信号は、スペクトル検出部１１８に入力される。スペクトル検出部１１８は、入力された電気信号の信号処理を行い、試料１０１の色情報を示すスペクトル情報を生成し、色調補正部１１９に入力する（第６のステップ）。なお、スペクトル情報を生成する処理をスペクトル検出処理と呼ぶ。

次に、色調補正部１１９は、スペクトル検出部１１８が生成したスペクトル情報に基づいて、撮像ユニット１１０が生成した画像データを、色再現性が正確となるように補正して推定分光反射率画像を生成し出力する（第７のステップ）。

上述したとおり、本実施形態によれば、顕微鏡装置１は、試料１０１からの光を、撮像ユニット１１０とＡＦユニット１１２との２つに分割する。そして、撮像ユニット１１０は、２つに分割されたうち、一方の光を用いて試料１０１の撮像を行い、画像データを生成する。また、ＡＦユニット１１２は、２つに分割された試料のうち、他方の光を用いて撮像ユニット１１０の撮像素子１０９のピントを合焦状態にするための差分コントラスト信号と、撮像ユニット１１０が生成した画像データの色再現性を正確に補正するためのスペクトル情報を生成する。そのため、従来のように、試料１０１からの光を３分割することなく、画像データの生成と、差分コントラスト信号の生成と、スペクトル情報とを生成することができる。従って、顕微鏡装置１は、撮像ユニット１１０とＡＦユニット１１２とに入射される光の減衰を最小限に抑えることができるので、より高精度に撮像素子１０９のピントを合焦状態にすることができ、高品質な画像データを生成することができ、さらに、色再現性がより正確になるように、生成した画像データの補正を行うことができる。

なお、上述した実施形態では、光検出器１１６が、前ピン信号および後ピン信号と、スペクトル情報をそれぞれ検出して出力する例について説明したが、これに限らない。例えば、光検出器１１６は、スペクトル情報を別途検出するのではなく、前ピン信号と後ピン信号とを合成してスペクトル情報として出力するようにしてもよい。

（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照して説明する。図７は、本実施形態における顕微鏡装置２の構成を示した概略図である。本実施形態における顕微鏡装置２の構成と、第１の実施形態における顕微鏡装置１の構成とで異なる点は、ＡＦユニット６１２の構成のみである。なお、図７において、図１に示した同一の構成部分に関しては、図１と同一の符号を付与して示している。

ＡＦユニット６１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、光検出器１１６と、コントラスト検出部１１７と、混色部６０１を備える。第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、光検出器１１６と、コントラスト検出部１１７とは、第１の実施形態の各部と同一である。混色部６０１は、入射された光を混合して透過する。

本実施形態では、第１の実施形態とは異なり、顕微鏡装置２がスペクトル検出処理を行う際に、混色部６０１は、第２のビームスプリッタ１１４と光検出器１１６との間、およびミラー１１５と光検出器１１６との間、即ち光路Ｃと光路Ｄとに挿入されるように配置される。なお、顕微鏡装置２がスペクトル検出処理以外の処理を行う際には、混色部６０１は、ＡＦユニット６１２の上部の領域６０２に配置される。

この構成により、合焦処理を行う際には混色部６０１が光路Ｃおよび光路Ｄ上に無いため、光検出器１１６上に像が正しく投影される。そのため、顕微鏡装置２は合焦処理を正しく行うことができる。一方、スペクトル検出処理を行う際には混色部６０１が光路Ｃおよび光路Ｄ上に配置されるので、光検出器１１６にはより色が均一に混合した混色光が照射される。そのため、顕微鏡装置２は、より正確なスペクトル情報が得られる。従って、本実施形態の顕微鏡装置２は、色再現性がより正確になるように、撮像ユニット１１０が生成した画像データの補正を行うことができる。

（第３の実施形態）
以下、本発明の第３の実施形態について図面を参照して説明する。図８は、本実施形態における顕微鏡装置３の構成を示した概略図である。本実施形態における顕微鏡装置３の構成と、第１の実施形態における顕微鏡装置１の構成とで異なる点は、ＡＦユニット７１２の構成のみである。なお、図８において、図１に示した同一の構成部分に関しては、図１と同一の符号を付与して示している。

ＡＦユニット７１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７と、混色部７０１と、第３のビームスプリッタ７０２と、光検出器７１６とを備える。第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７とは、第１の実施形態の各部と同一である。

混色部７０１は、入射された光を混合して透過する。第３のビームスプリッタ７０２は、光路Ｄ上かつ第２のビームスプリッタ１１４とミラー１１５との間に配置されている。また、第３のビームスプリッタ７０２は、第２のビームスプリッタ１１４からの光の一部を透過して一部を反射する。これにより、第３のビームスプリッタ７０２は、第２のビームスプリッタ１１４からの光を、ミラー１１５の方向と、混色部７０１の方向とに２分割する。なお、第３のビームスプリッタ７０２が透過し、ミラー１１５が反射し、光検出器７１６に入射する光の光路を光路Ｄとする。また、第３のビームスプリッタ７０２が反射し、混色部７０１が透過し、光検出器７１６に入射する光の光路を光路Ｅ（第５の光路）とする。

なお、本実施形態では、第１の実施形態と同様に、撮像ユニット１１０が備える撮像素子１０９の撮像面は、光検出器１１６が出力する差分コントラスト信号値がゼロの時に試料１０１の像が結像する位置に配置されている。また、ＡＦユニット７１２は、撮像素子１０９の撮像面に試料１０１の像が結像する時に、光検出器７１６の光検出面である第１の平面に光路Ｅで導かれた光が結像するように配置されている。

次に、光検出器７１６の構成について説明する。図９は、本実施形態における光検出器７１６の上面図である。また、図１０は、本実施形態における光検出器７１６の断面図である。図示するように、光検出器７１６は受光素子２０１が列を成して直線上に配置されたラインセンサ８００を備えている。また、受光素子２０１のうち、後述する図１１に示される光路Ｅで導かれた光による投影像が投影される領域に含まれる受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎ（ｎは整数、本実施形態ではｎ＝６とする）が繰り返し配置されている。この構成により、ラインセンサ８００が備える各受光素子２０１のうち、後述する図１１に示される光路Ｅで導かれた光による投影像が投影される領域１１０３に含まれる受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。

図１１は、本実施形態において、光検出器７１６に投影される、光路Ｃに導かれた光による投影像と、光路Ｄに導かれた光による投影像と、光路Ｅに導かれた光による投影像とを示した概略図である。本実施形態では、図示するように、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域１１０１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域１１０２に投影される。また、光路Ｅに導かれた光（第３のビームスプリッタ７０２が反射し、混色部７０１が透過し、光検出器７１６に入射する光）による投影像は、領域１１０３に投影される。なお、上述したとおり、撮像素子１０９の撮像面に試料１０１の像が結像する際には、光路Ｅに導かれた光の結像点は光検出器１１６の光検出面（図８中の第１の平面、合焦位置１３）である第１の平面となる。また、第１の実施形態と同様に、光路Ｃに導かれた光の結像点は、光検出器７１６の後方（図８中の平面ｍ、後ピン位置１１）となり、光路Ｄに導かれた光の結像点は光検出器７１６の前方（図８中の平面ｎ、前ピン位置１２）となる。

次に、本実施形態における顕微鏡装置３の動作について説明する。初めに、ステージ制御部１０４は、ステージ駆動部１０３にステージ１０２を水平方向に駆動させ、対物レンズ１０７の光軸上に試料１０１の撮影すべき所定の領域を移動させる。次に、光源１０５は試料１０１を照射する光を発生する。試料１０１を透過した光は、対物レンズ１０７で集光され、第１のビームスプリッタ１１１により第１の結像レンズ１０８の方向とＡＦユニット７１２の方向とに分割される。

第１の結像レンズ１０８の方向に分割された光は、第１の結像レンズ１０８を介して、即ち、光路Ａに導かれて、撮像ユニット１１０が備える撮像素子１０９の撮像面に照射される。一方、ＡＦユニット１１２の方向に分割された光は、光路Ｂに導かれてＡＦユニット７１２に入射する。ＡＦユニット７１２に入射した光は、ＡＦユニット７１２を構成する第２の結像レンズ１１３を通過した後、第２のビームスプリッタ１１４に入射する。第２のビームスプリッタ１１４に入射した光は、光検出器７１６の方向と、第３のビームスプリッタ７０２の方向とに分割される。

光検出器７１６の方向に分割された光は、光路Ｃに導かれて光検出器７１６に投影される。光路Ｃに導かれた光の投影像は、図１１に示した領域１１０１に投影される。一方、第３のビームスプリッタ７０２の方向に分割された光は、第３のビームスプリッタ７０２によりミラー１１５の方向と混色部７０１の方向とに分割される。ミラー１１５の方向に分割された光は、ミラー１１５を介して、即ち、光路Ｄに導かれて、光検出器７１６に投影される。光路Ｄに導かれた光の投影像は、図１１に示した領域１１０２に投影される。一方、混色部７０１の方向に分割された光は、混色部７０１を介して、即ち、光路Ｅに導かれて、光検出器１１６に投影される。光路Ｅに導かれた光の投影像は、図１１に示した領域１１０３に投影される（第８のステップ、第９のステップ）。

次に、光検出器７１６は、光路Ｃに導かれて領域１１０１に入射した光と、光路Ｄに導かれて領域１１０２に入射した光とを受光し、前ピン信号と後ピン信号とを出力する。なお、本実施形態では領域１１０１と領域１１０２とに含まれる受光素子２０１は、カラーフィルタ２０２−１〜２０２−ｎを搭載していない。そのため、領域１１０１と領域１１０２とに含まれる受光素子２０１は、より感度良く入射した光の強度を検出することができる。光検出器７１６が出力する前ピン信号と後ピン信号とは、コントラスト検出部１１７に入力される。コントラスト検出部１１７は、前ピン信号と後ピン信号とのコントラスト差を検出して差分コントラスト信号を生成し、ステージ制御部１０４に入力する。ステージ制御部１０４は、コントラスト検出部１１７から入力される差分コントラスト信号値がゼロとなるように試料１０１の位置（ステージ１０２の位置）をＺ軸方向に移動させ、撮像素子１０９のピントが試料１０１に合うように制御する。そして、ステージ制御部１０４は、コントラスト検出部１１７から入力される差分コントラスト信号値がゼロとなったならば、撮像素子１０９のピントは合焦状態であると判定し、合焦処理を終了する。

合焦処理の終了後、図示せぬコンピュータシステムの指令により、撮像ユニット１１０は試料１０１の画像を撮影し、試料１０１の画像データを生成する。その後、撮像ユニット１１０は、生成した画像データを色調補正部１１９に入力する。

また、撮像ユニット１１０が試料１０１の画像を撮影しているとき、即ち、光検出器７１６の領域１１０３に入射する光の光量が極大となったとき、光検出器７１６の領域１１０３には、光路Ｅによって導かれ、混色部７０１によって混色された光が照射されている。すなわち、光検出器７１６の領域１１０３には、試料１０１の所定の領域の像が混色された光が照射されている。

光検出器１１６が備えるラインセンサ８００のうち、領域１１０３に含まれる各々の受光素子２０１は、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎを搭載している。この構成により、ラインセンサ８００のうち、領域１１０３に含まれている各受光素子２０１は、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎのスペクトルに対応した光を光電変換する。そして、光検出器７１６が備えるラインセンサ８００のうち、領域１１０３に含まれる各々の受光素子２０１が光電変換した、各スペクトルの光の強度に応じた電気信号は、スペクトル検出部１１８に入力される。スペクトル検出部１１８は、入力された電気信号の信号処理を行い、試料１０１の色情報を示すスペクトル情報を生成し、色調補正部１１９に入力し、スペクトル検出処理を終了する。

次に、色調補正部１１９は、スペクトル検出部１１８が生成したスペクトル情報に基づいて、撮像ユニット１１０が生成した画像データを、色再現性が正確となるように補正して推定分光反射率画像を生成し出力する。

上述したとおり、本実施形態において、合焦処理を行うために用いる光を検出する受光素子２０１は、カラーフィルタ２０２−１〜２０２−ｎを搭載していないため、より感度良く入射した光の強度を検出することができる。これにより、顕微鏡装置３は、より正確な合焦処理を行うことができる。また、混色部７０１が光路Ｅ上に配置されるので、スペクトル検出処理を行うために用いる光を検出する受光素子２０１には、より色が均一に混合した混色光が照射される。さらに、顕微鏡装置３は、混色された光が極大となるときにスペクトル検出を行うのでより正確なスペクトル情報が得られる。従って、本実施形態の顕微鏡装置３は、より正確にピントが合った画像データを取得することができる。また、顕微鏡装置３は、色再現性がより正確になるように、撮像ユニット１１０が生成した画像データの補正を行うことができる。

なお、上述した例では、光路Ｅで導かれた光による投影像が投影される領域（領域１１０３）に含まれる全ての受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎが繰り返し配置されている例を示したが、これに限らない。例えば、領域１１０３に含まれる受光素子２０１の一部の受光素子２０１（例えば領域１１０３の中心付近の受光素子２０１）の受光面にのみ、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎを繰り返し配置する。そして、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎが配置された受光素子２０１が光電変換した、各スペクトルの光の強度に応じた電気信号に基づいてスペクトル情報を生成するようにしてもよい。

（第４の実施形態）
以下、本発明の第４の実施形態について図面を参照して説明する。図１２は、本実施形態における顕微鏡装置４の構成を示した概略図である。本実施形態における顕微鏡装置４の構成と、第１の実施形態における顕微鏡装置１の構成とで異なる点は、ＡＦユニット１１１２の構成のみである。なお、図１２において、図１に示した同一の構成部分に関しては、図１と同一の符号を付与して示している。

ＡＦユニット１１１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７と、光検出器１１１６とを備える。第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７とは、第１の実施形態の各部と同一である。なお、本実施形態では、第１の実施形態と同様に、撮像ユニット１１０が備える撮像素子１０９の撮像面は、光検出器１１１６が出力する差分コントラスト信号値がゼロの時に試料１０１の像が結像する位置に配置されている。

次に、光検出器１１１６の構成について説明する。図１３は、本実施形態における光検出器１１１６の上面図である。図示するように、光検出器１１１６は、受光素子２０１が列を成して直線上に配置されたラインセンサ１２００（第１のセンサ）と、カラーセンサ１２０３（第２のセンサ）とを備える。カラーセンサ１２０３は、ｎ個（ｎは整数、本実施形態ではｎ＝６とする）の受光素子２０１を備えており、受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎが配置されている。また、カラーセンサ１２０３は、光路Ｄに導かれた光の投影像が投影される領域に配置されている。この構成により、カラーセンサ１２０３が備える受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。

図１４は、本実施形態において、光検出器１１１６に投影される、光路Ｃに導かれた光による投影像と、光路Ｄに導かれた光による投影像とを示した概略図である。本実施形態では、図示するように、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域１５１１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域１５１２に投影される。なお、第１の実施形態と同様に、光路Ｃに導かれた光の結像点は、光検出器１１１６の後方（図１２中の平面ｍ、後ピン位置１１）となり、光路Ｄに導かれた光の結像点は光検出器１１１６の前方（図１２中の平面ｎ、前ピン位置１２）となる。

次に、本実施形態における顕微鏡装置４の動作について説明する。本実施形態における顕微鏡装置４の合焦処理は、第１の実施形態における顕微鏡装置１の合焦処理と同様である。合焦処理の終了後、図示せぬコンピュータシステムの指令により、撮像ユニット１１０は試料１０１の画像を撮影し、試料１０１の画像データを生成する。その後、撮像ユニット１１０は、生成した画像データを色調補正部１１９に入力する。

また、撮像ユニット１１０が試料１０１の画像を撮影しているとき、即ち、差分コントラスト信号がゼロのとき、光検出器１１１６の領域１２０３には前ピン状態の非合焦の光（ピンボケ状態の光）が照射されている。すなわち、光検出器１１１６の領域１５１２に配置されているカラーセンサ１２０３には、試料１０１の所定の領域の像が混色された光が照射されている。カラーセンサ１２０３の各々の受光素子２０１は、互いに分光透過率の異なるカラーフィルタ２０２−１〜２０２−ｎを搭載している。この構成により、カラーセンサ１２０３の各受光素子２０１は、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎのスペクトルに対応した光を光電変換する。そして、光検出器１１１６のカラーセンサ１２０３が備える受光素子２０１各々が光電変換した、各スペクトルの光の強度に応じた電気信号は、スペクトル検出部１１８に入力される。スペクトル検出部１１８は、入力された電気信号の信号処理を行い、試料１０１の色情報を示すスペクトル情報を生成し、色調補正部１１９に入力する。

次に、色調補正部１１９は、スペクトル検出部１１８が生成したスペクトル情報に基づいて、撮像ユニット１１０が生成した画像データを、色再現性が正確となるように補正して推定分光反射率画像を生成し出力する。

上述したとおり、本実施形態によれば、顕微鏡装置４は、試料１０１からの光を、撮像ユニット１１０とＡＦユニット１１１２との２つに分割する。そして、撮像ユニット１１０は、２つに分割されたうち、一方の光を用いて試料１０１の撮像を行い、画像データを生成する。また、ＡＦユニット１１１２は、２つに分割された試料のうち、他方の光を用いて撮像ユニット１１０の撮像素子１０９のピントを合焦状態にするための差分コントラスト信号と、撮像ユニット１１０が生成した画像データの色再現性を正確に補正するためのスペクトル情報を生成する。そのため、従来のように、試料１０１からの光を３分割することなく、画像データの生成と、差分コントラスト信号の生成と、スペクトル情報とを生成することができる。さらに、本実施形態において、合焦処理を行うために用いる光を検出する受光素子２０１は、カラーフィルタ２０２−１〜２０２−ｎを搭載していないため、より感度良く入射した光の強度を検出することができる。これにより、顕微鏡装置４は、より正確な合焦処理を行うことができる。従って、本実施形態の顕微鏡装置４は、より正確にピントが合った画像データを取得することができる。また、顕微鏡装置４は、色再現性がより正確になるように、撮像ユニット１１０が生成した画像データの補正を行うことができる。

（第５の実施形態）
以下、本発明の第５の実施形態について図面を参照して説明する。図１５は、本実施形態における顕微鏡装置５の構成を示した概略図である。本実施形態における顕微鏡装置５の構成と、第４の実施形態における顕微鏡装置４の構成とで異なる点は、ＡＦユニット１５１２の構成のみである。なお、図１５において、図１２に示した同一の構成部分に関しては、図１２と同一の符号を付与して示している。

ＡＦユニット１５１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７と、光検出器１５１６とを備える。第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７とは、第４の実施形態の各部と同一である。なお、本実施形態では、第４の実施形態と同様に、撮像ユニット１１０が備える撮像素子１０９の撮像面は、光検出器１５１６が出力する差分コントラスト信号値がゼロの時に試料１０１の像が結像する位置に配置されている。

次に、光検出器１５１６の構成について説明する。図１６は、本実施形態における光検出器１５１６の上面図である。図示するように、光検出器１５１６は、受光素子２０１が列を成して直線上に配置されたラインセンサ１２００と、カラーセンサ１５０１，１５０２とを備える。カラーセンサ１５０１，１５０２は、ｎ個（ｎは整数、本実施形態ではｎ＝６とする）の受光素子２０１を備えており、受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎが配置されている。また、カラーセンサ１５０１は、光路Ｃに導かれた光の投影像が投影される領域に配置されている。また、カラーセンサ１５０２は、光路Ｄに導かれた光の投影像が投影される領域内にカラーセンサ１５０１が検出する投影像と共役な投影像が現れる位置に、該カラーセンサ１５０２の各画素が前記カラーセンサ１５０１の各画素が検出する像と一致するように配置されている。この構成により、カラーセンサ１５０１，１５０２が備える各受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。

図１７は、本実施形態において、光検出器１５１６に投影される、光路Ｃに導かれた光による投影像と、光路Ｄに導かれた光による投影像とを示した概略図である。本実施形態では、図示するように、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域１６０１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域１６０２に投影される。なお、第１の実施形態と同様に、光路Ｃに導かれた光の結像点は、光検出器１５１６の後方（図１５中の平面ｍ、後ピン位置１１）となり、光路Ｄに導かれた光の結像点は光検出器１５１６の前方（図１５中の平面ｎ、前ピン位置１２）となる。

次に、本実施形態における顕微鏡装置５の動作について説明する。本実施形態における顕微鏡装置５の合焦処理は、第４の実施形態における顕微鏡装置４の合焦処理と同様である。合焦処理の終了後、図示せぬコンピュータシステムの指令により、撮像ユニット１１０は試料１０１の画像を撮影し、試料１０１の画像データを生成する。その後、撮像ユニット１１０は、生成した画像データを色調補正部１１９に入力する。

また、撮像ユニット１１０が試料１０１の画像を撮影しているとき、即ち、差分コントラスト信号がゼロのとき、光検出器１５１６の領域１６０１には後ピン状態の非合焦の光（ピンボケ状態の光）が照射されており、光検出器１５１６の領域１６０２には前ピン状態の非合焦の光が照射されている。すなわち、光検出器１５１６の領域１６０１に配置されているカラーセンサ１５０１と、光検出器１５１６の領域１６０２に配置されているカラーセンサ１５０２とには、試料１０１の所定の領域の像が混色された光が照射されている。また、カラーセンサ１５０１，１５０２の各々の受光素子２０１は、互いに分光透過率の異なるカラーフィルタ２０２−１〜２０２−ｎを搭載している。この構成により、カラーセンサ１５０１，１５０２の各受光素子２０１は、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎのスペクトルに対応した光を光電変換する。そして、光検出器１５１６のカラーセンサ１５０１，１５０２が備える受光素子２０１各々が光電変換した各スペクトルの光の強度に応じた電気信号は、スペクトル検出部１１８に入力される。スペクトル検出部１１８は、入力された電気信号の信号処理を行い、試料１０１の色情報を示すスペクトル情報を生成し、色調補正部１１９に入力する。

次に、色調補正部１１９は、スペクトル検出部１１８が生成したスペクトル情報に基づいて、撮像ユニット１１０が生成した画像データを、色再現性が正確となるように補正して推定分光反射率画像を生成し出力する。

上述したとおり、本実施形態によれば、顕微鏡装置５が備える光検出器１５１６は、２つのカラーセンサ１５０１，１５０２を備えているため、撮像ユニット１１０が生成した画像データの色再現性を正確に補正するためのスペクトル情報をより精度良く生成することができる。従って、本実施形態の顕微鏡装置５は、色再現性がより正確になるように、撮像ユニット１１０が生成した画像データの補正を行うことができる。

なお、上述した例では、カラーセンサ１５０２は、光路Ｄに導かれた光の投影像が投影される領域内にカラーセンサ１５０１が検出する投影像と共役な投影像が現れる位置に、該カラーセンサ１５０２の各画素が前記カラーセンサ１５０１の各画素が検出する像と一致するように配置されているが、カラーセンサ１５０２を光路Ｄに導かれた光の投影像が投影される領域内にカラーセンサ１５０１が検出する投影像と共役な投影像が現れる位置に配置しなくてもよい。

なお、光検出器１５１６が備えるカラーセンサの数は２つに限らず、３つ以上備えていても良い。図１８は、８個のカラーセンサを備えた光検出器の上面図である。図示するように、光検出器１８１６は、受光素子２０１が列を成して直線上に配置されたラインセンサ１２００と、カラーセンサ１８０１〜１８０８とを備える。カラーセンサ１８０１〜１８０８の構成は、本実施形態のカラーセンサ１５０１，１５０２の構成と同様の構成である。カラーセンサ１８０１〜１８０４は、光路Ｃに導かれた光の投影像が投影される領域１８１１に配置されている。また、カラーセンサ１８０５〜１８０８は、光路Ｄに導かれた光の投影像が投影される領域１８１２に配置されている。なお、光路Ｃに導かれた光の結像点は、光検出器１８１６の後方となり、光路Ｄに導かれた光の結像点は光検出器１８１６の前方となる。

このように、光検出器が複数個のカラーセンサを備え、スペクトル情報の生成に複数個のカラーセンサの出力値を用いることで、撮像ユニットが生成した画像データの色再現性を正確に補正するためのスペクトル情報をより精度良く生成することができる。従って、カラーセンサを複数個備えた光検出器を有する顕微鏡装置は、色再現性がより正確になるように、撮像ユニットが生成した画像データの補正を行うことができる。

（第６の実施形態）
以下、本発明の第６の実施形態について図面を参照して説明する。図１９は、本実施形態における顕微鏡装置６の構成を示した概略図である。本実施形態における顕微鏡装置６の構成と、第５の実施形態における顕微鏡装置５の構成とで異なる点は、ＡＦユニット１９１２の構成のみである。なお、図１９において、図１５に示した同一の構成部分に関しては、図１５と同一の符号を付与して示している。また、本実施形態の顕微鏡装置６の動作手順は、第５の実施形態の顕微鏡装置５の動作手順と同様である。

ＡＦユニット１９１２は、第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７と、光検出器１９１６とを備える。第２の結像レンズ１１３と、第２のビームスプリッタ１１４と、ミラー１１５と、コントラスト検出部１１７とは、第５の実施形態の各部と同一である。なお、本実施形態では、第５の実施形態と同様に、撮像ユニット１１０が備える撮像素子１０９の撮像面は、光検出器１９１６が出力する差分コントラスト信号値がゼロの時に試料１０１の像が結像する位置に配置されている。

光検出器１９１６は、受光素子が列を成して直線上に配置されたラインセンサ（後述する図２０参照）と、ラインセンサの受光面（第１の平面）とは異なる面にカラーセンサ１９０１，１９０２を備える。カラーセンサ１９０１は、光路Ｃに導かれた光の投影像が投影される領域、かつラインセンサの受光面よりも、試料１０１からの光の投影像がより非合焦となる平面ｐ（第２の平面）上に該カラーセンサ１９０１のセンサ面が位置するように配置されている。また、カラーセンサ１５０２は、光路Ｄに導かれた光の投影像が投影される領域、かつラインセンサの受光面よりも、試料１０１からの光の投影像がより非合焦となる平面ｑ（第２の平面）上に該カラーセンサ１９０２のセンサ面が位置するように配置されている。なお、ラインセンサの受光面から平面ｐまでの距離と、ラインセンサの受光面から平面ｑまでの距離とは、同じ距離であることが望ましい。

次に、光検出器１９１６の構成について説明する。図２０は光検出器１９１６の上面図である。図示するように、光検出器１９１６は、受光素子２０１が列を成して直線上に配置されたラインセンサ１２００と、カラーセンサ１９０１，１９０２とを備える。カラーセンサ１９０１，１９０２は、ｎ個（ｎは整数、本実施形態ではｎ＝６とする）の受光素子２０１を備えており、受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎが配置されている。また、上述したとおり、カラーセンサ１９０１は、光路Ｃに導かれた光の投影像が投影される領域２０１１、かつラインセンサ１２００が配置されている平面（第１の平面）よりも、試料１０１からの光の投影像がより非合焦となる平面（図１９中の平面ｐ）上に配置されている。また、カラーセンサ１９０２は、光路Ｄに導かれた光の投影像が投影される領域２０１２、かつラインセンサ１２００が配置されている平面（第１の平面）よりも、試料１０１からの光の投影像がより非合焦となる平面（図１９中の平面ｑ）上に配置されている。

この構成により、カラーセンサ１９０１，１９０２が備える各受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。さらに、カラーセンサ１９０１、１９０２は、試料１０１からの光の投影像がより非合焦となる平面上に配置されている。そのため、カラーセンサ１９０１，１９０２には、試料１０１の所定の領域の像がより混色された光が照射されている。従って、本実施形態の顕微鏡装置６は、撮像ユニット１１０が生成した画像データの色再現性を正確に補正するためのスペクトル情報をより精度良く生成することができ、色再現性がより正確になるように、撮像ユニット１１０が生成した画像データの補正を行うことができる。

（第７の実施形態）
以下、本発明の第７の実施形態について図面を参照して説明する。図２１は、本実施形態における顕微鏡装置７の構成を示した概略図である。本実施形態における顕微鏡装置７の構成と、第３の実施形態における顕微鏡装置３の構成とで異なる点は、ＡＦユニット２１１２が備える光検出器２１１６の構成のみである。なお、図２１において、図８に示した同一の構成部分に関しては、図８と同一の符号を付与して示している。また、本実施形態の顕微鏡装置７の動作手順は、第３の実施形態の顕微鏡装置３の動作手順と同様である。

次に、光検出器２１１６の構成について説明する。図２２は、本実施形態における光検出器２１１６の上面図である。図示するように、光検出器２１１６は受光素子２０１が２次元状に配置されたエリアセンサ２２００を備えている。なお、光検出器２１１６は、エリアセンサ２２００の代わりに、ラインセンサを平行に複数備えるようにしてもよい。また、受光素子２０１のうち、後述する図２３に示される光路Ｅで導かれた光による投影像が投影される領域に含まれる受光素子２０１の受光面の各々に、互いに分光透過率の異なるカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎ（ｎは整数、本実施形態ではｎ＝６とする）が繰り返し配置されている。この構成により、エリアセンサ２２００が備える各受光素子２０１のうち、後述する図２２に示される光路Ｅで導かれた光による投影像が投影される領域に含まれる受光素子２０１は、互いに異なる波長のスペクトル情報を検出することができる。なお、光路Ｅで導かれた光による投影像が投影される領域に含まれる受光素子２０１の全てにカラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎを配置するのではなく、例えば、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎを配置する受光素子２０１と、配置しない受光素子２０１とを市松状に設けるようにしてもよい。

図２３は、本実施形態において、光検出器２１１６に投影される、光路Ｃに導かれた光による投影像と、光路Ｄに導かれた光による投影像と、光路Ｅに導かれた光による投影像とを示した概略図である。本実施形態では、図示するように、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域２３０１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域２３０２に投影される。また、光路Ｅに導かれた光（第３のビームスプリッタ７０２が反射し、混色部７０１が透過した光）による投影像は、領域２３０３に投影される。

このように、光検出器２１１６は、２次元状に受光素子２０１が配置されたエリアセンサ２２００を備え、エリアセンサ２２００の出力値を差分コントラスト信号とスペクトル情報との生成に用いることで、より精度良く各信号を生成することができる。従って、２次元状に受光素子２０１が配置されたエリアセンサ２２００を備えた光検出器２１１６を有する顕微鏡装置７は、より高精度に撮像素子１０９のピントを合焦状態にすることができ、色再現性がより正確になるように、撮像ユニットが生成した画像データの補正を行うことができる。

以上、この発明の第１の実施形態から第７の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、顕微鏡装置が、ラインセンサが取得した画像データを、スペクトル検出ユニットが取得したスペクトル情報を用いて色調補正する例について説明したが、これに限らず、顕微鏡装置は、スペクトル情報を用いて補正することができる方法であれば、どのような補正を行ってもよい。

１〜７・・・顕微鏡装置、１０２・・・ステージ、１０３・・・ステージ駆動部、１０４・・・ステージ制御部、１０５・・・光源、１０６・・・コンデンサレンズ、１０７・・・対物レンズ、１０８・・・第１の結像レンズ、１０９・・・撮像素子、１１０・・・撮像ユニット、１１１・・・第１のビームスプリッタ、１１２，６１２，７１２，１１１２，１５１２，１９１２，２１１２・・・ＡＦユニット、１１３・・・第２の結像レンズ、１１４・・・第２のビームスプリッタ、１１５・・・ミラー、１１６，７１６，１１１６，１５１６，１８１６，１９１６，２１１６・・・光検出器、１１７・・・コントラスト検出部、１１８・・・スペクトル検出部、１１９・・・色調補正装置、２００，８００，１２００・・・ラインセンサ、２０１・・・受光素子、２０２−１〜２０１−ｎ・・・カラーフィルタ、６０１，７０１・・・混色部、７０２・・・第３のビームスプリッタ、１２０３，１５０１，１５０２，１８０１〜１８０８，１９０１，１９０２・・・カラーセンサ、２２００・・・エリアセンサ

図１４は、本実施形態において、光検出器１１１６に投影される、光路Ｃに導かれた光による投影像と、光路Ｄに導かれた光による投影像とを示した概略図である。本実施形態では、図示するように、光路Ｃに導かれた光（第２のビームスプリッタ１１４が透過した光）による投影像は、領域１４０１に投影される。また、光路Ｄに導かれた光（第２のビームスプリッタ１１４が反射し、ミラー１１５が反射した光）による投影像は、領域１４０２に投影される。なお、第１の実施形態と同様に、光路Ｃに導かれた光の結像点は、光検出器１１１６の後方（図１２中の平面ｍ、後ピン位置１１）となり、光路Ｄに導かれた光の結像点は光検出器１１１６の前方（図１２中の平面ｎ、前ピン位置１２）となる。

また、撮像ユニット１１０が試料１０１の画像を撮影しているとき、即ち、差分コントラスト信号がゼロのとき、光検出器１１１６の領域１２０３には前ピン状態の非合焦の光（ピンボケ状態の光）が照射されている。すなわち、光検出器１１１６の領域１４０２に配置されているカラーセンサ１２０３には、試料１０１の所定の領域の像が混色された光が照射されている。カラーセンサ１２０３の各々の受光素子２０１は、互いに分光透過率の異なるカラーフィルタ２０２−１〜２０２−ｎを搭載している。この構成により、カラーセンサ１２０３の各受光素子２０１は、カラーフィルタ２０２−１，２０２−２，２０２−３，・・・，２０２−ｎのスペクトルに対応した光を光電変換する。そして、光検出器１１１６のカラーセンサ１２０３が備える受光素子２０１各々が光電変換した、各スペクトルの光の強度に応じた電気信号は、スペクトル検出部１１８に入力される。スペクトル検出部１１８は、入力された電気信号の信号処理を行い、試料１０１の色情報を示すスペクトル情報を生成し、色調補正部１１９に入力する。

Claims (8)

1. 試料からの光を第１の光路で撮像ユニットに導く第１のステップと、
   前記試料からの光を第２の光路でオートフォーカスユニットに導く第２のステップと、
   前記オートフォーカスユニットに導かれた光を分割し、第３の光路および当該第３の光路と結像点が異なる第４の光路とに導く第３のステップと、
   第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差に基づいて、前記撮像ユニットの撮像面に前記第１の光路に導かれた前記試料からの光による当該試料の像が結像するように、当該撮像ユニットの焦点を調節する第４のステップと、
   前記撮像ユニットに導かれた光を用いて、前記試料の像を撮像し画像データを生成する第５のステップと、
   前記オートフォーカスユニットに導かれた光を用いて、前記試料のスペクトル情報を検出する第６のステップと、
   前記検出した前記スペクトル情報に基づいて、前記画像データの色調を補正する第７のステップと、
   を含むことを特徴とする撮像方法。
2. 前記第６のステップは、前記第３の光路に導かれた前記光または／および前記第４の光路に導かれた前記光を用いて、前記試料のスペクトル情報を検出する
   ことを特徴とする請求項１に記載の撮像方法。
3. 前記第６のステップで、前記第３の光路に導かれた前記光と前記第４の光路に導かれた前記光とは混色部を通る
   ことを特徴とする請求項２に記載の撮像方法。
4. 前記第４の光路に導かれた前記光の一部を、前記第１の平面上に結像するように第５の光路に導く第８のステップと、
   前記第５の光路に導かれた前記光を混色する第９のステップと、
   を含み、
   前記第６のステップでは、前記第９のステップで混色された前記光を用いて、前記試料のスペクトル情報を検出する
   ことを特徴とする請求項１に記載の撮像方法。
5. 前記第４のステップでは、前記第１の平面上に配置されたセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、
   前記第６のステップでは、前記センサが、前記試料のスペクトル情報を検出する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像方法。
6. 前記第４のステップでは、前記第１の平面上に配置された第１のセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、
   前記第６のステップでは、前記第１の平面上に配置された第２のセンサが、前記試料のスペクトル情報を検出する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像方法。
7. 前記第４のステップでは、前記第１の平面上に配置された第１のセンサが、当該第１の平面上に投影される前記第３の光路に導かれた前記光と、当該第１の平面上に投影される前記第４の光路に導かれた前記光とのコントラストの差を検出し、
   前記第６のステップでは、前記第３の光路または前記第４の光路に導かれた前記光の焦点が前記第１の平面よりも非合焦となる方向にずれた第２の平面上に配置された第２のセンサが、前記試料のスペクトル情報を検出する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像方法。
8. 試料からの光を受光し、当該試料の像を撮像して画像データを生成する撮像ユニットと、
   前記試料からの光を、前記撮像ユニットに導く第１の光路と、オートフォーカスユニットに導く第２の光路とに分割する第１のビームスプリッタと、
   前記オートフォーカスユニットに導かれた光を、第３の光路と、当該第３の光路と結像点が異なる第４の光路とに分割する第２のビームスプリッタと、
   前記第３の光路に導かれた前記光と、前記第４の光路に導かれた前記光とを受光し、前記第３の光路に導かれた前記光と前記第４の光路に導かれた前記光とのコントラストの差を検出し、前記オートフォーカスユニットに導かれた光を用いて、前記試料のスペクトル情報を検出する光検出器と、
   前記光検出器が検出した前記コントラストの差に基づいて、前記撮像ユニットの撮像面に、前記第１の光路に導かれた前記試料からの光による当該試料の像が結像するように、当該撮像ユニットの焦点を調節する焦点調節部と、
   前記光検出器が検出する前記スペクトル情報に基づいて、前記撮像ユニットが生成した画像データの色調を補正する色調補正部と、
   を備えることを特徴とする顕微鏡装置。

Images