JP5447516B2 - 画像処理装置、画像処理方法、プログラム、および、顕微鏡 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム、および、顕微鏡に関し、特に、全反射顕微鏡により撮影された画像と、共焦点顕微鏡により撮影された画像を重ね合わせる場合に用いて好適な画像処理装置、画像処理方法、プログラム、および、顕微鏡に関する。

従来、光学部材を切り替えることにより、全反射顕微鏡（TIRF（Total Internal Reflection Fluorescence）顕微鏡、全反射照明蛍光顕微鏡）と共焦点顕微鏡（コンフォーカル顕微鏡）の両方に使用できる顕微鏡が提案されている（例えば、特許文献１参照）。

特開２００４−８５８１１号公報

ところで、全反射顕微鏡により得られた画像（以下、TIRF画像と称する）と、共焦点顕微鏡により得られた画像（以下、コンフォーカル画像と称する）との両方を用いて試料の現象を確認する場合、例えば、２つの画像を重ね合わせて、双方の画像に出現する物体が同一のものであるか否かを判断するときがある。しかし、全反射顕微鏡と共焦点顕微鏡とでは、試料の画像取得方法（試料への照明方法）が異なるため、TIRF画像とコンフォーカル画像とでは、観察範囲（試料の深さ方向）や画像のサイズなどが異なる。従って、２つの画像を重ね合わせるためには、画像の拡大、縮小、回転、平行移動、反転といった補正を行なう必要がある。

しかしながら、従来の顕微鏡では、ユーザが、目視で確認しながら、画像の補正を行ない、TIRF画像とコンフォーカル画像を重ね合わせなければならなかった。

本発明は、このような状況を鑑みてなされたものであり、例えば、TIRF画像とコンフォーカル画像のように、異なる観察手法の顕微鏡によりそれぞれ取得した画像を簡単かつ正確に重ね合わせることができるようにするものである。

本発明の第１の側面の画像処理装置は、第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ３点以上検出する基準点検出手段と、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数を計算する計算手段と、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせる重ね合わせ手段とを含む。

本発明の第１の側面の画像処理方法は、第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ3点以上検出し、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数を計算し、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせるステップを含む。

本発明の第１の側面のプログラムは、第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ3点以上検出し、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数を計算し、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせるステップを含む処理をコンピュータに実行させるためのものである。

本発明の第１の側面においては、第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられるか否か判定されるとともに、対応付けられた輝点が基準点としてそれぞれ3点以上検出され、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数が計算され、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせられる。

本発明の第２の側面の顕微鏡は、全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点を、互いに試料の所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出する基準点検出手段と、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数を計算する計算手段と、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせるか、或いは、共焦点顕微鏡を用いて取得した、所定面とは異なる試料の面に関する画像を第１の蛍光画像と重ね合わせる重ね合わせ手段とを含む。

本発明の第２の側面においては、全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出され、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数が計算され、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とが重ね合わせられるか、或いは、共焦点顕微鏡を用いて取得した、所定面とは異なる試料の面に関する画像が第１の蛍光画像と重ね合わせられる。
本発明の第３の側面の画像処理装置は、全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出され、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数が計算され、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とが重ね合わせられるか、或いは、共焦点顕微鏡を用いて取得した、所定面とは異なる試料の面に関する画像が第１の蛍光画像と重ね合わせられる。
本発明の第３の側面の画像処理方法は、全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点を、互いに試料の所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出し、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数を計算し、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とを重ね合わせるか、或いは、共焦点顕微鏡を用いて取得した、所定面とは異なる試料の面に関する画像を第１の蛍光画像と重ね合わせるステップを含む。
本発明の第３の側面においては、全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した試料の所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点が、互いに試料の所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出され、第１の蛍光画像における基準点の第１の座標系と第２の蛍光画像における基準点の第２の座標系とを合致させるための変換係数が計算され、変換係数を用いて、第１の蛍光画像と第２の蛍光画像とが重ね合わせられるか、或いは、共焦点顕微鏡を用いて取得した、所定面とは異なる試料の面に関する画像が第１の蛍光画像と重ね合わせられる。

本発明の第１乃至第３の側面によれば、全反射顕微鏡により撮影した画像の座標系と、共焦点顕微鏡により撮影した画像の座標系とを相互に変換することができる。その結果、全反射顕微鏡により撮影した画像と、共焦点顕微鏡により撮影した画像とを簡単かつ正確に重ね合わせることができる。

本発明を適用した顕微鏡システムを共焦点顕微鏡として使用する場合の構成を示す図である。 本発明を適用した顕微鏡システムを全反射顕微鏡として使用する場合の構成を示す図である。 顕微鏡システムのコンピュータにより実現される画像処理部の構成例を示すブロック図である。 顕微鏡システムにより実行される座標変換係数計算処理を説明するためのフローチャートである。 サンプル試料の例を示す図である。 顕微鏡システムにより実行される重ね合わせ処理の第１の実施の形態を説明するためのフローチャートである。 TIRF画像の撮影位置を説明するための図である。 TIRF画像の一例を示す図である。 コンフォーカル画像の撮影位置を説明するための図である。 コンフォーカル画像の一例を示す図である。 TIRF画像とコンフォーカル画像を重ね合わせた画像の一例を示す図である。 顕微鏡システムにより実行される重ね合わせ処理の第２の実施の形態を説明するためのフローチャートである。 コンフォーカル画像の撮影位置を説明するための図である。 コンフォーカル画像の一例を示す図である。 TIRF画像の２値化画像の一例を示す図である。 TIRF画像の輝点の位置を示す図である。 コンフォーカル画像の２値化画像の一例を示す図である。 コンフォーカル画像の輝点の位置を示す図である。 TIRF画像とコンフォーカル画像のコンフォーカル画像の輝点の位置の違いを説明するための図である。 TIRF画像の輝度の分布の例を示す図である。 コンフォーカル画像の輝度の分布の例を示す図である。

以下、図を参照して、本発明の実施の形態について説明する。

図１および図２は本発明を適用した顕微鏡システムの一実施の形態を示している。顕微鏡システム１は、顕微鏡１１、画像生成回路１２、撮像装置１３、画像生成回路１４、コンピュータ１５、および、表示装置１６を含むように構成される。

顕微鏡１１は、レンズ支持部材３５および光学素子支持部材３６の設定位置を変えることにより、共焦点顕微鏡または全反射顕微鏡として使用することができる。

具体的には、レンズ支持部材３５は、例えば、回転ターレットなどにより構成され、回転軸３５ａを中心に回転可能に配置されている。また、レンズ支持部材３５は、第２リレーレンズ系５１と第３リレーレンズ系５２を備えている。

一方、光学素子支持部材３６は、例えば、回転ターレットなどにより構成され、回転軸３６ａ回りに回転可能に配置されている。また、光学素子支持部材３６は、ビームスプリッタ６１と照明光カットフィルタ６２を一体に設けた光路分割光学素子３６ｂを備えている。

そして、図１に示されるように、レンズ支持部材３５の第２リレーレンズ系５１を顕微鏡１１の光軸上に挿入し、光学素子支持部材３６の光路分割光学素子３６ｂを顕微鏡１１の光軸上に挿入しないように設定した場合、顕微鏡１１を共焦点顕微鏡として使用することができる。一方、図２に示されるように、レンズ支持部材３５の第３リレーレンズ系５２、および、光学素子支持部材３６の光路分割光学素子３６ｂを顕微鏡１１の光軸上に挿入するように設定した場合、顕微鏡１１を全反射顕微鏡として使用することができる。

まず、図１を参照して、顕微鏡１１を共焦点顕微鏡として使用する場合について説明する。

レーザ照明光源３１から出射された照明光（以下、コンフォーカル光と称する）は、ビームスプリッタ３２を透過し、二次元スキャナ３３に入射する。そして、二次元スキャナ３３から出射されたコンフォーカル光は、第１リレーレンズ系３４および第２リレーレンズ系５１を介して対物レンズ３７に入射し、カバーガラス２上に載置されている試料３に集光する。

このとき、制御回路４１は、コンピュータ１５から供給される制御信号に基づいて、二次元スキャナ３３に設けられている、光偏向方向が互いに直行する２個のスキャナを制御することにより、走査範囲や走査速度を制御しながら、試料３の二次元平面内でコンフォーカル光を走査させる。

試料３からの光（蛍光）は、対物レンズ３７で集光され、コンフォーカル光と同じ光路を通って、ビームスプリッタ３２により結像レンズ３８の方向に反射され、結像レンズ３８とピンホール３９を介して、フォトマルチプライヤー４０に結像される。フォトマルチプライヤー４０は、結像した光の強度を検出し、検出した光の強度を表す光検出信号を画像生成回路１２に供給する。

画像生成回路１２は、コンピュータ１５から供給される制御信号に基づいて、フォトマルチプライヤー４０からの光検出信号を、二次元スキャナ３３による走査速度に応じて１画素ずつ並べる画像処理を行ない、共焦点顕微鏡による観察画像であるコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像をコンピュータ１５に供給し、表示装置１６は、コンピュータ１５の制御の基に、コンフォーカル画像を表示する。

次に、図２を参照して、顕微鏡１１を全反射顕微鏡として使用する場合について説明する。

レーザ照明光源３１から出射された照明光（以下、TIRF光と称する）は、ビームスプリッタ３２を透過し、二次元スキャナ３３に入射する。そして、二次元スキャナ３３から出射されたTIRF光は、第１リレーレンズ系３４に入射し、第３リレーレンズ系５２を構成するリレーレンズ系５２ａとリレーレンズ系５２ｂとを介して、対物レンズ３７の入射瞳面（像側焦点面）Ｉの近傍に集光する。そして、TIRF光は、対物レンズ３７を透過することにより、ほぼ平行光となり、試料３に照射される。

このとき、制御回路４１は、コンピュータ１５から供給される制御信号に基づいて、二次元スキャナ３３の走査動作を制御することにより、TIRF光が対物レンズ３７の入射瞳面Ｉに入射する位置を調整する。そして、TIRF光の入射位置を入射瞳面Ｉの中心から周辺に移動させるにつれて、TIRF光の試料３への入射角が大きくなり、入射角が所定の角度を超えると、TIRF光は、試料３とカバーガラス２との境界面Ｓで全反射されるようになる。この全反射状態にあるとき、境界面Ｓの近傍においてエバネッセント光が発生し、試料３の境界面Ｓの近傍のごく薄い範囲のみがエバネッセント光により照射される。

そして、エバネッセント光により励起された試料３からの光（蛍光）は、対物レンズ３７により集光され、ビームスプリッタ６１により照明光カットフィルタ６２の方向に反射され、照明光カットフィルタ６２、結像レンズ４２を介して、撮像装置（例えば、ＣＣＤカメラ等）１３に結像される。そして、撮像装置１３により、全反射顕微鏡による観察画像であるTIRF画像が撮影される。撮像装置１３により撮影されたTIRF画像は、画像生成回路１４で処理され、コンピュータ１５に供給され、表示装置１６は、コンピュータ１５の制御の基に、TIRF画像を表示する。

また、後述するように、コンピュータ１５は、顕微鏡１１を全反射顕微鏡として使用した場合に得られたTIRF画像と、顕微鏡１１を共焦点顕微鏡として使用した場合に得られたコンフォーカル画像とを、自動的に重ね合わせる機能を有している。

図３は、コンピュータ１５が所定の制御プログラムを実行することにより実現される機能の１つである画像処理部１０１の構成例を示している。画像処理部１０１は、TIRF画像とコンフォーカル画像を自動的に重ね合わせる機能を有している。

具体的には、基準点検出部１１１は、画像生成回路１４から供給されるTIRF画像、および、画像生成回路１２から供給されるコンフォーカル画像において、試料３の同じ位置に対応する基準点を３点以上検出する。基準点検出部１１１は、検出した基準点の各画像の座標系における座標を座標変換係数計算部１１２に通知する。

座標変換係数計算部１１２は、基準点検出部１１１により検出された基準点に基づいて、TIRF画像の座標系とコンフォーカル画像の座標系とを相互に変換するための座標変換係数を計算する。座標変換係数計算部１１２は、計算した座標変換係数を重ね合わせ部１１３に通知する。

重ね合わせ部１１３は、コンピュータ１５の操作部（不図示）を介してユーザから入力される指令に従って、座標変換係数計算部１１２により計算された座標変換係数を用いて、画像生成回路１４から供給されるTIRF画像と、画像生成回路１２から供給されるコンフォーカル画像との重ね合わせを行なう。そして、重ね合わせ部１１３は、重ね合わせた画像を後段（例えば、コンピュータ１５の表示制御装置）に出力する。また、重ね合わせ部１１３は、必要に応じて、座標変換係数の計算を基準点検出部１１１および座標変換係数計算部１１２に指令するとともに、TIRF画像およびコンフォーカル画像を基準点検出部１１１に供給する。

次に、図４のフローチャートを参照して、顕微鏡システム１により実行される座標変換係数計算処理について説明する。

ステップＳ１において、顕微鏡システム１は、サンプル試料２０１のTIRF画像を取得する。具体的には、まず、ユーザは、試料３の代わりに、図５に示されるサンプル試料２０１を顕微鏡１１のステージ上のカバーガラス２の上に載置し、顕微鏡１１を全反射顕微鏡として使用する状態（図２の状態）に設定する。

なお、サンプル試料２０１は、所定の波長の光を照射したときに蛍光を発する試薬により、点Ｍ１乃至Ｍ３（以下、マーカＭ１乃至Ｍ３と称する）の３点が染色されている。また、マーカＭ１乃至Ｍ３の位置は、マーカＭ１乃至Ｍ３の位置を明確に区別できるように、マーカＭ１乃至Ｍ３により形成される三角形の各辺の長さおよび各点の角度がそれぞれ異なるように設定される。

そして、顕微鏡システム１は、マーカＭ１乃至Ｍ３を励起する波長のTIRF光を、カバーガラス２とサンプル試料２０１の境界面Ｓで全反射させた状態で、撮像装置１３によりサンプル試料２０１を撮影する。撮像装置１３は、撮影の結果得られたサンプル試料２０１のTIRF画像を、画像生成回路１４を介して、基準点検出部１１１に供給する。

ステップＳ２において、顕微鏡システム１は、サンプル試料２０１のコンフォーカル画像を取得する。具体的には、まず、ユーザは、サンプル試料２０１を顕微鏡１１のステージ上のカバーガラス２の上に載置したまま、顕微鏡１１を共焦点顕微鏡として使用する状態（図１の状態）に設定する。そして、顕微鏡システム１は、マーカＭ１乃至Ｍ３を励起する波長のコンフォーカル光を、カバーガラス２とサンプル試料２０１の境界面Ｓ上を走査（TIRF光と同じ面を走査）させながら、フォトマルチプライヤー４０によりサンプル試料２０１からの光の強度を検出する。フォトマルチプライヤー４０は、検出した光の強度を表す光検出信号を画像生成回路１２に供給し、画像生成回路１２は、光検出信号に基づいて、サンプル試料２０１のコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像を、基準点検出部１１１に供給する。

ステップＳ３において、基準点検出部１１１は、TIRF画像におけるマーカＭ１乃至Ｍ３の座標を検出する。具体的には、基準点検出部１１１は、TIRF画像において、マーカＭ１乃至Ｍ３により発せられた蛍光による輝点領域を検出し、検出した輝点領域の重心のTIRF画像の座標系における座標を求める。また、基準点検出部１１１は、TIRF画像の各輝点領域の重心を頂点とする三角形を、マーカＭ１乃至Ｍ３を頂点とする既知の三角形と比較することにより、各輝点領域の重心の座標をマーカＭ１乃至Ｍ３にそれぞれ対応付ける。そして、基準点検出部１１１は、TIRF画像における対応付けしたマーカＭ１乃至Ｍ３の座標を、座標変換係数計算部１１２に通知する。

ステップＳ４において、基準点検出部１１１は、ステップＳ３と同様の処理により、コンフォーカル画像におけるマーカＭ１乃至Ｍ３の座標を検出し、コンフォーカル画像における対応付けしたマーカＭ１乃至Ｍ３の座標を、座標変換係数計算部１１２に通知する。

ステップＳ５において、座標変換係数計算部１１２は、TIRF画像の座標系とコンフォーカル画像の座標系との間の座標変換係数を計算する。

サンプル試料２０１の同じ面を撮影したTIRF画像とコンフォーカル画像の関係は、２次変換（拡大、縮小、回転、平行移動、反転）の関係となる。このうち、画像の反転は、目視により簡単に判別し、修正することが可能であり、撮影光学系の構成により発生の有無が予め分かっているので、画像処理部１０１の処理対象から除外すると、TIRF画像の座標系とコンフォーカル画像の座標系とは、ヘルマート変換により相互に変換することができる。

ここで、ヘルマート変換を用いて、座標系Ａにおける座標（X,Y）を座標系Ｂにおける座標（x,y）に変換する場合について考える。この場合、座標（X,Y）と座標（x,y）の関係は、以下の式（１）および式（２）により表される。

x＝X・cosθ＋Y・sinθ＋c ・・・（１）
y＝−X・sinθ＋Y・cosθ＋d ・・・（２）

なお、θは、座標系Ａの座標軸を座標系Ｂの座標軸に合わせる場合の座標軸の回転角を示し、係数cおよび係数dは、座標系Ａの座標軸を座標系Ｂの座標軸に合わせる場合の原点のｘ軸方向およびｙ軸方向の平行移動量を示している。ここで、a＝cosθとし、b＝sinθとし、式（１）および式（２）を行列により表現すると、以下の式（３）となる。

従って、TIRF画像の座標系におけるマーカＭ１乃至Ｍ３の座標を（X₁,Y₁）乃至（X₃,Y₃）とし、コンフォーカル画像の座標系におけるマーカＭ１乃至Ｍ３の座標を（x₁,y₁）乃至（x₃,y₃）とすると、座標（X₁,Y₁）乃至（X₃,Y₃）と座標（x₁,y₁）乃至（x₃,y₃）との間の関係式は、以下の式（４）により表される。

なお、vx₁乃至vy₃は誤差を示している。

そして、誤差vx₁乃至vy₃を最小にする係数ａ乃至dは、最小二乗法を用いて、以下の式（５）乃至（８）により求めることができる。

このようにして、座標変換係数計算部１１２は、マーカＭ1乃至Ｍ３を基準点として用いて、TIRF画像の座標系とコンフォーカル画像の座標系とを相互に変換するための座標変換係数ａ乃至ｄを計算し、座標変換係数ａ乃至ｄを重ね合わせ部１１３に供給する。その後、座標変換係数計算処理は終了する。

なお、座標変換係数の計算に用いるマーカを、４点以上設定するようにしてもよい。

次に、図６のフローチャートを参照して、顕微鏡システム１により実行される重ね合わせ処理について説明する。

ステップＳ２１において、顕微鏡システム１は、試料３のTIRF画像を取得する。具体的には、まず、ユーザは、観察したい試料３を顕微鏡１１のステージ上のカバーガラス２の上に載置し、顕微鏡１１を全反射顕微鏡として使用する状態（図２の状態）に設定する。そして、顕微鏡システム１は、図７に示される試料３とカバーガラス２（図７では図示せず）との境界面ＳでTIRF光を全反射させた状態で、撮像装置１３により試料３を撮影する。これにより、境界面Ｓの近傍のごく薄い範囲のみに光が照射され、背景光が少ない状態で試料３が撮影される。なお、図７の縦軸は、試料３の深さ方向（＝顕微鏡１１の光軸方向）を示している。撮像装置１３は、試料３のTIRF画像を、画像生成回路１４を介して、重ね合わせ部１１３に供給する。

図８は、試料３のTIRF画像の一例を示している。なお、TIRF画像２１１内の白い輝点は、試薬により染色され、TIRF光により励起され蛍光を発した部分を含んでいる。

ステップＳ２２において、顕微鏡システム１は、試料３のコンフォーカル画像を取得する。具体的には、まず、ユーザは、観察したい試料３を顕微鏡１１のステージ上のカバーガラス２の上に載置したまま、顕微鏡１１を共焦点顕微鏡として使用する状態（図１の状態）に設定する。そして、顕微鏡システム１は、例えば、図９の試料３の厚さ方向（＝顕微鏡１１の光軸方向）の位置Ｚ１における平面（顕微鏡１１の光軸に垂直な切断面）上をコンフォーカル光を走査させる。そして、顕微鏡システム１は、コンフォーカル光の走査に合わせて、フォトマルチプライヤー４０により試料３からの光の強度を検出し、画像生成回路１２により、試料３の位置Ｚ１における切断面のコンフォーカル画像を生成する。同様にして、顕微鏡システム１は、例えば、試料３の位置Ｚ２乃至Ｚ６における各切断面のコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像を重ね合わせ部１１３に供給する。

図１０は、試料３のコンフォーカル画像の一例を示している。なお、コンフォーカル画像２２１内の白い輝点は、試薬により染色され、コンフォーカル光により励起され蛍光を発した部分を含んでいる。

ステップＳ２３において、重ね合わせ部１１３は、TIRF画像とコンフォーカル画像を重ね合わせる。具体的には、ユーザは、コンピュータ１５の操作部（不図示）を操作して、TIRF画像と所望のコンフォーカル画像を選択し、操作部は、その情報を重ね合わせ部１１３に通知する。重ね合わせ部１１３は、座標変換係数計算部１１２により計算された座標変換係数を用いて、ユーザにより選択されたコンフォーカル画像の座標系を、TIRF画像の座標系に変換した画像を生成する。また、重ね合わせ部１１３は、ユーザにより選択されたTIRF画像と、座標系を変換したコンフォーカル画像とを重ね合わせた画像を生成する。そして、表示装置１６は、コンピュータ１５の制御の基に、重ね合わせた画像を表示する。その後、重ね合わせ処理は終了する。

図１１は、図８のTIRF画像２１１と図１０のコンフォーカル画像２２１とを重ね合わせた画像を示している。

なお、重ね合わせるTIRF画像とコンフォーカル画像の枚数は、特に限定されるものではなく、例えば、TIRF画像とコンフォーカル画像を１枚ずつ重ね合わせることも可能であるし、試料３の厚さ方向の各切断面のコンフォーカル画像を重ね合わせた３次元画像とTIRF画像とを重ね合わせることも可能である。

以上のようにして、TIRF画像とコンフォーカル画像を簡単かつ正確に重ね合わせることができる。

次に、図１２のフローチャートを参照して、顕微鏡システム１により実行される重ね合わせ処理の第２の実施の形態について説明する。なお、この重ね合わせ処理の第２の実施の形態は、サンプル試料２０１を用いずに、TIRF画像とコンフォーカル画像の重ね合わせをできるようにするものである。

ステップＳ４１において、図６のステップＳ２１の処理と同様に、試料３のTIRF画像が取得される。取得されたTIRF画像は、重ね合わせ部１１３に供給される。

ステップＳ４２において、図６のステップＳ２２の処理と同様に、試料３のコンフォーカル画像が取得される。なお、このとき、図１３に示されるように、試料３の位置Ｚ１乃至Ｚ６における各切断面のコンフォーカル画像だけでなく、カバーガラス２と試料３との間の境界面Ｓにおけるコンフォーカル画像も取得される。取得されたコンフォーカル画像は、重ね合わせ部１１３に供給される。

図１４のコンフォーカル画像３０１は、試料３の境界面Ｓにおけるコンフォーカル画像の一例を示している。

ステップＳ４３において、重ね合わせ部１１３は、座標変換係数の計算が必要であるか否かを判定する。座標変換係数の計算が必要であると判定された場合、処理はステップＳ４４に進む。

なお、座標変換係数の計算が必要であると判定される条件としては、例えば、ユーザにより座標変換係数の計算が指令された場合、または、顕微鏡１の光学系の部品（例えば、対物レンズ３７）の交換もしくは設定の変更が行なわれた場合、または、座標変換係数の計算がまだ行なわれていない場合、または、試料３が変更された場合などが考えられる。

ステップＳ４４において、基準点検出部１１１は、TIRF画像の輝点を抽出する。具体的には、重ね合わせ部１１３は、TIRF画像、および、境界面Ｓにおけるコンフォーカル画像を基準点検出部１１１に供給するとともに、座標変換係数の計算を基準点検出部１１１および座標変換係数計算部１１２に指令する。

基準点検出部１１１は、TIRF画像を所定の閾値を用いて２値化する。すなわち、基準点検出部１１１は、TIRF画像の各画素について、輝度が所定の閾値以上の画素の画素値を最大値（白）に設定し、輝度が所定の閾値未満の画素の画素値を０（黒）に設定した２値化画像を生成する。例えば、図８のTIRF画像２１１を２値化することにより、図１５の２値化画像３１１が得られる。

なお、以下、２値化画像の画素のうち、画素値が最大値に設定されている画素を白色画素と称し、画素値が０に設定されている画素を黒色画素と称する。

次に、基準点検出部１１１は、TIRF画像の２値化画像において、所定の数（例えば、２）以上の白色画素が、縦、横または斜め方向に互いに隣接する領域を輝点領域として抽出する。そして、基準点検出部１１１は、各輝点領域の重心（以下、単に「輝点」と称する）のTIRF画像の座標系における座標を求める。

図１６は、図１５の２値化画像３１１から検出された輝点Ｐｔ１乃至Ｐｔ１６の位置を示している。

ステップＳ４５において、基準点検出部１１１は、TIRF画像の輝点の３点ずつの組み合わせをリストアップする。例えば、図１６の２値化画像３１１の場合、（輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３）、（輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ４）、・・・、（輝点Ｐｔ１４、輝点Ｐｔ１５、輝点Ｐｔ１６）の、３つの輝点からなる５６０組の組み合わせがリストアップされる。

ステップＳ４６において、基準点検出部１１１は、リストアップしたTIRF画像の輝点の各組み合わせの３点間の角度を計算する。例えば、２値化画像３１１の輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３からなる組み合わせの場合、輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３を頂点とする三角形の各頂点の角度が計算される。そして、この三角形の各頂点の角度の計算が。リストップされた全ての輝点の組み合わせについて行なわれる。

ステップＳ４７において、ステップＳ４４と同様の処理により、コンフォーカル画像の輝点が抽出され、抽出された各輝点のコンフォーカル画像の座標系における座標が求められる。なお、図１７は、図１４のコンフォーカル画像３０１を２値化した２値化画像３２１を示している。また、図１８は、２値化画像３２１から抽出された輝点Ｐｃ１乃至Ｐｃ７の位置を示している。

ステップＳ４８において、ステップＳ４５と同様の処理により、コンフォーカル画像の輝点の３点ずつの組み合わせがリストアップされる。

ステップＳ４９において、ステップＳ４６と同様の処理により、リストアップしたコンフォーカル画像の輝点の各組み合わせの３点間の角度が計算される。

ここで、同じ試料３の境界面Ｓを撮影した画像でも、TIRF画像とコンフォーカル画像とでは、照明光の照射範囲が異なるため、抽出される輝点は必ずしも一致しない。すなわち、TIRF画像の撮影時には、試料３の境界面Ｓの近傍のごく浅い範囲のみにTIRF光が照射される一方、コンフォーカル画像の撮影時には、TIRF光より深い位置までコンフォーカル光が照射される。

具体的には、図１９は、試料３の縦方向の断面を示しており、点Ｐ１乃至Ｐ４は試薬により染色された位置を示している。例えば、TIRF光を試料３の境界面Ｓに照射した場合、境界面Ｓから深さＤ１の範囲までTIRF光が照射され、照射範囲内の点Ｐ１乃至Ｐ３が励起され蛍光を発する。一方、コンフォーカル光を試料３の境界面Ｓに集光した場合、境界面Ｓから深さＤ２の範囲まで発散したコンフォーカル光が照射され、照射範囲内の点Ｐ１乃至Ｐ４が励起され蛍光を発する。従って、TIRF画像では、点Ｐ１乃至Ｐ３の３点が輝点として抽出され、コンフォーカル画像では、点Ｐ１乃至Ｐ４（ピンホール３９と略共役な領域）が輝点として抽出されることになり、抽出される輝点が一致しない。

また、図２０は、試料３の境界面Ｓを撮影したTIRF画像の輝度分布の例を示しており、図２１は、試料３の境界面Ｓを撮影したコンフォーカル画像の輝度分布の例を示している。なお、図２０および図２１の横軸は輝度を示し、縦軸は画素数を示している。図２０と図２１を比較して明らかなように、コンフォーカル画像とTIRF画像とでは輝度分布が異なっているため、２つの画像間で抽出される輝点に違いが出ると考えられる。

そこで、これから説明するステップＳ５０乃至Ｓ５２の処理で、TIRF画像から抽出された輝点とコンフォーカル画像から抽出された輝点の対応付けを行ない、座標変換係数の計算に用いる基準点を決定する。

具体的には、ステップＳ５０において、基準点検出部１１１は、TIRF画像とコンフォーカル画像で３点間の角度が一致する輝点の組み合わせのペアを抽出する。すなわち、基準点検出部１１１は、TIRF画像の輝点の３点ずつの組み合わせのうちの１つと、コンフォーカル画像の輝点の３点ずつの組み合わせのうちの１つとからなるペアの全てについて、３点間の角度を比較し、角度の差が所定の範囲内となるペアを抽出する。

例えば、TIRF画像の輝点Ａ乃至Ｃの組み合わせと、コンフォーカル画像の輝点Ｐ乃至Ｒの組み合わせとからなるペアについて考える。この場合、輝点Ａ乃至Ｃを頂点とする三角形ＡＢＣと、輝点Ｐ乃至Ｒを頂点とする三角形ＰＱＲのそれぞれ対応する角度の差が所定の範囲内（例えば、３度以内）であるとき、換言すれば、三角形ＡＢＣと三角形ＰＱＲがほぼ相似するとき、輝点Ａ乃至Ｃと輝点Ｐ乃至Ｒのペアは、３点間の角度が一致する輝点の組み合わせのペアとして抽出され、角度の差が所定の範囲を超えるとき、輝点Ａ乃至Ｃと輝点Ｐ乃至Ｒのペアは、３点間の角度が一致する輝点の組み合わせのペアとして抽出されない。

ステップＳ５１において、基準点検出部１１１は、３点間の角度が一致する輝点の組み合わせのペアを、３点間の長さの比率に基づいて分類する。具体的には、基準点検出部１１１は、ステップＳ５０において抽出した輝点の組み合わせの各ペアについて、一方の組み合わせにおける輝点の３点間の長さと、他方の組み合わせにおける輝点の３点間の長さとの比率を計算する。

例えば、TIRF画像の輝点Ａ乃至Ｃの組み合わせと、コンフォーカル画像の輝点Ｐ乃至Ｒの組み合わせのペアが抽出されており、輝点Ａ乃至Ｃを頂点とする三角形ＡＢＣと輝点Ｐ乃至Ｒを頂点とする三角形ＰＱＲで、角度ａ≒角度ｐ、角度ｂ≒角度ｑ、角度ｃ≒角度ｒである場合について考える。この場合、三角形ＡＢＣと三角形ＰＱＲはほぼ相似なので、辺ＡＢの長さ／辺ＰＱの長さ≒辺ＢＣの長さ／辺ＱＲの長さ≒辺ＣＡの長さ／辺ＲＰの長さ≒比率αとなり、この比率αが、３点間の長さの比率として求められる。

基準点検出部１１１は、抽出した全てのペアについてこの比率αを計算する。そして、基準点検出部１１１は、比率αに基づいて各ペアを分類する。すなわち、基準点検出部１１１は、比率αの値を所定の間隔で複数の範囲に分け、比率αが同じ値の範囲内に入るペアを１つのグループにまとめる。これにより、３つの輝点を頂点とする三角形の大きさの比率が近い輝点の組み合わせのペアが、１つのグループにまとめられる。

ステップＳ５２において、基準点検出部１１１は、最もペアの数が多いグループに属する輝点を基準点に設定する。すなわち、基準点検出部１１１は、比率αに基づいて分類した輝点の組み合わせのペアからなるグループのうち、ペアの数が最も多いグループに属する輝点を基準点に設定する。

例えば、輝点の組み合わせのペアがグループ１とグループ２に分類され、TIRF画像の輝点Ａ、Ｂ、Ｃと、コンフォーカル画像の輝点Ｐ、Ｑ、Ｒとのペアがグループ１に属し、TIRF画像の輝点Ａ、Ｂ、Ｄと、コンフォーカル画像の輝点Ｐ、Ｑ、Ｓとのペア、および、TIRF画像の輝点Ｂ、Ｄ、Ｆと、コンフォーカル画像の輝点Ｑ、Ｓ、Ｔとのペアがグループ２に属する場合、ペアの数が多いグループ２に属するTIRF画像の輝点Ａ、Ｂ、Ｄ、Ｆ、および、コンフォーカル画像の輝点Ｐ、Ｑ、Ｓ、Ｔが、基準点に設定される。

このステップＳ５０乃至Ｓ５２の処理により、TIRF画像およびコンフォーカル画像において試料３の同じ位置に対応する輝点が、基準点として検出される一方、TIRF画像またはコンフォーカル画像の一方のみに存在する輝点が、基準点として検出されることが防止される。

ステップＳ５３において、図４のステップＳ５の処理と同様に、設定された基準点に基づいて、TIRF画像の座標系とコンフォーカル画像の座標系との間の座標変換係数が計算される。その後、処理はステップＳ５４に進む。

一方、ステップＳ４３において、座標変換係数の計算が必要でないと判定された場合、ステップＳ４４乃至Ｓ５３の処理はスキップされ、処理はステップＳ５４に進む。

ステップＳ５４において、図６のステップＳ２３の処理と同様に、TIRF画像とコンフォーカル画像とが重ね合わされて、表示装置１６に表示される。

このようにして、サンプル試料２０１を用いずに、実際の試料３を撮影した画像に基づいて、座標変換係数が計算され、TIRF画像とコンフォーカル画像を重ね合わせることができる。従って、試料の交換などの手間を省略することができ、より簡単にTIRF画像とコンフォーカル画像を重ね合わせることができる。

なお、図１２のフローチャートにおいて、ステップＳ４３の判定処理を行なわずに、毎回座標変換係数を計算するようにしてもよい。また、ステップＳ５０乃至Ｓ５２の処理で、各画像から基準点が４点ずつ以上検出された場合、そのうちの３点ずつのみを用いて、座標変換係数を計算するようにしてもよい。

なお、以上の説明では、同じ顕微鏡１１を用いて撮影したTIRF画像およびコンフォーカル画像の重ね合わせを行なう処理について説明したが、本発明は、異なる顕微鏡を用いて同じ試料を撮影したTIRF画像とコンフォーカル画像とを重ね合わせる場合にも適用することができる。

また、以上の説明では、コンフォーカル画像の座標系をTIRF画像の座標系に変換して、画像を重ね合わせる例を示したが、逆に、TIRF画像の座標系をコンフォーカル画像の座標系に変換して、画像を重ね合わせるようにしてもよい。あるいは、TIRF画像の座標系とコンフォーカル画像の座標系を、２つの座標系とは異なる第３の座標系に変換して、画像を重ね合わせるようにしてもよい。

また、以上の説明では、コンフォーカル画像とTIRF画像との重ね合わせ処理について説明したが、コンフォーカル画像と蛍光観察画像（いわゆる通常の光学顕微鏡により取得）、超解像画像（超解像用顕微鏡により取得）、および位相差観察画像（位相差顕微鏡により取得）のうちのいずれか一つとの重ね合わせ処理でもよい。また、TIRF画像と蛍光観察画像、超解像画像、位相差観察画像のうちのいずれか一つとの重ね合わせ処理でもよい。

さらに、画像処理部１０１の機能を、必ずしもコンピュータ１５に搭載する必要はなく、例えば、顕微鏡１１に搭載するようにしてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、例えば、そのソフトウエアを構成するプログラムが、コンピュータ１５にインストールされる。ここで、コンピュータ１５には、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

コンピュータ１５が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。さらに、プログラムは、コンピュータ１５のメモリなどに、あらかじめインストールしておくことができる。

なお、コンピュータ１５が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 顕微鏡システム， ２ カバーガラス， ３ 試料， １１ 顕微鏡， １２ 画像生成回路， １３ 撮像装置， １４ 画像生成回路， １５ コンピュータ， １６ 表示装置， １０１ 画像処理部， １１１ 基準点検出部， １１２ 座標変換係数計算部， １１３ 重ね合わせ部

Claims (13)

1. 第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点が、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ３点以上検出する基準点検出手段と、
   前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算する計算手段と、
   前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせる重ね合わせ手段と
   を含む画像処理装置。
2. 前記基準点検出手段は、前記第１の蛍光画像における前記複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、前記第２の蛍光画像における前記複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアを互いに比較して、前記基準点を３点以上検出する
   請求項１に記載の画像処理装置。
3. 前記基準点検出手段は、前記第１の輝点の組み合わせと前記第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点を前記基準点として検出する
   請求項２に記載の画像処理装置。
4. 前記基準点検出手段は、３角形が相似する前記ペアを、一方の組み合わせにおける輝点の３点間の長さと、他方の組み合わせにおける輝点の３点間の長さとの比率に基づいて複数のグループに分類した場合に、最もペアの数が多いグループに属する輝点を基準点に設定する
   請求項３に記載の画像処理装置。
5. 前記基準点検出手段は、前記第１の蛍光画像を所定の閾値を用いて２値化した第１の２値化画像、および、前記第２の蛍光画像を所定の閾値を用いて２値化した第２の２値化画像を用いて前記輝点を抽出する
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記計算手段は、前記第１の座標系と前記第２の座標系とをヘルマート変換により相互に変換する場合の前記変換係数を計算する
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記計算手段は、前記第１の座標系と前記第２の座標系とは異なる第３の座標系に変換する場合の前記変換係数を計算する
   請求項１乃至５のいずれかに記載の画像処理装置。
8. 前記第１の顕微鏡は全反射顕微鏡であり、前記第２の顕微鏡は共焦点顕微鏡であり、
   前記所定面は、前記全反射顕微鏡における照明光を前記試料とカバーガラスとの界面において全反射させる面である
   請求項１乃至７のいずれかに記載の画像処理装置。
9. 第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点が、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ3点以上検出し、
   前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算し、
   前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせる
   ステップを含む画像処理方法。
10. 第１の顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点が、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ3点以上検出し、
    前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算し、
    前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせる
    ステップを含む処理をコンピュータに実行させるためのプログラム。
11. 第１の顕微鏡および第２の顕微鏡として使用することができる顕微鏡において、
    前記第１の顕微鏡として使用した場合に取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点、及び前記第２の顕微鏡として使用した場合に取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点が、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられるか否か判定するとともに、対応付けられた輝点を基準点としてそれぞれ3点以上検出する基準点検出手段と、
    前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算する計算手段と、
    前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせる重ね合わせ手段と
    を含む顕微鏡。
12. 全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点を、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出する基準点検出手段と、
    前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算する計算手段と、
    前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせるか、或いは、前記共焦点顕微鏡を用いて取得した、前記所定面とは異なる前記試料の面に関する画像を前記第１の蛍光画像と重ね合わせる重ね合わせ手段と
    を含む画像処理装置。
13. 全反射顕微鏡を用いて取得した、試薬により染色された試料の所定面に関する第１の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第１の輝点の組み合わせと、共焦点顕微鏡を用いて取得した前記試料の前記所定面に関する第２の蛍光画像における複数の輝点のうちから選択された３つの輝点からなる第２の輝点の組み合わせとのペアのうち、各組み合わせに含まれる３つの輝点を頂点とする３角形が相似するペアに含まれる輝点を、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられる基準点としてそれぞれ検出し、
    前記第１の蛍光画像における前記基準点の第１の座標系と前記第２の蛍光画像における前記基準点の第２の座標系とを合致させるための変換係数を計算し、
    前記変換係数を用いて、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせるか、或いは、前記共焦点顕微鏡を用いて取得した、前記所定面とは異なる前記試料の面に関する画像を前記第１の蛍光画像と重ね合わせる
    ステップを含む画像処理方法。

Images