JP2007024927A - 顕微鏡画像撮影装置 - Google Patents

Abstract

【課題】処理時間および画質面での問題を生じることなく所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築できるようにする。
【解決手段】顕微鏡画像撮影装置は、スライドガラス標本９をＸＹ・θ方向へ移動・回転させる駆動制御部１６・１８と、角度θ，撮影倍率，及び撮影領域の設定や、その撮影倍率及び撮影領域から顕微鏡分割画像の撮影座標の決定や、その撮影座標での顕微鏡分割画像の撮影や、その顕微鏡分割画像を位置関係に矛盾なくつなぎ合わせることによる顕微鏡画像の構築などを行うホストシステム１９と、画像を表示するモニタ２３等を備える。
【選択図】図１

Description

本発明は、標本の顕微鏡画像を撮影する顕微鏡画像撮影装置に関し、特に、その広画角かつ高精細の顕微鏡デジタル画像を撮影する顕微鏡画像撮影装置に関する。

顕微鏡を用いて標本の観察をする場合、一度に観察できる範囲は、主に対物レンズの倍率によって決定され、対物レンズが高倍率になると観察範囲が狭くなるが高精細な画像を観察できる。

特許文献１には、この高精細な顕微鏡画像の部分画像の画像貼り合わせにより、広画角かつ高精細な画像を形成する顕微鏡装置が提案されている。このようにして得られた広画角かつ高精細の顕微鏡デジタル画像を基にして実際に顕微鏡下で標本観察するように観察位置変更や観察倍率の変更などを画像処理を施すことにより観察者に対して提供することができる。

また、特許文献２には、顕微鏡を使用し分割画像の位置関係に矛盾がないように画像をつなぎ合わせるにあたり撮像の歪やシェーディング補正を考慮した提案がされている。
一旦デジタル画像となれば、画像データをサーバ上に管理することにより複数のクライアントからネットワーク経由で同一のデジタル画像を閲覧できる。また、デジタル画像を、表示制御する同一の観察モニタに並べて表示することにより比較観察ができる。例えば同一の標本ではあるが異なる染色を施した複数のスライドガラス標本の広画角かつ高精細の顕微鏡デジタル画像を作成し、これを並べて表示することにより、顕微鏡を用いては不可能であった、同一標本の他染色画像比較を同一座標・角度で且つ弱拡大から強拡大まで同期表示比較することができる。
特開平０９−２８１４０５号公報 特開２００１−２７４９７３号公報

しかしながら、同一標本の異なる染色を施した複数のスライドガラス標本を広画角かつ高精細の顕微鏡デジタル画像を用いて比較するにあたり、スライドガラス上への組織薄切片の貼り付けが問題となる。すなわち、スライドガラス上に組織薄切片の貼り付けをする際に、通常、スライドガラスラベルを左端にし、粘膜面が手前になるように載せるが、この作業は人の手作業で行われているために、異なるスライドガラス上に同一の位置・角度で組織薄切片を載せることは非常に困難である。

そこで、出来上がったデジタル画像に対し回転処理などの画像処理を施して同一の位置・角度の画像にする方法が考えられるが、広画角かつ高精細のデジタル画像ゆえにサイズが大きいことから処理時間がかかることは容易に想像できる。また、その回転処理を施した場合、９０度回転、１８０度回転、２７０度回転は、デジタル処理として、その座標の配列変換により画質を劣化させることなく容易に構築できるが、任意の角度となるとデータ補間が必要となり画質面に問題が生じる。

本発明は、上記実情に鑑み、処理時間および画質面での問題を生じることなく所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築できる顕微鏡画像撮影装置を提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る顕微鏡画像撮影装置は、対物レンズの光軸に対して垂直方向にステージを相対的に移動することにより前記ステージ上の標本を前記垂直方向へ移動させる移動手段と、前記ステージ上の標本を回転させる回転手段と、前記回転手段により回転させる角度を設定する角度設定手段と、対物レンズ或いは中間倍率レンズを設定することにより撮影倍率を設定する撮影倍率設定手段と、撮影領域を設定する撮影領域設定手段と、前記撮影倍率設定手段により設定された撮影倍率と前記撮影領域設定手段により設定された撮影領域とから、顕微鏡分割画像の撮影座標を決定する撮影座標決定手段と、前記撮影座標決定手段により決定された撮影座標の顕微鏡分割画像を撮影する顕微鏡分割画像撮影手段と、前記分割画像撮影手段により撮影された顕微鏡分割画像を位置関係に矛盾がないようにつなぎ合わせて顕微鏡画像を構築する画像構築手段と、画像を表示する画像表示手段と、を備えることを特徴とする。

また、本発明の第２の態様に係る顕微鏡画像撮影装置は、上記第１の態様において、マクロ画像を撮影するマクロ画像撮影手段と、前記画像表示手段により表示された前記マクロ画像上の少なくとも２つの基準位置を指示する第１の指示手段と、前記第１の指示手段により指示された２つの基準位置を基に、前記角度設定手段により設定される角度を算出する第１の角度算出手段と、を更に備えることを特徴とする。

また、本発明の第３の態様に係る顕微鏡画像撮影装置は、上記第１又は２の態様において、顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とが前記画像表示手段により並べて表示されているときに、前記移動手段による移動及び前記回転手段による回転により前記顕微鏡ライブ画像の位置関係を前記顕微鏡画像に合わせることが可能である、ことを特徴とする。

また、本発明の第４の態様に係る顕微鏡画像撮影装置は、上記第１又は２の態様において、顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とが前記画像表示手段により並べて表示されているときに、前記顕微鏡ライブ画像上の少なくとも２つの基準位置を指示する第２の指示手段と、前記第２の指示手段により指示された２つの基準位置を基に、前記角度設定手段により設定される角度を算出する第２の角度算出手段と、を更に備えることを特徴とする。

また、本発明の第５の態様に係る顕微鏡画像撮影装置は、上記第１又は２の態様において、顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とを比較する画像比較手段と、前記画像比較手段による比較結果に基づき、前記角度設定手段により設定される角度を算出する第２の角度算出手段と、を更に備えることを特徴とする。

また、本発明は、上記の装置のほか、プログラムとして構成することも可能である。

本発明によれば、処理時間および画質面での問題を生じることなく所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築可能な顕微鏡画像撮影装置を提供できるので、同一標本の他染色画像同期比較観察を行い易くすることもできる。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、本発明の実施例１に係る顕微鏡画像撮影装置の全体構成を示す図である。図２は、その顕微鏡画像撮影装置が備えるステージを対物レンズ側から見た図である。
図１において、点線aで囲んで示した顕微鏡装置は、透過観察用光学系として、透過照明用光源１と、この光源１の照明光を集光するコレクタレンズ２と、透過用フィルタユニット３と、透過視野絞り４と、透過開口絞り６と、コンデンサ光学素子ユニット７と、図示しないトップレンズユニット等を備えている。

また、観察光路上には、ＸＹ方向及びＺ方向（上下方向）に移動可能な、標本を搭載するための電動ステージ（以下単に「ステージ」という）８を備えており、そのステージ８の一部である後述の回転中座部がＸＹ平面上を回転可能に構成されている。ここで、ステージ８のＸＹ方向への移動はステージＸＹ駆動制御部１６により行われ、ステージ８のＺ方向への移動はステージＺ駆動制御部１７により行われ、ステージ８の回転中座部の回転はステージ回転駆動制御部１８により行われる。

尚、同図の構成では、ステージ８が対物レンズ１０の光軸に対して垂直方向に移動する構成としているが、対物レンズ１０の光軸に対して垂直方向に相対的に移動するのであれば他の構成を用いることも可能である。

また、同図の構成では、後述するホストシステム１９下でステージ８の回転中座部の回転を制御することを想定しているが、回転中座部を手動操作により回転させることも可能になっており、この場合には、ステージ回転駆動制御部１８による制御は不要となる。

ステージ８は、図２に示したように、点線矢印８ａの方向（Ｘ方向）にステージ８を駆動するＸ方向駆動部（不図示）と、点線矢印８ｂの方向（Ｙ方向）にステージ８を駆動するＹ方向駆動部（不図示）と、点線矢印８ｃの方向（θ方向）に回転中座部８ｅを回転駆動する回転駆動部（不図示）を含んで構成されている。回転中座部８ｅ上には、スライドガラス標本（標本が貼り付けられたスライドガラス）９を保持するための保持部材８ｄが設けられ、ステージ８中でスライドガラス標本９を回転することが可能になっている。

尚、この保持部材８ｄは、スライドガラス標本９が保持された回転中座部８ｅを１８０°回転させたときに、スライドガラス標本９の外形の位置関係が、その回転前後で一致するように設けられる。また、保持部材８ｄは、メカ部材の他、図示しない吸着ユニットにより保持するようにすることも可能である。

また、観察光路上には、さらに、複数装着された対物レンズ１０を回転動作で選択するレボルバ１１を備え、対物レンズ１０に入射したスライドガラス標本９の標本像は、中間倍率レンズ１２を通してカメラ１３へ導かれるようになっている。

このような点線aで囲んで示した顕微鏡装置において、各ユニットは電動化されており、顕微鏡コントローラ１５から駆動可能となっている。
ホストシステム１９に接続された顕微鏡コントローラ１５は、点線ａで囲んで示した顕微鏡装置の全体動作を制御する機能を有するもので、例えばホストシステム１９からの制御信号により光源１の調光等も行うことが可能になっている。また、顕微鏡コントロールラ１５は、ステージＸＹ駆動制御部１６、ステージＺ駆動制御部１７、及びステージ回転駆動制御部１８にも接続されており、ホストシステム１９からステージ８の制御も可能になっている。

尚、図１の構成では、顕微鏡コントローラ１５を経由して、ステージＸＹ駆動制御部１６、ステージＺ駆動制御部１７、及びステージ回転駆動制御部１８をホストシステム１９が制御する構成となっているが、ステージＸＹ駆動制御部１６、ステージＺ駆動制御部１７、及びステージ回転駆動制御部１８のそれぞれのコントローラをホストシステム１９が備えることにより、直接ホストシステム１９より各駆動制御部を制御する構成とすることも可能である。

一方、カメラ１３によって撮像されたスライドガラス標本９の画像は、画像キャプチャユニット１４によりホストシステム１９に取得される。ホストシステム１９は、カメラコントローラ５を介してカメラ１３に自動ゲイン制御のＯＮ／ＯＦＦ及びゲイン設定また露出に関しては自動露出制御のＯＮ／ＯＦＦ及び露出時間設定が可能となっている。カメラ１３によって取得された画像は、ホストシステム１９内でステージ座標系から画像保存データアドレスへ変換する座標変換部２０と部分画像から隣り合う画像を貼り合わせる画像合成部２１とを経由して、データ記録部２２に保存することが可能となっている。また、ホストシステム１９は、カメラ１３によって取得された画像のコントラストから合焦動作を行うことが可能な、いわゆるビデオＡＦ機能も備えている。また、ホストシステム１９は、マウスやキーボードや専用操作パネルなどの入力指示部（以下単に「指示部」という）２４とも接続されており、操作指示機能も備えている。また、データ記録部２２に記録された画像は、ホストシステム１９に接続されたモニタ２３によって表示できるものとなっており、指示部２４による倍率や観察位置の指示により、座標変換部２０と表示処理部２５を経由してデータ記録部２２に記録された画像を読み出し、それを基に表示処理部２５でモニタ表示する情報を作成してモニタ２３に表示することが可能になっている。

尚、不図示であるが、観察光路を接眼レンズ（ＢＩ）とカメラ１３側に分岐するビームスプリッタや落射観察ユニットを備えるようにしても良い。
以上のような接続により、ホストシステム１９から顕微鏡装置内部の電動部位を含む全てのユニットの制御が可能になっている。

尚、ホストシステム１９は、制御プログラム２６ａが記録された記録媒体２６を備えており、この制御プログラム２６ａを読み出し実行することによって、顕微鏡画像撮影装置の全体動作を制御することが可能になっている。また、この制御プログラム２６ａには、操作者が容易に操作できるように、操作モニタ２３に操作制御画面を表示する操作制御画面表示プログラムも実装されており、これにより、操作者はキーボード、マウス、あるいは専用操作パネルなどの指示部２４により操作指示することによって、顕微鏡装置及び画像取り込み制御などの操作指示が可能となっている。

以上が、顕微鏡画像撮影装置の構成概略説明である。
次に、このような構成の顕微鏡画像撮影装置を用いて本発明の目的である所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築するための制御方法・手順について、図３乃至５を用いて説明する。

まず、ステージ８の回転中座部８ｅの回転を手動操作により行う場合の例を、図３を用いて説明する。尚、回転中座部８ｅの回転可能角度は±１８０°となっており、いかなる回転角度にも対応できるようになっている。また、図示はしないが、回転角度設定後に、その回転角度を保持できるよう回転ロック機能も設けられている。

図３は、この場合の制御方法・手順を示すフローチャートである。
同図に示したように、まず、不図示の接眼レンズ（ＢＩ）あるいはカメラ１３の顕微鏡動画像（顕微鏡ライブ画像）を観察しながらステージ８の回転中座部８ｅを手動操作により回転させて所望の角度に設定する（ステップ（以下単に「Ｓ」という）１）。もちろん顕微鏡動画像の観察下ではなく肉眼にて角度設定しても構わない。続いて、広画角かつ高精細の顕微鏡デジタル画像を構築するための対物レンズ倍率（対物レンズ１０）或いは中間倍率（中間倍率レンズ１２）を設定する（Ｓ２）。続いて、撮影領域を決定（設定）する（Ｓ３）。撮影領域は、モニタ２３に表示されたソフトウェア画面（操作制御画面）上に領域指示することにより設定される。続いて、Ｓ２で設定された対物レンズ１０或いは中間倍率レンズ１２の情報とＳ３で設定された撮影領域とから、分割撮影する座標（以下「分割撮影座標」という）を決定する（（Ｘ0，Ｙ0）〜（Ｘmax，Ｙmax），但し、Ｘ0、Ｙ0は初期値）（Ｓ４）。尚、この分割撮影座標は、顕微鏡分割画像の撮影座標のことである。

続いて、分割撮影座標（Ｘi，Ｙj）へステージ８を移動し（Ｓ５）、その分割撮影座標（Ｘi，Ｙj）の画像（分割撮影画像ともいう）を撮影し、隣り合う画像がある場合には位置関係に矛盾がないようにその張り合わせ（つなぎ合わせ）を行う（Ｓ６）。尚、分割撮影座標の画像は、顕微鏡分割画像のことである。続いて、全ての分割撮影座標の画像を撮影したか否かを判定し（Ｓ７）、その判定結果がＮｏの場合にはＳ４へ戻り、Ｙｅｓの場合には本フローが終了する。このように全ての分割撮影座標の画像の撮影が終了（Ｓ７がＹｅｓ）するまで、ステージ８の移動（Ｓ５）と、画像の撮影及び隣り合う画像がある場合のその貼り合わせ（Ｓ６）とを繰り返す。もちろん、画像の撮影途中でステージトラブルなどの問題があれば、途中中断処理を入れても良い。

これにより、ステージ８の回転中座部８ｅの回転を手動操作により行う場合において、広画角かつ高精細の顕微鏡デジタル画像を所望の角度で撮影することができる。
尚、本フローにおいて、モニタ画面上の領域からステージ座標への変換、分割撮影座標の決定方法、分割撮影画像の撮影、及び画像合成（画像貼り合わせ）については、上記の特許文献１に記載されているので、ここではその説明を割愛する。

次に、ステージ８の回転中座部８ｅの回転を電動制御により行う場合の例を、図４及び図５(a),(b),(c) を用いて説明する。
図４は、この場合の制御方法・手順を示すフローチャートである。図５(a) 乃至(c) は、図４に示したフローの実行による回転中座部８ｅの回転の一例を説明する図である。

図４に示したように、まず、ホストシステム１９よりステージ回転駆動制御部１８を制御し、ステージ８の回転中座部８ｅの回転角度を０°にする（Ｓ１１）。続いて、その回転角が０°の状態で、マクロ像、すなわちスライドガラス標本９の標本全体像を撮影し、マクロ画像を取得する（Ｓ１２）。

尚、マクロ画像は、例えば特開平６−３６００号公報に記載されているような顕微鏡以外のマクロ撮影光学系での撮影により取得するようにしてもよく、あるいは、顕微鏡対物レンズを低倍に設定し、マクロ像撮影領域をステージ移動して分割撮影画像の撮影を実施すると共に分割撮影画像の合成により構築しても良い。また、マクロ画像は、スライドガラス上のどこに標本が存在するのか確認できるレベルでよいので、画像サイズはＶＧＡ(６４０×４８０ピクセル)程度で充分である。また、分割撮影画像を合成してマクロ画像を構築した場合には、マクロ画像を縮小して、後に画像回転などの画像処理を施すのに支障のないようにする。

続いて、Ｓ１２で取得されたマクロ画像を基にモニタ２３画面で上となる基準位置を２箇所指示する（Ｓ１３）。この指示は、例えば、Ｓ１２で取得されたマクロ画像をモニタ２３画面に表示し、操作者がモニタ２３画面の上側の位置にさせたいそのマクロ画面上の２点を指示することにより行われる。

例えば、図５(a) において、Ａ点（Ｘ1,Ｙ1）とＢ点（Ｘ2,Ｙ2）は、Ｓ１３で指示された２点（２箇所の基準位置）に対応する実際の位置を示している。尚、同図(a) に示したスライドガラス標本９において、符号９ａは標本を、符号９ｂはスライドガラスラベルを示している（同図(b),(c) において同じ）。

続いて、Ｓ１３で指示された２点を結ぶ直線がステージ８のＸ軸と平行になるように、その２点の座標から回転角度θを算出する（Ｓ１４）。尚、この回転角度θの算出では、その２点の座標値として、モニタ２３上のソフトウェア画面の座標からステージ座標に変換した値を用い、その回転角度θは、次式により求められる。

続いて、その２点から算出された回転角度θでステージ回転駆動制御部１８により回転中座部８ｅを回転させる（Ｓ１５）。

図５(b) は、回転角度θで回転したときの回転中座部８ｅを示している。
続いて、その回転角度θに応じて、Ｓ１２で取得されたマクロ画像をデジタル画像処理により回転させる（Ｓ１６）。尚、マクロ画像は、前述したように画像サイズが大きくないのでデジタル画像処理による回転処理時間は長くかからない。

続いて、回転させたマクロ画像上で高精細画像の撮影領域を設定する（Ｓ１７）。続いて、対物レンズ倍率（対物レンズ１０）或いは中間倍率（中間倍率レンズ１２）を設定する（Ｓ１８）。続いて、Ｓ１７で設定された撮影領域とＳ１８で設定された対物レンズ１０或いは中間倍率レンズ１２の情報とから、撮影するステージ座標である分割撮影座標（Ｘ0,Ｙ0）〜（Ｘmax,Ｙmax）（但し、Ｘ0,Ｙ0を初期値とする）を決定する（Ｓ１９）。

図５(c) は、Ｓ１６で回転させたマクロ画像を基に決定された分割撮影座標（Ｘ0,Ｙ0）〜（Ｘmax,Ｙmax）を示した図である。
続くＳ２０乃至２２では、前述の図３のＳ５乃至７の処理と同様の処理を行う。すなわち、全ての分割撮影座標の画像の撮影が終了（Ｓ２２がＹｅｓ）するまで、ステージの移動（Ｓ２０）と、画像の撮影及び隣り合う画像がある場合のその貼り合わせ（Ｓ２１）とを繰り返す。

これにより、ステージ８の回転中座部８ｅの回転を電動制御により行う場合において、広画角かつ高精細の顕微鏡デジタル画像を所望の角度で撮影することができる。
尚、本実施例では、フォーカス処理についての詳細を説明していないが、例えば、スライドガラス標本９が載置される回転中座部８ｅのＸＹ平面の水平精度によっては、それが回転することによってＺ補正が必要になる場合もある。この場合には、回転角度０°の状態での任意のＸＹ座標（例えば３点のＸＹ座標）におけるＺ座標の情報を予め保有しておき、それを回転させたときに、座標変換によりＺ補正情報を算出し、そのＺ補正情報を用いてＺ補正を行うようにすることも可能であることは言うまでもない。

次に、この所望の角度で広画角かつ高精細の顕微鏡デジタル画像を構築可能な顕微鏡画像撮影装置を用いて同一標本の他染色画像を比較する方法について、図６(a),(b),(c),(d),(e),(f),(g),(h),(i)を用いて説明する。

図６(a) 乃至(i) は、２つの異なる染色方法としてＡ染色とＢ染色が施されたスライドガラス標本を比較観察しやすくするために、同一の角度で広画角かつ高精細の顕微鏡デジタル画像を撮影する方法を説明する図である。

このような比較観察は、広画角かつ高精細の顕微鏡デジタル画像を同一の位置・角度で撮影することにより行い易くなる。
まず、Ａ染色が施されたスライドガラス標本の角度を考慮した広画角かつ高精細の顕微鏡デジタル画像を、前述の図４及び図５を用いて説明した手法を用いて取得する。すなわち、Ａ染色が施されたスライドガラス標本のマクロ像を撮影し、得られたマクロ画像より２つの基準位置Ａ，Ｂ点の設定を行う(図６(a) 参照)。続いて、そのＡ，Ｂ点より回転角度θを算出し、その回転角度θで回転中座部８ｅを回転させる（同図(b) 参照）と共にマクロ画像も回転させる。そして、撮影領域の設定を行い（同図(c) 参照）、分割撮影画像の撮影と画像合成（画像の貼り合わせ）を行い（同図(d) 参照）、Ａ染色に係る広画角かつ高精細の顕微鏡デジタル画像を構築する。

続いて、Ｂ染色が施されたスライドガラス標本の角度を考慮した広画角かつ高精細画像の顕微鏡デジタル画像を同様のようにして取得する。すなわち、Ａ染色のときと同様に、マクロ像を撮影し、得られたマクロ画像より２つの基準位置Ａ，Ｂ点の設定を行う(同図(e) 参照)。但し、このときの２つの基準位置は、Ａ染色に係るマクロ画像に対して設定した２つの基準位置と同様の位置になるように設定する。続いて、そのＡ，Ｂ点より回転角度θを算出し、その回転角度θで回転中座部８ｅを回転させる（同図(f) 参照）と共にマクロ画像も回転させる。そして、Ａ染色と同一の撮影領域の設定を行い（同図(g) 参照）、分割撮影画像の撮影と画像合成（画像の貼り合わせ）を行い（同図(h) 参照）、Ｂ染色に係る広画角かつ高精細のデジタル画像を構築する。

続いて、このようにして構築されたＡ染色とＢ染色の広画角かつ高精細の顕微鏡デジタル画像をモニタ２３上に並べて表示し、観察位置、観察倍率を同一にして比較観察ができるようにする（同図(i) 参照）。

これにより、従来の装置ではできなかった、同一標本の他染色画像比較を高精細な画像を用いて行うことができる。

実施例１では、所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築するために標本をその所望の角度に設定して撮影する方法について説明し、更に、その角度設定機能により同一標本の他染色画像比較を行い易くする方法を説明した。実施例２では、実施例１で説明した顕微鏡画像撮影装置を用いて同一標本の他染色画像比較を行う際に、顕微鏡デジタル画像と顕微鏡動画像（顕微鏡ライブ画像）とを並べて表示し、顕微鏡デジタル画像を観察しながら顕微鏡動画像の角度を設定して撮影を行うようにする方法について説明する。

図７(a),(b),(c) は、その角度設定を行う際にモニタ２３に表示される操作制御画面の一例を示す図である。図８は、その操作制御画面の表示を含む、本実施例に係る同一標本の他染色画像比較を行う場合の制御方法・手順を示すフローチャートである。

まず、図７(a) を用いて、その操作制御画面について説明する。
同図(a) に示したように、操作制御画面には、点線３１で囲んだ部分に既に構築済みのＡ染色のスライドガラス標本の広画角かつ高精細の顕微鏡デジタル画像が表示される。詳しくは、そのＡ染色の顕微鏡デジタル画像に基づいて生成された、ミクロ拡大画像３２とマクロ画像３３とが表示される。

また、顕微鏡動画像３４は、ステージ８の回転中座部８ｅ上に載置された、Ｂ染色のスライドガラス標本の顕微鏡動画像である。このように、この操作制御画面では、回転中座部８ｅ上に載置されたスライドガラス標本の顕微鏡動画像を観察することが可能になっている。

また、操作制御画面には、表示倍率を切り替えるための表示倍率切替ボタン３５（３５ａ，３５ｂ，３５ｃ）と、ステージ８をＸＹ方向へ移動させるためのステージ移動ボタン３６と、回転中座部８ｅを回転させるためのステージ回転ボタン３７も表示され、指示部２４の操作によりこれらを選択することによって、表示倍率の切り替え，ステージ８のＸＹ移動，及び回転中座部８ｅの回転が可能になっている。

具体的には、所望の表示倍率切替ボタン３５を選択することにより、操作制御画面のミクロ拡大画像３２が、その選択に応じた表示倍率の画像へ切り替わると共に、その選択に応じて顕微鏡装置の対物レボルバ１１が回転して対応する倍率の対物レンズ１０へ切り替わることで顕微鏡動画像７４の表示も切り替わるようになっている。

また、ステージ移動ボタン３６及びステージ回転ボタン３７を選択することにより、ステージ８を所望のＸＹ方向へ移動すること及び回転中座部８ｅを所望の回転位置へ回転させることを制御することができ、これにより、Ａ染色の顕微鏡デジタル画像と比較しながら、Ｂ染色の顕微鏡動画像の観察位置を制御することができるようになっている。

続いて、このような操作制御画面の表示を含む、本実施例に係る同一標本の他染色画像比較を行う場合の制御方法・手順について、図８及び必要に応じて図７(a),(b),(c) を用いて説明する。

図８に示したように、まず、Ｓ３１乃至３３では、図４を用いて説明した手法に従って、Ａ染色のスライドガラス標本の広画角かつ高精細の顕微鏡デジタル画像を構築する。詳しい説明は省略するが簡単に説明すると、まず、Ａ染色のスライドガラス標本のマクロ像を撮影する（Ｓ３１）。続いて、２つの基準位置（Ａ点，Ｂ点）を設定し、算出した回転角度θを設定する（Ｓ３２）。続いて、撮影領域及び対物レンズ倍率（対物レンズ１０）或いは中間倍率（中間倍率レンズ１２）を設定して分割撮影画像を撮影し、Ａ染色のスライドガラス標本の広画角かつ高精細の顕微鏡デジタル画像を構築する（Ｓ３３）。

続いて、Ｂ染色のスライドガラス標本をステージ８へ載せかえ、Ｓ３３で構築されたＡ染色の顕微鏡デジタル画像と、Ｂ染色の顕微鏡動画像とを比較観察できるように並べて表示する（Ｓ３４）。尚、画像の並べ方は、図７(a),(b),(c) に示したように横に並べる他、縦に並べるようにしてもよい。

続いて、並べて表示されているＡ染色の顕微鏡デジタル画像（ミクロ拡大画像３２）とＢ染色の顕微鏡動画像３４とを同一の低倍率画像にする（Ｓ３５）。これは、操作制御画面の表示倍率切替ボタン３５を選択することにより行われる。例えば、図７(a) に示した操作制御画面において表示倍率切替ボタン３５ａを選択して表示倍率を４ｘにすると、ミクロ拡大画像３２として、Ｓ３３で構築されたＡ染色の顕微鏡デジタル画像から生成した４ｘ画像が表示されると共に、顕微鏡動画像３４として、顕微鏡装置のレボルバ１１を回転させて対物レンズ１０を４ｘに切り替えた後のＢ染色の顕微鏡動画像が表示される。

続いて、表示されているミクロ拡大画像３２において、Ｓ３２で設定された基準位置Ａ点が含まれていない場合には、その基準位置Ａ点が含まれるようにミクロ拡大画像３２を表示する。

続いて、Ｂ染色の顕微鏡動画像３４を観察しながら、この顕微鏡動画像３４が、ミクロ拡大画像３２として表示されている基準位置Ａ点を含むＡ染色の顕微鏡デジタル画像と同一の位置・角度となるようにする（Ｓ３７）。これは、操作制御画面のステージ移動ボタン３６及びステージ回転ボタン３７を選択することにより行われる。このようにして、図７(b) に示したように、Ｂ染色の顕微鏡動画像３４が、ミクロ拡大画像３２として表示されている基準位置Ａ点を含むＡ染色の顕微鏡デジタル画像と同一の位置・角度になったら、操作制御画面上の不図示の確定ボタンの選択により、Ｂ染色の顕微鏡動画像３４の位置・角度が決定する。

続いて、ミクロ拡大画像３２として表示されている基準位置Ａ点を含むＡ染色の顕微鏡デジタル画像とＢ染色の顕微鏡動画像３４の表示倍率を、同一の倍率で上げる（Ｓ３８）。これも、操作制御画面の表示倍率切替ボタン３５を選択することにより行われる。例えば、図７(b) に示した操作制御画面において表示倍率切替ボタン３５ｂを選択すると、図７(c) に示したように、それぞれの表示倍率が１０ｘになる。

続いて、前述のＳ３７と同様に、再び、Ｂ染色の顕微鏡動画像３４を観察しながら、この顕微鏡動画像３４が、Ａ染色の顕微鏡デジタル画像と同一の位置・角度となるようにする（Ｓ３９）。これは、位置・角度の精度を上げるために行われるものである。このようにして、Ｂ染色の顕微鏡動画像３４が、ミクロ拡大画像３２として表示されているＡ染色の顕微鏡デジタル画像と、より同一の位置・角度になったら、Ｓ３３で設定された撮影領域及び対物レンズ１０の情報或いは中間倍率レンズ１２の情報を読み込み（Ｓ４０）、Ｂ染色のスライドガラス標本の分割撮影画像を撮影・合成し（画像の貼り合わせを行い）、Ｂ染色のスライドガラス標本の広画角かつ高精細の顕微鏡デジタル画像を構築する（Ｓ４１）。

続いて、Ａ染色の顕微鏡デジタル画像とＢ染色の顕微鏡デジタル画像とを並べて表示し、所望の表示倍率や所望の位置を同期させて比較観察を行うことができるようにする（Ｓ４２）。

これにより、同一標本ではあるがＡ染色とＢ染色といった染色方法の異なる２つの標本を撮影して得られた広画角かつ高精細の顕微鏡デジタル画像を、ほぼ同一の領域・角度で観察することができる。

尚、本実施例において、顕微鏡デジタル画像と顕微鏡動画像（顕微鏡ライブ画像）とを並べて表示し顕微鏡デジタル画像を観察しながら顕微鏡動画像の角度を設定する方法としては、その他、顕微鏡デジタル画像上の２つの基準位置と同じ位置を顕微鏡動画像上に指示することにより行うようにすることも可能である。

図９(a),(b) は、そのようにして顕微鏡動画像の角度設定を行う場合にモニタ２３に表示される操作制御画面の一例を示す図である。尚、同図(a),(b) において、図７(a)乃至(c) に示した要素と同一の要素は同一の符号を付している。

図９(a) に示したように、まず、操作制御画面上のＡ点ボタン４１を選択すると、ミクロ拡大画像３２として、基準位置Ａ点付近のＡ染色の顕微鏡デジタル画像が表示される。このとき、この顕微鏡デジタル画像上には基準位置Ａ点を示すマーク４２（×印）も併せて表示される。

続いて、表示されているＢ染色の顕微鏡動画像３４が、ミクロ拡大画像３２として表示されている基準位置Ａ点付近のＡ染色の顕微鏡デジタル画像と、なるべく位置関係が同じになるように、ステージ移動ボタン３６を選択してステージ８をＸＹ移動する。

続いて、そのような位置関係の顕微鏡動画像３４が得られたらステージ８の移動を止め、マーク４２と同一の位置となる、Ｂ染色の顕微鏡動画像３４上の位置をマウスなどの指示部２４で指示する。これにより、その顕微鏡動画像３４上の指示された位置にマーク４３（×印）が表示される。続いて、ａ点登録ボタン４４を選択すると、そのマーク４３の位置がＢ染色のスライドガラス標本の基準位置a点として登録される。

同様にして、同図(b) に示したように、Ｂ点ボタン４５を選択して、ミクロ拡大画像３２として、基準位置Ｂ点を示すマーク４６を含むＡ染色の顕微鏡デジタル画像を表示させ、Ｂ染色の顕微鏡動画像３４が、基準位置Ｂ点付近のＡ染色の顕微鏡デジタル画像と、なるべく位置関係が同じになるように、ステージ移動ボタン３６を選択してステージ８をＸＹ移動させた後、マーク４６と同一の位置となる、Ｂ染色の顕微鏡動画像３４上の位置を指示する。これにより、マーク４７（×印）が表示される。そして、ｂ点登録ボタン４８を選択すると、そのマーク４７の位置がＢ染色のスライドガラス標本の基準位置ｂ点として登録される。

このようにしてＡ染色標本上の２つの基準位置とほぼ同じ位置にＢ染色標本上の２つの基準位置を設定することにより、Ａ染色標本と同じ角度でＢ染色標本の撮影を行うことが可能になる。また、角度以外にも、領域情報と撮影対物レンズ倍率（表示倍率）も同一にすることでＡ染色標本とＢ染色標本を広画角かつ高精細の顕微鏡デジタル画像で同期させて比較観察することができる。

尚、本実施例では、染色方法が異なる２つの標本について述べたが、染色方法が異なる３つ以上の標本であっても、上述の手法を繰り返すことにより、染色方法が異なる３つ以上の標本の同時画像比較が可能となる。

また、本実施例において、位置合わせについても画像相関を取るなどの画像処理との組み合わせにより自動的に位置・回転角度算出が可能になる。尚、このように画像処理との組み合わせにより自動的に位置・回転角度算出が可能であるが、同一標本で異なった染色を施す場合、組織切片の性格上、同一組織ではあるが組織切片作成時のＺ位置が異なるために全く同一の形状の画像が得られないということから、異なるＺ位置での組織切片近似比較許容範囲の設定が必要となる。ここで、同一標本ではあるが異なる染色である場合の位置・角度を自動で合わせる手順について、図１０を用いて説明する。

図１０は、染色方法が異なる２つの標本の場合の、位置・角度を自動で合わせる制御方法・手順を示すフローチャートである。
同図にいて、Ｓ５１乃至５３は、図８のＳ３１乃至３３と同じである。

続いて、Ｓ５１での撮影により得られたマクロ画像を、Ｓ５２で設定された角度θで回転させる（Ｓ５４）。もちろん撮影されたマクロ画像を回転させる以外にも、ステージ８の回転中座部８ｅを回転させてマクロ画像を再撮影するようにしてもよい。

続いて、回転中座部８ｅの回転角を０°に戻し、Ｂ染色のスライドガラス標本に交換してマクロ像を撮影しマクロ画像を取得する（Ｓ５５）。続いて、このＢ染色標本のマクロ画像と前述のＳ５４で回転させたＡ染色標本のマクロ画像とを比較し、Ｂ染色標本のマクロ画像がＡ染色標本のマクロ画像と同一の位置関係になるようにする。但し、同一標本ではあるが組織切片作成時のＺの位置が異なるために全く同一の位置関係にはならないので、Ａ染色標本とＢ染色標本の形状近似比較許容範囲を設定する（Ｓ５６）。尚、この形状近似比較許容範囲の設定値は、組織切片のＺスライスの値、すなわち何μmの厚みで何層目かという条件を加味し、組織の形状変化予測パラメータの1つとしても良い。続いて、設定された形状近似比較許容範囲内にＡ染色標本のマクロ画像上の標本形状とＢ染色標本のマクロ画像上の標本形状とが収まるように、Ｂ染色標本のマクロ画像の位置・角度を変更させＡ染色標本のマクロ画像に合わせる（Ｓ５７）。このときの位置合わせの方法としては、特許文献２にも記載されているように２つの画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２つの画像間での位置合わせを行う技術などを用いる。このようにしてＡ染色標本のマクロ画像とほぼ同様の位置・角度を設定する（Ｓ５８）。この位置・角度の設定は、ステージＸＹ駆動制御部１７によるステージ８のＸＹ設定と、ステージ回転駆動制御部１８による回転中座部８ｅのθ設定がされることにより行われる。続いて、この状態でＡ染色標本の撮影領域と同様の領域にてＢ染色標本を広画角かつ高精細の顕微鏡デジタル画像を撮影する（Ｓ５９）。続いて、Ａ染色標本とＢ染色標本の広画角かつ高精細の顕微鏡デジタル画像を並べて表示し、同一の標本ではあるが異なった染色方法の画像をほぼ同一の位置で比較観察できるようにする（Ｓ６０）。

これにより、組織切片作成時のＺの位置が異なる場合であっても、顕微鏡デジタル画像と顕微鏡動画像との位置・角度を自動で合わせることができる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

実施例１に係る顕微鏡画像撮影装置の全体構成を示す図である。 顕微鏡画像撮影装置が備えるステージを対物レンズ側から見た図である。 ステージの回転中座部の回転を手動操作により行う場合における、所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築するための制御方法・手順を示すフローチャートである。 ステージの回転中座部の回転を電動制御により行う場合における、所望の角度の広画角かつ高精細の顕微鏡デジタル画像を構築するための制御方法・手順を示すフローチャートである。 (a) 乃至(c) は、図４に示したフローの実行による回転中座部の回転の一例を説明する図である。 (a),(b),(c),(d),(e),(f),(g),(h),(i)は、顕微鏡画像撮影装置を用いて同一標本の他染色画像を比較する方法について説明する図である。 (a),(b),(c) は、顕微鏡デジタル画像を観察しながら顕微鏡動画像の角度を設定する際にモニタに表示される操作制御画面の一例を示す図である。 実施例２に係る、操作制御画面の表示を含む同一標本の他染色画像比較を行う場合の制御方法・手順を示すフローチャートである。 (a),(b) は、他の手法を用いて、顕微鏡デジタル画像を観察しながら顕微鏡動画像の角度を設定する際にモニタに表示される操作制御画面の一例を示す図である。 顕微鏡デジタル画像と顕微鏡動画像との位置・角度を自動で合わせる制御方法・手順を示すフローチャートである。

符号の説明

１ 透過照明用光源
２ コレクタレンズ
３ 透過用フィルタユニット
４ 透過視野絞り
５ カメラコントローラ
６ 透過開口絞り
７ コンデンサ光学素子ユニット
８ ステージ
９ 標本
１０ 対物レンズ
１１ レボルバ
１２ 中間倍率レンズ
１３ カメラ
１４ 画像キャプチャユニット
１５ 顕微鏡コントローラ
１６ ステージＸＹ駆動制御部
１７ ステージＺ駆動制御部
１８ ステージ回転駆動制御部
１９ ホストシステム
２０ 座標変換部
２１ 画像合成部
２２ データ記録部
２３ モニタ
２４ 指示部
２５ 表示処理部
２６ 記録媒体
３１ 点線
３２ ミクロ拡大画像
３３ マクロ画像
３４ 顕微鏡動画像
３５ 表示倍率切替ボタン
３６ ステージ移動ボタン
３７ ステージ回転ボタン
４１ Ａ点ボタン
４２、４３ マーク
４４ ａ点登録ボタン
４５ Ｂ点ボタン
４６、４７ マーク
４８ ｂ点登録ボタン

Claims (10)

1. 対物レンズの光軸に対して垂直方向にステージを相対的に移動することにより前記ステージ上の標本を前記垂直方向へ移動させる移動手段と、
   前記ステージ上の標本を回転させる回転手段と、
   前記回転手段により回転させる角度を設定する角度設定手段と、
   対物レンズ或いは中間倍率レンズを設定することにより撮影倍率を設定する撮影倍率設定手段と、
   撮影領域を設定する撮影領域設定手段と、
   前記撮影倍率設定手段により設定された撮影倍率と前記撮影領域設定手段により設定された撮影領域とから、顕微鏡分割画像の撮影座標を決定する撮影座標決定手段と、
   前記撮影座標決定手段により決定された撮影座標の顕微鏡分割画像を撮影する顕微鏡分割画像撮影手段と、
   前記分割画像撮影手段により撮影された顕微鏡分割画像を位置関係に矛盾がないようにつなぎ合わせて顕微鏡画像を構築する画像構築手段と、
   画像を表示する画像表示手段と、
   を備えることを特徴とする顕微鏡画像撮影装置
2. マクロ画像を撮影するマクロ画像撮影手段と、
   前記画像表示手段により表示された前記マクロ画像上の少なくとも２つの基準位置を指示する第１の指示手段と、
   前記第１の指示手段により指示された２つの基準位置を基に、前記角度設定手段により設定される角度を算出する第１の角度算出手段と、
   を更に備えることを特徴とする請求項１記載の顕微鏡画像撮影装置。
3. 顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とが前記画像表示手段により並べて表示されているときに、前記移動手段による移動及び前記回転手段による回転により前記顕微鏡ライブ画像の位置関係を前記顕微鏡画像に合わせることが可能である、
   ことを特徴とする請求項１又は２記載の顕微鏡画像再生装置。
4. 顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とが前記画像表示手段により並べて表示されているときに、前記顕微鏡ライブ画像上の少なくとも２つの基準位置を指示する第２の指示手段と、
   前記第２の指示手段により指示された２つの基準位置を基に、前記角度設定手段により設定される角度を算出する第２の角度算出手段と、
   を更に備えることを特徴とする請求項１又は２記載の顕微鏡画像撮影装置。
5. 顕微鏡ライブ画像と前記画像構築手段により構築された顕微鏡画像とを比較する画像比較手段と、
   前記画像比較手段による比較結果に基づき、前記角度設定手段により設定される角度を算出する第２の角度算出手段と、
   を更に備えることを特徴とする請求項１又は２記載の顕微鏡画像撮影装置。
6. 顕微鏡画像撮影装置を制御するコンピュータに、
   対物レンズの光軸に対して垂直方向にステージを相対的に移動することにより前記ステージ上の標本を前記垂直方向へ移動させる移動機能と、
   前記ステージ上の標本を回転させる回転機能と、
   前記回転機能により回転させる角度を設定する角度設定機能と、
   対物レンズ或いは中間倍率レンズを設定することにより撮影倍率を設定する撮影倍率設定機能と、
   撮影領域を設定する撮影領域設定機能と、
   前記撮影倍率設定機能により設定された撮影倍率と前記撮影領域設定機能により設定された撮影領域とから、顕微鏡分割画像の撮影座標を決定する撮影座標決定機能と、
   前記撮影座標決定機能により決定された撮影座標の顕微鏡分割画像を撮影する顕微鏡分割画像撮影機能と、
   前記分割画像撮影機能により撮影された顕微鏡分割画像を位置関係に矛盾がないようにつなぎ合わせて顕微鏡画像を構築する画像構築機能と、
   画像を表示する画像表示機能と、
   を実現させるためのプログラム。
7. マクロ画像を撮影するマクロ画像撮影機能と、
   前記画像表示機能により表示された前記マクロ画像上の少なくとも２つの基準位置を指示する第１の指示機能と、
   前記第１の指示機能により指示された２つの基準位置を基に、前記角度設定機能により設定される角度を算出する第１の角度算出機能と、
   を更に実現させるための請求項６記載のプログラム。
8. 顕微鏡ライブ画像と前記画像構築機能により構築された顕微鏡画像とが前記画像表示機能により並べて表示されているときに、前記移動機能による移動及び前記回転機能による回転により前記顕微鏡ライブ画像の位置関係を前記顕微鏡画像に合わせることが可能である、
   ことを特徴とする請求項６又は７記載のプログラム。
9. 顕微鏡ライブ画像と前記画像構築機能により構築された顕微鏡画像とが前記画像表示機能により並べて表示されているときに、前記顕微鏡ライブ画像上の少なくとも２つの基準位置を指示する第２の指示機能と、
   前記第２の指示機能により指示された２つの基準位置を基に、前記角度設定機能により設定される角度を算出する第２の角度算出機能と、
   を更に実現させるための請求項６又は７記載のプログラム。
10. 顕微鏡ライブ画像と前記画像構築機能により構築された顕微鏡画像とを比較する画像比較機能と、
    前記画像比較機能による比較結果に基づき、前記角度設定機能により設定される角度を算出する第２の角度算出機能と、
    を更に実現させるための請求項６又は７記載のプログラム。