JP5679524B2 - スタックされた顕微鏡画像をナビゲートするための方法及び装置 - Google Patents

Description

本発明の実施形態は、一般に、デジタル顕微鏡画像の管理に関し、より具体的には、スタックされた顕微鏡画像をナビゲートするための方法及び装置に関する。

デジタル顕微鏡法では、多くの場合、全スライド画像が、各々が異なる焦点深度で撮影された一群の画像であるＺスタックの形を取ることが多い。デジタル顕微鏡法は、ガラススライド全体のデジタル画像ファイルを作成する自動デジタルスライドスキャナを有する仮想スライドシステムを利用する。このデジタル画像ファイルは全スライド画像と呼ばれ、いくつかの実施形態では、約１００，０００画素×１００，０００画素の空間分解能を有する。従って、一般にＺスタックは、大型サイズのデータセットである。Ｚスタックは、そのサイズが大きいことにより、ナビゲーションが面倒でかつ時間がかかる。高倍率では、焦点が合った標本のキャプチャリングを確実にするために、複数の標本スライスの画像をキャプチャすることが必要となり得る。例えば、３２枚〜６４枚の画像が必要になることがある。１００，０００×１００，０００×６４画素のようなサイズの３−Ｄデータセットを閲覧して分析することは、オペレータにとって面倒な作業である。

米国特許出願第１３／５５３２６５号

従って、スタックされた顕微鏡画像をナビゲートするための方法及び装置が必要とされている。

実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡法におけるスタックされた画像をナビゲートするための装置及び／又は方法を提供する。

以下の説明及び図面から、本開示の様々な利点、態様及び新規の特徴、並びにこれらを示す実施形態の詳細がより完全に理解されるであろう。

上述した本発明の特徴を詳細に理解できるように、いくつかを添付図面に示す実施形態を参照しながら、上記で簡単に要約した本発明のより詳細な説明を行うことができる。しかしながら、添付図面には、本発明の典型的な実施形態しか示しておらず、従って本発明は他の等しく効果的な実施形態も認めることができるので、これらの図面が本発明の範囲を限定すると見なすべきではない。

本発明の例示的な実施形態による、デジタル顕微鏡を用いて、スタックされた顕微鏡画像をナビゲートするための装置のブロック図である。 本発明の例示的な実施形態によるＺスタックの例を示す図である。 本発明の例示的な実施形態による、図２の５つの個々のデジタルスライス画像を示す図である。 本発明の例示的な実施形態による、現在観察中の内容の背景を示すための全体像ウィンドウの例を示す図である。 本発明の例示的な実施形態による、図２及び図３に示すスナップショットの全焦点画像の例を示す図である。 本発明の例示的な実施形態による、デジタル顕微鏡を用いて顕微鏡内の画像をナビゲートする方法のフロー図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第１の表現の例を示す図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第２の表現の例を示す図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第３の表現の例を示す図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第４の表現の例を示す図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第５の表現の例を示す図である。 本発明の例示的な実施形態による、ユーザインターフェイスの第６の表現の例を示す図である。

本発明の実施形態は、実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡撮像における画像をナビゲートするための装置及び／又は方法に関する。ある実施形態によれば、顕微鏡撮像における画像をナビゲートするための方法は、標本の全焦点画像を利用することにより、ナビゲートされるデータの次元を縮小するステップと、元々のスライドのＺスタックからの最も関連性の高い画像を示すことにより、ユーザが指定した標本の部分に焦点を合わせるスナップトゥフォーカス機能を利用するステップとを含む。

図１は、本発明の例示的な実施形態による、デジタル顕微鏡１０２を用いて、スタックされた顕微鏡画像をナビゲートするための装置１００のブロック図である。装置１００は、デジタル顕微鏡１０２及びコンピュータ装置１０４を含む。

デジタル顕微鏡１０２は、標本のデジタル画像を異なる深度で撮影して、一連の画像、すなわち画像のＺスタックを作成する。例示を目的として、この一連のデジタル画像を、式１：Ｉ（ｘ，ｙ，ｚ）によって表し、式中、（ｘ，ｙ）は、ｘ＝０〜Ｘ−１、ｙ＝０〜Ｙ−１とする空間指数であり、ｚは、ｚ＝０〜Ｚ−１とする深度指数である［式１］。

いくつかの実施形態では、デジタル顕微鏡１０２が、Ｉ／Ｏインターフェイス１１２を介してコンピュータ装置１０４に結合される。他の実施形態では、顕微鏡１０２が画像のスタックを作成し、メモリスティック、コンパクトディスク、ネットワーク接続などを介して間接的にコンピュータ装置１０４に転送することができる。

コンピュータ装置１０４は、中央処理装置（すなわちＣＰＵ）１０６、サポート回路１０８、メモリ１１０及びインターフェイス１１２を備える。ＣＰＵ１０６は、データの処理及び記憶を容易にする１又はそれ以上の市販のマイクロプロセッサ又はマイクロコントローラを含むことができる。様々なサポート回路１０８は、ＣＰＵ１０６の動作を容易にし、１又はそれ以上のクロック回路、電源、キャッシュ、入力／出力回路などを含む。メモリ１１０は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ型記憶装置、光学記憶装置、取り外し可能記憶装置及び／又は同様のもの、のうちの少なくとも１つを含む。

メモリ１１０は、オペレーティングシステム（ＯＳ）１１４及び画像ナビゲーションモジュール１１６を含む。画像ナビゲーションモジュール１１６は、全焦点画像生成器１１８及びユーザインターフェイス１２０を含む。いくつかの実施形態では、ユーザインターフェイス１２０を、Ｉ／Ｏインターフェイス１１２に結合された外部ディスプレイに提供することができる。

全焦点画像生成器１１８は、全焦点画像を生成する。本明細書では「全焦点画像」という用語を使用しているが、これは、スライド上の標本の一連の画像のＺスタックを３次元から２次元に縮小して、焦点が合った全体的な標本が得られるようにすることを意味する。１つの実施形態によれば、全焦点画像は、同一出願人による米国特許出願第１３／５５３２６５号に記載されるように、特定の手段に従って各画像に重み付けし、これに応じて重み付けした画像を組み合わせることにより形成され、この特許出願はその全体が引用により本明細書に組み入れられる。全焦点画像は、Ｚスタック内の各焦点深度において焦点が合った画像部分の合成画像である。

動作中、コンピュータ装置１０４は、画像ナビゲーションモジュール１１６を実行する。画像ナビゲーションモジュール１１６は、デジタル顕微鏡１０２を用いてキャプチャされた標本の顕微鏡画像をナビゲートすることを容易にする。画像ナビゲーションモジュール１１６は、ユーザのニーズに従って、元々の一連の画像へのリンクバックを可能にする。

図２に、デジタル顕微鏡１０２によって生成されたＺスタック２００の例を示す。Ｚスタック内の各画像は、標本内の異なる深度に焦点を合わせたものである。デジタル顕微鏡１０２は、標本のデジタル画像を異なる焦点深度でキャプチャして一連の画像を作成する。従って、標本の深度全体を通じて焦点深度を増分して、デジタル画像の少なくとも１つに合焦した全体的標本をキャプチャする。この一連のデジタル画像は、空間次元Ｘ及びＹに加え、深度に対応するＺ次元に沿ってＺスタックにスタックされる。

図３に、本発明の例示的な実施形態による、図２に示すＺスタックからの５つの個々の画像を示す。図３には、異なる範囲に焦点が合った各画像を示している。ユーザがデジタル顕微鏡１０２の焦点を合わせると、標本の特定の焦点深度及びその深度で焦点が合っている標本の部分を表すＺスタック２００からの異なる画像がユーザに表示される。

図４は、本発明の例示的な実施形態による、現在観察中の内容の背景を示すための全体像ウィンドウ４０２の例を示す図である。

全焦点画像生成器１１８によって生成される全焦点画像は、焦点がずれた不鮮明画像を含まない、Ｚスタック内に存在する全ての合焦情報を表す。ビュー４０２は、全ての標本内容を示すようにズームアウトしたスライド全体のビューを示す。１つの実施形態によれば、ビュー４０２の選択部分４０４が、ユーザインターフェイス１２０のユーザにより決定される。ビュー４０６に、選択部分４０４をその拡大図として示している。

図５に、本発明の例示的な実施形態による、図４に示す４０４内のビューの全焦点画像５００の例を示す。全焦点画像５００は、図１に示す画像ナビゲーションモジュール１１６の全焦点画像生成器１１８によって生成される。

図６は、本発明の例示的な実施形態による、図１のＣＰＵ１０６により実行される画像ナビゲーションモジュール１１６によって行われる、顕微鏡画像をナビゲートする方法６００のフロー図である。この方法は、ステップ６０２から開始してステップ６０４に進む。

ステップ６０４において、方法６００は、Ｚスタックを形成する画像の組で構成された全焦点画像の一部を選択できるように、ユーザにユーザインターフェイスを提供する。上述したように、デジタル顕微鏡１０２は、各々がＸ及びＹ成分を有する一連の２次元（２Ｄ）画像を生成する。この一連の２Ｄ画像を収集し、各２Ｄ画像に「Ｚ」次元を割り当てて、デジタル顕微鏡１０２において観察される標本の、Ｚスタックとしても知られている３Ｄ表現を形成する。図５に示す全焦点画像５００は、相互に関連する、同一出願人による米国特許出願第１３／５５３２６５号に記載されるような、混合されたＺスタックを表す。

ステップ６０６において、方法６００は、全焦点画像の選択部分において焦点が合ったＺスタックからの画像を表示する。いくつかの実施形態では、画像ナビゲーションモジュール１１６が、全焦点画像生成器１１８によって生成される全焦点画像を、直接閲覧できるようにＩ／Ｏインターフェイス１１２上に表示（又はレンダリング）することを容易にする。いくつかの使用事例のシナリオでは、ユーザが、表示された全焦点画像、又は標本を含むスライド全体をキャプチャした画像である全体像画像内で関心領域を見つけた場合、画像ナビゲーションモジュール１１６のユーザインターフェイス１２０は、この関心領域に関連する元々のＺスタックのビューに切り替えることができる。

１つの実施形態によれば、ユーザインターフェイス１２０は、全焦点画像と元々のＺスタックの間で入れ替えると共に、最初の閲覧に対しては、ユーザに全焦点画像のビューのみを提供する。代替の実施形態では、ユーザインターフェイス１２０が、画面の一方が全焦点画像のウィンドウを示し、画面のもう一方が元々のＺスタックのウィンドウを示す分割画面ビューをユーザに提供する。分割画面ビューの２つのウィンドウは、重なっていても又は重なっていなくてもよい。元々のＺスタックのウィンドウは、継続的に存在していてもよく、或いはユーザが指示した場合にのみ見えるようにしてもよい。さらに別の実施形態では、元々のＺスタックのウィンドウが継続的に存在していてもよく、或いはユーザが指示した場合にのみ見えるようにしてもよい。

いくつかの実施形態では、ユーザが、ユーザインターフェイス１２０により、全焦点画像及び元々のＺスタックの少なくとも一方において、点（ｘ，ｙ）又は点（ｘ，ｙ）を取り囲む範囲を識別することができる。ユーザインターフェイス１２０上にレンダリングされたＺスタックビュー内で点（ｘ，ｙ）又は点（ｘ，ｙ）を取り囲む範囲を識別すると、表示画像を、この点（ｘ，ｙ）又は点（ｘ，ｙ）を取り囲む範囲において最も焦点が合っている画像に切り替えることができる。Ｚスタック内のどの画像がその位置における焦点としてマーキングされているかを特定することにより、その画像が特定の点において最も焦点が合っていることが分かる。点（ｘ，ｙ）が複数の固有の合焦深度を有する場合、画像ナビゲーションモジュール１１６は、元々のＺスタックデータからの複数のスライスを容易にユーザに表示する。

１つの実施形態によれば、画像ナビゲーションモジュール１１６のユーザインターフェイス１２０が、ユーザがある範囲を選択した時に、異なる合焦画像を繰り返し表示することができる。他の実施形態では、画像ナビゲーションモジュール１１６が、異なる入力選択方法に異なる意味を割り当てることができる。例えば、マウスの左ボタンクリックのイベントによって最も焦点が合っているスライスの選択がトリガされ、右ボタンクリックのイベントによって２番目に焦点が合っているスライスの選択がトリガされる。これらの場合では全て、キーボードマウス、タッチパッド、トラックボール、タッチスクリーン、コントローラパッド、ジェスチャによるユーザインターフェイスなどのあらゆる手段を通じて閲覧が制御される。これらの場合では全て、画像ナビゲーションモジュール１１６のユーザインターフェイス１２０が、メインウィンドウの背景を示すように全体像ウィンドウをレンダリングする。

全焦点画像及びＺスタックデータをいずれも表示するいくつかの実施形態では、これらの２つの画像の視点が同期し、すなわち、全焦点画像の表示が、Ｚスタックデータの表示によって示される空間領域と同じ空間領域を示す。

いくつかの実施形態では、ユーザインターフェイス１２０が、ユーザが全焦点画像を閲覧できると同時に、焦点が合った内容などの全ての詳細を確認できることを保証する。ユーザインターフェイス１２０は、第３の深度次元の閲覧という複雑性を加えずに、ユーザが２つの空間次元で閲覧することを可能にする。ユーザインターフェイス１２０は、ユーザが関心のある対象又は領域を検出することを可能にするとともに、必要に応じて元々のＺスタックデータにアクセスして閲覧することも可能にする。方法６００は、ステップ６０８に進んで終了する。

図７〜図１２に、ユーザインターフェイス１２０の異なる表現の複数の例を開示するが、ユーザインターフェイス１２０は、図示の表現に限定されるものではない。

図７は、本発明の例示的な実施形態による、ユーザインターフェイスの第１の表現７００の例である。図７に示すように、単一の全焦点画像のウィンドウを見ることができる。ユーザインターフェイス１２０では、全焦点画像を閲覧することができ、ユーザが指示すると、この全焦点画像のウィンドウが元々のＺスタックデータに切り替わる。ユーザインターフェイス１２０の第１の表現では、ユーザが標本内の関心範囲（すなわち領域）を迅速に検出し、その後、細かい焦点を手動で調整することができる。

図８は、本発明の例示的な実施形態による、ユーザインターフェイスの第２の表現８００の例である。図８に示すように、同じ画面８００上に、全焦点画像８０２及びＺスタック８０４が両方同時に示されている。画面８００は、１対のウィンドウを含む矩形ボックスで示されており、一方のウィンドウが全焦点画像８０２用であり、他方がＺスタック８０４用である。この１対のウィンドウのビューは、たとえ画像を空間的に閲覧した場合でも、この１対のウィンドウ内で同じ内容が見えるように同期される。

図９は、本発明の例示的な実施形態による、ユーザインターフェイスの第３の表現９００の例である。図９に示すように、全焦点画像９０２及びＺスタック９０４が別個の画面上に示されており、これはマルチディスプレイ環境を想定したものである。この画面は、１対の矩形ボックスによって示される。左側の矩形ボックスは、全焦点画像９０２用のウィンドウを含み、右側の矩形ボックスは、Ｚスタック９０４用のウィンドウを含む。この１対のウィンドウのビューは、画像を空間的に閲覧した時にも２つのウィンドウ内で同じ内容が見えるように同期される。

図１０は、本発明の例示的な実施形態による、ユーザインターフェイスの第４の表現１０００の例である。図１０に示すように、表示ウィンドウ１００２内の全焦点画像上にマウスカーソル１００５が合っている。全焦点画像の領域１００６上でマウスクリックイベントが行われると、全焦点画像内の点の選択がトリガされる。表示ウィンドウ１００２には、この選択した点の最も焦点が合っている元々のＺスタック内の画像スライスが自動的に示される。ユーザが選択した部分、すなわち領域１００６は、表示ウィンドウ１００４内に合焦して示される領域１００８である。

図１１は、本発明の例示的な実施形態による、ユーザインターフェイスの第５の表現１１００の例である。図１１に示すように、全焦点画像を利用する代わりに、表示ウィンドウ１１０２内でＺスタックを直接閲覧することができる。表示ウィンドウ１１０２内では、関心領域１１０４が選択されている。表示１１０２内の領域１１０６として示す、元々のＺスタック内の選択点に対して最も焦点が合った画像スライスが、表示ウィンドウ１１０２内に自動的に示される。

図１２は、本発明の例示的な実施形態による、ユーザインターフェイスの第６の表現１２００の例である。表示ウィンドウ１２０２は、最初に標本のＺスタック画像を示す。ユーザインターフェイス１２０は、最初の位置の選択１２０４が行われると、この位置１２０６において最も焦点が合った画像のスライスを表示する。ユーザインターフェイス１２０は、ユーザがさらなる選択又は表示を行うと、１２０８において２番目に焦点が合ったスライスを含む２番目のビューに切り替える。さらに、ユーザがマウスクリック又はその他の指示を行うと、ユーザインターフェイス１２０に信号が送られて、選択位置１２０８において焦点が合っている異なるスライスが繰り返し表示され続ける。

以上、特定の実施形態を参照しながら説明目的で上述の説明を行った。しかしながら、上記の例示的な説明は網羅的であることを意図するものではなく、或いは開示する正確な形に本発明を限定するものでもない。上述の教示に照らして多くの修正及び変形が可能である。実施形態は、本開示の原理及びその実施可能な応用について説明するために、及びこれにより当業者が本発明及び様々な実施形態を、企図される特定の用途に適するような様々な修正を加えて最も良く利用できるようにするために選択し説明したものである。

上述した内容は、本発明の実施形態を対象とするものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の及びさらなる実施形態を考案することができ、その範囲は特許請求の範囲により決定される。

Claims (20)

1. 顕微鏡撮像における画像をナビゲートする方法であって、
   Ｚスタックを形成する画像の組で構成された全焦点画像のある部分を選択できるように、ユーザにユーザインターフェイスを提供するステップと、
   前記全焦点画像の前記選択した部分に焦点が合っている前記Ｚスタックからの画像を表示するステップと、
   を含むことを特徴とする方法。
2. 標本の前記画像の組の次元を縮小することにより、前記全焦点画像を形成するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記次元を縮小するステップが、前記元々の一連の画像を３次元から２次元に縮小するステップを含む、
   ことを特徴とする請求項２に記載の方法。
4. 前記縮小するステップが、前記元々の一連の画像を異なる焦点深度で組み合わせて前記全焦点画像を形成するステップを含む、
   ことを特徴とする請求項３に記載の方法。
5. 前記ユーザインターフェイスを提供するステップが、
   前記全焦点画像及び前記元々の一連の画像の少なくとも一方をレンダリングするステップと、
   前記選択した部分に基づいて、前記全焦点画像の表示と前記元々の一連の画像の表示の間で入れ替えるステップと、
   を含むことを特徴とする請求項１に記載の方法。
6. 前記ユーザインターフェイスを提供するステップが、
   分割画面ビューを用いて、前記全焦点画像及び前記Ｚスタックを単一のディスプレイ上の別個の第１及び第２のウィンドウ内に同時にレンダリングするステップと、
   前記全焦点画像内の前記関心領域を変更すると、前記変更された関心領域に対して最も焦点が合っているＺスタックからの画像が前記第２のウィンドウ内に表示されるように、前記全焦点画像のビューと前記Ｚスタックのビューを同期させるステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
7. 前記第１及び第２のウィンドウが重なっている、
   ことを特徴とする請求項６に記載の方法。
8. 前記ユーザインターフェイスを提供するステップが、
   前記全焦点画像及び前記Ｚスタックを、別個のディスプレイ上の別個の第１及び第２のウィンドウ内に同時にレンダリングするステップと、
   前記全焦点画像内の前記関心領域を変更すると、前記変更された関心領域に対して最も焦点が合っているＺスタックからの画像が前記第２のウィンドウ内に表示されるように、前記全焦点画像のビューと前記Ｚスタックのビューを同期させるステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
9. 前記ユーザインターフェイスを提供するステップが、前記標本全体を前記Ｚスタックからの前記画像で表示して該標本全体に合焦すると同時に、前記Ｚスタックからの前記画像を２次元で閲覧することを可能にする、
   ことを特徴とする請求項１に記載の方法。
10. 前記ユーザインターフェイスを提供するステップが、
    前記全焦点画像又は前記元々の一連の画像の一方における点のユーザの特定を受け取るステップと、
    前記元々の一連の画像内の前記点、及び該点を取り囲む領域の少なくとも一方における焦点が前記元々の一連の画像内の他の画像と比較して最も合っている画像に切り替えるステップと、
    をさらに含むことを特徴とする請求項１に記載の方法。
11. 前記点が、前記標本が複数の焦点深度を有する場所に位置する場合、前記画像に切り替える代わりに、前記元々の一連の画像のうちの複数の画像間で切り替えを行う、
    ことを特徴とする請求項１０に記載の方法。
12. 顕微鏡撮像における画像をナビゲートするための装置であって、
    Ｚスタックを形成する画像の組で構成された全焦点画像のある部分を選択できるようにユーザにユーザインターフェイスを提供し、
    前記全焦点画像の前記選択した部分に焦点が合っている前記Ｚスタックからの画像を表示する、
    ためのコンピュータ装置を備えることを特徴とする装置。
13. 前記コンピュータ装置が、標本の前記画像の組の次元を縮小することにより、前記全焦点画像をさらに形成する、
    ことを特徴とする請求項１２に記載の方法。
14. 全焦点画像生成器が、前記元々の一連の画像を３次元から２次元にさらに縮小する、
    ことを特徴とする請求項１３に記載の装置。
15. 前記全焦点画像生成器が、前記元々の一連の画像を異なる焦点深度で組み合わせて前記全焦点画像を形成する、
    ことを特徴とする請求項１４に記載の装置。
16. 前記ユーザインターフェイスを提供することが、
    前記コンピュータ装置を用いて、前記全焦点画像及び前記元々の一連の画像の少なくとも一方をレンダリングすることと、
    前記選択した部分に基づいて、前記全焦点画像の表示と前記元々の一連の画像の表示の間で入れ替えることと、
    を含むことを特徴とする請求項１２に記載の装置。
17. 前記ユーザインターフェイスを提供することが、
    分割画面ビューを用いて、前記全焦点画像及び前記Ｚスタックを単一のディスプレイ上の別個の第１及び第２のウィンドウ内に同時にレンダリングすることと、
    前記全焦点画像内の前記関心領域を変更すると、前記変更された関心領域に対して最も焦点が合っているＺスタックからの画像が前記第２のウィンドウ内に表示されるように、前記全焦点画像のビューと前記Ｚスタックのビューを同期させることと、
    をさらに含むことを特徴とする請求項１２に記載の装置。
18. 前記コンピュータ装置に結合されたディスプレイ上の前記第１及び第２のウィンドウが重なっている、
    ことを特徴とする請求項１７に記載の装置。
19. 前記ユーザインターフェイスを提供することが、
    前記全焦点画像及び前記Ｚスタックを、別個のディスプレイ上の別個の第１及び第２のウィンドウ内に同時にレンダリングすることと、
    前記全焦点画像内の前記関心領域を変更すると、前記変更された関心領域に対して最も焦点が合っているＺスタックからの画像が前記第２のウィンドウ内に表示されるように、前記全焦点画像のビューと前記Ｚスタックのビューを同期させることと、
    をさらに含むことを特徴とする請求項１２に記載の装置。
20. 前記画像ナビゲーションモジュールが、前記ユーザインターフェイスが、前記標本全体を前記Ｚスタックからの前記画像で表示して該標本全体に合焦すると同時に、前記Ｚスタックからの前記画像を２次元で閲覧することをさらに可能とする、
    ことを特徴とする請求項１２に記載の装置。