JP2013175449A

JP2013175449A - 増強現実を利用した電子顕微鏡システム

Info

Publication number: JP2013175449A
Application number: JP2013010935A
Authority: JP
Inventors: Jun-Hee Lee; イ，ジュン−ヒ; Yong-Ju Kim; キム，ヨン−ジュ
Original assignee: COXEM CO Ltd
Current assignee: COXEM CO Ltd
Priority date: 2012-02-27
Filing date: 2013-01-24
Publication date: 2013-09-05
Anticipated expiration: 2033-01-24
Also published as: JP5456918B2; US20130221218A1; KR101197617B1

Abstract

【課題】熟練者ではない人も電子顕微鏡を易しく使うことができ、教育の興味を誘発することができる増強現実を利用した電子顕微鏡システムを提供する。
【解決手段】観察しようとする標準試料に電子ビームを照射し、標準試料の表面から放出されるか、または前記標準試料を透過した電子信号を獲得する電子顕微鏡と、電子信号獲得のための使用者の操作信号が入力される使用者インターフェイスと、電子顕微鏡を通じて検出された電子信号を利用して観察イメージを生成し、標準試料内で設定された複数の地点に対応する試料の説明のための試料情報を生成し、ステージを移動して観察イメージ内に設定された地点が入った場合、観察イメージに生成された試料情報が付加された増強現実映像を生成するマイコンと、前記マイコンを通じて生成された前記増強現実映像を画面に表示するディスプレー装置と、を含むことを特徴とする。
【選択図】図１

Description

本発明は、電子顕微鏡に係り、より詳しくは、電子顕微鏡を使用して生成した観察イメージを利用し試料識別情報を認識し、認識した試料識別情報に対応して観察イメージと予め設定された試料情報を連係して増強現実映像を提供することによって、熟練者ではない人も電子顕微鏡を易しく使うことができ、教育の興味を誘発することができる増強現実を利用した電子顕微鏡システムに関する。

一般的に、電子顕微鏡（ＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）は試料に対して電子線を照射して試料から反射または試料を透過した電子の特性を使って微小な物体を観察することによって、光学顕微鏡に比べて数万倍以上の高倍率で試片の観察が可能であり、焦点深度が高いという点から多様な検査及び分析分野で広く使用さている。

このような電子顕微鏡として透過型電子顕微鏡ＴＥＭ（ＴｒａｎｓｍｉｓｓｉｏｎＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）と走査型電子顕微鏡（ＳＥＭ；ＳｃａｎｎｉｎｇＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）がある。

前記透過型電子顕微鏡（ＴＥＭ；ＴｒａｎｓｍｉｓｓｉｏｎＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）は照射係、結像係、観察係で構成され、照射係から放出された熱電子を電子レンズを利用して収束し、収束した電子線を試料に透過させて対物レンズと投射レンズ（電子レンズ）で拡大して前記観察係で設置された蛍光板を利用して映像を形成する方式である。

前記走査型電子顕微鏡（ＳＥＭ；ＳｃａｎｎｉｎｇＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）は、電子銃から発射した電子線を電子レンズで狭く収束して試料表面に照射し、表面から放出する電子を検出する方式である。

国内ではこのような電子顕微鏡は、研究開発及び商業的目的に使われてきたが、先進国の場合、科学的な好奇心を誘発させるための最適の道具として、科学教育の目的として科学館や学校で使われている。

しかし、電子顕微鏡が高価装備であり、観察のために試料の座標探索、焦点及び倍率調整などをしなければならないから、熟練者でなく顕微鏡使用に慣れない観察者が使うには困難がある。また、教育的目的として電子顕微鏡を使う場合、高倍率で観察される試料は、一般人に慣れなくて十分な教育的内容を伝達するのに困難がある。
（例えば特許文献１参照。）

また、電子顕微鏡は、生物や化学、物理だけではなく微細対象を観察する多様な領域に利用されるものであり、引率教師は専攻科目に対する専門知識はあるが、本人の専攻以外の分野に対する専門知識を全て持つことは難しい。

例えば、生物教師は、生物に関しては該博な知識を持っているが、鉱物に係わる専門知識は不足していることがあるから、鉱物試料に対する説明を学生たちに伝達することができなくなる問題がある。

このように電子顕微鏡運用の複雑性及び観察試料の専門性によって専門的な知識と訓練がない状態で教育用に利用するには困難がある。

特開２００６−１７３０２１号公報

本発明は前記のような点に鑑みてなされたものであって、本発明の目的は、電子顕微鏡を利用して試料に対する観察イメージを生成し、生成された観察イメージを利用して試料識別情報を認識し、認識された試料識別情報に対応して観察イメージと予め設定された試料情報とを連係して増強現実映像を提供する増強現実を利用した電子顕微鏡システムを提供することにある。

このような目的を達成するための本発明の増強現実を利用した電子顕微鏡システムは、観察しようとする標準試料に電子ビームを照射し、前記標準試料の表面から放出されるか、または前記標準試料を透過した電子信号を獲得する電子顕微鏡と、前記電子顕微鏡を通じた電子信号獲得のための使用者の操作信号が入力される使用者インターフェイスと、前記電子顕微鏡を通じて検出された前記電子信号を利用して観察イメージを生成し、前記標準試料内で設定された複数の地点に対応する試料の説明のための試料情報を生成し、ステージを移動させて前記観察イメージ内に前記設定された地点が入った場合、観察イメージに前記生成された試料情報を付加した増強現実映像を生成するマイコンと、前記マイコンを通じて生成された前記増強現実映像を画面に表示するディスプレー装置と、を含むことを特徴とする。

ここで、前記標準試料は、識別マークを含み、前記マイコンは、前記観察イメージ内で識別マークが認識される場合、識別マークの位置情報を基に基準座標系を設定し、前記基準座標系を基に決まった移動方向と移動距離によってステージの移動方向と移動距離を算出し、算出した移動方向と移動距離によって前記ステージを移動させて前記複数の地点を自動的に探索しながら前記増強現実映像を生成することを特徴とする。

望ましくは、前記標準試料内には複数の単位試料が形成され、前記マイコンは、予め定められた手順と移動方向及び移動距離によって前記ステージの移動手順と移動方向及び移動距離を算出し、算出した移動手順と移動方向及び移動距離によって前記ステージを順に移動させながら各単位試料を順次探索し、各単位試料の観察イメージと予め設定された単位試料の情報を連係して増強現実映像を生成することを特徴とする。

望ましくは、前記マイコンは、使用者の操作信号入力の際、入力信号によってステージを移動させ、移動した位置の座標情報が標準試料内の設定された地点の座標と等しく、現在倍率があらかじめ設定された倍率と一致する場合、前記地点に対応する増強現実映像を生成することを特徴とする。

望ましくは、前記マイコンは、あらかじめ設定された倍率で観察イメージ内に予め設定されたイメージが存在すると判断した場合、前記地点に対応する増強現実映像を生成することを特徴とする。

望ましくは、前記使用者インターフェイスを通じて観察対象の標準試料識別コード情報が入力される場合、前記マイコンは、前記標準試料識別コード情報を基に観察対象標準試料を決め、あらかじめ設定された該当の標準試料の基準座標を基に決まった移動方向と移動距離によってステージの移動方向と移動距離を算出し、算出した移動方向と移動距離によって前記ステージを移動させて前記標準試料内の複数の地点を自動的に探索しながら前記増強現実映像を生成することを特徴とする。

望ましくは、前記マイコンは、試料情報、試料情報を提供するための地点の座標及び倍率情報、試料情報を提供するための前記地点のイメージ及び倍率情報の中で少なくとも一つを保存するメモリー部と、前記電子顕微鏡を通じて検出される電子信号を映像信号に変換して観察イメージを生成し、前記生成された観察イメージから単位試料及び単位試料内の設定された複数地点の位置またはイメージを認識する映像認識部と、前記映像認識部によって認識された情報を基に前記メモリー部に予め保存された前記試料情報と前記映像認識部から生成された観察イメージとを連係して増強現実映像を生成する映像処理部と、を含むことを特徴とする。

以上説明したように、本発明は観察試料に対するテキストや映像及び音声情報を観察イメージと連係して増強現実映像を提供することによって、熟練者ではない人も電子顕微鏡を易しく使えるようにし、教育の興味を誘発できる利点がある。

また、本発明は観察試料に関する説明を増強現実形態で見せてくれることによって、観察試料に対する専門的な知識がなくても試料に対する専門知識を得ることができる利点がある。

本発明による増強現実を利用した電子顕微鏡システム構成図である。図１の標準試料を例示した図面である。本発明の第１の実施例による電子顕微鏡のための増強現実の提供方法を順に現わした流れ図である。本発明の第２の実施例による電子顕微鏡のための増強現実の提供方法を順に現わした流れ図である。本発明の第３の実施例による電子顕微鏡のための増強現実の提供方法を順に現わした流れ図である。本発明の第４の実施例による電子顕微鏡のための増強現実の提供方法を順に現わした流れ図である。

以下、本発明を添付された例示図面に基づいて詳細に説明する。

図１は本発明による増強現実（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）を利用した電子顕微鏡システム構成図であり、図２は図１の標準試料を例示した図面である。

図１及び図２を参照すれば、本発明の増強現実を利用した電子顕微鏡システムは、標準試料１０と、電子顕微鏡２０と、使用者インターフェイス３０と、マイコン４０と、ディスプレー装置５０とを含む。

前記標準試料１０は、電子顕微鏡２０のステージに安着されて電子顕微鏡１０を通じて観察され、これにより標準試料１０には該当の標準試料１０を識別することができる識別マーク１１及び前記識別マーク１１の周辺に配置される複数の単位試料１２が形成される。

前記電子顕微鏡２０は、標準試料１０に電子ビームを照射して標準試料の表面から放出されるか、または標準試料を透過した電子信号を獲得するものであり、この電子顕微鏡２０に対する詳細構成は既に広く知られた技術なので、これに対する具体的な説明は略する。

前記使用者インターフェイス３０は、試料観察を行う際、電子顕微鏡２０の駆動制御信号を入力するために使用者の操作信号が入力されるものであり、マウスやキーボードのような入力装置である。使用者は、使用者インターフェイス３０を利用してステージの移動方向と、移動距離及び倍率情報などを入力するか、または観察しようとする標準試料の識別コード情報を直接入力することができる。

この時、使用者は、マウスやキーボードのような使用者インターフェイス３０を利用してステージの駆動信号を簡単に入力するが、実際に電子顕微鏡内部では、ステージ移動及び焦点調節などのために、Ｘ、Ｙ、Ｚ、Ｔ（ｔｉｌｔ）、Ｒ（ｒｏｔａｔｉｏｎ）軸の駆動装置によって駆動される。

前記マイコン４０は、電子顕微鏡２０を通じて検出した電子信号を利用して観察イメージを生成し、標準試料内で設定された複数の地点に対応する試料情報を生成し、観察イメージに前記生成した試料情報を付加した増強現実映像を生成する。

この時、マイコン４０はあらかじめ設定した倍率で観察イメージ内に設定された地点が入った場合、または観察イメージ内にあらかじめ設定したイメージが存在する場合、増強現実映像を生成する。

また、マイコン４０は、観察イメージの生成時、最適の観察イメージを得るために予め設定した焦点情報によって焦点が合うようにするか、または該当の単位試料１２の特性に合うように自動的に焦点が調節される。

この時、マイコン４０は、メモリー部４１と、映像認識部４２と、映像処理部４３とを含む。

前記メモリー部４１は、試料情報、識別マーク１１と単位試料１２の形象と座標情報、試料情報を提供するための複数の地点の座標及び倍率情報、試料情報を提供するための複数の地点のイメージ及び倍率情報、標準試料識別コード情報などを保存する。この時、試料情報には、該当の試料に対する説明のためのテキスト情報や、該当の試料に対する理解を助けるための絵、アニメーション及び音声情報などが含まれる。

また、メモリー部４１は、複数の地点を順次探索するために識別マーク１１を出発点とする探索手順と、前記探索手順に基づく移動方向及び移動距離に対する情報を保存する。

また、前記メモリー部４１には、単位試料１２に対する観察イメージを鮮かに見れるような各単位試料に対する焦点情報が保存される。

前記映像認識部４２は、電子顕微鏡２０を通じて検出される電子信号を映像信号に変換し観察イメージを生成し、生成された観察イメージから識別マーク１１と単位試料１２及び単位試料１２内に設定された複数地点の位置またはイメージを認識することによって、標準試料１０と、単位試料１２及び単位試料１２内の複数地点の識別情報を認識することができる。

前記映像処理部４３は、映像認識部４２によって認識された情報を基に観察イメージの情報にメモリー部４１に予め保存された試料情報を付け加えて増強現実映像を生成する操作を行い、試料のテキストや絵、アニメーション、音声情報のような情報を観察イメージに付加して増強現実映像に生成する。

一方、前記マイコン４０は、電子顕微鏡２０の駆動時には常に自動モードに進入するか、または使用者の操作によって自動モードが選択されれば、自動モードに進入し、識別マークの認識を通じて標準試料の種類認識、設定したステージの移動手順、移動方向及び倍率情報を基に単位試料１２または複数の地点を順に探索し、増強現実映像を提供する。

また、前記マイコン４０は、使用者によって識別コード情報が入力された場合、識別コードに対応して設定された駆動信号によって標準試料１０内の複数地点を自動的に探索しながら増強現実映像を生成することができ、また、使用者インターフェイス３０を通じて使用者によって入力された移動方向と移動距離及び倍率情報によって観察地点を手動によって探索することができる。このような動作は、後述する図３ないし図６を参照して具体的に説明する。

一方、前記ディスプレー装置５０は、前記マイコン４０を通じて生成された増強現実映像を画面に表示し、本発明の図面に図示しなかったが、試料に対する増強現実映像の提供時に音声情報を提供するためのスピーカーを更に含むことができる。

図３は本発明の第１の実施例による電子顕微鏡のための増強現実の提供方法を順に現わした流れ図であり、上述した図１及び図２を参照して以下に説明する。

本発明の第１の実施例は、標準試料の種類認識、標準試料内の複数の地点や単位試料の探索と焦点及び倍率調整が自動的に行われる自動モードに該当し、電子顕微鏡２０が駆動されば、いつも自動モードに動作するか、または使用者によって自動モードが選択されば、自動モードに進入する。

同時に、本発明は複数の地点や単位試料を自動的に探索しながら増強現実映像を提供するものであり、以下では説明の便宜のために複数の地点または単位試料を統一して説明するようにする。

まず、電子顕微鏡２０を駆動して標準試料１１に対する観察イメージを生成するＳ１１では、最適の観察イメージを得るために予め設定された焦点情報及び倍率情報によって焦点が合うようにするか、または、設定した各地点の特性に付合するように自動的に焦点及び倍率が調節される。

その後、生成された観察イメージ内で識別マークが認識される場合、識別マークの形象情報などを利用して標準試料の種類を認識しＳ１２、予め設定された複数の地点の座標情報を利用して識別マーク１１を基に基準座標系を設定するＳ１３。

次に、基準座標系を基に標準試料の種類によって定められた移動手順と、移動方向及び移動距離とを基にステージの移動方向と移動距離を算出するＳ１４。

すなわち、識別マーク１１と設定された複数の地点との座標情報を基に識別マーク１１との相対的な移動距離と方向によってステージの移動手順、移動方向及び移動距離を算出する。

そして、算出したステージの移動方向と移動距離及び倍率情報を基にステージを駆動して設定した地点が観察領域に入るようにしＳ１５、設定した地点の観察イメージを生成するＳ１６。この時、ステージは単位試料に対する最適イメージを提供するために電子顕微鏡内に設置されたＸ、Ｙ、Ｚ、Ｔ（ｔｉｌｔ）、Ｒ（ｒｏｔａｔｉｏｎ）軸の駆動装置によって駆動される。

引続いて、単位試料の観察イメージに予め設定された地点の試料情報を付け加えて増強現実映像に生成するＳ１７。

そして、決まった手順により複数の地点に対する観察が完了するまで上述したＳ１５〜Ｓ１７段階を繰り返す。

本発明の第１の実施例は、複数の地点を順に探索しながら該当の単位試料に対する増強現実を提供する。即ち、各地点間の移動の際、映像が切断されずに連続的に提供されることによって、円滑な増強現実映像が提供される。

また、本発明の第１の実施例は複数の地点に対する観察イメージが同じ倍率で提供されるか、または、後に行くほど連続的に増加または減少する倍率で提供するようにできる。

図４は本発明の第２の実施例による電子顕微鏡のための増強現実の提供方法を現わした流れ図であり、上述した図１及び図２を参照して説明する。

本発明の第２の実施例は、使用者によって入力された識別コード情報を基に、標準試料内の複数の地点に対する探索と焦点及び倍率調整を自動的に行う。

まず、使用者インターフェイスを通じて識別コードが入力さればＳ２１、入力された識別コードを解釈し、解釈された標準試料の識別コード情報を基にメモリー部４１に予め設定された標準試料の中の観察標準試料を決めるＳ２２。

そして、該当の標準試料に対応して設定された基準座標と決まった移動順序情報とを基に移動方向および移動距離を算出するＳ２３。

そして、算出したステージの移動方向と移動距離及び倍率情報を基にステージを駆動して設定した地点が観察領域に入るようにしＳ２４、設定された地点の観察イメージを生成するＳ２５。

引続いて、単位試料の観察イメージに予め設定された地点の試料情報を付け加えて増強現実映像を生成しＳ２６、決まった手順によって複数の地点に対する観察が完了するまで上述したＳ２４〜Ｓ２６段階を繰り返す。

図５は本発明の第３の実施例による電子顕微鏡のための増強現実の提供方法を現わした流れ図であり、上述した図１及び図２を参照して説明する。

本発明の第３の実施例は単位試料に対する探索と倍率調整が使用者の操作信号によって手動で行われる。

まず、使用者の操作信号を感知するＳ３１と、入力された操作信号によってステージの移動方向と移動距離を算出するＳ３２。

その後、算出したステージの移動方向と移動距離によってステージを移動して倍率を調整したＳ３３後、移動地点の観察イメージを生成するＳ３４。

引続いて、移動した地点の座標情報が標準試料内に設定された地点の座標と一致するか否かを調べて、現在の倍率が予め設定された倍率と一致するか否かを判断しＳ３５、一致する場合、該当の地点に対応する試料情報を観察イメージに連係し増強現実映像を生成するＳ３６。

図６は本発明の第４の実施例による電子顕微鏡のための増強現実の提供方法を現わした流れ図であり、上述した図１及び図２を参照して説明する。

本発明の第４の実施例は単位試料に対する探索と倍率調整が使用者の操作信号によって手動で行われる。

まず、使用者の操作信号が感知さればＳ４１、入力された操作信号によってステージの移動方向と移動距離を算出するＳ４２。

その後、算出したステージの移動方向と移動距離によってステージを移動して倍率を調整したＳ４３後、移動地点の観察イメージを生成するＳ４４。

引続いて、観察イメージの倍率情報とイメージを分析して、あらかじめ設定された倍率にあたるか可否を判断し、あらかじめ設定された倍率の場合、観察イメージ内にあらかじめ設定したイメージが存在するか否かを判断するＳ４５。

以後、観察イメージ内に設定した地点のイメージが存在する場合、予め保存された該当地点の試料情報を付け加えた増強現実映像を生成するＳ４６。

このように本発明の実施例は観察イメージ内の特定地点の座標情報を利用して設定された地点を認識することもできるし、観察イメージ内にあらかじめ設定したイメージが存在する場合にイメージ情報を利用して設定した地点を認識することもできる。

以上では本発明を実施例によって詳細に説明したが、本発明は実施例によって限定されず、本発明が属する技術分野における当業者であれば本発明の技術範囲内で、本発明を修正または変更可能である。

本発明は、熟練者でない人でも電子顕微鏡を易しく使うことができ、教育の興味を誘発する増強現実を利用した電子顕微鏡システムの分野に適用できる。

１０標準試料
１１識別マーク
１２単位試料
２０電子顕微鏡
３０使用者インターフェイス（ｕｓｅｒｉｎｔｅｒｆａｃｅ）
４０マイコン（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）
４１メモリー部
４２映像認識部
４３映像処理部
５０ディスプレー装置

Claims

観察しようとする標準試料に電子ビームを照射し、前記標準試料の表面から放出されるか、または前記標準試料を透過した電子信号を獲得する電子顕微鏡と、
前記電子顕微鏡を通じた電子信号獲得のための使用者の操作信号が入力される使用者インターフェイスと、
前記電子顕微鏡を通じて検出された前記電子信号を利用して観察イメージを生成し、前記標準試料内で設定された複数の地点に対応する試料の説明のための試料情報を生成し、ステージを移動させて前記観察イメージ内に前記設定された地点が入った場合、観察イメージに前記生成された試料情報を付加した増強現実映像を生成するマイコンと、
前記マイコンを通じて生成された前記増強現実映像を画面に表示するディスプレー装置と、
を含むことを特徴とする増強現実を利用した電子顕微鏡システム。
前記標準試料は、識別マークを含み、
前記マイコンは、前記観察イメージ内で識別マークが認識される場合、識別マークの位置情報を基に基準座標系を設定し、前記基準座標系を基に決まった移動方向と移動距離によってステージの移動方向と移動距離を算出し、算出した移動方向と移動距離によって前記ステージを移動させて前記複数の地点を自動的に探索しながら前記増強現実映像を生成することを特徴とする請求項１に記載の増強現実を利用した電子顕微鏡システム。
前記標準試料内には複数の単位試料が形成され、
前記マイコンは、予め定められた手順と移動方向及び移動距離によって前記ステージの移動手順と移動方向及び移動距離を算出し、算出した移動手順と移動方向及び移動距離によって前記ステージを順に移動させながら各単位試料を順次探索し、各単位試料の観察イメージと予め設定された単位試料の情報を連係して増強現実映像を生成することを特徴とする請求項２に記載の増強現実を利用した電子顕微鏡システム。
前記マイコンは、使用者の操作信号入力の際、入力信号によってステージを移動させ、移動した位置の座標情報が標準試料内の設定した地点の座標と等しく、現在倍率があらかじめ設定された倍率と一致する場合、前記地点に対応する増強現実映像を生成することを特徴とする請求項１に記載の増強現実を利用した電子顕微鏡システム。
前記マイコンは、あらかじめ設定された倍率で観察イメージ内に予め設定されたイメージが存在すると判断した場合、前記地点に対応する増強現実映像を生成することを特徴とする請求項１に記載の増強現実を利用した電子顕微鏡システム。
前記使用者インターフェイスを通じて観察対象の標準試料識別コード情報が入力される場合、前記マイコンは、前記標準試料識別コード情報を基に観察対象標準試料を決め、あらかじめ設定された該当の標準試料の基準座標を基に決まった移動方向と移動距離によってステージの移動方向と移動距離を算出し、算出した移動方向と移動距離によって前記ステージを移動させて前記標準試料内の複数の地点を自動的に探索しながら前記増強現実映像を生成することを特徴とする請求項１に記載の増強現実を利用した電子顕微鏡システム。
前記マイコンは、
試料情報、試料情報を提供するための地点の座標及び倍率情報、試料情報を提供するための前記地点のイメージ及び倍率情報の中で少なくとも一つを保存するメモリー部と、
前記電子顕微鏡を通じて検出される電子信号を映像信号に変換して観察イメージを生成し、前記生成された観察イメージから単位試料及び単位試料内の設定された複数地点の位置またはイメージを認識する映像認識部と、
前記映像認識部によって認識された情報を基に前記メモリー部に予め保存された前記試料情報と前記映像認識部から生成された観察イメージとを連係して増強現実映像を生成する映像処理部と、
を含むことを特徴とする請求項３乃至６のいずれかー項に記載の増強現実を利用した電子顕微鏡システム。