JP4033746B2

JP4033746B2 - Microscope equipment

Info

Publication number: JP4033746B2
Application number: JP2002286037A
Authority: JP
Inventors: 紳一郎合▲崎▼
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2008-01-16
Anticipated expiration: 2022-09-30
Also published as: JP2004128582A

Description

【０００１】
【発明の属する技術分野】
本発明は、顕微鏡での観察像をＣＣＤ等の撮像装置により撮像する顕微鏡撮影装置に関する。
【０００２】
【従来の技術】
従来より、顕微鏡に付属する周辺装置として、顕微鏡の観察像をＣＣＤなどの撮像装置により撮像する顕微鏡撮像装置がある。通常、このような顕微鏡撮像装置では、顕微鏡により得られる観察像を静止画として記録する場合、観察像を記録する前のフレーミング操作や合焦操作のためにライブ像を表示部に表示するようにしている。
【０００３】
この場合、表示部のライブ像は、観察する標本の明るさに応じて、所望の明るさで表示するのに適した露出時間で撮像されて表示されており、したがって、観察する標本が暗い場合は、所望の明るさの表示を得るために露出時間を長くして撮像し、表示部に表示するようにしている。
【０００４】
しかしながら、このような撮像装置では、暗い標本を撮像するために露出時間を長くすると、ライブ像を得るためのフレームレートが低くなるため、フレーミング操作や合焦操作の操作性が著しく損なわれてしまうという問題がある。
そこで、このような暗い標本つまり被写体を撮影対象とする場合、本出願人により出願されている発明として、顕微鏡本体の観察像（標本像）を撮像する撮像素子からの出力を増幅部で増幅し、画像処理して表示部に表示する際、観察像の明るさに応じた測光値を取得するとともに、この取得された測光値に基づき適正露出時間を露出演算手段で演算し、この演算された適正露出時間と予め設定された限界露出時間とでの比較結果に応じて、撮像素子の露出時間および増幅部の利得を設定する顕微鏡撮像装置が提案されている。このようにすることで標本が暗い場合でもフレーミング操作や合焦操作の操作性を損なうことのないフレームレートを確保するようにしている（例えば、特許文献１参照。）。
【０００５】
また暗い被写体に対してライブ像を得るフレームレートを落とさない方法として、ビニングと呼ばれる撮像素子の駆動方法がある。この技術では２次元に配列された撮像画素からなるＣＣＤの隣接する複数の画素の電荷を１画素の情報として同時に読み出すことにより、露出時間を長くすることなく見かけの１画素の光量を上げ、ライブ画像を得るときのフレームレートが落ちないようにフレームレートを保つ方法がある。これを具体的に実現するための一例として、ＣＣＤの電子シャッタの動作タイミングを独特の方法により制御することによって、ビニング機能を使う前後での見かけの１画素の明るさを一定に保つようにする技術が知られている（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特願２００１−１９３７３８号（要約書の解決手段。）。
【特許文献２】
特開平１１−１２２５４０号公報（第４頁。図１、図３、図４。）。
【０００７】
【発明が解決しようとする課題】
ところで、上記２つの従来技術を組み合わせると、より暗い標本に対しても、ライブ画像を得るためのフレーミング操作や合焦操作の操作性を損なうことのないフレームレートを確保することができると考えられる。
【０００８】
ところが、これら２つの技術を単に組み合わせて顕微鏡撮影装置に適用するとライブ画像を表示するときの露出時間の設定と、静止画撮影をするときの露出時間の設定に不整合が生じ、ライブ像として観察している画像の明るさと静止画撮影を行って得た画像の明るさとが異なるという問題が発生する。
【０００９】
本発明の課題は、上記従来の実情に鑑み、標本が暗い場合でもフレーミング操作や合焦操作の操作性を損なうことのないフレームレートを確保できると共に、ライブ像として観察している画像の明るさと静止画撮影を行って得た画像の明るさとが一致するようにし、操作者の利便性を向上させることができる顕微鏡撮影装置を提供することである。
【００１０】
【課題を解決するための手段及び作用】
以下に、本発明に係わる顕微鏡撮影装置の構成及び作用を述べる。
先ず、請求項１記載の発明の顕微鏡撮影装置は、顕微鏡の観察像を撮像する２次元に配列された撮像画素を備えた撮像手段と、該撮像手段からの出力を増幅する増幅手段と、該増幅手段により増幅され画像処理された画像を表示する表示手段と、を有し、上記撮像手段は上記撮像画素の隣接する画素の電荷を１画素の情報として同時に読み出すビニング機能を備え、ライブ画像表示モードと静止画撮影モードを有する顕微鏡撮影装置であって、ライブ画像表示モードにビニング機能の有無を設定するビニング機能設定手段と、該ビニング機能設定手段により設定された前記ライブ画像表示モードで上記撮像手段が撮像した画像の明るさに基づいて第１の露出時間を算出する第１露出時間算出手段と、該第１露出時間算出手段により算出された第１の露出時間と予め設定された限界露出時間とを比較する露出時間比較手段と、該露出時間比較手段による比較結果に応じて上記ライブ画像表示モードの上記撮像手段の第２の露出時間及び上記増幅手段の利得を設定する露出制御手段と、を具備して構成される。
【００１１】
これにより、ライブ画像表示モードのビニング機能が設定されている場合でも、暗い標本に対して、フレーミング操作や合焦操作の操作性が損なわれることのないフレームレートを確保した適正な明るさのライブ画像表示を行うことができる。
【００１２】
上記露出制御手段は、例えば請求項２記載のように、上記ビニング機能設定手段による設定が、ビニングなしであるとき上記第１の露出時間をそのまま上記静止画撮影モードの露出時間に設定し、ビニングありのときビニング数に応じた係数を上記第１の露出時間に乗じた第３の露出時間を上記静止画撮影モードに設定し、上記表示手段は、上記静止画撮影モードに設定された上記第３の露出時間を露出時間表示部に表示するように構成される。
【００１３】
これにより、ライブ画像表示モードのビニング機能の設定に応じて静止画撮影モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる。
また、この顕微鏡撮影装置は、例えば請求項３記載のように、上記ライブ画像表示モードのビニング機能とは別個に静止画撮影モードにビニング機能を設定するビニング機能設定手段と、上記ライブ画像表示モードのビニング設定と上記静止画撮影モードのビニング設定と上記第１の露出時間とに基づいて第４の露出時間を算出する第４露出時間算出手段と、該第４露出時間算出手段により算出された第４の露出時間を上記静止画撮影モードに設定する第４露出時間設定手段と、を更に備え、上記表示手段は、上記静止画撮影モードに設定された上記第４の露出時間を露出時間表示部に表示するように構成される。
【００１４】
これにより、ライブ画像表示モードと静止画撮影モードに個別にビニング機能を設定して、それぞれのビニング設定に応じて静止画撮影モードの露出時間を設定することができ、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる。
【００１５】
次に、請求項４記載の発明の顕微鏡撮影装置は、顕微鏡の観察像を撮像する２次元に配列された撮像画素を備えた撮像手段と、該撮像手段からの出力を増幅する増幅手段と、該増幅手段により増幅され画像処理された画像を表示する表示手段とを有し、上記撮像手段は上記撮像画素の隣接する画素の電荷を１画素の情報として同時に読み出すビニング機能を備え、ライブ画像表示モードと静止画撮影モードを有するであって、ライブ画像表示モードにビニング機能の有無を設定するビニング機能設定手段と、静止画撮影モードに任意の第５の露出時間を設定する第５露出時間設定手段と、該第１露出時間設定手段により設定された上記第５の露出時間と上記ビニング機能設定手段により設定された上記ライブ画像表示モードのビニング機能の設定に基づいて第６の露出時間を算出する第６露出時間算出手段と、該第６露出時間算出手段により算出された上記第６の露出時間と予め設定された限界露出時間とを比較する比較手段と、該比較手段による比較結果に応じて上記ライブ画像表示モードの上記撮像手段の第７の露出時間および上記増幅手段の利得を設定する露出制御手段とを具備して構成される。
【００１６】
これにより、静止画撮影モードの露出時間が先に設定されている場合であっても、ライブ画像表示モードのビニング機能の設定に応じて、ライブ画像表示モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる。
【００１７】
更に、請求項５記載の発明の顕微鏡撮影装置は、顕微鏡の観察像を撮像する２次元に配列された撮像画素を備えた撮像手段と、該撮像手段からの出力を増幅する増幅手段と、該増幅手段により増幅され画像処理された画像を表示する表示手段と、を有し、上記撮像手段は上記撮像画素の隣接する画素の電荷を１画素の情報として同時に読み出すビニング機能を備え、ライブ画像表示モードと静止画撮影モードを有する顕微鏡撮影装置であって、ライブ画像表示モードと静止画撮影モードとに個別にビニング機能を設定するビニング機能個別設定手段と、静止画撮影モードに任意の第５の露出時間を設定する第５露出時間設定手段と、該第５露出時間設定手段により設定された上記静止画撮影モードにおける上記第５の露出時間の設定と、上記ビニング機能個別設定手段により設定された上記ライブ画像表示モードのビニング機能の設定と上記静止画撮影モードのビニング機能の設定とに基づいて第６の露出時間を算出する第６露出時間算出手段と、該第６露出時間算出手段により算出された上記第６の露出時間と予め設定された限界露出時間とを比較する比較手段と、該比較手段による比較結果に応じて上記ライブ画像表示モードの上記撮像手段の第７の露出時間および上記増幅手段の利得を設定する露出制御手段とを具備して構成される。
【００１８】
これにより、静止画撮影モードの露出時間が先に設定されている場合であっても、ライブ画像表示モードのビニング機能の設定と静止画撮影モードのビニング機能の設定に応じて、ライブ画像表示モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
尚、以下の説明において、上記の撮像手段は例えば撮像素子４等から成り、増幅手段は例えば増幅部７等から成り、表示手段は例えば表示装置１５等から成り、ビニング機能設定手段は例えばライブ画像表示モード設定部２３や静止画撮影モード設定部２４等から成り、第１〜第７露出時間算出手段は例えば露出演算部１６等から成り、露出時間比較手段、露出制御手段、第１露出時間設定手段、第２露出時間算出手段、及び第４露出時間設定手段は例えば露出制御部１７等から成り、ビニング機能個別設定手段は例えばライブ画像表示モード設定部２３と静止画撮影モード設定部２４等から成る。
【００２０】
図１は、一実施の形態における顕微鏡撮影装置のシステム構成を示す図である。図１において、顕微鏡撮影装置は、顕微鏡本体１と、撮影装置２と、ホストコンピュータ３とで構成される。
顕微鏡本体１は、特には図示しない標本の観察像を接眼レンズ等で目視観察できるように構成されているとともに、同じ観察像を、所定の光学系を介し、観察光路ａに沿って、外部に導出できるように構成されている。その外部に導出される観察像の観察光路ａ上に撮影装置２が配置される。
【００２１】
撮影装置２は、ＣＣＤなどからなる撮像素子４、撮像素子駆動部５、前置処理部６、増幅部７、Ａ／Ｄ変換部８、信号処理部９．バス１１、制御部１２、Ｉ／Ｆ（インターフェース）部１３などで構成されている。
上記の撮像素子４は、観察光路ａ上の顕微鏡本体１からの観察像が投影される位置に配置されている。
【００２２】
撮像素子駆動部５は、制御部１２からの制御の元に、撮像素子駆動モードと露出時間を示すデータを含む駆動信号を撮像素子４に出力して撮像素子４を駆動するとともに、Ａ／Ｄ変換部８にクロック信号を出力する。撮像素子４は、撮像素子駆動部５により駆動されることにより、撮像信号を前置処理部６に出力するように構成される。
【００２３】
上記の撮像素子駆動モードには、全画素読出しモード、間引き読出しモード、ビニング２×２モード、及びビニング４×４モードの４つのモードがある。また、ビニング機能とは、撮像素子４において、周辺画素を加算して見かけ上１つの画素として出力する機能を示し、例えばビニング２×２は周辺４画素を加算して出力することを示し、ビニング４×４は周辺１６画素を加算して出力することを示している。
【００２４】
前置処理部６は、撮像素子４から入力される撮像信号を、撮像素子駆動部５から与えられる制御パルスに基づいて映像信号化して、この映像信号を増幅部７へ出力するように構成される。
増幅部７は、前置処理部６から入力される映像信号を、制御部１２により設定される利得に基づいて増幅し、この増幅した映像信号をＡ／Ｄ変換部８に出力するように構成される。
【００２５】
Ａ／Ｄ変換部８は、増幅部７から入力される増幅された映像信号を、撮像素子駆動部５からのクロック信号に基づいてデジタル化し、このデジタル化した映像信号を信号処理部９に出力するように構成される。
信号処理部９は、映像信号に対して色補正や階調補正などの信号処理を行うとともに、映像信号より標本の明るさに応じた測光値を取得するように構成される。これら信号処理された映像信号と取得された測光値は、バス１１、制御部１２、及びＩ／Ｆ部１３を介してホストコンピュータ３に出力される。
【００２６】
ホストコンピュータ３は、例えばパーソナルコンピュータ等からなり、本体１４と表示装置１５とを備えている。本体１４は、内部に、特には図示しないがＣＰＵ（central processing unit）とこのＣＰＵにバスを介して接続されたＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＨＤ（hard disk）等の記憶装置や、その他の処理装置を備えており、ＲＯＭにはシステム全体を制御する基本プログラムが搭載され、ＨＤには、少なくとも、露出演算部１６、露出制御部１７、撮像素子駆動モード設定部１８等の各モジュールが搭載されている。
【００２７】
露出演算部１６は、信号処理部９から入力される測光値と、撮像素子駆動モード設定部１８により設定される撮像素子駆動モードとに基づいて、撮像素子４の露出時間を演算するように構成される。
露出制御部１７は、露出演算部１６での演算結果を制御部１２を介して撮像素子駆動部５に設定し、これにより撮像素子４の露出時間を制御するとともに、この露出時間と予め設定された限界露出時間とを比較し、その比較結果に応じて増幅部７の利得を、制御部１２を介して増幅部７に設定するように構成される。
【００２８】
撮像素子駆動モード設定部１８は、撮像素子駆動モードを制御部１２を介して撮像素子駆動部５に設定する。撮像素子駆動モードは、撮像素子駆動モード設定部１８によって詳しくは後述する表示装置１５の表示画面上に表示される設定入力画面を操作者から入力操作されることによって決定されるように構成される。
【００２９】
ホストコンピュータ３のＣＰＵは、上記のような設定の元に撮像され、信号処理されて、信号処理部９から入力された映像信号を、ライブ画像として表示装置１５の表示画面上に表示する。
図２は、表示装置１５の表示画面上にライブ画像が表示される際の表示画面の例を示す図である。
【００３０】
図３(a),(b) は、上記の画面表示の中で設定されるモード名と処理内容との対応関係を示す図表である。
先ず、図２において、表示装置１５の表示画面は、上方のライブ画像表示領域１９と下方の入力操作部表示領域２０とに分けられている。この図２に示す例では、ライブ画像表示領域１９には、左上のモード表示部２１に「ライブ画像表示モード：標準」と表示されており、このライブ画像表示領域１９の表示画面が、標準のライブ画像表示モードで表示されていることが示されている。また、ライブ画像表示領域１９の中央には、観察標本像と同じライブ画像２２が表示されている。
【００３１】
下方の入力操作部表示領域２０は、上方には、横に並んでライブ画像表示モード設定部２３、静止画撮影モード設定部２４、及び露出モード設定部２５の３つのモード入力部が表示されており、下方には、左右に分かれて露出時間設定部２６と静止画撮影ボタン２７が表示されている。
【００３２】
ライブ画像表示モード設定部２３は、ライブ画像表示領域１９に表示するライブ画像２２の表示状態を設定又は変更するものであり、領域枠内上方に「ライブ画像表示モード」と表示され、その下に、ライブ画像表示モードを選択して入力するための表示が４段に分かれて「標準」、「全画素読出し」、「ビニング２×２」、「ビニング４×４」と４つのライブ画像表示モードの名称が表示されている。そして、これらの名称表示の左端部に、それぞれ白抜きの丸いチェックボタンが表示されている。
【００３３】
これらのチェックボタンの中の所望のチェックボタンをマウス等のポインテングデバイスを用いて選択入力（クリック、以下同様）することで、その選択入力されたライブ画像表示モードが設定される。図２に示す例では「標準」左端のチェックボタンの表示が黒く反転して、標準のライブ画像表示モードが選択入力（設定）されていることを示している。
【００３４】
このライブ画像表示モードの各名称で示される各表示モードに対応する処理内容つまり撮像素子４の駆動方法は、図３(a) に示すように、「標準」モードでは撮像素子の駆動モードが「間引き読出し」となっている。これは、撮像素子４を間引き読み出しで駆動し、通常の明るさの標本をフォーカシング可能なフレームレートで表示するものである。
【００３５】
また、「全画素読出し」モードでは撮像素子駆動モードが「全画素読み出し」となっている。これは、撮像素子４を全画素読み出しで駆動するものであり、「標準」モードの駆動方法よりもフレームレートは落ちるが高精彩な画像を表示させることができる。
【００３６】
また、「ビニング２×２」モードでは撮像素子駆動モードが「ビニング２×２読出し」となっている。これは、１画素ごとに周辺４画素を加算して出力するよう撮像素子４を駆動するものであり、暗い標本に対してもフレームレートを落とさずに明るく表示させることができる。ただし解像度は「標準」モードよりも落ちる表示となる。
【００３７】
そして「ビニング４×４」モードでは撮像素子駆動モードが「ビニング４×４読出し」となっている。これは、１画素ごとに周辺１６画素を加算して出力するよう撮像素子４を駆動するものであり、より暗い標本を対象にしたものである。この場合もフレームレートを落とさずに明るく表示させることができるが、解像度は「ビニング２×２」モードよりも更に落ちる表示となる。
【００３８】
また、図２の入力操作部表示領域２０の静止画撮影モード設定部２４は、静止画撮影する場合の撮像素子４の駆動方法を設定又は変更するものであり、領域枠内上方に「静止画像撮影モード」と表示され、その下に、静止画像撮影モードを選択して入力するための表示が３段に分かれて「ビニングなし」、「ビニング２×２」、「ビニング４×４」と３つの静止画像撮影モードの名称が表示されている。そして、これらの名称表示のそれぞれの左端部に、白抜きの丸いチェックボタンが表示されている。
【００３９】
図２に示す例では「ビニングなし」の左端のチェックボタンの表示が黒く反転して、ビニングなしの静止画像撮影モードが選択入力（設定）されていることを示している。
この静止画像撮影モードの各名称で示される各撮影モードに対応する処理内容つまり撮像素子４の駆動方法は、図３(b) に示すように、「ビニングなし」モードでは撮像素子駆動モードは「全画素読み出し」、「ビニング２×２」モードでは撮像素子駆動モードは「ビニング２×２読出し」、そして「ビニング４×４」モードでは撮像素子駆動モードは「ビニング４×４読出し」となっている。
【００４０】
また、図２の入力操作部表示領域２０の露出モード設定部２５は、露出演算方法を設定するものであり、領域枠内上方に「露出モード」と表示され、その下に、露出モードを選択して入力するための表示が２段に分かれて「自動露出」、「手動露出」と２つの露出モードの名称が表示されている。そしてこれらの名称表示のそれぞれの左端部に白抜きの丸いチェックボタンが表示されている。
【００４１】
図２に示す例では「自動露出」の左端のチェックボタンの表示が黒く反転して、自動露出モードが選択入力（設定）されていることを示している。
上記の「自動露出」モードでは、標本の明るさが適正となる露光レベルに自動的に設定され、その設定されている静止画撮影モードの露出時間が露出時間設定部２６の露出時間表示窓２８内に表示される。
【００４２】
また「手動露出」モードでは、露出時間設定部２６の露出時間表示窓２８への時間入力設定に基づいて露出時間が設定される。すなわち、露出時間設定部２６の露出時間表示窓２８への時間入力は、露出モードが「手動露出」となっているときだけ入力可能である。
【００４３】
静止画撮影ボタン２７は、操作者が、このボタンを入力操作することによって静止画の取り込み指示を撮影装置２の制御部１２へ出力する。制御部１２は、静止画撮影ボタン２７への上記入力操作に基づくホストコンピュータ３からの指示により、信号処理部９から画像データをバス１１を介して入力し、Ｉ／Ｆ部１３を介してホストコンピュータ３へ出力する。ホストコンピュータ３はこの画像データをＨＤ上に静止画データとして保存する。
【００４４】
図４は、上記のように構成された一実施の形態における顕微鏡撮影装置の処理動作を説明するフローチャートである。尚、この処理は、ホストコンピュータ３のＣＰＵにより、露出演算部１６、露出制御部１７、撮像素子駆動モード設定部１８等の各モジュールが制御され、これらのモジュールによって撮影装置２の制御部１２を介し撮影装置２の各部が駆動されることによって行われる。
【００４５】
また、この処理では、例えば、操作者がライブ画像によるフレーミング操作や合焦操作を行うことができる限界のフレームレートとして毎秒５フレーム、限界露出時間をＴthとしてＴth＝１／５秒が、それぞれ露出制御部１７に制御されるＲＡＭ等の所定の記憶領域に設定されているものとする。また、以下の説明では露出モードが露出モード設定部２５において「自動露出」に設定されている場合について説明している。
【００４６】
図５(a),(b) は、上記の処理動作において、ライブ画像表示モード設定部２３又は静止画撮影モード設定部２４で選択入力されるモードとこれらのモードに応じて処理動作中で設定されるビニング係数との対応関係を示すテーブルである。これらのテーブルは、ホストコンピュータ３の所定の記憶装置に予め格納されている。
【００４７】
なお、図５(a),(b) に示すビニング係数は、本実施の形態に限定されるものではなく、同様の効果が得られれば、他の値でもよい。
図４において、まず、露出制御部１７は、撮影装置２の制御部１２を介して初期露出時間Ｔｉｎｉを撮像素子駆動部５に設定する。また制御部１２を介し、標準となる利得Ｇｖを増幅部７に設定する。また撮像素子駆動モード設定部１８は、入力操作部表示領域２０に選択入力されているライブ画像表示モードに基づいて、撮像素子駆動モードを制御部１２を介して撮像素子駆動部５に設定する（ステップＳ１）。
【００４８】
顕微鏡本体１の観察光路ａ１上の観察像が撮像素子４に投影されると、撮像素子４は、撮像素子駆動部５からの駆動信号に基づいた初期露出時間Ｔｉｎｉの撮像素子駆動モードで駆動され、撮像素子４に投影された観察像を光電変換し電気信号として出力する（ステップＳ２、第１段階）。
【００４９】
この撮像素子４からの出力信号は、前置処理部６に与えられ、撮像素子駆動部５から与えられる制御パルスによりサンプリング処理されて映像信号化される。この映像信号化された前置処理部６からの出力は、増幅部７において予め設定されている利得Ｇｖで増幅され、次にＡ／Ｄ変換部８を介してデジタル化されて信号処理部９に出力される（ステップＳ２、第２段階）。
【００５０】
信号処理部９は、映像信号に対して色補正、階調補正などの信号処理を行うとともに、映像信号より標本の明るさに応じた測光値を取得し、バス１１、制御部１２、Ｉ／Ｆ部１３を介してホストコンピュータ３に出力する(ステップＳ２、第３段階（最終段階）)。
【００５１】
ホストコンピュータ３は、ライブ画像表示モード設定部２３において選択入力されているライブ画像表示モードを取得し、この取得したライブ画像表示モードに対応する図５(a) に示すライブ表示ビニング係数ＢＬを設定する（ステップＳ３）。
【００５２】
この処理では、例えば、図２の表示画面の例では、ライブ画像表示モード設定部２３において「標準」が選択入力されているので、図５(a) に示すように「標準」に対応するライブ表示ビニング係数ＢＬ「１」が設定される。
次に、ホストコンピュータ３は、露出演算部１６において信号処理部９より取得した測光値に基づいた露出演算を行う。この露出演算処理においては、増幅部７における利得がＧｖの場合のライブ画像表示が適正露出を得るための「第１の露出時間」としての適正露出時間Ｔliveが算出される(ステップＳ４)。
【００５３】
次に、ホストコンピュータ３は、露出制御部１７において、上記露出演算部１６における露出演算で求められた適正露出時間Ｔliveと、予め設定されている限界露出時間Ｔthとを比較する（ステップＳ５）。
そして、この比較結果に応じてライブ画像表示のための露出時間Ｔの設定を行う。すなわち、上記の比較結果において、標本が明るく適正露出時間Ｔliveが限界露出時間Ｔthよりも短い場合、すなわち「Ｔlive＜Ｔth」である場合は（Ｓ５がＹｅｓ）、増幅部７の利得としてＧｖをそのまま保持し、「第２の露出時間」としてのライブ画像表示のための露出時間Ｔを、適正露出時間Ｔliveとして撮像素子駆動部５に設定する（ステップＳ６）。
【００５４】
これにより、撮像素子駆動部５は、露出時間が適正露出時間Ｔliveになるように撮像素子４を駆動する。この時の撮像素子４からの出力は、前述したと同様に前置処理部６、増幅部７、Ａ／Ｄ変換部８を介して信号処理部９に入力され、ここで色補正や階調補正が施された後に、バス１１、制御部１２、Ｉ／Ｆ部１３を介してホストコンピュータ３の表示装置１５のライブ画像表示領域１９にライブ画像２２として表示される（図２参照）。
【００５５】
また、このとき表示装置１５の表示画面のライブ画像表示領域１９に表示されるライブ画像２２は、限界露出時間Ｔthより短い適正露出時間Ｔliveで取り込まれているので、適正な明るさであり、フレーミング操作や合焦操作の操作性が損なわれることのないフレームレートを確保することができる。
【００５６】
他方、露出制御部１７での適正露出時間Ｔliveと限界露出時間Ｔthとの比較結果が、標本が暗く適正露出時間Ｔliveが限界露出時間Ｔthよりも長い場合、すなわち「Ｔlive＞Ｔth」である場合は（Ｓ５がＮｏ）、ホストコンピュータ３は、撮像素子駆動部５に、「第２の露出時間」としてのライブ画像表示のための露出時間Ｔとして限界露出時間Ｔthを設定し（ステップＳ７）、更に、増幅部７に、限界露出時間Ｔthとしたことによる補正分を含む利得「（Ｔlive／Ｔth）×Ｇｖ」を設定する(ステップＳ８)。
【００５７】
これにより、撮像素子駆動部５は、露出時間が限界露出時間Ｔthになるように撮像素子４を駆動する。この時の撮像素子４からの出力は、前述したと同様に前置処理部６を介して映像信号化され、増幅部７において利得「（Ｔlive／Ｔth）×Ｇｖ」で増幅される。この場合、増幅部７の出力には限界露出時間をＴthとしたことによる補正分が加味されているので、適正露出時間Ｔliveで撮像素子４が駆動され、利得Ｇｖで増幅された信号と同じ明るさの映像信号となっている。
【００５８】
上記の増幅部７の出力はＡ／Ｄ変換部８でデジタル化され、信号処理部９に入力され、ここで、色補正や階調補正が施された後、バス１１、制御部１２、Ｉ／Ｆ部１３介してホストコンピュータ３のライブ画像表示領域１９にライブ画像として表示される。
【００５９】
この場合、ライブ画像表示領域１９に表示されるライブ画像は、限界露出時間Ｔthにより取り込まれるが、増幅部７の利得を「（Ｔlive／Ｔth）×Ｇｖ」にして、限界露出時間Ｔthとしたことによる補正分を加味し、適正露出時間Ｔliveで撮像素子４を駆動し、利得Ｇｖで増幅したのと同じ明るさの映像信号を得られるようにしているので、適正な明るさとなり、フレーミング操作や合焦操作の操作性が損なわれることのないフレームレートを確保することができる。
【００６０】
これにより、ライブ画像表示モードのビニング機能が設定されている場合でも、暗い標本に対して、フレーミング操作や合焦操作の操作性が損なわれることのないフレームレートを確保した適正な明るさのライブ画像表示を行うことができる顕微鏡撮影装置を提供することができる。
【００６１】
上記のステップＳ６又はＳ８に続いて、ホストコンピュータ３は、静止画撮影モード設定部２４の設定に基づき、図５(b) に示す静止画撮影ビニング係数ＢＳを設定する（ステップＳ９）。
この処理では、例えば、図２に示す表示画面の例では、静止画撮影モード設定部２４において「ビニングなし」が選択入力されているので、図５(b) に示すように「ビニングなし」に対応する静止画撮影ビニング係数ＢＳ「１」が設定される。
【００６２】
次に、ホストコンピュータ３は、「第３又は第４の露出時間」としての静止画撮影露出時間を式「Ｔstill ＝（ＢＬ／ＢＳ）×Ｔlive」に基づき算出し、この算出した「第３又は第４の露出時間」としての静止画撮影露出時間「Ｔstill 」を撮像素子駆動部５に設定すると共に、表示装置１５の表示画面の露出時間設定部２６の露出時間表示窓２８に「Ｔstill 」を表示する（ステップＳ１０）。
【００６３】
以上で標本が明るい場合又は標本が暗い場合のライブ画像表示が完了する。このように、ライブ画像表示が完了した状態の観察像を静止画として記録したい場合は、操作者は、表示装置１５の表示画面下方の入力操作部表示領域２０の静止画撮影ボタン２７を押して記録の指示入力を行う。この指示入力はホストコンピュータ３のＣＰＵにより認識され、ＣＰＵにより静止画の撮影が実行される。
【００６４】
このように、ライブ画像表示モードのビニング機能の設定に応じて静止画撮影モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる顕微鏡撮影装置を提供することができる。
【００６５】
また、図６は、ホストコンピュータ３のＣＰＵにより実行される静止画撮影処理のフローチャートである。図６に示すように、ホストコンピュータ３の露出制御部１７は、増幅部７に利得Ｇｖを設定し（ステップ１１）、更に、露出時間Ｔstillを撮像素子駆動部５に設定する（ステップ１２）。
【００６６】
また、撮像素子駆動モード設定部１８は、図４のステップＳ９で取得した撮像素子駆動モードを、撮像素子駆動部５に設定する（ステップＳ１３）。
これらの設定に基づいて、標本像は撮像素子４により撮像され、増幅部７により利得Ｇｖで増幅され、信号処理部９、制御部１２等を介して静止画像データとなってホストコンピュータ３に送られ、所定の記憶装置に保存される（ステップＳ１４）。
【００６７】
図７は、図２に示した表示装置１５の表示画面において、ライブ画像表示モードと静止画撮影モードにそれぞれ異なるモードが設定された例を示す図である。図７に示すように、入力操作部表示領域２０のライブ画像表示モード設定部２３には、「ビニング２×２」の左端の白丸のチェックボタンが黒く反転表示されライブ画像表示モードとしてビニング２×２モードが選択入力されていることを示している。この選択入力により、ライブ画像表示領域１９の左上のモード表示部２１には「ライブ画像表示モード：ビニング２×２」と表示されている。
【００６８】
他方、入力操作部表示領域２０の静止画撮影モード設定部２４には、「ビニング４×４」の左端の白丸のチェックボタンが黒く反転表示され、静止画撮影モードとして、上記のライブ画像表示モードの「ビニング２×２」とは異なる「ビニング４×４」の撮影モードが選択入力されていることを示している。
【００６９】
これらの選択入力により、図４に示す処理では、ステップＳ３で、図５(a) に示すライブ表示ビニング係数ＢＬ「４」が設定され、ステップＳ４では、図５(b) に示す静止画撮影ビニング係数ＢＳ「１６」が設定される。
これにより、ライブ画像は、ビニング２×２で表示され、静止画は、ビニング４×４で撮影される。
【００７０】
このように、ライブ画像表示モードと静止画撮影モードに個別にビニング機能を設定できる場合において、それぞれのビニング設定に応じて静止画撮影モードの露出時間を設定することができ、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる顕微鏡撮影装置を提供することができる。
【００７１】
図８は、上述した標本の明るさに対応する測光値に対する露出時間と利得との関係を示す特性図である。同図は、横軸には、左にいくほど暗く右にいくほど明るい測光値Ｌを表し、縦軸の左には、下にいくほど短く上にいくほど長い露出時間Ｔを表し、縦軸の右には、下にいくほど低く上にいくほど高い利得Ｇを表している。
【００７２】
また、この座標系内の上方に３本の太い斜線と１本の太い横線で利得特性を示している。３本の太い斜線は右側から順に、撮像素子駆動モードが「間引き及び全画素読込み」のときの利得特性、「ビニング２×２」のときの利得特性、及び「ビニング４×４」のときの利得特性をそれぞれ示しており、太い横線は標準利得Ｇｖを示している。
【００７３】
また、座標系内の下方に３本の太い斜線と１本の太い横線で露出時間特性を示している。３本の太い斜線は右側から順に、撮像素子駆動モードが「間引き及び全画素読込み」のときの露出時間特性、「ビニング２×２」のときの露出時間特性、及び「ビニング４×４」のときの露出時間特性をそれぞれ示しており、太い横線は限界露出時間Ｔthを示している。
【００７４】
図８に示すように、測光値Ｌに対する露出時間Ｔと利得Ｇの関係は、撮像素子駆動モードによって異なる。例えば図８の測光値Ｌの値がＬａである標本を撮影する場合の各駆動モードの露出時間及び利得について説明する。
最初に、露出モードが自動露出の場合のライブ画像表示及び静止画撮影のときの露出設定について説明する。
【００７５】
先ず、ライブ画像表示の撮像素子駆動モードが「標準」（間引き駆動モード）及び「全画素読出し」（全画素読出し駆動モード）の場合について説明する。この場合、適正露出時間Ｔlive＝Ｔ０である。Ｔ０＞Ｔthであるため、ライブ画像取得のときの撮像素子４には露出時間Ｔthが設定され、増幅部７には利得Ｇ＝（Ｔ０／Ｔth）×Ｇｖが設定される。この状態で静止画を撮影する場合、静止画撮影モードの設定によって静止画撮影用の露出時間を算出する必要がある。この露出時間の算出では、各撮影モード（＝撮像素子駆動モード）によって以下のようになる
ビニングなし：Ｔstill ＝Ｔ０
ビニング２×２：Ｔstill ＝Ｔ２＝（ＢＬ／ＢＳ）×Ｔ０＝Ｔ０／４
ビニング４×４：Ｔstill ＝Ｔ４＝（ＢＬ／ＢＳ）×Ｔ０＝Ｔ０／１６
次に、ライブ画像表示の撮像素子駆動モードが、ビニング２×２の場合について説明する。この場合適正露出時間Ｔlive＝Ｔ２である。Ｔ２＞Ｔthであるため、ライブ画像取得のときの撮像素子４には露出時間Ｔthが設定され、増幅部７には利得Ｇ＝（Ｔ２／Ｔth）×Ｇｖが設定される。この状態で静止画を撮影する場合、静止画撮影モードの設定によって静止画撮影用の露出時間を算出する必要がある。この露出時間の算出では、各撮影モード（＝撮像素子駆動モード）によって以下のようになる。
【００７６】
ビニングなし：Ｔstill ＝Ｔ０＝（ＢＬ／ＢＳ）×Ｔ２＝Ｔ２×４
ビニング２×２：Ｔstill ＝Ｔ２
ビニング４×４：Ｔstill ＝Ｔ４＝（ＢＬ／ＢＳ）×Ｔ２＝Ｔ０／４
最後に、ライブ画像表示の撮像素子駆動モードが、ビニング４×４の場合について説明する。この場合適正露出時間Ｔlive＝Ｔ４である。Ｔ２＜Ｔthであるため、ライブ画像取得のときの撮像素子４には露出時間Ｔ２が設定され、増幅部７には利得Ｇ＝Ｇｖが設定される。この状態で静止画を撮影する場合、静止画撮影モードの設定によって静止画撮影用の露出時間を算出する必要がある。この露出時間の算出では、各撮影モード（＝撮像素子駆動モード）によって以下のようになる。
【００７７】
ビニングなし：Ｔstill ＝Ｔ０＝（ＢＬ／ＢＳ）×Ｔ２＝Ｔ２×１６
ビニング２×２：Ｔstill ＝Ｔ２＝（ＢＬ／ＢＳ）×Ｔ２＝Ｔ０×４
ビニング４×４：Ｔstill ＝Ｔ４
次に、露出モードとして手動露出が選択されている場合について説明する。
【００７８】
図９は、露出モードとして手動露出が選択されているときの処理を説明するフローチャートである。図９において、まず、撮影装置２の制御部１２は、標準となる利得Ｇｖを増幅部７に設定する。ホストコンピュータ３の撮像素子駆動モード設定部１８は、入力操作部表示領域２０のライブ画像表示モード設定部２３に選択入力されているライブ画像表示モードに基づいて、撮像素子駆動モードを制御部１２を介して撮像素子駆動部５に設定する（ステップＳ２１）。
【００７９】
次に、ホストコンピュータ３は、ライブ画像表示モード設定部２３に選択入力されているライブ画像表示モードを取得し、ライブ表示ビニング係数ＢＬ（図５(a) 参照）を設定する（ステップＳ２２）。
次に、ホストコンピュータ３は、静止画撮影モード設定部２４に選択入力されている静止画撮影モードを取得し、静止画撮影ビニング係数ＢＳ（図５(b) 参照）を設定する（ステップＳ２３）。
【００８０】
次に、ホストコンピュータ３は、露出時間設定部２６の露出時間表示窓２８に設定入力されている「第５の露出時間」としての静止画撮影露出時間Ｔstillを取得する（ステップＳ２４）。
次に、ホストコンピュータ３は、上記ステップＳ２２とＳ２３で設定したライブ表示ビニング係数ＢＬと、静止画撮影ビニング係数ＢＳと、静止画撮影露出時間Ｔstillとから、次式により「第６の露出時間」としてのライブ表示露出時間Ｔliveを算出する（ステップＳ２５）。
【００８１】
Ｔlive＝（ＢＳ／ＢＬ）×Ｔstill
次にホストコンピュータ３は、上記ステップＳ２５で求められた露出時間Ｔliveと予め設定されている限界露出時間Ｔthとを比較する（ステップＳ２６）。そして、この比較結果に応じてライブ画像表示のための露出時間Ｔの設定を行う。
【００８２】
この場合、露出時間Ｔliveが限界露出時間Ｔthよりも短い場合、すなわち「Ｔlive＜Tth」の場合は、ステップＳ２７に進み、露出時間Ｔliveが限界露出時間Ｔthより短くない場合、すなわち「Ｔlive＜Tth」でないときは、ステップＳ２８に進む。
【００８３】
ステップＳ２７では、ホストコンピュータ３は、増幅部７に設定する利得として利得Ｇｖをそのまま保持し、「第７の露出時間」としてのライブ画像表示のための露出時間Ｔを露出時間Ｔliveとして撮像素子駆動部５に設定する。
これにより、撮像素子駆動部５は、露出時間Ｔliveで撮像素子４を駆動する。この時の撮像素子４からの出力は、前述したと同様に前置処理部６、増幅部７、Ａ／Ｄ変換部８を介して信号処理部９に入力され、ここで色補正や階調補正が施された後に、バス１１、制御部１２、Ｉ／Ｆ部１３を介してホストコンピュータ３の表示装置１５の表示画面にライブ画像として表示される。
【００８４】
このときの表示装置１５の表示画面に表示されるライブ画像は、限界露出時間Ｔthより短い露出時間Ｔliveで取り込まれているので、フレーミング操作や合焦操作の操作性が損なわれることのないフレームレートを確保することができる。以上で「Ｔlive＜Ｔth」の場合のライブ画像表示を完了する。
【００８５】
他方、ステップＳ２８に進んだ場合は、先ず、ホストコンピュータ３は、撮像素子駆動部５に、「第７の露出時間」としてのライブ画像表示のための露出時間Ｔとして限界露出時間Ｔthを設定する。次に、ホストコンピュータ３は、増幅部７に限界露出時間Ｔthとしたことによる補正分を含む利得「（Ｔlive／Ｔth）×Ｇｖ」を設定する(ステップＳ２９)。
【００８６】
これにより、撮像素子駆動部５は、露出時間が限界露出時間Ｔthになるように撮像素子４を駆動する。この時の撮像素子４からの出力は、前述したのと同様に前置処理部６を介して映像信号化され、増幅部７において利得「（Ｔlive／Ｔth）×Ｇｖ」で増幅される。この場合、増幅部７の出力には、限界露出時間をＴthとしたことによる補正分が加味されているので、露出時間Ｔliveで撮像素子４が駆動され、利得Ｇｖで増幅された信号と同じ明るさの映像信号となっている。
【００８７】
増幅部７の出力はＡ／Ｄ変換部８でデジタル化され、信号処理部９に入力され、ここで、色補正や階調補正が施された後、バス１１、制御部１２、Ｉ／Ｆ部１３介してホストコンピュータ３の表示装置１５の表示画面にライブ画像として表示される。
【００８８】
この場合、表示装置１５の表示画面に表示されるライブ画像は、限界露出時間Ｔthにより取り込まれるが、増幅部７の利得を「（Ｔlive／Ｔth）×Ｇｖ」にして、限界露出時間Ｔthとしたことによる補正分を加味することで、露出時間Ｔliveで撮像素子４を駆動し、利得Ｇｖで増幅したのと同じ明るさの映像信号を得られるようにしている。以上で「Ｔlive＞Ｔth」の場合のライブ画像表示が完了する。
【００８９】
図１０は、図２に示した表示装置１５の表示画面において、ライブ画像表示モードと静止画撮影モードにそれぞれ異なるモードが設定された例を示し、更に、手動露出モードが選択された場合の例を示す図である。
図１０に示すように、入力操作部表示領域２０のライブ画像表示モード設定部２３には、「ビニング２×２」の左端の白丸のチェックボタンが黒く反転表示されライブ画像表示モードとしてビニング２×２モードが選択入力されていることを示している。この選択入力により、ライブ画像表示領域１９の左上のモード表示部２１には「ライブ画像表示モード：ビニング２×２」と表示されている。
【００９０】
他方、入力操作部表示領域２０の静止画撮影モード設定部２４には、「ビニング４×４」の左端の白丸のチェックボタンが黒く反転表示され、静止画撮影モードとして、上記のライブ画像表示モードの「ビニング２×２」とは異なる「ビニング４×４」の撮影モードが選択入力されていることを示している。
【００９１】
これらの選択入力により、図９に示す処理では、ステップＳ２３で、図５(a) に示すライブ表示ビニング係数ＢＬ「４」が設定され、ステップＳ２４では、図５(b) に示す静止画撮影ビニング係数ＢＳ「１６」が設定される。
これにより、ライブ画像は、ビニング２×２で表示され、静止画は、ビニング４×４で撮影される。
【００９２】
このように、ライブ画像表示モードと静止画撮影モードに個別にビニング機能を設定できる場合において、それぞれのビニング設定に応じて静止画撮影モードの露出時間を設定することができ、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる顕微鏡撮影装置を提供することができる。
【００９３】
また、図１０に示す入力操作部表示領域２０の露出モード設定部２５において、「手動露出」の左端の白丸のチェックボタンが黒く反転表示され、露出モードとして手動露出モードが選択入力されていることを示している。この選択入力により、入力操作部表示領域２０の左下の露出時間設定部２６には、露出時間表示窓２８の左右にそれぞれ三角形の時間設定ボタン２８ａ及び２８ｂが追加表示されている。
【００９４】
左向き三角形の時間設定ボタン２８ａは、これを押すごとに露出時間表示窓２８内に表示されて設定される秒単位の時間が所定時間、例えば１秒ごとに繰り下がり、右向き三角形の時間設定ボタン２８ｂは、これを押すごとに露出時間表示窓２８内に表示されて設定される秒単位の時間が所定時間、例えば１秒ごとに繰り上がる。
【００９５】
これにより、上記のビニングの設定とは別に、任意の明るさのライブ画像を表示させ、また、静止画を撮影することができる。
このように、静止画撮影モードの露出時間が先に設定されている場合であっても、ライブ画像表示モードのビニング機能の設定に応じて、ライブ画像表示モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる顕微鏡撮影装置を提供することができる。
【００９６】
また、同様に、静止画撮影モードの露出時間が先に設定されている場合であっても、ライブ画像表示モードのビニング機能の設定と静止画撮影モードのビニング機能の設定に応じて、ライブ画像表示モードの露出時間を設定でき、ライブ画像として表示される画像と静止画として撮影された画像の明るさを一致させることができる顕微鏡撮影装置を提供することができる。
【００９７】
上記に続いて、ライブ画像表示が完了した状態の観察像を静止画として記録したい場合は、操作者は、表示画面の入力操作部表示領域２０の静止画撮影ボタン２７を押す。この入力イベントは、静止画撮影の指示として制御部１２に与えられ、図６に示したフローチャートの処理が実行される。
【００９８】
このとき制御部１２は増幅部７に利得Ｇｖを設定し（ステップＳ１１）、露出制御部１７は露出時間Ｔstillを撮像素子駆動部５に設定し（ステップＳ１２）、撮像素子駆動モード設定部１８は、図４のステップＳ９の処理で取得した撮像素子駆動モードを撮像素子駆動部に設定する（ステップＳ１３）。これらの設定で標本像は撮像素子４により撮像され、増幅部７により利得Ｇｖで増幅された画像が信号処理部９、制御部１２等を介してホストコンピュータ３に送られて所定の記憶装置に保存される（ステップＳ１４）。
【００９９】
なお、本実施の形態では撮影装置をパーソナルコンピュータで制御する構成について説明したが、この構成に限られるものではない。例えば、露出演算部、露出制御部等を撮影装置内に、ハードウエアによって構成することも可能である。
【０１００】
【発明の効果】
以上説明したように、本発明によれば、従来の技術では不可とされるような、より暗い標本に対しても、フレーミング操作や合焦操作の操作性を損なうことのないフレームレートを確保した適正な明るさのライブ画像表示を行うことができる。また、ビニングの設定内容に関わらず、常にライブ画像表示の明るさと静止画撮影画像の明るさを一致させることができる。
【図面の簡単な説明】
【図１】一実施の形態における顕微鏡撮影装置のシステム構成を示す図である。
【図２】顕微鏡撮影装置の表示装置の表示画面上にライブ画像が表示される際の表示画面の例を示す図である。
【図３】 (a),(b) は表示画面の中で設定されるモード名と処理内容との対応関係を示す図表である。
【図４】顕微鏡撮影装置の処理動作を説明するフローチャートである。
【図５】 (a),(b) はライブ画像表示モード設定部又は静止画撮影モード設定部において選択入力されるモードとこれらのモードに応じてホストコンピュータの処理動作において設定されるビニング係数との対応関係を示すテーブルである。
【図６】ホストコンピュータのＣＰＵにより実行される静止画撮影処理のフローチャートである。
【図７】表示装置の表示画面においてライブ画像表示モードと静止画撮影モードにそれぞれ異なるモードが設定されて更に手動露出モードが選択された場合の例を示す図である。
【図８】標本の明るさに対応する測光値に対する露出時間と利得の関係を示す特性図である。
【図９】露出モードとして手動露出が選択されているときの処理を説明するフローチャートである。
【図１０】表示装置の表示画面においてライブ画像表示モードと静止画撮影モードにそれぞれ異なるモードが設定された例を示し更に手動露出モードが選択された場合の例を示す図である。
【符号の説明】
１顕微鏡本体
２撮影装置
３ホストコンピュータ
ａ観察光路
４撮像素子
５撮像素子駆動部
６前置処理部
７増幅部
８Ａ／Ｄ変換部
９信号処理部
１１バス
１２制御部
１３Ｉ／Ｆ（インターフェース）部
１４ホストコンピュータ本体
１５表示装置
１６露出演算部
１７露出制御部
１８撮像素子駆動モード設定部
１９ライブ画像表示領域
２０入力操作部表示領域
２１モード表示部
２２ライブ画像
２３ライブ画像表示モード設定部
２４静止画撮影モード設定部
２５露出モード設定部
２６露出時間設定部
２７静止画撮影ボタン
２８露出時間表示窓
２９ａ、２９ｂ時間設定ボタン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscope photographing apparatus that captures an image observed with a microscope using an imaging apparatus such as a CCD.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a peripheral device attached to a microscope, there is a microscope imaging device that captures an observation image of a microscope with an imaging device such as a CCD. Normally, in such a microscope imaging device, when an observation image obtained by a microscope is recorded as a still image, a live image is displayed on the display unit for a framing operation or a focusing operation before recording the observation image. ing.
[0003]
In this case, the live image of the display unit is captured and displayed with an exposure time suitable for displaying at a desired brightness according to the brightness of the specimen to be observed, and therefore the specimen to be observed is dark In order to obtain a display with a desired brightness, an image is taken with a long exposure time and displayed on the display unit.
[0004]
However, in such an imaging apparatus, if the exposure time is increased in order to capture a dark specimen, the frame rate for obtaining a live image is lowered, so that the operability of the framing operation and the focusing operation is significantly impaired. There is a problem.
Therefore, when such a dark specimen, that is, a subject is to be photographed, the output from the image sensor that captures the observation image (sample image) of the microscope main body is amplified by the amplification section as an invention filed by the present applicant. When the image is processed and displayed on the display unit, a photometric value corresponding to the brightness of the observation image is acquired, and an appropriate exposure time is calculated by the exposure calculation means based on the acquired photometric value. There has been proposed a microscope imaging apparatus that sets an exposure time of an image sensor and a gain of an amplification unit according to a comparison result between an appropriate exposure time and a preset limit exposure time. By doing so, a frame rate that does not impair the operability of the framing operation and the focusing operation even when the specimen is dark is ensured (see, for example, Patent Document 1).
[0005]
Further, as a method that does not decrease the frame rate for obtaining a live image with respect to a dark subject, there is a driving method of an image pickup device called binning. In this technology, the charge of a plurality of adjacent pixels of a CCD consisting of two-dimensionally arranged imaging pixels is simultaneously read out as one pixel information to increase the apparent light intensity of one pixel without lengthening the exposure time. There is a method of keeping the frame rate so that the frame rate does not drop when obtaining an image. As an example for concretely realizing this, by controlling the operation timing of the electronic shutter of the CCD by a unique method, the apparent brightness of one pixel before and after using the binning function is kept constant. A technique is known (for example, refer to Patent Document 2).
[0006]
[Patent Document 1]
Japanese Patent Application No. 2001-193738 (Solution for abstract).
[Patent Document 2]
JP-A-11-122540 (page 4, FIG. 1, FIG. 3, FIG. 4).
[0007]
[Problems to be solved by the invention]
By the way, by combining the above two conventional techniques, it is considered that a frame rate that does not impair the operability of the framing operation and the focusing operation for obtaining a live image can be secured even for a darker specimen. .
[0008]
However, when these two technologies are simply combined and applied to a microscope, there is a discrepancy between the setting of the exposure time when displaying a live image and the setting of the exposure time when shooting a still image, and it is observed as a live image. There arises a problem that the brightness of the current image differs from the brightness of the image obtained by taking a still image.
[0009]
An object of the present invention is to provide a frame rate that does not impair the operability of the framing operation and the focusing operation even when the specimen is dark, and the brightness of the image being observed as a live image in view of the above-described conventional situation. An object of the present invention is to provide a microscope photographing apparatus capable of improving the convenience of an operator by making the brightness of an image obtained by photographing a still image coincide with each other.
[0010]
[Means and Actions for Solving the Problems]
The configuration and operation of the microscope photographing apparatus according to the present invention will be described below.
First, a microscope photographing apparatus according to a first aspect of the present invention includes an imaging unit including two-dimensionally arranged imaging pixels that capture an observation image of a microscope, an amplification unit that amplifies an output from the imaging unit, Display means for displaying an image amplified by the amplifying means and subjected to image processing, and the imaging means has a binning function for simultaneously reading out the charges of the pixels adjacent to the imaging pixel as information of one pixel, and displays a live image A microscope photographing apparatus having a mode and a still image photographing mode, wherein a binning function setting means for setting presence / absence of a binning function in a live image display mode, and the imaging in the live image display mode set by the binning function setting means A first exposure time calculating means for calculating a first exposure time based on the brightness of the image captured by the means; and the first exposure time calculating means An exposure time comparison means for comparing the exposure time of 1 and a preset limit exposure time, a second exposure time of the imaging means in the live image display mode according to a comparison result by the exposure time comparison means, and the above Exposure control means for setting the gain of the amplification means.
[0011]
As a result, even when the binning function of the live image display mode is set, the liveness of the appropriate brightness is ensured with a frame rate that does not impair the operability of the framing operation and focusing operation for dark specimens. Image display can be performed.
[0012]
For example, when the setting by the binning function setting means is not binning, the exposure control means sets the first exposure time as it is to the exposure time of the still image shooting mode. If there is, a third exposure time obtained by multiplying the first exposure time by a coefficient corresponding to the number of binning is set in the still image shooting mode, and the display means sets the third exposure time set in the still image shooting mode. The exposure time 3 is displayed on the exposure time display unit.
[0013]
Thereby, the exposure time of the still image shooting mode can be set according to the setting of the binning function of the live image display mode, and the brightness of the image displayed as the live image and the image shot as the still image can be matched. .
Further, the microscope photographing apparatus includes, for example, a binning function setting means for setting a binning function in the still image photographing mode separately from the binning function in the live image display mode, and the live image display mode. The fourth exposure time calculating means for calculating the fourth exposure time based on the binning setting of the still image shooting mode, the binning setting of the still image shooting mode, and the first exposure time, and the fourth exposure time calculating means. Fourth exposure time setting means for setting a fourth exposure time in the still image shooting mode, and the display means displays the fourth exposure time set in the still image shooting mode as an exposure time. Configured to display in the section.
[0014]
As a result, the binning function can be set separately for the live image display mode and the still image shooting mode, and the exposure time of the still image shooting mode can be set according to the respective binning settings. And the brightness of an image shot as a still image can be matched.
[0015]
Next, a microscope photographing apparatus according to a fourth aspect of the present invention is an image pickup means including two-dimensionally arranged image pickup pixels for picking up an observation image of a microscope, an amplification means for amplifying an output from the image pickup means, Display means for displaying an image that has been amplified and processed by the amplifying means, and the imaging means has a binning function for simultaneously reading out charges of pixels adjacent to the imaging pixel as information of one pixel, and displays a live image. And a still image shooting mode, a binning function setting means for setting the presence or absence of a binning function in the live image display mode, and a fifth exposure time setting for setting an arbitrary fifth exposure time in the still image shooting mode And a binning function of the fifth exposure time set by the first exposure time setting means and the live image display mode set by the binning function setting means. A sixth exposure time calculating means for calculating a sixth exposure time based on a predetermined value, and a comparison for comparing the sixth exposure time calculated by the sixth exposure time calculating means with a preset limit exposure time And exposure control means for setting the seventh exposure time of the imaging means and the gain of the amplification means in the live image display mode according to the comparison result by the comparison means.
[0016]
As a result, even if the exposure time in the still image shooting mode is set first, the exposure time in the live image display mode can be set according to the binning function setting in the live image display mode. The brightness of the displayed image and the image captured as a still image can be matched.
[0017]
Further, the microscope photographing apparatus of the invention according to claim 5 is an image pickup means including two-dimensionally arranged image pickup pixels for picking up an observation image of a microscope, an amplification means for amplifying an output from the image pickup means, Display means for displaying an image amplified by the amplifying means and subjected to image processing, and the imaging means has a binning function for simultaneously reading out the charges of the pixels adjacent to the imaging pixel as information of one pixel, and displays a live image And a still image shooting mode, a binning function individual setting means for individually setting a binning function in the live image display mode and the still image shooting mode, and an optional fifth image in the still image shooting mode. Fifth exposure time setting means for setting the exposure time; setting of the fifth exposure time in the still image shooting mode set by the fifth exposure time setting means; Sixth exposure time calculating means for calculating a sixth exposure time based on the setting of the binning function of the live image display mode and the setting of the binning function of the still image shooting mode set by the individual setting function of the lighting function; Comparison means for comparing the sixth exposure time calculated by the sixth exposure time calculation means with a preset limit exposure time, and the imaging in the live image display mode according to the comparison result by the comparison means And a seventh exposure time of the means and an exposure control means for setting the gain of the amplifying means.
[0018]
As a result, even if the exposure time in the still image shooting mode is set first, the live image display mode is set according to the binning function setting in the live image display mode and the binning function setting in the still image shooting mode. Exposure time can be set, and the brightness of an image displayed as a live image and an image taken as a still image can be matched.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
In the following description, the above-described imaging means includes, for example, the imaging element 4, the amplification means includes, for example, the amplification unit 7, the display means includes, for example, the display device 15, and the binning function setting means includes, for example, a live image. The display mode setting unit 23, the still image shooting mode setting unit 24, and the like, and the first to seventh exposure time calculation units include, for example, the exposure calculation unit 16 and the like, are the exposure time comparison unit, the exposure control unit, and the first exposure time setting. The means, the second exposure time calculating means, and the fourth exposure time setting means are composed of, for example, the exposure control unit 17, and the binning function individual setting means is composed of, for example, the live image display mode setting unit 23 and the still image shooting mode setting unit 24. Become.
[0020]
FIG. 1 is a diagram illustrating a system configuration of a microscope photographing apparatus according to an embodiment. In FIG. 1, the microscope photographing apparatus includes a microscope main body 1, a photographing apparatus 2, and a host computer 3.
In particular, the microscope body 1 is configured so that an observation image of a specimen (not shown) can be visually observed with an eyepiece or the like, and the same observation image is externally provided along an observation optical path a via a predetermined optical system. It is configured so that it can be derived. The imaging device 2 is arranged on the observation optical path a of the observation image derived outside.
[0021]
The imaging device 2 includes an imaging device 4 made of a CCD or the like, an imaging device driving unit 5, a preprocessing unit 6, an amplification unit 7, an A / D conversion unit 8, a signal processing unit 9. A bus 11, a control unit 12, an I / F (interface) unit 13, and the like are included.
The imaging element 4 is disposed at a position on the observation optical path a where the observation image from the microscope main body 1 is projected.
[0022]
Under the control of the control unit 12, the image sensor driving unit 5 outputs a drive signal including data indicating the image sensor driving mode and exposure time to the image sensor 4 to drive the image sensor 4, and A / D A clock signal is output to the conversion unit 8. The imaging element 4 is configured to output an imaging signal to the pre-processing unit 6 by being driven by the imaging element driving unit 5.
[0023]
The image sensor driving mode includes four modes of an all-pixel readout mode, a thinning readout mode, a binning 2 × 2 mode, and a binning 4 × 4 mode. In addition, the binning function indicates a function in which the peripheral pixels are added and output as an apparent single pixel in the image sensor 4. For example, binning 2 × 2 indicates that the peripheral four pixels are added and output. 4 × 4 indicates that 16 peripheral pixels are added and output.
[0024]
The pre-processing unit 6 is configured to convert the imaging signal input from the imaging device 4 into a video signal based on the control pulse supplied from the imaging device driving unit 5 and output the video signal to the amplification unit 7. The
The amplification unit 7 is configured to amplify the video signal input from the pre-processing unit 6 based on the gain set by the control unit 12 and output the amplified video signal to the A / D conversion unit 8. Is done.
[0025]
The A / D conversion unit 8 digitizes the amplified video signal input from the amplification unit 7 based on the clock signal from the image sensor driving unit 5, and outputs the digitized video signal to the signal processing unit 9. Configured to do.
The signal processing unit 9 is configured to perform signal processing such as color correction and gradation correction on the video signal and acquire a photometric value corresponding to the brightness of the sample from the video signal. These signal processed video signals and the acquired photometric values are output to the host computer 3 via the bus 11, the control unit 12, and the I / F unit 13.
[0026]
The host computer 3 is composed of, for example, a personal computer, and includes a main body 14 and a display device 15. The main body 14 includes a CPU (central processing unit), a ROM (read only memory), a RAM (random access memory), an HD (hard disk), etc., which are connected to the CPU via a bus (not shown). The ROM includes a storage device and other processing devices, and the ROM has a basic program for controlling the entire system. The HD has at least an exposure calculation unit 16, an exposure control unit 17, and an image sensor drive mode setting unit 18. Each module is mounted.
[0027]
The exposure calculation unit 16 is configured to calculate the exposure time of the image sensor 4 based on the photometric value input from the signal processing unit 9 and the image sensor drive mode set by the image sensor drive mode setting unit 18. Is done.
The exposure control unit 17 sets the calculation result in the exposure calculation unit 16 to the image sensor driving unit 5 via the control unit 12, thereby controlling the exposure time of the image sensor 4 and setting the exposure time in advance. The gain of the amplifying unit 7 is set in the amplifying unit 7 via the control unit 12 according to the comparison result.
[0028]
The image sensor drive mode setting unit 18 sets the image sensor drive mode in the image sensor drive unit 5 via the control unit 12. The image sensor driving mode is configured to be determined by an input operation performed by an operator on a setting input screen displayed on the display screen of the display device 15 described later in detail by the image sensor driving mode setting unit 18. .
[0029]
The CPU of the host computer 3 displays the video signal that has been imaged and signal-processed under the above-described settings and input from the signal processing unit 9 on the display screen of the display device 15 as a live image.
FIG. 2 is a diagram illustrating an example of a display screen when a live image is displayed on the display screen of the display device 15.
[0030]
FIGS. 3A and 3B are charts showing the correspondence between the mode names set in the above screen display and the processing contents.
First, in FIG. 2, the display screen of the display device 15 is divided into an upper live image display area 19 and a lower input operation section display area 20. In the example shown in FIG. 2, the live image display area 19 displays “live image display mode: standard” in the mode display section 21 in the upper left, and the display screen of the live image display area 19 is the standard display screen. Shown in live image display mode. In the center of the live image display area 19, the same live image 22 as the observed specimen image is displayed.
[0031]
In the lower input operation unit display area 20, three mode input units, a live image display mode setting unit 23, a still image shooting mode setting unit 24, and an exposure mode setting unit 25, are displayed side by side. On the lower side, an exposure time setting unit 26 and a still image shooting button 27 are displayed separately on the left and right.
[0032]
The live image display mode setting unit 23 sets or changes the display state of the live image 22 to be displayed in the live image display area 19. “Live image display mode” is displayed above the area frame, and below that. , The display for selecting and inputting the live image display mode is divided into four stages, “standard”, “read all pixels”, “binning 2 × 2”, “binning 4 × 4” and four live image display modes The name of is displayed. In addition, a white round check button is displayed at the left end of these name displays.
[0033]
By selecting and inputting a desired check button among these check buttons using a pointing device such as a mouse (clicking, the same applies hereinafter), the selected and input live image display mode is set. In the example shown in FIG. 2, the display of the check button at the left end of “Standard” is inverted in black, indicating that the standard live image display mode is selected and input (set).
[0034]
As shown in FIG. 3A, the processing content corresponding to each display mode indicated by each name of the live image display mode, that is, the driving method of the image sensor 4 is “standard” mode and the drive mode of the image sensor is “ "Thinning readout". In this method, the image pickup device 4 is driven by thinning readout, and a normal brightness sample is displayed at a frame rate at which focusing is possible.
[0035]
In the “all pixel readout” mode, the image sensor driving mode is “all pixel readout”. This is to drive the image pickup device 4 by reading all pixels, and can display a high-definition image although the frame rate is lower than the driving method in the “standard” mode.
[0036]
In the “binning 2 × 2” mode, the image sensor driving mode is “binning 2 × 2 readout”. This is to drive the image pickup device 4 so as to add and output the surrounding four pixels for each pixel, and a dark sample can be displayed brightly without reducing the frame rate. However, the resolution is lower than that in the “standard” mode.
[0037]
In the “binning 4 × 4” mode, the image sensor driving mode is “binning 4 × 4 readout”. This is for driving the image sensor 4 so as to add and output the surrounding 16 pixels for each pixel, and is intended for a darker sample. In this case as well, it is possible to display brightly without lowering the frame rate, but the resolution is lower than that in the “binning 2 × 2” mode.
[0038]
Also, the still image shooting mode setting unit 24 in the input operation unit display area 20 in FIG. 2 sets or changes the driving method of the image sensor 4 when shooting a still image. “Photographing mode” is displayed, and below that, the display for selecting and inputting the still image photographing mode is divided into three stages, “No binning”, “Binning 2 × 2”, “Binning 4 × 4” and 3 The names of the three still image shooting modes are displayed. In addition, a blank round check button is displayed at the left end of each of these name displays.
[0039]
In the example shown in FIG. 2, the display of the check button at the left end of “no binning” is highlighted in black, indicating that the still image shooting mode without binning is selected and input (set).
As shown in FIG. 3B, the processing content corresponding to each shooting mode indicated by each name of the still image shooting mode, that is, the driving method of the image sensor 4 is “no binning” mode. In the “all pixel readout” and “binning 2 × 2” modes, the image sensor drive mode is “binning 2 × 2 readout”, and in the “binning 4 × 4” mode, the image sensor drive mode is “binning 4 × 4 readout”. Yes.
[0040]
The exposure mode setting unit 25 in the input operation unit display area 20 in FIG. 2 sets an exposure calculation method. “Exposure mode” is displayed in the upper part of the area frame, and the exposure mode is selected below. Thus, the display for inputting is divided into two stages, and “automatic exposure” and “manual exposure” and names of two exposure modes are displayed. A blank round check button is displayed at the left end of each name display.
[0041]
In the example shown in FIG. 2, the display of the check button at the left end of “Auto Exposure” is highlighted in black, indicating that the automatic exposure mode is selected and input (set).
In the “automatic exposure” mode, the exposure level of the specimen is automatically set to an appropriate exposure level, and the exposure time in the set still image shooting mode is set to the exposure time display window 28 of the exposure time setting unit 26. Is displayed.
[0042]
In the “manual exposure” mode, the exposure time is set based on the time input setting to the exposure time display window 28 of the exposure time setting unit 26. That is, the time input to the exposure time display window 28 of the exposure time setting unit 26 can be input only when the exposure mode is “manual exposure”.
[0043]
The still image shooting button 27 outputs an instruction for taking in a still image to the control unit 12 of the imaging device 2 when the operator inputs the button. The control unit 12 inputs image data from the signal processing unit 9 via the bus 11 in response to an instruction from the host computer 3 based on the input operation to the still image shooting button 27, and the host via the I / F unit 13. Output to the computer 3. The host computer 3 stores this image data as still image data on the HD.
[0044]
FIG. 4 is a flowchart for explaining the processing operation of the microscope imaging apparatus according to the embodiment configured as described above. In this process, the CPU of the host computer 3 controls each module such as the exposure calculation unit 16, the exposure control unit 17, and the image sensor drive mode setting unit 18, and the control unit 12 of the photographing apparatus 2 is controlled by these modules. This is done by driving each part of the photographing apparatus 2 through the camera.
[0045]
In this process, for example, the limit frame rate at which the operator can perform a framing operation or focusing operation using a live image is 5 frames per second, the exposure time is Tth = 1/5 seconds, and the limit exposure time is Tth. It is assumed that it is set in a predetermined storage area such as a RAM controlled by the control unit 17. In the following description, the case where the exposure mode is set to “automatic exposure” in the exposure mode setting unit 25 will be described.
[0046]
5 (a) and 5 (b) show the modes selected in the live image display mode setting unit 23 or the still image shooting mode setting unit 24 in the above processing operation, and the processing operation is set according to these modes. It is a table which shows the correspondence with the binning coefficient to be performed. These tables are stored in advance in a predetermined storage device of the host computer 3.
[0047]
Note that the binning coefficients shown in FIGS. 5A and 5B are not limited to the present embodiment, and may be other values as long as the same effect can be obtained.
In FIG. 4, first, the exposure control unit 17 sets the initial exposure time Tini in the image sensor driving unit 5 via the control unit 12 of the photographing apparatus 2. Further, a standard gain Gv is set in the amplification unit 7 via the control unit 12. Further, the image sensor drive mode setting unit 18 sets the image sensor drive mode in the image sensor drive unit 5 via the control unit 12 based on the live image display mode selected and input in the input operation unit display area 20 ( Step S1).
[0048]
When the observation image on the observation optical path a <b> 1 of the microscope body 1 is projected onto the image sensor 4, the image sensor 4 is driven in the image sensor drive mode with the initial exposure time Tini based on the drive signal from the image sensor drive unit 5. The observation image projected on the image sensor 4 is photoelectrically converted and output as an electrical signal (step S2, first stage).
[0049]
The output signal from the image pickup device 4 is supplied to the pre-processing unit 6 and is sampled by the control pulse supplied from the image pickup device driving unit 5 to be converted into a video signal. The output from the pre-processing unit 6 converted into the video signal is amplified with a gain Gv set in advance in the amplification unit 7, and then digitized through the A / D conversion unit 8 to be signal processing unit 9. (Step S2, second stage).
[0050]
The signal processing unit 9 performs signal processing such as color correction and gradation correction on the video signal, obtains a photometric value corresponding to the brightness of the sample from the video signal, and transmits the bus 11, the control unit 12, I / O The data is output to the host computer 3 via the F unit 13 (step S2, third stage (final stage)).
[0051]
The host computer 3 acquires the live image display mode selected and input in the live image display mode setting unit 23, and sets the live display binning coefficient BL shown in FIG. 5A corresponding to the acquired live image display mode. (Step S3).
[0052]
In this process, for example, in the example of the display screen of FIG. 2, “standard” is selected and input in the live image display mode setting unit 23, so that the live corresponding to “standard” as shown in FIG. The display binning coefficient BL “1” is set.
Next, the host computer 3 performs an exposure calculation based on the photometric value acquired from the signal processing unit 9 in the exposure calculation unit 16. In this exposure calculation process, a proper exposure time Tlive is calculated as a “first exposure time” for obtaining a proper exposure for live image display when the gain in the amplifying unit 7 is Gv (step S4).
[0053]
Next, in the exposure control unit 17, the host computer 3 compares the appropriate exposure time Tlive obtained by the exposure calculation in the exposure calculation unit 16 with a preset limit exposure time Tth (step S5).
Then, an exposure time T for displaying a live image is set according to the comparison result. That is, in the above comparison result, when the specimen is bright and the appropriate exposure time Tlive is shorter than the limit exposure time Tth, that is, when “Tlive <Tth” (S5 is Yes), Gv is used as the gain of the amplification unit 7 as it is. The exposure time T for live image display as the “second exposure time” is set in the image sensor driving unit 5 as the appropriate exposure time Tlive (step S6).
[0054]
Thereby, the image sensor driving unit 5 drives the image sensor 4 so that the exposure time becomes the appropriate exposure time Tlive. The output from the image sensor 4 at this time is input to the signal processing unit 9 via the pre-processing unit 6, the amplification unit 7, and the A / D conversion unit 8 in the same manner as described above. After the correction, the live image 22 is displayed on the live image display area 19 of the display device 15 of the host computer 3 via the bus 11, the control unit 12, and the I / F unit 13 (see FIG. 2).
[0055]
At this time, the live image 22 displayed in the live image display area 19 on the display screen of the display device 15 is captured with an appropriate exposure time Tlive shorter than the limit exposure time Tth. A frame rate that does not impair the operability of the operation and the focusing operation can be ensured.
[0056]
On the other hand, when the comparison result between the appropriate exposure time Tlive and the limit exposure time Tth in the exposure control unit 17 is dark and the appropriate exposure time Tlive is longer than the limit exposure time Tth, that is, “Tlive> Tth”. (No in S5), the host computer 3 sets the limit exposure time Tth as the exposure time T for the live image display as the “second exposure time” in the image sensor driving unit 5 (step S7). Then, a gain “(Tlive / Tth) × Gv” including a correction due to the limit exposure time Tth is set in the amplifier 7 (step S8).
[0057]
Thereby, the image sensor driving unit 5 drives the image sensor 4 so that the exposure time becomes the limit exposure time Tth. The output from the image sensor 4 at this time is converted into a video signal via the pre-processing unit 6 as described above, and is amplified by the amplification unit 7 with a gain “(Tlive / Tth) × Gv”. In this case, since the amount of correction due to the limit exposure time being set to Tth is added to the output of the amplifying unit 7, the image pickup device 4 is driven with the appropriate exposure time Tlive and has the same brightness as the signal amplified with the gain Gv. This is the video signal.
[0058]
The output of the amplifying unit 7 is digitized by the A / D conversion unit 8 and input to the signal processing unit 9, where after color correction and gradation correction, the bus 11, the control unit 12, I It is displayed as a live image in the live image display area 19 of the host computer 3 via the / F unit 13.
[0059]
In this case, the live image displayed in the live image display area 19 is captured by the limit exposure time Tth, but the gain of the amplifying unit 7 is set to “(Tlive / Tth) × Gv”, and the limit exposure time Tth is set. The image sensor 4 is driven with the appropriate exposure time Tlive and the image signal with the same brightness as that amplified with the gain Gv can be obtained. It is possible to ensure a frame rate that does not impair the operability of the focusing operation.
[0060]
As a result, even when the binning function of the live image display mode is set, the liveness of the appropriate brightness is ensured with a frame rate that does not impair the operability of the framing operation and focusing operation for dark specimens. A microscope apparatus capable of displaying an image can be provided.
[0061]
Subsequent to step S6 or S8 described above, the host computer 3 sets the still image shooting binning coefficient BS shown in FIG. 5B based on the setting of the still image shooting mode setting unit 24 (step S9).
In this process, for example, in the example of the display screen shown in FIG. 2, since “no binning” is selected and input in the still image shooting mode setting unit 24, “no binning” is selected as shown in FIG. The corresponding still image shooting binning coefficient BS “1” is set.
[0062]
Next, the host computer 3 calculates the still image shooting exposure time as the “third or fourth exposure time” based on the formula “Tstill = (BL / BS) × Tlive”. The still image shooting exposure time “Tstill” as the “fourth exposure time” is set in the image sensor driving unit 5, and “Tstill” is set in the exposure time display window 28 of the exposure time setting unit 26 of the display screen of the display device 15. Display (step S10).
[0063]
This completes the live image display when the specimen is bright or the specimen is dark. As described above, when the observation image in a state where the live image display is completed is to be recorded as a still image, the operator presses the still image shooting button 27 in the input operation unit display area 20 below the display screen of the display device 15 to record. Input instructions. This instruction input is recognized by the CPU of the host computer 3, and a still image is taken by the CPU.
[0064]
In this way, the exposure time of the still image shooting mode can be set according to the setting of the binning function of the live image display mode, and the brightness of the image displayed as the live image and the image shot as the still image can be matched. It is possible to provide a microscopic imaging apparatus that can be used.
[0065]
FIG. 6 is a flowchart of still image shooting processing executed by the CPU of the host computer 3. As shown in FIG. 6, the exposure control unit 17 of the host computer 3 sets the gain Gv in the amplification unit 7 (step 11), and further sets the exposure time Tstill in the image sensor driving unit 5 (step 12).
[0066]
Further, the image sensor drive mode setting unit 18 sets the image sensor drive mode acquired in step S9 of FIG. 4 in the image sensor drive unit 5 (step S13).
Based on these settings, the sample image is picked up by the image pickup device 4, amplified by the amplification unit 7 with a gain Gv, and sent to the host computer 3 as still image data via the signal processing unit 9, the control unit 12, and the like. And stored in a predetermined storage device (step S14).
[0067]
FIG. 7 is a diagram illustrating an example in which different modes are set for the live image display mode and the still image shooting mode on the display screen of the display device 15 illustrated in FIG. 2. As shown in FIG. 7, in the live image display mode setting unit 23 of the input operation unit display area 20, a check button with a white circle at the left end of “Binning 2 × 2” is displayed in reverse video in black, and the binning 2 × as the live image display mode is displayed. 2 mode is selected and input. By this selection input, “live image display mode: binning 2 × 2” is displayed on the mode display portion 21 in the upper left of the live image display area 19.
[0068]
On the other hand, in the still image shooting mode setting unit 24 in the input operation unit display area 20, the leftmost white circle check button of “binning 4 × 4” is highlighted in black, and the above-described live image display mode is used as the still image shooting mode. This indicates that a “binning 4 × 4” shooting mode different from “binning 2 × 2” is selected and input.
[0069]
With these selection inputs, in the process shown in FIG. 4, the live display binning coefficient BL “4” shown in FIG. 5 (a) is set in step S3, and in step S4, the still image shooting shown in FIG. 5 (b) is performed. A binning coefficient BS “16” is set.
Thereby, the live image is displayed with binning 2 × 2, and the still image is shot with binning 4 × 4.
[0070]
In this way, when the binning function can be set individually for the live image display mode and the still image shooting mode, the exposure time of the still image shooting mode can be set according to each binning setting and displayed as a live image. It is possible to provide a microscope imaging apparatus that can match the brightness of an image captured as a still image and an image captured as a still image.
[0071]
FIG. 8 is a characteristic diagram showing the relationship between the exposure time and the gain with respect to the photometric value corresponding to the brightness of the specimen described above. In the figure, the horizontal axis represents a photometric value L that is darker as it goes to the left and brighter as it goes to the right, and the left side of the vertical axis represents a longer exposure time T as it goes down and down. To the right of, the lower the lower, the higher the gain G.
[0072]
Further, the gain characteristic is indicated by three thick diagonal lines and one thick horizontal line above the coordinate system. Three thick diagonal lines indicate, in order from the right, gain characteristics when the image sensor driving mode is “decimation and all pixel reading”, gain characteristics when “binning 2 × 2”, and “binning 4 × 4”. The gain characteristics are respectively shown, and the thick horizontal line indicates the standard gain Gv.
[0073]
Further, the exposure time characteristics are indicated by three thick diagonal lines and one thick horizontal line below the coordinate system. Three thick diagonal lines indicate, in order from the right, exposure time characteristics when the image sensor driving mode is “decimation and all pixel reading”, exposure time characteristics when “binning 2 × 2”, and “binning 4 × 4”. Exposure time characteristics are shown, and the thick horizontal line shows the limit exposure time Tth.
[0074]
As shown in FIG. 8, the relationship between the exposure time T and the gain G with respect to the photometric value L varies depending on the image sensor driving mode. For example, the exposure time and gain in each drive mode in the case of photographing a sample whose photometric value L is La in FIG. 8 will be described.
First, live image display when the exposure mode is automatic exposure and exposure setting for still image shooting will be described.
[0075]
First, the case where the image sensor driving mode for live image display is “standard” (thinning driving mode) and “all pixel reading” (all pixel reading driving mode) will be described. In this case, the appropriate exposure time Tlive = T0. Since T0> Tth, the exposure time Tth is set in the image sensor 4 at the time of live image acquisition, and the gain G = (T0 / Tth) × Gv is set in the amplification unit 7. When shooting a still image in this state, it is necessary to calculate the exposure time for still image shooting by setting the still image shooting mode. The calculation of the exposure time is as follows depending on each shooting mode (= image sensor driving mode).
No binning: Tstill = T0
Binning 2 × 2: Tstill = T2 = (BL / BS) × T0 = T0 / 4
Binning 4 × 4: Tstill = T4 = (BL / BS) × T0 = T0 / 16
Next, the case where the imaging element drive mode for live image display is binning 2 × 2 will be described. In this case, the appropriate exposure time Tlive = T2. Since T2> Tth, the exposure time Tth is set for the image pickup device 4 at the time of live image acquisition, and the gain G = (T2 / Tth) × Gv is set for the amplifier 7. When shooting a still image in this state, it is necessary to calculate the exposure time for still image shooting by setting the still image shooting mode. The calculation of the exposure time is as follows depending on each shooting mode (= image sensor driving mode).
[0076]
No binning: Tstill = T0 = (BL / BS) × T2 = T2 × 4
Binning 2 × 2: Tstill = T2
Binning 4 × 4: Tstill = T4 = (BL / BS) × T2 = T0 / 4
Finally, a case where the image sensor driving mode for live image display is binning 4 × 4 will be described. In this case, the appropriate exposure time Tlive = T4. Since T2 <Tth, the exposure time T2 is set for the image sensor 4 at the time of live image acquisition, and the gain G = Gv is set for the amplifier 7. When shooting a still image in this state, it is necessary to calculate the exposure time for still image shooting by setting the still image shooting mode. The calculation of the exposure time is as follows depending on each shooting mode (= image sensor driving mode).
[0077]
No binning: Tstill = T0 = (BL / BS) × T2 = T2 × 16
Binning 2 × 2: Tstill = T2 = (BL / BS) × T2 = T0 × 4
Binning 4 × 4: Tstill = T4
Next, a case where manual exposure is selected as the exposure mode will be described.
[0078]
FIG. 9 is a flowchart for explaining processing when manual exposure is selected as the exposure mode. In FIG. 9, first, the control unit 12 of the photographing apparatus 2 sets a standard gain Gv in the amplification unit 7. The image sensor drive mode setting unit 18 of the host computer 3 sets the image sensor drive mode to the control unit 12 based on the live image display mode selected and input to the live image display mode setting unit 23 in the input operation unit display area 20. Via the image sensor drive unit 5 (step S21).
[0079]
Next, the host computer 3 acquires the live image display mode selected and input to the live image display mode setting unit 23, and sets the live display binning coefficient BL (see FIG. 5A) (step S22).
Next, the host computer 3 acquires the still image shooting mode selected and input to the still image shooting mode setting unit 24, and sets the still image shooting binning coefficient BS (see FIG. 5B) (step S23). .
[0080]
Next, the host computer 3 acquires the still image shooting exposure time Tstill as the “fifth exposure time” set and input to the exposure time display window 28 of the exposure time setting unit 26 (step S24).
Next, the host computer 3 calculates the “sixth exposure time” from the live display binning coefficient BL, the still image shooting binning coefficient BS, and the still image shooting exposure time Tstill set in steps S22 and S23 by the following formula. The live display exposure time Tlive is calculated (step S25).
[0081]
Tlive = (BS / BL) × Tstill
Next, the host computer 3 compares the exposure time Tlive obtained in step S25 with a preset limit exposure time Tth (step S26). Then, an exposure time T for displaying a live image is set according to the comparison result.
[0082]
In this case, when the exposure time Tlive is shorter than the limit exposure time Tth, that is, when “Tlive <Tth”, the process proceeds to step S27, and when the exposure time Tlive is not shorter than the limit exposure time Tth, that is, “Tlive <Tth”. If not, the process proceeds to step S28.
[0083]
In step S27, the host computer 3 holds the gain Gv as the gain set in the amplifying unit 7 as it is, and drives the image pickup device with the exposure time T for live image display as the “seventh exposure time” as the exposure time Tlive. Set to part 5.
Thereby, the image sensor driving unit 5 drives the image sensor 4 with the exposure time Tlive. The output from the image sensor 4 at this time is input to the signal processing unit 9 via the pre-processing unit 6, the amplification unit 7, and the A / D conversion unit 8 in the same manner as described above. After the correction, the image is displayed as a live image on the display screen of the display device 15 of the host computer 3 via the bus 11, the control unit 12, and the I / F unit 13.
[0084]
Since the live image displayed on the display screen of the display device 15 at this time is captured with an exposure time Tlive shorter than the limit exposure time Tth, the frame rate does not impair the operability of the framing operation and the focusing operation. Can be secured. The live image display in the case of “Tlive <Tth” is thus completed.
[0085]
On the other hand, when the process proceeds to step S28, first, the host computer 3 sets the limit exposure time Tth as the exposure time T for the live image display as the “seventh exposure time” in the image sensor driving unit 5. . Next, the host computer 3 sets a gain “(Tlive / Tth) × Gv” including a correction due to the limit exposure time Tth being set in the amplification unit 7 (step S29).
[0086]
Thereby, the image sensor driving unit 5 drives the image sensor 4 so that the exposure time becomes the limit exposure time Tth. The output from the image sensor 4 at this time is converted into a video signal via the pre-processing unit 6 in the same manner as described above, and amplified by the amplification unit 7 with a gain “(Tlive / Tth) × Gv”. In this case, the output of the amplifying unit 7 is added with the correction due to the limit exposure time being set to Tth, so that the image sensor 4 is driven with the exposure time Tlive and has the same brightness as the signal amplified with the gain Gv. This is the video signal.
[0087]
The output of the amplifying unit 7 is digitized by the A / D conversion unit 8 and input to the signal processing unit 9, where after color correction and gradation correction are performed, the bus 11, the control unit 12, and the I / F It is displayed as a live image on the display screen of the display device 15 of the host computer 3 via the unit 13.
[0088]
In this case, the live image displayed on the display screen of the display device 15 is captured by the limit exposure time Tth, but the gain of the amplifying unit 7 is set to “(Tlive / Tth) × Gv”, and the limit exposure time Tth is set. By taking account of the correction amount, the image pickup device 4 is driven with the exposure time Tlive, and a video signal having the same brightness as that amplified with the gain Gv can be obtained. The live image display in the case of “Tlive> Tth” is thus completed.
[0089]
FIG. 10 shows an example in which different modes are set for the live image display mode and the still image shooting mode on the display screen of the display device 15 shown in FIG. 2, and an example in which the manual exposure mode is selected. FIG.
As shown in FIG. 10, in the live image display mode setting unit 23 of the input operation unit display area 20, the check button with the white circle at the left end of “Binning 2 × 2” is displayed in reverse video in black, and the binning 2 × as the live image display mode is displayed. 2 mode is selected and input. By this selection input, “live image display mode: binning 2 × 2” is displayed on the mode display portion 21 in the upper left of the live image display area 19.
[0090]
On the other hand, in the still image shooting mode setting unit 24 in the input operation unit display area 20, the leftmost white circle check button of “binning 4 × 4” is highlighted in black, and the above-described live image display mode is used as the still image shooting mode. This indicates that a “binning 4 × 4” shooting mode different from “binning 2 × 2” is selected and input.
[0091]
With these selection inputs, in the process shown in FIG. 9, the live display binning coefficient BL “4” shown in FIG. 5 (a) is set in step S23, and in step S24, the still image shooting shown in FIG. 5 (b) is performed. A binning coefficient BS “16” is set.
Thereby, the live image is displayed with binning 2 × 2, and the still image is shot with binning 4 × 4.
[0092]
In this way, when the binning function can be set individually for the live image display mode and the still image shooting mode, the exposure time of the still image shooting mode can be set according to each binning setting and displayed as a live image. It is possible to provide a microscope imaging apparatus that can match the brightness of an image captured as a still image and an image captured as a still image.
[0093]
Further, in the exposure mode setting section 25 of the input operation section display area 20 shown in FIG. 10, the white circle check button at the left end of “manual exposure” is highlighted in black, and the manual exposure mode is selected and input as the exposure mode. Is shown. By this selection input, triangular time setting buttons 28 a and 28 b are additionally displayed on the left and right sides of the exposure time display window 28 in the exposure time setting unit 26 at the lower left of the input operation unit display area 20.
[0094]
The time setting button 28a for the left-pointing triangle is displayed in the exposure time display window 28 every time the button is pressed, and the time in seconds that is set is lowered by a predetermined time, for example, every second. Each time this button is pressed, the time in seconds displayed and set in the exposure time display window 28 is advanced every predetermined time, for example, every second.
[0095]
Thus, apart from the above binning setting, a live image with an arbitrary brightness can be displayed and a still image can be taken.
In this way, even when the exposure time for the still image shooting mode is set first, the exposure time for the live image display mode can be set according to the binning function setting for the live image display mode. It is possible to provide a microscope photographing apparatus that can match the brightness of an image displayed as a still image and an image photographed as a still image.
[0096]
Similarly, even if the exposure time in the still image shooting mode is set first, the live image is displayed according to the binning function setting in the live image display mode and the binning function setting in the still image shooting mode. It is possible to provide a microscope photographing apparatus in which the exposure time in the display mode can be set and the brightness of an image displayed as a live image and an image photographed as a still image can be matched.
[0097]
Subsequent to the above, when the observation image in a state where the live image display is completed is to be recorded as a still image, the operator presses the still image shooting button 27 in the input operation section display area 20 of the display screen. This input event is given to the control unit 12 as an instruction for still image shooting, and the processing of the flowchart shown in FIG. 6 is executed.
[0098]
At this time, the control unit 12 sets the gain Gv in the amplification unit 7 (step S11), the exposure control unit 17 sets the exposure time Tstill in the image sensor drive unit 5 (step S12), and the image sensor drive mode setting unit 18 Then, the image sensor drive mode acquired in the process of step S9 in FIG. 4 is set in the image sensor drive unit (step S13). With these settings, the sample image is picked up by the image pickup device 4, and the image amplified by the amplification unit 7 with the gain Gv is sent to the host computer 3 via the signal processing unit 9, the control unit 12, etc., and stored in a predetermined storage device. Saved (step S14).
[0099]
In the present embodiment, the configuration in which the photographing apparatus is controlled by a personal computer has been described. However, the configuration is not limited to this configuration. For example, the exposure calculation unit, the exposure control unit, and the like can be configured by hardware in the photographing apparatus.
[0100]
【The invention's effect】
As described above, according to the present invention, a frame rate that does not impair the operability of the framing operation and the focusing operation is ensured even for a darker specimen, which is impossible with the prior art. Live image display with appropriate brightness can be performed. Further, the brightness of the live image display and the brightness of the still image captured image can always be matched regardless of the binning setting contents.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a system configuration of a microscope photographing apparatus according to an embodiment.
FIG. 2 is a diagram illustrating an example of a display screen when a live image is displayed on a display screen of a display device of a microscope photographing apparatus.
FIGS. 3A and 3B are tables showing the correspondence between mode names set in the display screen and processing contents.
FIG. 4 is a flowchart for explaining a processing operation of the microscope photographing apparatus.
FIGS. 5A and 5B show modes selected and input in a live image display mode setting unit or a still image shooting mode setting unit, and binning coefficients set in processing operations of the host computer according to these modes. It is a table which shows the correspondence of these.
FIG. 6 is a flowchart of still image shooting processing executed by the CPU of the host computer.
FIG. 7 is a diagram illustrating an example in which different modes are set as a live image display mode and a still image shooting mode on the display screen of the display device, and a manual exposure mode is further selected.
FIG. 8 is a characteristic diagram showing the relationship between exposure time and gain with respect to a photometric value corresponding to the brightness of a sample.
FIG. 9 is a flowchart illustrating processing when manual exposure is selected as the exposure mode.
FIG. 10 is a diagram illustrating an example in which different modes are set for a live image display mode and a still image shooting mode on the display screen of the display device, and further an example in which a manual exposure mode is selected.
[Explanation of symbols]
1 Microscope body
2 Shooting device
3 Host computer
a Observation optical path
4 Image sensor
5 Image sensor drive unit
6 Pre-processing section
7 Amplifier
8 A / D converter
9 Signal processor
11 Bus
12 Control unit
13 I / F (interface) section
14 Host computer body
15 Display device
16 Exposure calculator
17 Exposure control unit
18 Image sensor drive mode setting section
19 Live image display area
20 Input operation area display area
21 Mode display
22 Live images
23 Live image display mode setting section
24 Still image shooting mode setting section
25 Exposure mode setting section
26 Exposure time setting section
27 Still image shooting button
28 Exposure time display window
29a, 29b Time setting buttons

Claims

Image pickup means having two-dimensionally arranged image pickup pixels for picking up an observation image of a microscope, an amplification means for amplifying an output from the image pickup means, and a display for displaying an image amplified by the amplification means and subjected to image processing A microscope photographing apparatus having a binning function for simultaneously reading out charges of pixels adjacent to the imaging pixel as information of one pixel, and having a live image display mode and a still image photographing mode. ,
A binning function setting means for setting the presence or absence of the binning function in the live image display mode;
First exposure time calculating means for calculating a first exposure time based on brightness of an image captured by the imaging means in the live image display mode set by the binning function setting means;
Exposure time comparison means for comparing the first exposure time calculated by the first exposure time calculation means with a preset limit exposure time;
Exposure control means for setting a second exposure time of the imaging means in the live image display mode and a gain of the amplifying means according to a comparison result by the exposure time comparing means;
A microscopic photographing apparatus comprising:

The exposure control means sets the first exposure time as it is in the still image shooting mode when the setting by the binning function setting means is not binning, and a coefficient corresponding to the number of binning when binning is present The third exposure time obtained by multiplying the first exposure time is set in the still image shooting mode, and the display means displays the third exposure time set in the still image shooting mode as an exposure time display section. The microscope photographing apparatus according to claim 1, wherein the microscope photographing apparatus is displayed.

Binning function setting means for setting the binning function in the still image shooting mode separately from the binning function in the live image display mode;
A fourth exposure time calculating means for calculating a fourth exposure time based on the binning setting of the live image display mode, the binning setting of the still image shooting mode, and the first exposure time;
Fourth exposure time setting means for setting the fourth exposure time calculated by the fourth exposure time calculation means to the still image shooting mode;
Further comprising
2. The microscope photographing apparatus according to claim 1, wherein the display means displays the fourth exposure time set in the still image photographing mode on an exposure time display unit.

Image pickup means having two-dimensionally arranged image pickup pixels for picking up an observation image of a microscope, an amplification means for amplifying an output from the image pickup means, and a display for displaying an image amplified by the amplification means and subjected to image processing A microscope photographing apparatus having a binning function for simultaneously reading out the charges of pixels adjacent to the imaging pixel as information of one pixel, and having a live image display mode and a still image photographing mode,
A binning function setting means for setting the presence or absence of the binning function in the live image display mode;
Fifth exposure time setting means for setting an arbitrary fifth exposure time in the still image shooting mode;
A sixth exposure time is calculated based on the fifth exposure time set by the fifth exposure time setting means and the binning function setting of the live image display mode set by the binning function setting means. Exposure time calculation means;
Exposure time comparing means for comparing the sixth exposure time calculated by the sixth exposure time calculating means with a preset limit exposure time;
A microscope photographing apparatus comprising: an exposure control means for setting a seventh exposure time of the imaging means and a gain of the amplification means in the live image display mode according to a comparison result by the exposure time comparison means .

Image pickup means having two-dimensionally arranged image pickup pixels for picking up an observation image of a microscope, an amplification means for amplifying an output from the image pickup means, and a display for displaying an image amplified by the amplification means and subjected to image processing A microscope photographing apparatus having a binning function for simultaneously reading out charges of pixels adjacent to the imaging pixel as information of one pixel, and having a live image display mode and a still image photographing mode. ,
Binning function individual setting means for individually setting the binning function in the live image display mode and the still image shooting mode,
Fifth exposure time setting means for setting an arbitrary fifth exposure time in the still image shooting mode;
The setting of the fifth exposure time in the still image shooting mode set by the fifth exposure time setting means, the setting of the binning function of the live image display mode set by the binning function individual setting means, and the stillness Sixth exposure time calculating means for calculating a sixth exposure time based on the setting of the binning function in the image shooting mode;
Exposure time comparing means for comparing the sixth exposure time calculated by the sixth exposure time calculating means with a preset limit exposure time;
A microscope photographing apparatus comprising: an exposure control means for setting a seventh exposure time of the imaging means and a gain of the amplification means in the live image display mode according to a comparison result by the exposure time comparison means .