JP4105860B2

JP4105860B2 - Surgical microscope system

Info

Publication number: JP4105860B2
Application number: JP2001321136A
Authority: JP
Inventors: 正和溝口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-10-18
Filing date: 2001-10-18
Publication date: 2008-06-25
Anticipated expiration: 2021-10-18
Also published as: JP2003121755A

Description

【０００１】
【発明の属する技術分野】
本発明は、微細部位の手術等に使用される手術用顕微鏡システムに関し、具体的には手術用顕微鏡で得られる画像の記録及び、表示を改良した手術用顕微鏡システムに関する。
【０００２】
【従来の技術】
マイクロサージャリー等に用いられる手術用顕微鏡システムは、一般に、医療教育や手術記録等を目的として、術中画像をＶＴＲ等に記録する機能を有する。この種の手術用顕微鏡システムとして、例えば、特開平６−２２９８０号公報には、術中の顕微鏡画像を観察と同時に撮影可能とするため、観察光学系に入射する観察部位からの観察光束の光路途中にビームスプリッタを設け、ビームスプリッタで分岐された観察光束を固体撮像素子まで導く技術が開示されている。
【０００３】
また、近年では、手術用顕微鏡に内視鏡等を併用した手術用顕微鏡システムを用いてマイクロサージャリーが行われることがある。このような手術において、術者が接眼部から目を離すことなく顕微鏡像及び内視鏡画像の両方を同時に観察することを可能とするため、例えば、特開平１０−３３３０４７号公報には、顕微鏡光学系の最終結像位置近傍に、内視鏡画像等を表示する別の画像表示手段からの画像を導く投影手段を配置した技術が開示されており、さらに、特願２０００−１８９８９２号には、顕微鏡像上に表示される内視鏡画像を拡大／縮小可能とするとともに、表示位置を移動可能とする技術が開示されている。
【０００４】
【発明が解決しようとする課題】
ところで、例えば、手術用顕微鏡に内視鏡を併用した手術用顕微鏡システムにおいては、顕微鏡画像及び内視鏡画像の両方が術中画像として記録されることが望ましい。この場合、例えば、特開平１０−３３３０４７号公報や特願２０００−１８９８９２号の技術に、特開平６−２２９８０号公報の技術を併用することで、顕微鏡像及び内視鏡画像を同時に観察することができるとともに、顕微鏡画像及び内視鏡画像を同時に撮影することができる。そして、これら顕微鏡画像及び内視鏡画像の記録方法としては、各画像を各々独立してＶＴＲ等に記録させるか、或いは、画像ミキサ等によって顕微鏡画像の一部に内視鏡画像をインポーズして術中の観察状態と同様の画像を生成し単一のＶＴＲ等に記録することが考えられる。
【０００５】
しかしながら、各画像を各々独立したＶＴＲ等に記録した場合、各画像を高画質に記録できるものの、両者の時間的相関を取ることが困難であり、一方で、内視鏡画像を子画面として顕微鏡画像とともに記録した場合、内視鏡画像の画質が低下して詳細な記録を得ることが困難となる。また、特に特願２０００−１８９８９２号の技術のように子画面の表示状態を可変に設定可能な手術用顕微鏡システムにおいては、観察時の子画面位置とミキサでインポーズされた画像との相関が取れていないため、ＶＴＲ等の再生時には、術中の観察状態と異なる状態の画像が再生されることとなり、医療教育上等で不都合が生じる虞がある。
【０００６】
本発明は上記事情に鑑みてなされたもので、術中に撮影される複数の画像を高画質に記録することができ、しかも、記録画像を再生する際には術中の観察状態と極めて近い状態で再生することのできる手術用顕微鏡システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の第１の手術用顕微鏡システムは、術部を拡大観察するための観察光学系と、前記観察光学系により得た顕微鏡像の観察視野内における所定の位置に表示される視野内表示部に少なくとも一つの子画像を表示するよう制御する子画像表示制御部と、前記観察光学系により得た顕微鏡像を顕微鏡観察画像として撮影する撮影手段と、前記撮影手段により撮影された前記顕微鏡観察画像を記録する第１の画像記録手段と、前記視野内表示部に表示され得る前記子画像を記録する第２の画像記録手段と、前記視野内表示部に表示される子画像に係る所定の設定操作を行う子画像操作手段と、前記子画像操作手段により設定された前記視野内表示部に表示される子画像に係る所定の情報に基づいて当該子画像を表示するよう制御する子画像表示制御手段と、前記子画像操作手段により設定された前記視野内表示部に表示される子画像に係る所定の情報を、前記第１の画像記録手段および前記第２の画像記録手段に係る時系列情報に関連づけて記録する情報記録手段と、前記情報記録手段に記録された前記所定の情報に基づいて、前記第１の画像記録手段に記録された前記顕微鏡観察画像と前記第２の画像記録手段に記録された前記子画像とを時系列的に一致させて再生表示する再生制御手段と、を具備し、前記子画像操作手段は、前記子画像表示制御部の制御下に所定の子画像が表示される前記視野内表示部の、前記顕微鏡像の観察視野内における表示位置を設定し、前記情報記録手段は、前記子画像操作手段により設定された前記視野内表示部に表示される子画像に係る前記表示位置の情報を、前記第１の画像記録手段および前記第２の画像記録手段に係る時系列情報に関連づけて記録することを特徴とする。
【０００８】
本発明の第２の手術用顕微鏡システムは、術部を拡大観察するための観察光学系と、前記観察光学系により得た顕微鏡像の観察視野内における所定の位置に表示される視野内表示部に少なくとも一つの子画像を表示するよう制御する子画像表示制御部と、前記観察光学系により得た顕微鏡像を顕微鏡観察画像として撮影する撮影手段と、前記撮影手段により撮影された前記顕微鏡観察画像を記録する第１の画像記録手段と、前記視野内表示部に表示され得る前記子画像を記録する第２の画像記録手段と、前記視野内表示部に表示される子画像に係る所定の設定操作を行う子画像操作手段と、前記子画像操作手段により設定された前記視野内表示部に表示される子画像に係る所定の情報に基づいて当該子画像を表示するよう制御する子画像表示制御手段と、前記子画像操作手段により設定された前記視野内表示部に表示される子画像に係る所定の情報を、前記第１の画像記録手段および前記第２の画像記録手段に係る時系列情報に関連づけて記録する情報記録手段と、前記情報記録手段に記録された前記所定の情報に基づいて、前記第１の画像記録手段に記録された前記顕微鏡観察画像と前記第２の画像記録手段に記録された前記子画像とを時系列的に一致させて再生表示する再生制御手段と、を具備し、前記子画像操作手段は、前記子画像に表示される内容を選択して設定し、前記情報記録手段は、前記子画像操作手段により設定された前記選択された子画像に表示される内容の情報を、前記第１の画像記録手段および前記第２の画像記録手段に係る時系列情報に関連づけて記録することを特徴とする。
【０００９】
本発明の第３の手術用顕微鏡システムは、第１または第２の手術用顕微鏡システムにおいて、前記再生制御手段は、前記情報記録手段に記録された所定の情報に基づいて、前記第１の画像記録手段に記録された前記顕微鏡観察画像と前記第２の画像記録手段に記録された前記子画像とを時系列的に一致させて所定の画像表示手段に再生表示する第１の再生モードと、前記時系列的の一致に拘わらず前記第２の画像記録手段に記録された前記子画像を前記画像表示手段の表示領域全体に表示する第２の再生モードを選択して再生可能に制御することを特徴とする。
本発明の第４の手術用顕微鏡システムは、第１〜第３の手術用顕微鏡システムにおいて、前記観察光学系とは別体の内視鏡用カメラをさらに備え、前記子画像は、前記内視鏡用カメラにより撮像された内視鏡画像であることを特徴とする。
本発明の第５の手術用顕微鏡システムは、第１〜第４の手術用顕微鏡システムにおいて、前記観察光学系とは別体のナビゲーション装置をさらに備え、
前記子画像は、前記ナビゲーション装置に記録されたナビゲーション画像であることを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１乃至図８は本発明の第１の実施の形態に係わり、図１は手術用顕微鏡システムの双眼鏡筒部の光学系の概略構成図、図２は図１における図中左側観察光学系を示す概略構成図、図３はＬＣＤ光学系の斜視図、図４はＸＹテーブルの概略構成図及び画像録画制御系の機能ブロック図、図５は記録データ再生系の機能ブロック図、図６は顕微鏡観察視野に対して視野内表示画像が制御される位置関係を示す説明図、図７はＸＹステージの位置に応じたＬＣＤ内での表示位置及びサイズを示す説明図、図８は再生画像を示す説明図、である。
【００１１】
先ず、図１乃至図３を参照して手術用顕微鏡システムの鏡体内で変倍光学系（図示せず）に連結される双眼鏡筒部の光学構成について説明する。図１において符号１は、接続部２を介して鏡体に一体的に取り付けられる固定ハウジングを示し、この固定ハウジング１の内部には左右一対の結像レンズ８ａ，８ｂが配設されている。結像レンズ８ａ，８ｂは、鏡体から出射される左右観察光束を入射させるべく、鏡体の観察光学系と光学的に接続されている。
【００１２】
また、固定ハウジング１内には、結像レンズ８ａ，８ｂを介して入射された光束を９０°外方に反射させるミラー９ａ，９ｂが配設され、その反射光路上にはイメージローテータプリズム１０ａ，１０ｂが配設されている。
【００１３】
また、イメージローテータプリズム１０ａ，１０ｂの光路上には、両観察光束を各々１８０°反転させるプリズム１１ａ，１１ｂが配設されており、さらに、プリズム１１ａ，１１ｂからの出射光軸を、後述する接眼光学系２２ａ，２２ｂの観察光軸ＯＬ，ＯＲと平行方向に反射させる三角プリズム１２ａ，１２ｂが配設されている。ここで、図示のように、三角プリズム１２ａ，１２ｂの光路上には、結像レンズ８ａ，８ｂにより結像された観察光束の第１の中間結像点１３ａ，１３ｂが位置する。
【００１４】
第１の中間結像点１３ａ，１３ｂの近傍には、後述するプリズム１４ａ，１４ｂが三角プリズム１２ａ，１２ｂに対向して配設されている。この場合、プリズム１４ａ，１４ｂは、上面が第１の中間結像点１３ａ，１３ｂと略一致するように配設される。さらに、三角プリズム１２ａ，１２ｂの光路上には観察光束をリレーするリレーレンズ１５ａ，１５ｂが設置固定されている。ここで、プリズム１１ａ，１１ｂ、三角プリズム１２ａ，１２ｂ、プリズム１４ａ，１４ｂ、リレーレンズ１５ａ，１５ｂは、可動ハウジング１６内に内蔵されている。
【００１５】
可動ハウジング１６は、軸Ｏ、すなわちプリズム１１ａ，１１ｂの入射光軸まわりに回転可能となるよう、接続部１７ａ，１７ｂを介して、固定ハウジング１に連結されている。また、プリズム１１ａ，１１ｂは、図示しないカム機構等により、可動ハウジング１６の固定ハウジング１に対する回転に対して１／２の角度だけ、軸Ｏを中心に回転可能となっている。
【００１６】
また、可動ハウジング１６には、リレーレンズ１５ａ，１５ｂの光路に対応する位置に、眼幅調整ハウジング４ａ，４ｂが連接され、眼幅調整ハウジング４ａ，４ｂには接眼ハウジング５ａ，５ｂが一体形成されている。
【００１７】
眼幅調整ハウジング４ａ，４ｂ内には、入射反射面１９ａ，１９ｂと出射反射面２０ａ，２０ｂ（図２に入射反射面１９ａ、出射反射面２０ａのみ図示）とを有する平行プリズム１８ａ，１８ｂがそれぞれ内蔵され、接眼ハウジング５ａ，５ｂ内には、接眼光学系２２ａ，２２ｂがそれぞれ内蔵されている。そして、平行プリズム１８ａ，１８ｂの入射反射面１９ａ，１９ｂで反射されるとともに出射反射面２０ａ，２０ｂで反射されたリレーレンズ１５ａ，１５ｂからの観察光束は、それぞれ第２の中間結像点２１ａ，２１ｂで結像された後、接眼光学系２２ａ，２２ｂに導かれるようになっている。すなわち、平行プリズム１８ａ，１８ｂから接眼光学系２２ａ，２２ｂまでの光路上に、顕微鏡光学観察像の観察光軸ＯＬ，ＯＲがそれぞれ構成される。
【００１８】
ここで、眼幅調整ハウジング４ａ，４ｂは、抜け止め部材２３ａ，２３ｂによって軸方向への移動が規制された状態で（図２参照）、可動ハウジング１６に対し三角プリズム１２ａ，１２ｂからの出射光軸（図中垂直方向）と略一致した軸周りに回転自在に支持されている。すなわち、本構造と平行プリズム１８ａ，１８ｂとにより、いわゆるジーテントップ眼幅調整機構が構成されている。
【００１９】
図２，３において、符号２４ａ，２４ｂは、内視鏡画像等を電子画像として表示するための小型ＬＣＤモニターを示す。ＬＣＤモニタ２４ａ，２４ｂの出射光軸上には結像レンズ２５ａ，２５ｂが対向して配設され、結像レンズ２５ａ，２５ｂは、ＬＣＤモニタ２４ａ，２４ｂの画像をプリズム１４ａ，１４ｂの上面に結像させる位置に設定されている。そして、これらＬＣＤモニタ２４ａ，２４ｂ、結像レンズ２５ａ，２５ｂ、及び、プリズム１４ａ，１４ｂは固定板５０に配置固定されて視野内表示手段としてのＬＣＤ光学系２６ａ，２６ｂを構成する。
【００２０】
固定板５０には、三角プリズム１２ａ，１２ｂからの光束を避けるための穴部５０ａ，５０ｂが設けられている。また、固定板５０は、顕微鏡像の光軸と直交する平面上を移動させるＸＹテーブル２８のＸテーブル２９上に固設されている。
【００２１】
また、可動ハウジング１６内において、顕微鏡像の光路上には、例えば、図示しないビームスプリッタが介装され、ビームスプリッタは顕微鏡観察像を撮影手段としてのカメラヘッド１０３（後述する；図４参照）に導く。
【００２２】
次に、図４を参照してＸＹテーブル２８及び画像録画制御系の構成について説明する。
【００２３】
ＸＹテーブル２８は、固定板５０を、互いに直交する軸方向（Ｘ軸方向、Ｙ軸方向）にそれぞれ移動可能なＸテーブル２９と、Ｙテーブル３３とを備えて構成されている。
【００２４】
Ｘテーブル２９はラック部２９ａと軸受部２９ｂとを有し、ラック部２９ａには、モータ３０の回転軸に固設されたピニオンギア３１が噛合されている。また軸受部２９ｂにはガイド軸３２が貫通され、このガイド軸３２によって、Ｘテーブル２９は、Ｙテーブル３３上をＸ軸方向に揺動自在となるよう支持されている。
【００２５】
また、Ｙテーブル３３はラック部３３ａと軸受部３３ｂとを有し、ラック部３３ａには、モータ３４の回転軸に固設されたピニオンギア３５が噛合されている。また、軸受部３３ｂにはガイド軸３６が貫通され、このガイド軸３６によって、Ｙテーブル３３は、筐体２８ａ上をＹ軸方向に揺動自在となるよう支持されている。
【００２６】
モータ３０，３４はエンコーダ（図示せず）を内蔵して構成され、これらのエンコーダは、Ｘテーブル位置検出回路４２とＹテーブル位置検出回路４４とにそれぞれ接続されている。また、モータ３０，３４は、モータ駆動回路４１，４３にそれぞれ接続されている。そして、モータ駆動回路４１、Ｘテーブル位置検出回路４２、モータ駆動回路４３、及び、Ｙテーブル位置検出回路４４は、ＸＹテーブル制御部４５に接続されている。
【００２７】
一方、図４において符号５１は操作部であり、この操作部５１には、ＸＹテーブル２８を操作するための４方向スイッチ５２と、表示位置移動モードスイッチ５３と、画像選択スイッチ５３と、が設けられている。
【００２８】
操作部５１は表示制御部５５に接続されているとともに、この表示制御部５５にはＸＹテーブル制御部４５が接続されている。表示制御部５５は映像変換回路部５６及び映像セレクタ５７に接続され、映像セレクタ５７は内視鏡ＴＶカメラ５８及びナビゲーション装置５９に接続されている。映像セレクタ５７には録画手段としてのビデオデッキ（ビデオレコーダ）１０１が接続され、ビデオデッキ１０１には、内視鏡ＶＴカメラ５８及びナビゲーション装置５９からの情報が、必要に応じて、映像セレクタ５７を介して出力されるようになっている。また、映像変換回路部５６には表示駆動回路６１，６２を介して左右のＬＣＤモニタ２４ａ，２４ｂがそれぞれ接続され、内視鏡ＴＶカメラ５８及びナビゲーション装置５９からの情報が、必要に応じて、各ＬＣＤモニタ２４ａ，２４ｂに表示可能となっている。
【００２９】
また、顕微鏡像の撮影を行うカメラヘッド１０３には、カメラコントロールユニット（ＣＣＵ）１０４を介して録画手段としてのビデオデッキ（ビデオレコーダ）１０５が接続されている。
【００３０】
また、ＸＹテーブル制御部４５、表示制御部５５、及び、ビデオデッキ１０１，１０５にはデータ変換部１０６が接続され、データ変換部１０６は、ＬＣＤ光学系２６ａ，２６ｂで表示される画像の表示位置情報等をビデオデッキ１０１，１０５の録画状態に時系列的に一致させて生成し、データ記録手段としてのメモリ１０２に記録するようになっている。
【００３１】
次に、図５を参照してビデオデッキ１０１，１０５に記録されたデータの再生系の構成について説明する。
【００３２】
上述のメモリ１０２には再生制御手段としての画像制御装置１０８が接続され、画像制御装置１０８には表示状態切換スイッチ１０９が接続されている。また、画像制御装置１０８には、ビデオデッキ１０１，１０５で記録されたデータをそれぞれ再生するためのビデオデッキ１０１ａ，１０５ａが接続されている。また、ビデオデッキ１０１ａ，１０５ａの図示しない画像出力端子は、画像ミキサ１１０の図示しない画像入力端子に接続されている。また、画像ミキサ１１０の図示しない画像出力端子は、モニタ１１２に接続されている。
【００３３】
次に、上記構成による手術用顕微鏡システムの作用について説明する。
【００３４】
術者は図示しない架台アームを操作して鏡体を所望の位置に配置固定し、さらに可動ハウジング１６を軸Ｏ周りに回転させ、術者の眼の位置に接眼光学系２２ａ，２２ｂを配置する。
【００３５】
術部を発した光は、鏡体内の図示しない拡大光学系を介して、結像レンズ８ａ，８ｂに入射される。左右の光束はイメージローテータプリズム１０ａ，１０ｂを経てプリズム１１ａ，１１ｂ及び三角プリズム１２ａ，１２ｂで反射され、第１の中間結像点１３ａ，１３ｂにて結像する。その後、光束は、リレーレンズ１５ａ，１５ｂに伝達され、平行プリズム１８ａ，１８ｂにより反射された後、第２の中間結像点２１ａ，２１ｂにて再度結像される。そして、再結像された光束は、接眼光学系２２ａ，２２ｂに導かれ、術者によって所望の拡大倍率で術部の立体観察が行われる。
【００３６】
この顕微鏡像の光路上の光は、その一部が、図示しないビームスプリッタ等によって分岐され、カメラヘッド１０３に導かれる。カメラヘッド１０３で撮影された顕微鏡像はカメラコントロールユニット１０４で映像信号に変換され、ビデオデッキ１０５に出力される。このとき、ビデオデッキ１０５が録画状態となっていれば、ビデオデッキ１０５から、タイムコードがデータ変換部１０６に出力される。ここで、ビデオデッキ１０５から出力されるタイムコードは、記録テープ（ビデオテープ）に映像信号とともに記録される録画時間の絶対番地である。
【００３７】
また、制御部５１の画像選択スイッチ５４の操作によって、内視鏡ＴＶカメラ５８からの内視鏡画像やナビゲーション装置５９からのナビゲーション画像を子画面（視野内表示画像）表示するモードが選択されると、表示制御部５５は、映像セレクタ選択状態を表す信号をデータ変換部１０６に出力するとともに、映像セレクタ５７に出力する。映像セレクタ５７は、前記信号に基づいて、内視鏡ＴＶカメラ５８／ナビゲーション装置５９からの映像信号を選択的に読み込み、当該映像信号を、映像セレクタ５７を介してビデオデッキ１０１に出力するとともに、映像変換回路部５６に出力する。
【００３８】
この場合、視野内表示画像として選択されている画像が内視鏡ＴＶカメラ５８による画像であれば、ビデオデッキ１０１は、映像信号の入力開始と同時に録画を開始し、映像信号の入力停止と同時に録画を停止する。一方、視野内表示画像として選択されている画像がナビゲーション装置５９によるものであれば、ビデオデッキ１０１は、ビデオデッキ１０５の録画状態と連動して録画のＯＮ／ＯＦＦ制御を行う。そして、ビデオデッキ１０１は、ビデオデッキ１０５と同様、録画中のタイムコードをデータ変換部１０６に出力する。ここで、ビデオデッキ１０１及び１０５から出力されるタイムコードは、記録テープ（ビデオテープ）に映像信号とともに記録される録画時間の絶対番地である。
【００３９】
また、視野内表示画像として選択され映像変換回路部５６に出力された映像信号は、映像変換回路部５６、及び、表示駆動回路６１，６２を経てＬＣＤモニタ２４ａ，２４ｂに表示させる。ＬＣＤモニタ２４ａ，２４ｂを発した光は結像レンズ２５ａ，２５ｂによりプリズム１４ａ，１４ｂの上面上にて結像される。プリズム１４ａ，１４ｂの上面は結像点１３ａ，１３ｂの近傍に位置するため、例えば図６に示すように、顕微鏡像３７上に内視鏡画像３８が表示される。
【００４０】
その際、例えば、画像選択スイッチ５４によって内視鏡ＴＶカメラ５８（内視鏡画像）を選択した状態で、制御部５１の表示位置移動モード選択スイッチ５３がＯＮされると、４方向スイッチ５２がステップモードとなり、ＯＦＦされるとフリーモードとなる。表示位置移動モード選択スイッチ５３がＯＮ状態において、４方向スイッチ５２が操作されると、顕微鏡像３７に対して内視鏡画像３８が例えば図中Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ方向に移動される（なお、Ａは顕微鏡像３７の視野外）。その際、内視鏡画像３８の画像中心は、例えばａ，ｂ，ｃ，ｄ，ｅ，ｆの点を結ぶ実線上の軌跡を移動する。また、表示位置移動モード選択スイッチ５３がＯＦＦされてフリーモードとなると、内視鏡画像３８は、４方向スイッチ５２の操作量に応じて移動される。具体的には、術者による操作部５１の操作がなされると、表示制御部５５からＸＹテーブル制御部４５に内視鏡画像の表示位置を指定する信号が出力される。これによりモータ３０，３４が駆動され、ＸＹテーブル２８は術者が指定した位置に内視鏡画像を移動させる。
【００４１】
モータ３０，３４が駆動されると、これらの駆動量を表すパルスがＸテーブル位置検出回路４２及びＹテーブル位置検出回路４４を介してＸＹテーブル制御部４５に入力され、ＸＹテーブル制御部４５は、入力パルスを視野内表示画像（内視鏡画像）のＸＹテーブル位置データとしてデータ変換部１０６に出力する。ここで、ＸＹテーブル位置データは、顕微鏡観察視野中心を原点とする座標で定義されるものである。
【００４２】
ところで、例えば、内視鏡画像３８がステップモードのＣの位置にある場合において、内視鏡画像３８が大画面Ｌ（標準の画像サイズ）で表示されている場合（図７（ａ）中Ｌで表示）には、内視鏡画像３８は、その大部分が顕微鏡画像３７の視野外に位置するが、表示制御部５５からの位置情報（図６のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）によりこれを縮小して小画面Ｓとし、さらに右下に移動（図７（ａ）中に斜線で示す子画面Ｓ１）させることにより、内視鏡画像３８を視野内に表示することができる（図７（ｂ）参照）。なお、ナビゲーション装置５９からのナビゲーション画像においても、上述の内視鏡画像と同様の操作によって、種々の表示形態で顕微鏡像上に任意に表示することができる。
【００４３】
データ変換部１０６は、図示しない手術用顕微鏡の電源スイッチ投入時よりカウントされる基準タイムコードを生成するとともに、ビデオデッキ１０１とビデオデッキ１０５から各々テーブルに記録されるタイムコードを取得する。
【００４４】
また、データ変換部１０６は、ＸＹテーブル制御部４５からＸＹテーブル位置データを取得する。さらにデータ変換部１０６は表示制御部５５からは選択されている画像が内視鏡ＴＶカメラ５８による映像であるか、またナビゲーション装置５９による映像であるかの映像選択情報を取得する。
【００４５】
ここで、データ変換部１０６は表示制御部５５からの信号に基づき、視野内表示画像として選択されている画像が、内視鏡ＴＶカメラ５８による画像であり、かつ前記視野内表示画像が表示状態であればビデオデッキ１０１に録画する信号を出力し、ビデオデッキ１０１で画像の録画が行われる。前記視野内表示画像が表示状態でなければ（図５のＡに表示される位置）、ビデオデッキ１０１に録画停止状態の信号が出力される。
【００４６】
また、データ変換部１０６は表示制御部５５からの信号に基づき、視野内表示画像として選択されている画像がナビゲーション装置５９によるものであれば、データ変換部１０６は、ビデオデッキ１０５の録画／録画停止の状態と連動して、ビデオデッキ１０１に録画／録画停止の信号を出力する。
【００４７】
そして、データ変換部１０６は基準タイムコードと、ビデオデッキ１０１及び１０５から出力されるタイムコード、ＸＹテーブル制御部４５から出力されるＸＹテーブル位置データ、表示制御部５５から出力される視野内表示画像の映像セレクタ選択状態を、基準タイムコードを基準にして時系列にメモリ１０２に記録する。
【００４８】
次に、ビデオデッキ１０１，１０５で録画されたビデオテープの再生制御について説明する。
【００４９】
ここで、図５において、ビデオデッキ１０５ａには前記ビデオデッキ１０５により記録された図示しないビデオテープが挿入され、ビデオデッキ１０１ａには前記ビデオデッキ１０１により記録された図示しないビデオテープが挿入されている。
【００５０】
観察者によって表示状態切換スイッチ１０９が操作されて手術用顕微鏡による撮影画像と内視鏡による撮影画像を同時に観察するモードが選択されると、画像制御装置１０８は、メモリ１０２から記録されたデータ（ビデオデッキ１０１及び１０５によって記録されたタイムコード、ＸＹテーブル位置データ、映像セレクタ選択状態）を読み出す。
【００５１】
次に、画像制御装置１０８は、表示状態切換スイッチ１０９からの操作信号を受けて、ビデオデッキ１０５ａ及びビデオデッキ１０１ａから各々のビデオテープに記録されているタイムコードを読み出す。画像制御装置１０８は、メモリ１０２の基準タイムコードから各々対応するタイムコードの画像記録位置の頭出を行い、その時点でのＸＹテーブル位置データと映像セレクタ選択状態を参照する。
【００５２】
以下、映像セレクタ選択状態が内視鏡ＴＶカメラ５８（内視鏡画像）に設定されている場合の作用を説明する。画像制御装置１０８はメモリからの基準タイムコードに対応するＸＹテーブル位置データを検出し、視野内表示画像がＯＦＦの場合には、画像ミキサ１１０に対してビデオデッキ１０５ａからの映像信号のみをモニタ１１２に出力するように制御する。この場合のモニタ１１２には、例えば図８（ａ）に示す状態の画像が表示される。
【００５３】
次に、視野内表示画像が図６（ｃ）に示す位置に移動されたという情報をメモリ１０２のＸＹテーブル位置データから検出すると、画像制御装置１０８は、画像ミキサ１１０に対してビデオデッキ１０５ａからの映像信号を親画面、ビデオデッキ１０１ａからの映像信号を小画面の左上に表示するよう、画像ミキサ１１０に対して制御を行う。また、画像制御装置１０８はビデオデッキ１０５ａに対応するタイムコードと合致する画像記録位置から画像再生する命令をビデオデッキ１０１ａに出力する。これにより、同時に撮影された顕微鏡画像と内視鏡画像がモニタ１１２の親子画面上に同時に表示される。このときのモニタ１１２には、例えば図８（ｂ）に示す状態の画像が表示される。
【００５４】
さらに、観察者が内視鏡画像をより詳細に観察したい場合は、表示状態切換スイッチ１０９を操作する。操作信号は画像制御装置１０８に伝達され、画像制御装置１０８は、画像ミキサ１１０に対して、ビデオデッキ１０１ａからの映像信号のみを親画面として表示するように制御する。これによって、観察者は内視鏡画像を詳細に観察することができる。
【００５５】
また、映像セレクタ選択状態がナビゲーション装置５９に設定された状態では、以下のような作用になる（ＸＹテーブル位置データがＯＦＦ以外の位置にある作用は、内視鏡観察の場合と同様なので、ＯＦＦの場合のみの作用を説明する。）。画像制御装置１０８は、ビデオデッキ１０１ａおよび１０５ａからの絶対番地とメモリ１０２に記録されたタイムコードを比較演算し、ナビゲーション装置５９の録画画像が、顕微鏡画像の録画画像と同期して再生される様に制御する。観察者によって、表示状態切換スイッチ１０９が操作されて顕微鏡画像とナビゲーション画像の両方を同時に観察するモードが選択されると、画像制御装置１０８は、ビデオデッキ１０１ａ及びビデオデッキ１０５ａからの映像信号を並列に表示するように画像ミキサ１１０を制御する。この場合、モニタ１１２には、例えば図８（ｃ）に示す状態の画像が表示される。
【００５６】
本実施の形態によれば、顕微鏡画像と内視鏡画像の記録を視野内表示画像と同じ形態で観察することができるため、学生への医療教育や術後のカンファレンス等で手術と同じ再生画像を観察することが出来る。また、各画像を別々に記録しているため、各々の画像をより詳細に観察したい場合にも対応して詳細な画像を表示することができる。例えば内視鏡のみを選択して高画質に観察することが可能となる。さらに、ナビゲーション画像については、視野内表示で表示していない場合の画像についても、観察者が任意の画像を再生することが出来るため、術後のカンファレンスでの検討が容易になる。
【００５７】
次に、図９乃至図１１は本発明の第２の実施の形態に係わり、図９は手術用顕微鏡システムの鏡体部の光学系の概略構成図、図１０はＸＹテーブルの概略構成図及び画像録画制御系機能ブロック図、図１１はハードディスクドライブのメモリ領域割り当てを示す概念図、図１２は記録データ再生系の機能ブロック図、図１３は顕微鏡像上及び第２の観察光学系に選択的に表示された画像の一例を示す説明図、図１４はモニタ上に表示された再生画像の一例を示す説明図である。なお、本実施の形態において、上述の第１の実施の形態と同様の構成については同符号を付して説明を省略する。
【００５８】
図９において符号２５０は、図示しない鏡体支持装置に支持された手術用顕微鏡の鏡体を示す。鏡体２５０には、対物レンズ２４１、変倍光学系２５１、結像レンズ２１１ａ、２１１ｂ、接眼光学系２１２ａ、２１２ｂが配置されて、実体観察光学系が構成されている。
【００５９】
また、変倍光学系２５１と結像レンズ２１１ａ、２１１ｂとの間の光路上には、ハーフミラー２５２が挿入されている。また、鏡体２５０には、画像重畳手段としての重畳モニタ２８１及び画像挿入光学系２７１が内蔵されており、これらは、ハーフミラー２５２とともに画像重畳光学系を構成する。
【００６０】
また、ハーフミラー２５２の物体面側の所定の位置には全反射部２５３が設けられ、対物レンズ２４１から入射した光束が全反射部２５３で反射された際の光路上には、撮影用結像レンズ２５４及びカメラヘッド１０３が配置されている。
【００６１】
また、図９には図示しないが、鏡体２５０内には、上述の第１の実施の形態と同様の構成の視野内画像表示手段としてのＬＣＤ光学系２６ａ，２６ｂが設けられ、さらに、観察光学系（実体観察光学系）とは異なる光学系で構成された第２の画像観察手段としての第２の観察光学系が併設されている。ここで、第２の観察光学系は、内視鏡等の画像を電子画像として表示するＬＣＤモニタ２０４ａ、２０４ｂ（図１０参照）を有し、ＬＣＤモニタ２０４ａ，２０４ｂで表示された電子画像の光束を、リレー光学系（図示せず）等を介して、接眼光学系２１２ａ，２１２ｂの近傍に併設された第２の接眼光学系（図示せず）に導く構成となっている。
【００６２】
図１０に示すように、本実施の形態における画像録画制御系は、上述の実施の形態で示したデータ変換部１０６に代えて再生制御手段としての演算装置２５５を有し、演算装置２５５には、ＸＹテーブル制御部４５及び表示制御部５５がそれぞれ接続されているとともに、カメラコントロールユニット（ＣＣＵ）１０４を介してカメラヘッド１０３が接続されている。
【００６３】
また、内視鏡ＴＶカメラ５８の図示しない映像信号出力部は、映像セレクタ５７及び映像セレクタ２０１の図示しない画像入力部に接続されている。
【００６４】
また、ナビゲーション装置５９の図示しない第１の画像出力部は映像セレクタ５７及び映像セレクタ２０１の図示しない画像入力部に接続され、さらに、ナビゲーション装置５９の図示しない第２の画像出力部は、映像セレクタ２０５の図示しない画像入力部に接続されている。
【００６５】
映像セレクタ５７の図示しない画像出力部は、表示駆動回路６１，６２を介してＬＣＤモニタ２４ａ，２４ｂにそれぞれ接続されているとともに、演算装置２５５に接続されている。
【００６６】
また、映像セレクタ２０１の図示しない画像出力部は、表示駆動回路２０２，２０３を介してＬＣＤモニタ２０４ａ，２０４ｂにぞれぞれ接続されているとともに、演算装置２５５に接続されている。
【００６７】
さらに、映像セレクタ２０５の図示しない画像出力部は、表示駆動回路２０６を介して重畳モニタ２８１に接続されているとともに、演算装置２５５に接続されている。
【００６８】
また、演算装置２５５は、ハードディスクドライブ（ＨＤＤ）２５６に接続されている。ここで、図１１に示すように、ＨＤＤ２５６には、ＸＹテーブル位置データメモリ部２５９、タイムコードメモリ部２６１、視野内画像メモリ部２６２、第２の観察光学系画像メモリ部２６３、重畳画像メモリ部２６４、顕微鏡像メモリ部２６５が設けられている。
【００６９】
次に、図１２を参照してＨＤＤ２５６の各メモリ部に記録されたデータの再生系の構成について説明する。
【００７０】
ＨＤＤ２５６には演算装置２５５が接続され、演算装置２５５には、表示状態切換スイッチ２６６が接続されている。また、演算装置２５５は、図示しない通信ポート及び第１〜第４の画像出力ポートを介してミキサ２６７にそれぞれ接続され、ミキサ２６７はモニタ２６８に接続されている。
【００７１】
次に、上記構成による手術用顕微鏡システムの作用について説明する。
【００７２】
顕微鏡観察時において、図示しない光源から発せられた照明光は、術部にて反射され、対物レンズ２４１を介して鏡体２５０に入射される。対物レンズ２４１から入射した観察光束は、変倍光学系２５１、ハーフミラー２５２、結像レンズ２１１ａ、２１１ｂ、接眼レンズ２１２ａ、２１２ｂを介して、術者の目に投影され、これにより、術者による術部の立体像観察が行われる。
【００７３】
また、重畳モニタ２８１に表示された画像は、画像挿入光学系２７を介してハーフミラー２５２に投影されることで顕微鏡像の観察光束に重畳され、これにより、術者は立体像に重畳された重畳モニタ２８１の画像を観察可能となる。
【００７４】
また、顕微鏡像の観察光束の一部は、ハーフミラー２５２に設けられた全反射部２５３により偏光され、撮影用結像レンズ２５４を介して、カメラヘッド１０３の図示しない撮像素子に結像する。これにより、カメラヘッド１０３では画像が重畳されていない状態の術部画像が撮影される。
【００７５】
また、術者の図示しないスイッチ操作によって選択された信号が映像セレクタ５７，２０１，２０５に入力されると、各信号は視野内表示画像、第２の観察光学系の画像、重畳画像としてそれぞれ表示される。ここで、各画像が選択表示された際の一例を図１３に示す。図１３において、顕微鏡画像３７上の視野内表示画像には内視鏡ＴＶカメラ５８で撮影された内視鏡画像３８が表示されており、第２の観察光学系にはナビゲーション装置５９の図示しない第１の画像出力部から出力される術前画像における内視鏡および顕微鏡の観察位置を示す画像１４０ａ〜１４０ｄが表示されている。また、顕微鏡画像３７に対する重畳画像には前記ナビゲーション装置５９で検出された内視鏡Ｐの観察方向を示す指標Ｒが表示されている（ナビゲーション装置５９の図示しない第２の画像出力部から出力される画像である）。
【００７６】
このとき、セレクタ５７、セレクタ２０１、セレクタ２０５の図示しない画像出力部からは、各々のモニタに表示されている画像と同じ画像が演算装置２５５に対して出力されている。さらに、カメラヘッド１０３で撮影された顕微鏡による術部画像はＣＣＵ１０４にて映像信号に変換され、演算装置２５５に入力されている。さらに、ＸＹテーブル制御部４５からは視野内表示画像のＸＹテーブル位置データが演算装置２５５に入力されている。
【００７７】
演算装置２５５は、ＣＣＵ１０４からの顕微鏡術部画像より録画の基準となるタイムコードを生成する。また、視野内表示画像の表示状態をＸＹテーブル位置データとして、タイムコードと関連づける。さらに、入力される各画像（ＣＣＵ１０４からの顕微鏡術部画像、セレクタ５７からの視野内表示画像、セレクタ２０１からの第２の観察光系画像、セレクタ２０５からの重畳画像）をタイムコードと関連付ける。演算部２５５は、前記ＸＹテーブル位置データをＨＤＤ２５６のＸＹテーブル位置データメモリー部２５９へ、前記タイムコードをＨＤＤ２５６のタイムコードメモリー部２６１へ、前記視野内表示画像をＨＤＤ２５６の視野内画像メモリー部２６２へ、前記第２の観察光学系画像をＨＤＤ２５６の第２の観察光学系画像メモリー部２６３へ、前記重畳画像をＨＤＤ２５６の重畳画像メモリー部２６４へ、前記顕微鏡術部画像をＨＤＤ２５６の顕微鏡像メモリー部２６５へ時系列的に同時に記録する。
【００７８】
次に、ＨＤＤ２５６で録画された画像の再生制御について説明する。
【００７９】
演算装置２５５は、ＨＤＤ２５６から格納されている各データ及び画像（ＸＹテーブル位置データ、タイムコード、視野内表示画像、第２の観察光学系画像、重畳画像、顕微鏡術部画像）を前記タイムコードにあわせて読み出す。観察者によって表示状態切換スイッチ２６６が操作されて術中の観察状態と同じ状態で表示するモードが選択されると、選択された信号は演算装置２５５に送られる。これを受けて、演算装置２５５は、ＨＤＤ２５６から読み出した画像（４種類）を図示しない画像出力ポートからミキサ２６７へ出力する。さらに、演算装置２５５は、図示しない通信ポートからミキサ２６７の制御信号を出力する。
【００８０】
これにより、例えば図１４（ａ）に示すように、モニタ２６８（１６：９のアスペクト比を持つ）には、右に偏倚した位置に顕微鏡術部画像が表示され、顕微鏡術部画像の右上小画面として視野内表示画像としての内視鏡画像をインポーズ表示され（表示位置は前記ＸＹテーブル位置データにより決定される）、顕微鏡術部画像上に重畳画像としての内視鏡観察方向指標がオーバーレイ表示され、顕微鏡術部画像の右隣に第２の観察光学系画像としてのナビゲーション画像が表示される。
【００８１】
また、観察者により表示状態切換スイッチ２６６が操作されて、顕微鏡を詳細に観察するモードが選択されると、選択された信号は演算装置２５５に送られる。これを受けて、演算装置２５５はミキサ２６７に対して、以下の制御を図示しない通信ポートから実施する。すなわち、図１４（ｂ）に示すように、顕微鏡術部画像をモニタ２６８の左寄せの位置に表示し、顕微鏡術部画像にインポーズされていた内視鏡画像を顕微鏡術部画像を遮らない右隣（上）の位置に表示し、ナビゲーション画像を前記内視鏡画像で遮らない右隣（下）の位置に表示し、内視鏡観察方向の指標のオーバーレイを停止する。
【００８２】
本実施の形態によれば、録画装置としてＨＤＤを使用したため複数の録画媒体が不要であり、視野内表示、第２の観察光学系、画像重畳装置等の複数の画像を一括して記録再生することが容易に出来る。
【００８３】
次に、図１５，１６は本発明の第３の実施の形態に係わり、図１５はＸＹテーブルの概略構成図及び画像録画制御系の機能ブロック図、図１６はモニタ上に表示された再生画像の一例を示す説明図である。なお、本実施の形態において、上述の第１の実施の形態と同様の構成については同符号を付して説明を省略する。
【００８４】
図１５に示すように、データ変換部１０６には、超音波吸引装置３００の図示しない通信ポートが接続されている。
【００８５】
次に、上記構成による手術用顕微鏡システムの作用について説明する。
【００８６】
画像の録画によるタイムコード、ＸＹテーブル位置データ、画像選択状態は、上述の第１実施の形態と同様にデータ変換部１０６を介して、メモリ１０２に記録されている。本実施の形態では、更に超音波吸引装置３００の設定データが超音波吸引装置３００の図示しない通信ポートからデータ変換部１０６へ入力される。入力された超音波吸引装置３００の設定データは、データ変換部１０６によって、前記タイムコードと関連つけてメモリ１０２に他のデータと同様に記録される。
【００８７】
術中記録の観察時においては、通常、例えば図１６（ａ）に示す状態の画像がモニタ１１２に表示される。観察者による表示切換スイッチ１０９の操作操作により、超音波吸引装置３００の設定状態を確認できるモードが設定されると、超音波吸引装置３００の設定データがメモリ１０２から画像制御装置１０８に出力される。画像制御装置１０８は受信した出力データをキャラクタデータに変換し、画像ミキサ１１０へ送信する。これにより、図１６（ｂ）に示すように、画像ミキサ１１０は受信したキャラクタデータをモニタ１１２における画面のブランク部分に重畳表示する。
【００８８】
本実施の形態によれば、観察者は、顕微鏡画像、内視鏡画像等の手術画像に加えて、エネルギー処置具の設定データをも手術の進行と同じタイミングで確認できるため、術後のカンファレンス等で手術を振りかえる際に確実な判断を行うことができる。
【００８９】
前述した各実施の形態によれば、次のような構成が得られる。
【００９０】
（付記１）術部を拡大観察するための観察光学系を有する鏡体と、前記鏡体の観察視野内に少なくとも一つの画像を表示する視野内表示手段と、前記鏡体の観察画像を撮影する撮影手段と、を備えた手術用顕微鏡において、
前記撮影手段によって撮影された画像及び前記視野内表示手段に表示された画像を録画する一つ又は複数の録画手段と、
前記視野内表示手段の観察視野内における表示位置情報を、前記録画手段の録画状態に併せて時系列で記録するデータ記録手段と、
少なくとも前記データ記録手段の記録データを基に前記録画手段に録画された複数の画像を時系列的に一致させて再生表示する再生制御手段と、を備えることを特徴とする手術用顕微鏡システム。
【００９１】
（付記２）前記視野内表示手段は、前記観察光学系の視野内の一部に画像を挿入する視野内画像表示手段、前記観察光学系とは異なる第２の画像観察手段、或いは、前記観察光学系に画像を重畳表示する画像重畳手段、の少なくとも一つであることを特徴とする付記１記載の手術用顕微鏡システム。
【００９２】
（付記３）前記データ記録手段は、機械の設定状態を前記録画手段の録画状態に併せて時系列で記録する手段であることを特徴とする付記１または付記２記載の手術用顕微鏡システム。
【００９３】
（付記４）前記視野内表示手段の表示状態を検出する検出手段と、該検出手段の検出結果に応じて、前記視野内表示手段に表示された画像を録画する録画手段の録画状態を制御する録画制御部と、を有することを特徴とする付記１乃至付記３の何れか一に記載の手術用顕微鏡システム。
【００９４】
（付記５）前記データ記録手段の記録データを元に、前記視野内表示手段に表示された画像の再生画像の再生位置を制御する再生制御部と、を有することを特徴とする付記１乃至付記３の何れか一に記載の手術用顕微鏡システム。
【００９５】
（付記６）前記再生制御手段は、記録された複数の画像を任意に組み合わせるための入力手段を有していること、を特徴とする付記１乃至付記３の何れか一に記載の手術用顕微鏡システム。
【００９６】
（付記７）前記入力手段は、前記記録された複数の画像を、手術用顕微鏡の実際の観察状態と略一致した形態を少なくとも選択できるモードを有していること、を特徴とする付記４記載の手術用顕微鏡システム。
【００９７】
（付記８）前記録画手段は、複数のビデオレコーダーを含むこと、を特徴とする付記１乃至付記３の何れか一に記載の手術用顕微鏡システム。
【００９８】
（付記９）前記録画手段は、ＨＤＤを含むデジタルメモリー手段であること、を特徴とする付記１乃至付記３の何れか一に記載の手術用顕微鏡システム。
【００９９】
【発明の効果】
以上説明したように本発明によれば、術中に撮影される複数の画像を高画質に記録することができ、しかも、記録画像を再生する際には術中の観察状態と極めて近い状態で再生することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わり、手術用顕微鏡システムの双眼鏡筒部の光学系の概略構成図
【図２】同上、図１における図中左側観察光学系を示す概略構成図
【図３】同上、ＬＣＤ光学系の斜視図
【図４】同上、ＸＹテーブルの概略構成図及び画像録画制御系の機能ブロック図
【図５】同上、記録データ再生系の機能ブロック図
【図６】同上、顕微鏡観察視野に対して視野内表示画像が制御される位置関係を示す説明図
【図７】同上、ＸＹステージの位置に応じたＬＣＤ内での表示位置及びサイズを示す説明図
【図８】同上、再生画像を示す説明図
【図９】本発明の第２の実施の形態に係わり、手術用顕微鏡システムの鏡体部の光学系の概略構成図
【図１０】同上、ＸＹテーブルの概略構成図及び画像録画制御系の機能ブロック図
【図１１】同上、ハードディスクドライブのメモリ領域割り当てを示す概念図
【図１２】同上、記録データ再生系の機能ブロック図
【図１３】同上、顕微鏡像上及び第２の観察光学系に選択的に表示された画像の一例を示す説明図
【図１４】同上、モニタ上に表示された再生画像の一例を示す説明図
【図１５】本発明の第３の実施の形態に係わり、ＸＹテーブルの概略構成図及び画像録画制御系の機能ブロック図
【図１６】同上、モニタ上に表示された再生画像の一例を示す説明図
【符号の説明】
２６ａ，２６ｂＬＣＤ光学系（視野内画像表示手段）
１０１ビデオデッキ（録画手段）
１０２メモリ（データ記録手段）
１０３カメラヘッド（撮影手段）
１０５ビデオデッキ（録画手段）
１０８画像制御装置（再生制御手段）
２５５演算装置（再生制御手段）
２５６ハードディスクドライブ（録画手段）
２８１重畳モニタ（画像重畳手段）[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a surgical microscope system used for surgery of a minute part, specifically, an image obtained by a surgical microscope.Surgical microscope system with improved recording and displayAbout.
[0002]
[Prior art]
A surgical microscope system used for microsurgery or the like generally has a function of recording intraoperative images on a VTR or the like for the purpose of medical education or surgical recording. As this type of surgical microscope system, for example, in Japanese Patent Laid-Open No. 6-22980, in order to be able to take a microscope image during an operation simultaneously with observation, an optical path of an observation light beam from an observation site incident on an observation optical system is provided. Discloses a technique in which a beam splitter is provided to guide an observation light beam branched by the beam splitter to a solid-state imaging device.
[0003]
In recent years, microsurgery is sometimes performed using a surgical microscope system in which an endoscope or the like is used in combination with a surgical microscope. In such an operation, in order to enable an operator to observe both a microscopic image and an endoscopic image at the same time without taking his eyes off the eyepiece, for example, in Japanese Patent Laid-Open No. 10-333047, A technique has been disclosed in which a projection means for guiding an image from another image display means for displaying an endoscopic image or the like is disposed in the vicinity of the final imaging position of the microscope optical system, and further, Japanese Patent Application No. 2000-189892 is disclosed. Discloses a technique that enables an endoscope image displayed on a microscope image to be enlarged / reduced and also allows a display position to be moved.
[0004]
[Problems to be solved by the invention]
By the way, for example, in a surgical microscope system in which an endoscope is used in combination with a surgical microscope, it is desirable that both a microscope image and an endoscope image are recorded as intraoperative images. In this case, for example, by using the technique disclosed in Japanese Patent Laid-Open No. 10-333047 and Japanese Patent Application No. 2000-189892 together with the technique disclosed in Japanese Patent Laid-Open No. 6-22980, a microscope image and an endoscopic image can be observed simultaneously. And a microscopic image and an endoscopic image can be taken simultaneously. As a method for recording these microscope images and endoscope images, each image is recorded on a VTR or the like independently, or an endoscope image is imposed on a part of the microscope image by an image mixer or the like. It is conceivable that an image similar to the observation state during the operation is generated and recorded in a single VTR or the like.
[0005]
However, when each image is recorded on an independent VTR or the like, each image can be recorded with high image quality, but it is difficult to obtain a temporal correlation between the two images. When the image is recorded together with the image, the image quality of the endoscopic image is lowered and it is difficult to obtain a detailed record. In particular, in a surgical microscope system capable of variably setting the display state of a small screen as in the technology of Japanese Patent Application No. 2000-189892, the correlation between the small screen position at the time of observation and the image imposed by the mixer is correlated. Since the image is not taken, an image in a state different from the observation state during the operation is reproduced at the time of reproducing the VTR or the like, which may cause inconvenience in medical education.
[0006]
The present invention has been made in view of the above circumstances, and can record a plurality of images taken during surgery with high image quality, and when reproducing a recorded image, it is in a state extremely close to the observation state during surgery. An object of the present invention is to provide a reproducible surgical microscope system.
[0007]
[Means for Solving the Problems]
  The first surgical microscope system of the present invention includes an observation optical system for magnifying and observing a surgical part, and an in-field display unit that is displayed at a predetermined position in an observation field of a microscope image obtained by the observation optical system. A child image display control unit that controls to display at least one child image, a photographing unit that photographs a microscope image obtained by the observation optical system as a microscope observation image, and the microscope observation image photographed by the photographing unit A first image recording unit for recording the image, a second image recording unit for recording the child image that can be displayed on the in-field display unit, and a predetermined setting relating to the child image displayed on the in-field display unit Child image operation means for performing operation, and child image display for controlling to display the child image based on predetermined information related to the child image displayed on the in-field display unit set by the child image operation means Predetermined information related to the child image displayed on the in-view display unit set by the control means and the child image operation means, the time series related to the first image recording means and the second image recording means Information recording means for recording in association with information; and the microscope observation image and the second image recording means recorded in the first image recording means based on the predetermined information recorded in the information recording means Reproduction control means for reproducing and displaying the child images recorded in time-sequentially,The child image operation means sets a display position in the observation field of the microscopic image of the in-field display section where a predetermined child image is displayed under the control of the child image display control section, and the information recording means The information on the display position relating to the child image displayed on the in-field display unit set by the child image operating means is the time series relating to the first image recording means and the second image recording means. It is characterized by recording in association with information.
[0008]
  The second surgical microscope system of the present invention is:Control to display at least one child image on the observation optical system for magnifying and observing the surgical site and the in-field display unit displayed at a predetermined position in the observation field of the microscope image obtained by the observation optical system A child image display control unit; a photographing unit that photographs a microscope image obtained by the observation optical system as a microscope observation image; a first image recording unit that records the microscope observation image photographed by the photographing unit; Second image recording means for recording the child image that can be displayed on the in-field display unit, child image operation means for performing a predetermined setting operation related to the child image displayed on the in-field display unit, and the child image A child image display control unit configured to control display of the child image based on predetermined information related to the child image displayed on the in-field display unit set by the operation unit, and the child image operation unit. Information recording means for recording predetermined information related to the child image displayed on the displayed in-field display unit in association with time series information related to the first image recording means and the second image recording means; Based on the predetermined information recorded in the information recording unit, the microscope observation image recorded in the first image recording unit and the child image recorded in the second image recording unit are time-sequentially displayed. Reproduction control means that reproduces and displays them in a consistent manner, the child image operation means selects and sets the content displayed in the child image, and the information recording means includes the child image operation means The information of the content displayed in the selected child image set by the step is recorded in association with the time-series information related to the first image recording means and the second image recording means.
[0009]
  The third surgical microscope system of the present invention is the first or second surgical microscope system,The reproduction control means, based on the predetermined information recorded in the information recording means, the microscopic observation image recorded in the first image recording means and the child recorded in the second image recording means. A first reproduction mode for reproducing and displaying images on a predetermined image display means in a time-series coincidence with the images, and the child images recorded on the second image recording means irrespective of the time-series coincidence. The second reproduction mode displayed on the entire display area of the image display means is selected and controlled to be reproducible.
  The fourth surgical microscope system of the present invention is the first to third surgical microscope systems,An endoscope camera separate from the observation optical system is further provided, and the child image is an endoscope image captured by the endoscope camera.
  The fifth surgical microscope system of the present invention is the first to fourth surgical microscope systems,A navigation device separate from the observation optical system;
The child image is a navigation image recorded in the navigation device.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1 to 8 relate to a first embodiment of the present invention, FIG. 1 is a schematic configuration diagram of an optical system of a binocular tube portion of a surgical microscope system, and FIG. 2 is a left side observation optical system in FIG. 3 is a perspective view of an LCD optical system, FIG. 4 is a schematic configuration diagram of an XY table and a functional block diagram of an image recording control system, FIG. 5 is a functional block diagram of a recording data reproducing system, and FIG. 6 is a microscope. FIG. 7 is an explanatory diagram showing the display position and size in the LCD corresponding to the position of the XY stage, and FIG. 8 is a reproduced image. It is explanatory drawing.
[0011]
First, an optical configuration of a binocular tube portion connected to a variable magnification optical system (not shown) in the body of the surgical microscope system will be described with reference to FIGS. 1 to 3. In FIG. 1, reference numeral 1 denotes a fixed housing that is integrally attached to the mirror body via a connection portion 2, and a pair of left and right imaging lenses 8 a and 8 b are disposed inside the fixed housing 1. The imaging lenses 8a and 8b are optically connected to the observation optical system of the mirror so that the right and left observation light beams emitted from the mirror can enter.
[0012]
In the fixed housing 1, mirrors 9a and 9b for reflecting the light beams incident through the imaging lenses 8a and 8b are disposed 90 ° outward, and the image rotator prism 10a, 10b is arranged.
[0013]
On the optical path of the image rotator prisms 10a and 10b, prisms 11a and 11b for reversing both observation light beams by 180 ° are arranged, respectively. Further, the optical axes emitted from the prisms 11a and 11b are the eyepieces described later. Triangular prisms 12a and 12b are arranged to reflect in the direction parallel to the observation optical axes OL and OR of the optical systems 22a and 22b. Here, as shown in the figure, the first intermediate imaging points 13a and 13b of the observation light beam imaged by the imaging lenses 8a and 8b are positioned on the optical paths of the triangular prisms 12a and 12b.
[0014]
In the vicinity of the first intermediate image forming points 13a and 13b, prisms 14a and 14b described later are arranged to face the triangular prisms 12a and 12b. In this case, the prisms 14a and 14b are arranged so that the upper surfaces thereof substantially coincide with the first intermediate image forming points 13a and 13b. Further, relay lenses 15a and 15b for relaying the observation light beam are installed and fixed on the optical paths of the triangular prisms 12a and 12b. Here, the prisms 11 a and 11 b, the triangular prisms 12 a and 12 b, the prisms 14 a and 14 b, and the relay lenses 15 a and 15 b are built in the movable housing 16.
[0015]
The movable housing 16 is coupled to the fixed housing 1 via the connection portions 17a and 17b so as to be rotatable around the axis O, that is, the incident optical axis of the prisms 11a and 11b. The prisms 11a and 11b can be rotated around the axis O by an angle of ½ with respect to the rotation of the movable housing 16 with respect to the fixed housing 1 by a cam mechanism (not shown).
[0016]
Further, the eye width adjustment housings 4a and 4b are connected to the movable housing 16 at positions corresponding to the optical paths of the relay lenses 15a and 15b. The eye width adjustment housings 4a and 4b are integrally formed with the eyepiece housings 5a and 5b. ing.
[0017]
Parallel prisms 18a and 18b having incident reflecting surfaces 19a and 19b and outgoing reflecting surfaces 20a and 20b (only the incident reflecting surface 19a and the outgoing reflecting surface 20a are shown in FIG. 2) are respectively provided in the eye width adjusting housings 4a and 4b. The eyepiece optical systems 22a and 22b are built in the eyepiece housings 5a and 5b, respectively. The observation light beams from the relay lenses 15a and 15b that are reflected by the incident reflection surfaces 19a and 19b of the parallel prisms 18a and 18b and reflected by the output reflection surfaces 20a and 20b are the second intermediate imaging points 21a and 21a, respectively. After being imaged at 21b, it is guided to the eyepiece optical systems 22a and 22b. That is, the observation optical axes OL and OR of the microscope optical observation image are configured on the optical path from the parallel prisms 18a and 18b to the eyepiece optical systems 22a and 22b, respectively.
[0018]
Here, the eye width adjustment housings 4a and 4b are emitted from the triangular prisms 12a and 12b with respect to the movable housing 16 in a state where movement in the axial direction is restricted by the retaining members 23a and 23b (see FIG. 2). It is rotatably supported around an axis substantially coincident with the axis (vertical direction in the figure). That is, the structure and the parallel prisms 18a and 18b constitute a so-called Giten top eye width adjustment mechanism.
[0019]
2 and 3, reference numerals 24a and 24b denote small LCD monitors for displaying endoscopic images and the like as electronic images. Imaging lenses 25a and 25b are arranged opposite to each other on the outgoing optical axes of the LCD monitors 24a and 24b. The imaging lenses 25a and 25b connect the images of the LCD monitors 24a and 24b to the upper surfaces of the prisms 14a and 14b. It is set to the image position. The LCD monitors 24a and 24b, the imaging lenses 25a and 25b, and the prisms 14a and 14b are arranged and fixed on a fixed plate 50 to constitute LCD optical systems 26a and 26b as in-field display means.
[0020]
The fixing plate 50 is provided with holes 50a and 50b for avoiding light beams from the triangular prisms 12a and 12b. The fixed plate 50 is fixed on the X table 29 of the XY table 28 that moves on a plane orthogonal to the optical axis of the microscope image.
[0021]
In the movable housing 16, for example, a beam splitter (not shown) is interposed on the optical path of the microscope image, and the beam splitter is attached to a camera head 103 (to be described later; see FIG. 4) as a photographing means. Lead.
[0022]
Next, the configuration of the XY table 28 and the image recording control system will be described with reference to FIG.
[0023]
The XY table 28 includes an X table 29 and a Y table 33 that can move the fixed plate 50 in axial directions (X-axis direction and Y-axis direction) orthogonal to each other.
[0024]
The X table 29 has a rack portion 29a and a bearing portion 29b, and a pinion gear 31 fixed to the rotation shaft of the motor 30 is engaged with the rack portion 29a. A guide shaft 32 is passed through the bearing portion 29b, and the X table 29 is supported by the guide shaft 32 so as to be swingable on the Y table 33 in the X-axis direction.
[0025]
The Y table 33 has a rack portion 33a and a bearing portion 33b, and a pinion gear 35 fixed to the rotating shaft of the motor 34 is engaged with the rack portion 33a. A guide shaft 36 penetrates the bearing portion 33b, and the Y table 33 is supported by the guide shaft 36 so as to be swingable in the Y-axis direction on the housing 28a.
[0026]
The motors 30 and 34 are configured to incorporate encoders (not shown), and these encoders are connected to an X table position detection circuit 42 and a Y table position detection circuit 44, respectively. The motors 30 and 34 are connected to motor drive circuits 41 and 43, respectively. The motor drive circuit 41, the X table position detection circuit 42, the motor drive circuit 43, and the Y table position detection circuit 44 are connected to the XY table control unit 45.
[0027]
On the other hand, in FIG. 4, reference numeral 51 denotes an operation unit. The operation unit 51 is provided with a four-way switch 52 for operating the XY table 28, a display position movement mode switch 53, and an image selection switch 53. It has been.
[0028]
The operation unit 51 is connected to a display control unit 55, and an XY table control unit 45 is connected to the display control unit 55. The display control unit 55 is connected to the video conversion circuit unit 56 and the video selector 57, and the video selector 57 is connected to the endoscope TV camera 58 and the navigation device 59. A video deck (video recorder) 101 as a recording means is connected to the video selector 57, and information from the endoscope VT camera 58 and the navigation device 59 is connected to the video deck 101 as needed. Is output via In addition, left and right LCD monitors 24a and 24b are connected to the image conversion circuit unit 56 via display drive circuits 61 and 62, respectively, and information from the endoscope TV camera 58 and the navigation device 59 is obtained as necessary. Each LCD monitor 24a, 24b can be displayed.
[0029]
In addition, a video deck (video recorder) 105 as a recording unit is connected to a camera head 103 that takes a microscopic image via a camera control unit (CCU) 104.
[0030]
Further, a data conversion unit 106 is connected to the XY table control unit 45, the display control unit 55, and the video decks 101 and 105, and the data conversion unit 106 displays display positions of images displayed on the LCD optical systems 26a and 26b. Information and the like are generated in time series in accordance with the recording states of the video decks 101 and 105, and are recorded in the memory 102 as data recording means.
[0031]
Next, the configuration of a reproduction system for data recorded on the video decks 101 and 105 will be described with reference to FIG.
[0032]
The memory 102 described above is connected to an image control device 108 as a playback control means, and the image control device 108 is connected to a display state changeover switch 109. The image control device 108 is connected to video decks 101a and 105a for reproducing data recorded by the video decks 101 and 105, respectively. In addition, image output terminals (not shown) of the video decks 101 a and 105 a are connected to image input terminals (not shown) of the image mixer 110. An image output terminal (not shown) of the image mixer 110 is connected to the monitor 112.
[0033]
Next, the operation of the surgical microscope system configured as described above will be described.
[0034]
The operator operates a gantry arm (not shown) to place and fix the mirror body at a desired position, and further rotates the movable housing 16 around the axis O to place the eyepiece optical systems 22a and 22b at the position of the operator's eyes. .
[0035]
The light emitted from the surgical site is incident on the imaging lenses 8a and 8b via a magnifying optical system (not shown) in the lens body. The left and right light beams are reflected by the prisms 11a and 11b and the triangular prisms 12a and 12b through the image rotator prisms 10a and 10b, and are imaged at the first intermediate imaging points 13a and 13b. Thereafter, the luminous flux is transmitted to the relay lenses 15a and 15b, reflected by the parallel prisms 18a and 18b, and then imaged again at the second intermediate imaging points 21a and 21b. Then, the re-imaged light beam is guided to the eyepiece optical systems 22a and 22b, and the operator performs stereoscopic observation of the surgical site at a desired magnification.
[0036]
A part of the light on the optical path of the microscope image is branched by a beam splitter (not shown) or the like and guided to the camera head 103. A microscope image photographed by the camera head 103 is converted into a video signal by the camera control unit 104 and output to the video deck 105. At this time, if the video deck 105 is in a recording state, the time code is output from the video deck 105 to the data converter 106. Here, the time code output from the video deck 105 is the absolute address of the recording time recorded together with the video signal on the recording tape (video tape).
[0037]
Further, by operating the image selection switch 54 of the control unit 51, a mode for displaying an endoscopic image from the endoscope TV camera 58 and a navigation image from the navigation device 59 in a sub-screen (in-view display image) is selected. Then, the display control unit 55 outputs a signal representing the video selector selection state to the data conversion unit 106 and also to the video selector 57. The video selector 57 selectively reads a video signal from the endoscope TV camera 58 / navigation device 59 based on the signal and outputs the video signal to the video deck 101 via the video selector 57. The image is output to the video conversion circuit unit 56.
[0038]
In this case, if the image selected as the in-view display image is an image by the endoscope TV camera 58, the video deck 101 starts recording simultaneously with the start of input of the video signal and simultaneously with stop of input of the video signal. Stop recording. On the other hand, if the image selected as the in-view display image is from the navigation device 59, the video deck 101 performs recording ON / OFF control in conjunction with the recording state of the video deck 105. Then, the video deck 101 outputs the time code being recorded to the data conversion unit 106 as in the video deck 105. Here, the time code output from the video decks 101 and 105 is the absolute address of the recording time recorded together with the video signal on the recording tape (video tape).
[0039]
The video signal selected as the in-view display image and output to the video conversion circuit unit 56 is displayed on the LCD monitors 24a and 24b via the video conversion circuit unit 56 and the display drive circuits 61 and 62. Light emitted from the LCD monitors 24a and 24b is imaged on the upper surfaces of the prisms 14a and 14b by the imaging lenses 25a and 25b. Since the upper surfaces of the prisms 14a and 14b are located in the vicinity of the image forming points 13a and 13b, an endoscopic image 38 is displayed on the microscope image 37, for example, as shown in FIG.
[0040]
At that time, for example, when the display position movement mode selection switch 53 of the control unit 51 is turned on in a state where the endoscope TV camera 58 (endoscopic image) is selected by the image selection switch 54, the four-way switch 52 is set. The step mode is set, and when it is turned OFF, the free mode is set. When the four-way switch 52 is operated while the display position movement mode selection switch 53 is in the ON state, the endoscopic image 38 is displayed in, for example, directions A, B, C, D, E, and F with respect to the microscope image 37. It is moved (A is outside the field of view of the microscope image 37). At that time, the image center of the endoscopic image 38 moves along a locus on a solid line connecting points a, b, c, d, e, and f, for example. Further, when the display position movement mode selection switch 53 is turned off to enter the free mode, the endoscopic image 38 is moved according to the operation amount of the four-way switch 52. Specifically, when the operator operates the operation unit 51, a signal designating the display position of the endoscopic image is output from the display control unit 55 to the XY table control unit 45. As a result, the motors 30 and 34 are driven, and the XY table 28 moves the endoscopic image to a position designated by the operator.
[0041]
When the motors 30 and 34 are driven, pulses representing these drive amounts are input to the XY table control unit 45 via the X table position detection circuit 42 and the Y table position detection circuit 44, and the XY table control unit 45 The input pulse is output to the data conversion unit 106 as XY table position data of the in-field display image (endoscopic image). Here, the XY table position data is defined by coordinates having the center of the microscope observation field of view as the origin.
[0042]
By the way, for example, when the endoscope image 38 is at the position C in the step mode, the endoscope image 38 is displayed on the large screen L (standard image size) (L in FIG. 7A). Most of the endoscopic image 38 is positioned outside the field of view of the microscope image 37, but the position information (A, B, C, D, E, FIG. The endoscope image 38 can be displayed in the field of view by reducing this to a small screen S by F) and moving it further to the lower right (sub-screen S1 indicated by hatching in FIG. 7A). (See FIG. 7B). Note that the navigation image from the navigation device 59 can be arbitrarily displayed on the microscope image in various display forms by the same operation as the above-described endoscopic image.
[0043]
The data conversion unit 106 generates a reference time code that is counted when a power switch of a surgical microscope (not shown) is turned on, and acquires time codes recorded in the table from the video deck 101 and the video deck 105, respectively.
[0044]
Further, the data conversion unit 106 acquires XY table position data from the XY table control unit 45. Further, the data conversion unit 106 acquires, from the display control unit 55, video selection information indicating whether the selected image is a video by the endoscope TV camera 58 or a video by the navigation device 59.
[0045]
Here, based on the signal from the display control unit 55, the data conversion unit 106 selects the image selected as the in-view display image from the endoscope TV camera 58, and the in-view display image is displayed. If so, a video recording signal is output to the video deck 101, and an image is recorded on the video deck 101. If the display image in the visual field is not in the display state (the position displayed in A in FIG. 5), a recording stop state signal is output to the video deck 101.
[0046]
If the image selected as the in-view display image is based on the signal from the display control unit 55 by the navigation device 59, the data conversion unit 106 records / records the video deck 105. In conjunction with the stop state, a recording / recording stop signal is output to the video deck 101.
[0047]
The data conversion unit 106 then outputs the reference time code, the time code output from the video decks 101 and 105, the XY table position data output from the XY table control unit 45, and the in-field display image output from the display control unit 55. The video selector selection state is recorded in the memory 102 in time series with reference to the reference time code.
[0048]
Next, playback control of video tapes recorded on the video decks 101 and 105 will be described.
[0049]
In FIG. 5, a video tape (not shown) recorded by the video deck 105 is inserted into the video deck 105a, and a video tape (not shown) recorded by the video deck 101 is inserted into the video deck 101a. .
[0050]
When the observer operates the display state changeover switch 109 to select a mode for simultaneously observing an image taken by the surgical microscope and an image taken by the endoscope, the image control device 108 records the data recorded from the memory 102 ( The time code, XY table position data, and video selector selection state) recorded by the video decks 101 and 105 are read out.
[0051]
Next, the image control device 108 receives an operation signal from the display state changeover switch 109, and reads the time code recorded on each video tape from the video deck 105a and the video deck 101a. The image control device 108 cues the image recording position of the corresponding time code from the reference time code of the memory 102, and refers to the XY table position data and the video selector selection state at that time.
[0052]
Hereinafter, an operation when the video selector selection state is set to the endoscope TV camera 58 (endoscopic image) will be described. The image control device 108 detects XY table position data corresponding to the reference time code from the memory. When the in-view display image is OFF, the image mixer 110 monitors only the video signal from the video deck 105a. Control to output to. In this case, for example, an image in a state shown in FIG.
[0053]
Next, when the information that the display image in the field of view has been moved to the position shown in FIG. 6C is detected from the XY table position data in the memory 102, the image control device 108 detects the image mixer 110 from the video deck 105a. The video mixer 110 is controlled to display the video signal of the video screen from the main screen and the video signal from the video deck 101a at the upper left of the small screen. In addition, the image control apparatus 108 outputs a command for reproducing an image from the image recording position that matches the time code corresponding to the video deck 105a to the video deck 101a. Thereby, the microscopic image and the endoscopic image photographed at the same time are simultaneously displayed on the parent-child screen of the monitor 112. At this time, for example, an image in a state shown in FIG. 8B is displayed on the monitor 112.
[0054]
Further, when the observer wants to observe the endoscopic image in more detail, the display state changeover switch 109 is operated. The operation signal is transmitted to the image control device 108, and the image control device 108 controls the image mixer 110 to display only the video signal from the video deck 101a as a parent screen. Thereby, the observer can observe the endoscopic image in detail.
[0055]
Further, when the video selector selection state is set to the navigation device 59, the following operation is performed (the operation in which the XY table position data is at a position other than OFF is the same as in the case of endoscopic observation, so that it is OFF. The operation only in the case of is explained.) The image control device 108 compares the absolute addresses from the video decks 101a and 105a with the time code recorded in the memory 102, and the recorded image of the navigation device 59 is reproduced in synchronization with the recorded image of the microscope image. To control. When the observer operates the display state changeover switch 109 to select the mode for simultaneously observing both the microscope image and the navigation image, the image control device 108 parallelizes the video signals from the video deck 101a and the video deck 105a. The image mixer 110 is controlled so as to be displayed. In this case, for example, an image in the state shown in FIG.
[0056]
According to the present embodiment, since the recording of the microscope image and the endoscopic image can be observed in the same form as the in-field display image, the same reproduced image as the operation in the medical education for the student, the postoperative conference, etc. Can be observed. Further, since each image is recorded separately, it is possible to display a detailed image corresponding to the case where each image is to be observed in more detail. For example, it is possible to select only an endoscope and observe with high image quality. Furthermore, with regard to the navigation image, since the observer can reproduce any image even when the image is not displayed in the visual field display, examination at a postoperative conference becomes easy.
[0057]
Next, FIG. 9 to FIG. 11 relate to the second embodiment of the present invention, FIG. 9 is a schematic configuration diagram of an optical system of a mirror part of a surgical microscope system, and FIG. 10 is a schematic configuration diagram of an XY table. Image recording control system functional block diagram, FIG. 11 is a conceptual diagram showing memory area allocation of a hard disk drive, FIG. 12 is a functional block diagram of a recorded data reproduction system, and FIG. 13 is selectively on the microscope image and the second observation optical system FIG. 14 is an explanatory diagram showing an example of a reproduced image displayed on the monitor. In the present embodiment, the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
[0058]
In FIG. 9, reference numeral 250 indicates a body of a surgical microscope supported by a body support device (not shown). The mirror body 250 includes an objective lens 241, a variable magnification optical system 251, imaging lenses 211 a and 211 b, and eyepiece optical systems 212 a and 212 b, thereby constituting a substance observation optical system.
[0059]
A half mirror 252 is inserted on the optical path between the variable magnification optical system 251 and the imaging lenses 211a and 211b. The mirror body 250 includes a superimposition monitor 281 as an image superimposing means and an image insertion optical system 271, which together with the half mirror 252 constitute an image superimposing optical system.
[0060]
Further, a total reflection unit 253 is provided at a predetermined position on the object plane side of the half mirror 252, and imaging for imaging is performed on the optical path when the light beam incident from the objective lens 241 is reflected by the total reflection unit 253. A lens 254 and a camera head 103 are disposed.
[0061]
Although not shown in FIG. 9, LCD optical systems 26a and 26b as in-field image display means having the same configuration as in the first embodiment are provided in the mirror body 250, and further, observation is performed. A second observation optical system as a second image observation means constituted by an optical system different from the optical system (substance observation optical system) is also provided. Here, the second observation optical system includes LCD monitors 204a and 204b (see FIG. 10) that display an image of an endoscope or the like as an electronic image, and the luminous flux of the electronic image displayed on the LCD monitors 204a and 204b. Is guided to a second eyepiece optical system (not shown) provided near the eyepiece optical systems 212a and 212b via a relay optical system (not shown) and the like.
[0062]
As shown in FIG. 10, the image recording control system in the present embodiment has an arithmetic device 255 as a reproduction control means instead of the data converter 106 shown in the above-described embodiment. The XY table control unit 45 and the display control unit 55 are connected to each other, and the camera head 103 is connected via a camera control unit (CCU) 104.
[0063]
The video signal output unit (not shown) of the endoscope TV camera 58 is connected to the video input unit (not shown) of the video selector 57 and the video selector 201.
[0064]
In addition, a first image output unit (not shown) of the navigation device 59 is connected to an image input unit (not shown) of the video selector 57 and the video selector 201, and a second image output unit (not shown) of the navigation device 59 is a video selector. 205 is connected to an image input unit (not shown).
[0065]
An image output unit (not shown) of the video selector 57 is connected to the LCD monitors 24 a and 24 b via the display drive circuits 61 and 62, and is also connected to the arithmetic unit 255.
[0066]
An image output unit (not shown) of the video selector 201 is connected to the LCD monitors 204a and 204b via the display drive circuits 202 and 203, and is also connected to the arithmetic unit 255.
[0067]
Further, an image output unit (not shown) of the video selector 205 is connected to the superimposition monitor 281 via the display drive circuit 206 and to the arithmetic unit 255.
[0068]
The arithmetic device 255 is connected to a hard disk drive (HDD) 256. Here, as shown in FIG. 11, the HDD 256 includes an XY table position data memory unit 259, a time code memory unit 261, an in-field image memory unit 262, a second observation optical system image memory unit 263, and a superimposed image memory unit. H.264, a microscope image memory unit 265 is provided.
[0069]
Next, with reference to FIG. 12, the configuration of a reproduction system for data recorded in each memory unit of the HDD 256 will be described.
[0070]
A computing device 255 is connected to the HDD 256, and a display state changeover switch 266 is connected to the computing device 255. The arithmetic device 255 is connected to the mixer 267 via a communication port and first to fourth image output ports (not shown), and the mixer 267 is connected to the monitor 268.
[0071]
Next, the operation of the surgical microscope system configured as described above will be described.
[0072]
At the time of microscopic observation, illumination light emitted from a light source (not shown) is reflected by the surgical site and is incident on the mirror body 250 via the objective lens 241. The observation light beam incident from the objective lens 241 is projected to the operator's eyes through the variable magnification optical system 251, the half mirror 252, the imaging lenses 211a and 211b, and the eyepieces 212a and 212b. Three-dimensional image observation of the surgical site is performed.
[0073]
In addition, the image displayed on the superimposition monitor 281 is projected onto the half mirror 252 via the image insertion optical system 27 so as to be superimposed on the observation light beam of the microscopic image, whereby the operator is superimposed on the stereoscopic image. The image on the superimposition monitor 281 can be observed.
[0074]
Further, a part of the observation light beam of the microscopic image is polarized by the total reflection unit 253 provided in the half mirror 252, and forms an image on an imaging element (not shown) of the camera head 103 via the imaging imaging lens 254. Thereby, the surgical head image in a state where the image is not superimposed is taken by the camera head 103.
[0075]
In addition, when signals selected by a switch operation (not shown) by the surgeon are input to the video selectors 57, 201, and 205, each signal is displayed as an in-field display image, an image of the second observation optical system, and a superimposed image, respectively. Is done. Here, FIG. 13 shows an example when each image is selected and displayed. In FIG. 13, an endoscopic image 38 photographed by the endoscopic TV camera 58 is displayed in the in-field display image on the microscope image 37, and the navigation device 59 is not shown in the second observation optical system. Images 140a to 140d indicating the observation positions of the endoscope and the microscope in the preoperative image output from the first image output unit are displayed. An index R indicating the observation direction of the endoscope P detected by the navigation device 59 is displayed in the superimposed image on the microscope image 37 (output from a second image output unit (not shown) of the navigation device 59). Image).
[0076]
At this time, the same images as the images displayed on the respective monitors are output from the image output units (not shown) of the selector 57, the selector 201, and the selector 205 to the arithmetic device 255. Further, the surgical part image taken by the microscope taken by the camera head 103 is converted into a video signal by the CCU 104 and input to the arithmetic unit 255. Further, XY table position data of the in-field display image is input from the XY table control unit 45 to the arithmetic unit 255.
[0077]
The arithmetic unit 255 generates a time code serving as a recording reference from the microscopic image from the CCU 104. Further, the display state of the in-field display image is associated with the time code as XY table position data. Further, each input image (microscopic part image from CCU 104, in-field display image from selector 57, second observation light system image from selector 201, superimposed image from selector 205) is associated with the time code. The calculation unit 255 transfers the XY table position data to the XY table position data memory unit 259 of the HDD 256, the time code to the time code memory unit 261 of the HDD 256, and the in-view display image to the in-view image memory unit 262 of the HDD 256. The second observation optical system image is stored in the second observation optical system image memory unit 263 of the HDD 256, the superimposed image is stored in the superimposed image memory unit 264 of the HDD 256, and the microscopic unit image is stored in the microscope image memory unit 265 of the HDD 256. Record simultaneously in time series.
[0078]
Next, playback control of images recorded on the HDD 256 will be described.
[0079]
The arithmetic unit 255 uses each data and image stored in the HDD 256 (XY table position data, time code, in-field display image, second observation optical system image, superimposed image, microscope image) as the time code. Read together. When the display state changeover switch 266 is operated by the observer and a mode for displaying in the same state as the intraoperative observation state is selected, the selected signal is sent to the arithmetic unit 255. In response to this, the arithmetic unit 255 outputs the images (four types) read from the HDD 256 to the mixer 267 from an image output port (not shown). Further, the arithmetic device 255 outputs a control signal for the mixer 267 from a communication port (not shown).
[0080]
Accordingly, for example, as shown in FIG. 14A, the microscopic image is displayed at a position biased to the right on the monitor 268 (having an aspect ratio of 16: 9). An endoscopic image as an in-field display image is displayed as a screen (the display position is determined by the XY table position data), and an endoscope observation direction index as a superimposed image is overlaid on the microscopic image. A navigation image as a second observation optical system image is displayed on the right side of the microscopic image.
[0081]
When the display state changeover switch 266 is operated by the observer and a mode for observing the microscope in detail is selected, the selected signal is sent to the arithmetic unit 255. In response to this, the arithmetic unit 255 performs the following control on the mixer 267 from a communication port (not shown). That is, as shown in FIG. 14B, the microscopic image is displayed at the left-justified position of the monitor 268, and the endoscopic image that is imposed on the microscopic image is not blocked by the microscopic image. The display is displayed at the next (upper) position, the navigation image is displayed at the right next (lower) position that is not obstructed by the endoscopic image, and the overlay of the indicator in the endoscopic observation direction is stopped.
[0082]
According to the present embodiment, since the HDD is used as the recording device, a plurality of recording media are not required, and a plurality of images such as the in-field display, the second observation optical system, and the image superimposing device are recorded and reproduced collectively. Can be easily done.
[0083]
Next, FIGS. 15 and 16 relate to the third embodiment of the present invention, FIG. 15 is a schematic configuration diagram of an XY table and a functional block diagram of an image recording control system, and FIG. 16 is a reproduced image displayed on a monitor. It is explanatory drawing which shows an example. In the present embodiment, the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
[0084]
As shown in FIG. 15, a communication port (not shown) of the ultrasonic suction device 300 is connected to the data conversion unit 106.
[0085]
Next, the operation of the surgical microscope system configured as described above will be described.
[0086]
The time code, the XY table position data, and the image selection state by recording the image are recorded in the memory 102 via the data conversion unit 106 as in the first embodiment. In the present embodiment, setting data of the ultrasonic suction device 300 is further input to the data conversion unit 106 from a communication port (not shown) of the ultrasonic suction device 300. The input setting data of the ultrasonic suction device 300 is recorded in the memory 102 in the same manner as other data in association with the time code by the data conversion unit 106.
[0087]
At the time of observation of intraoperative recording, for example, an image in the state shown in FIG. When a mode in which the setting state of the ultrasonic suction device 300 can be confirmed by the operation of the display changeover switch 109 by the observer is set, the setting data of the ultrasonic suction device 300 is output from the memory 102 to the image control device 108. . The image control device 108 converts the received output data into character data and transmits it to the image mixer 110. Thereby, as shown in FIG. 16B, the image mixer 110 superimposes the received character data on the blank portion of the screen of the monitor 112.
[0088]
According to the present embodiment, since the observer can check the setting data of the energy treatment tool at the same timing as the progress of the operation in addition to the operation image such as the microscope image and the endoscopic image, the post-operation conference Thus, it is possible to make a reliable judgment when revising the operation.
[0089]
According to each embodiment mentioned above, the following composition is obtained.
[0090]
(Supplementary Note 1) A mirror having an observation optical system for magnifying and observing the surgical site, an in-field display means for displaying at least one image in the observation field of the mirror, and taking an observation image of the mirror A surgical microscope comprising:
One or a plurality of recording means for recording the image photographed by the photographing means and the image displayed on the in-view display means;
Data recording means for recording display position information in the observation visual field of the visual field display means in time series in accordance with the recording state of the recording means;
A surgical microscope system, comprising: reproduction control means for reproducing and displaying a plurality of images recorded on the recording means in time series based on at least the recording data of the data recording means.
[0091]
(Supplementary Note 2) The in-field display means includes an in-field image display means for inserting an image into a part of the field of the observation optical system, a second image observation means different from the observation optical system, or the observation The surgical microscope system according to appendix 1, which is at least one of image superimposing means for superimposing and displaying an image on an optical system.
[0092]
(Supplementary Note 3) The surgical microscope system according to Supplementary Note 1 or 2, wherein the data recording unit is a unit that records the setting state of the machine in time series in accordance with the recording state of the recording unit.
[0093]
(Additional remark 4) The recording means which detects the display state of the said visual field display means, and the video recording means which records the image displayed on the said visual field display means according to the detection result of this detection means are controlled. A surgical microscope system according to any one of supplementary notes 1 to 3, further comprising: a recording control unit.
[0094]
(Additional remark 5) It has a reproduction control part which controls the reproduction position of the reproduction picture of the image displayed on the display means in the field of view based on the record data of the data recording means, Additional remark 1 thru / or Additional remarks The surgical microscope system according to any one of 3 above.
[0095]
(Supplementary note 6) The surgical microscope according to any one of supplementary notes 1 to 3, wherein the reproduction control unit includes an input unit for arbitrarily combining a plurality of recorded images. system.
[0096]
(Additional remark 7) The said input means has a mode which can select at least the form in which the recorded several image substantially corresponded with the actual observation state of the surgical microscope, The additional remark 4 characterized by the above-mentioned. Surgical microscope system.
[0097]
(Supplementary note 8) The surgical microscope system according to any one of supplementary notes 1 to 3, wherein the recording unit includes a plurality of video recorders.
[0098]
(Supplementary note 9) The surgical microscope system according to any one of supplementary notes 1 to 3, wherein the recording unit is a digital memory unit including an HDD.
[0099]
【The invention's effect】
As described above, according to the present invention, it is possible to record a plurality of images taken during the operation with high image quality, and when reproducing the recorded image, the image is reproduced in a state very close to the observation state during the operation. be able to.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an optical system of a binocular tube portion of a surgical microscope system according to a first embodiment of the present invention.
2 is a schematic configuration diagram showing the left observation optical system in FIG.
FIG. 3 is a perspective view of the LCD optical system.
FIG. 4 is a schematic block diagram of an XY table and a functional block diagram of an image recording control system.
FIG. 5 is a functional block diagram of the recorded data reproduction system.
FIG. 6 is an explanatory diagram showing a positional relationship in which the display image in the visual field is controlled with respect to the microscope observation visual field.
FIG. 7 is an explanatory diagram showing the display position and size in the LCD according to the position of the XY stage.
FIG. 8 is an explanatory diagram showing a reproduced image as in the above.
FIG. 9 is a schematic configuration diagram of an optical system of a mirror part of a surgical microscope system according to a second embodiment of the present invention.
FIG. 10 is a schematic block diagram of an XY table and a functional block diagram of an image recording control system.
FIG. 11 is a conceptual diagram showing memory area allocation of the hard disk drive
FIG. 12 is a functional block diagram of the recorded data reproduction system.
FIG. 13 is an explanatory diagram showing an example of an image selectively displayed on the microscope image and on the second observation optical system.
FIG. 14 is an explanatory diagram showing an example of a reproduced image displayed on the monitor
FIG. 15 is a schematic configuration diagram of an XY table and a functional block diagram of an image recording control system according to a third embodiment of the present invention.
FIG. 16 is an explanatory diagram showing an example of a reproduced image displayed on the monitor as above;
[Explanation of symbols]
26a, 26b LCD optical system (in-field image display means)
101 VCR (Recording means)
102 Memory (data recording means)
103 Camera head (photographing means)
105 VCR (Recording means)
108 Image control device (reproduction control means)
255 arithmetic unit (reproduction control means)
256 hard disk drive (recording means)
281 Superimposition monitor (image superimposing means)

Claims

An observation optical system for magnifying the surgical site;
A child image display control unit for controlling to display at least one child image on the in-field display unit displayed at a predetermined position in the observation field of the microscope image obtained by the observation optical system;
Imaging means for taking a microscope image obtained by the observation optical system as a microscope observation image;
First image recording means for recording the microscope observation image photographed by the photographing means;
Second image recording means for recording the child image that can be displayed on the in-view display unit;
A child image operation means for performing a predetermined setting operation related to the child image displayed on the in-view display unit;
Child image display control means for controlling to display the child image based on predetermined information relating to the child image displayed on the in-view display unit set by the child image operation means;
Predetermined information relating to the child image displayed on the in-view display unit set by the child image operating means is associated with the time-series information relating to the first image recording means and the second image recording means. Information recording means for recording;
Based on the predetermined information recorded in the information recording unit, the microscope observation image recorded in the first image recording unit and the child image recorded in the second image recording unit are time-sequentially displayed. Reproduction control means for reproducing and displaying in accordance with each other,
Comprising
The child image operation means sets a display position in the observation field of the microscope image of the in-field display unit on which a predetermined child image is displayed under the control of the child image display control unit,
The information recording means uses the first image recording means and the second image recording means as information on the display position relating to the child image displayed on the in-field display unit set by the child image operating means. A microscope system for operation, which is recorded in association with time series information related to the above .

An observation optical system for magnifying the surgical site;
A child image display control unit for controlling to display at least one child image on the in-field display unit displayed at a predetermined position in the observation field of the microscope image obtained by the observation optical system;
Imaging means for taking a microscope image obtained by the observation optical system as a microscope observation image;
First image recording means for recording the microscope observation image photographed by the photographing means;
Second image recording means for recording the child image that can be displayed on the in-view display unit;
A child image operation means for performing a predetermined setting operation related to the child image displayed on the in-view display unit;
Child image display control means for controlling to display the child image based on predetermined information relating to the child image displayed on the in-view display unit set by the child image operation means;
Predetermined information relating to the child image displayed on the in-view display unit set by the child image operating means is associated with the time-series information relating to the first image recording means and the second image recording means. Information recording means for recording;
Based on the predetermined information recorded in the information recording unit, the microscope observation image recorded in the first image recording unit and the child image recorded in the second image recording unit are time-sequentially displayed. Reproduction control means for reproducing and displaying in accordance with each other,
Comprising
The child image operation means selects and sets the content displayed in the child image,
The information recording unit is configured to display information of contents displayed on the selected child image set by the child image operation unit as time series information relating to the first image recording unit and the second image recording unit. A microscope system for operation characterized by recording in association with the .

The reproduction control means, based on the predetermined information recorded in the information recording means, the microscopic observation image recorded in the first image recording means and the child recorded in the second image recording means. A first reproduction mode for reproducing and displaying images on a predetermined image display means in a time-series coincidence with the images, and the child images recorded on the second image recording means irrespective of the time-series coincidence. 3. The surgical microscope system according to claim 1, wherein the second reproduction mode displayed in the entire display area of the image display unit is selected and controlled to be reproducible . 4.

Further comprising an endoscope camera separate from the observation optical system,
The surgical microscope system according to any one of claims 1 to 3, wherein the child image is an endoscope image captured by the endoscope camera .

A navigation device separate from the observation optical system;
The surgical microscope system according to claim 1, wherein the child image is a navigation image recorded in the navigation device .