JP5199634B2 - 計測内視鏡システム - Google Patents

Description

本発明は被写体を撮像し、所定の画素間隔でデータをサンプリングして元画像とし、元画像上の特徴点を指定して計測を行う計測内視鏡システムに関する。

今日、内視鏡装置は各種産業に使用され、例えば機械部品の傷や欠損等を計測する計測内視鏡装置も使用されている。このような内視鏡装置において、ユーザが元画像上の特徴点を容易に指定可能にする技術として、元画像を拡大し、該拡大画像上で特徴点の指定を行う方法が提案されている。

特許文献１には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画素の位置に基づいて計測を行う。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。

例えば、図１４は被写体の元画像を示し、元画像では背景が白であり、太さが２画素である２本の黒い線が直角に交わっている。特徴点は２本の線の交点の中心とし、この点を含む領域を拡大する拡大領域としている。図１５は拡大領域を示す。そして、拡大画像上には指定点を示す＋印が表示され、同図に示すように拡大画像上で特徴点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて演算を行っている。
特開平４−３３２５２３号公報

上記従来方法においては、特徴点の位置指定の単位は元画像の画素間隔、若しくはそれより細かい指定が可能である。しかしながら、指定点の移動は、マウス等のポインティングデバイスの移動操作に対応して行うが、従来のポインティングデバイスによる指定点の移動は、画像を表示する装置の画素単位で行われる。従って指定点の移動単位が画像の表示倍率に依存しているため、低倍率での表示時は詳細な移動が行えず、高倍率での表示時は移動距離が長くなったり、画像が見にくくなったりといった問題があった。

そこで、本発明はマウス等のポインティングデバイスの移動に対して指定点の移動の比率を変え、指定点を詳細に移動し、測定位置に正確に移動可能な計測内視鏡システムを提供することを目的とする。

上記課題は本発明によれば、観察対象が撮像された画像信号を、画素単位でサンプリングして画像データとして取得する画像取得手段と、この画像取得手段によって取得された画像を表示する表示手段と、前記画像上の位置を指定する位置指定手段と、この位置指定手段によって移動操作され、前記表示手段に表示される指定位置を示すポインタの位置を記憶する記憶手段と、前記位置指定手段の指定位置に基づいて移動操作の移動量と移動方向を算出し、前記画素単位より細かい単位で前記表示手段に表示された前記画像上の位置を計算する制御手段と、を備え、前記記憶手段は、前記画像上のＸ軸方向及びＹ軸方向のそれぞれについて第１閾値と第２閾値とを有すると共に、前記Ｘ軸方向及び前記Ｙ軸方向のそれぞれの移動操作前と移動操作後との前記指定位置に応じて加減算される第１の値と第２の値とを記憶し、前記制御部は、前記指定位置の前記画素単位における値と、前記第１及び第２の値を前記第１及び第２閾値で除算した前記画素単位より細かい単位における値とを加算して、移動操作後の前記指定位置の値を前記画素単位より細かい前記単位で計算する計測内視鏡システムを提供することによって達成できる。

本発明によれば、マウス等のポインティングデバイスによって位置の指定を行うとき、実質的に画素単位より細かい間隔で測定位置の指定を行うことができる。

以下、本発明の実施の形態を図面を参照しながら説明する。
尚、本実施形態の説明では、計測内視鏡システムとしてステレオ計測可能な内視鏡システムを例に挙げ、指定点としてはステレオ計測の対象である計測点としている。

図１〜図１３は本実施形態に係わり、図１は計測内視鏡システムを説明する図であり、図２は計測内視鏡システムの構成を説明するブロック図であり、図３は計測内視鏡システムの制御を説明する機能ブロック図であり、図４はリモートコントローラを説明する図であり、図５は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図６は図５のＡ−Ａ断面図であり、図７はステレオ計測により計測点の３次元座標を求める方法を説明する図であり、図８は計測内視鏡システムによる計測の流れを説明するフローチャートであり、図９は図１の計測内視鏡システムのステレオ計測実行画面を示す説明図であり、図１０は疑似サンプリング画像の拡大画像を示す図であり、図１１はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図であり、図１３は計測内視鏡システムの変形例を説明する図である。

先ず、計測内視鏡システム１０は、図１に示すようにステレオ計測可能なものを含む光学アダプタを着脱自在に構成された内視鏡挿入部１１と、該内視鏡挿入部１１を収納するコントロールユニット１２と、計測内視鏡システム１０のシステム全体の各種動作制御を実行するために必要な操作を行うリモートコントローラ１３と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（表示手段）（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下，ＦＭＤと記載）１７と、該ＦＭＤ１７に画像データを供給するＦＭＤアダプタ１８と、コントロールユニット１２に接続されるマウス２７（計測位置指定手段）を含んで構成されている。

次に、図２を参照しながら計測内視鏡システム１０のシステム構成を詳細に説明する。同図に示すように、前記内視鏡挿入部１１は、内視鏡ユニット２４に接続される。この内視鏡ユニット２４は、例えは図１に示したコントロールユニット１２内に搭載されている。また、この内視鏡ユニット２４は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部１１を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部１１先端の固体撮像素子４３（撮像手段）（図６参照）からの撮像信号は、カメラコントロールユニット（以下、ＣＣＵと記載）２５に入力される。

該ＣＣＵ２５は、供給された撮像信号をＮＴＳＣ信号等の映像信号に変換し、前記コントロールユニット１２内の主要処理回路群へと供給する。
前記コントロールユニット１２内に搭載された主要回路群は、図２に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うＣＰＵ２６ａ、ＲＯＭ２６ｂ、ＲＡＭ２６ｃ、及びＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）３０、ＵＳＢインターフェイス（以下、ＵＳＢ Ｉ／Ｆと記載）３１、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２Ｃ Ｉ／Ｆと記載）２９、音声信号処理回路３２、及び映像信号処理回路３３（画像取得手段）とを含んで構成されている。

また、前記ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、ＣＣＵ２５、内視鏡ユニット２４、及びリモートコントローラ１３（位置指定手段）にそれぞれ接続されている。リモートコントローラ１３は、ＣＣＵ２５、内視鏡ユニット２４の制御及び動作指示、若しくは後述するポインタの位置移動の制御を行うためのものである。また、ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、リモートコントローラ１３による操作に基づいてＣＣＵ２５、内視鏡ユニット２４を動作制御するために必要な通信を行う構成である。

前記ＵＳＢ Ｉ／Ｆ３１は、前記コントロールユニット１２とマウス２７（位置指定手段）とを電気的に接続するためのインターフェイスである。前記ＵＳＢ Ｉ／Ｆ３１を介して前記コントロールユニット１２とマウス２７とを接続した場合には、マウス２７の後述する操作によって操作信号がＣＰＵ２６ａに送られ、後述するポインタの位置移動が制御される。

また、前記ＰＣカードＩ／Ｆ３０は、ＰＣＭＣＩＡメモリカード２３、及びコンパクトフラッシュ（登録商標）メモリカード２２が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合、コントロールユニット１２は、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記ＰＣカードＩ／Ｆ３０を介してコントロールユニット１２内に取り込み、或いは制御処理情報や画像情報等のデータを、前記ＰＣカードＩ／Ｆ３０を介してメモリカードに供給して記録することができる。

前記映像信号処理回路３３は、ＣＣＵ２５から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ２５からの映像信号とＣＰＵ２６ａの制御により生成される操作メニューに基づく表示信号とを合成処理し、更にＬＣＤ１４の画面上に表示するために必要な処理を施してＬＣＤ１４に供給する。これにより、ＬＣＤ１４には内視鏡画像と操作メニューとの合成画像が表示される。

尚、映像信号処理回路３３では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
また、図１に示したコントロールユニット１２は、前記ＣＣＵ２５を経由せずに映像信号処理回路３３に映像を入力する外部映像入力端子７０を別に設けている。該外部映像入力端子７０に映像信号が入力された場合、映像信号処理回路３３はＣＣＵ２５からの内視鏡画像に優先して前記合成画像を出力する。

前記音声信号処理回路３２は、マイク２０により集音されて生成され、メモリカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、あるいは後述するＣＰＵによって生成された音声信号が供給される。前記音声信号処理回路３２は、供給された音声信号に再生するために必要な処理（増幅処理等）を施し、スピーカ１９に出力する。これにより、スピーカ１９によって音声信号が再生される。

図３は上記ＲＯＭ２６ｂに記憶されたプログラムに従って、ＣＰＵ２６ａが行う処理を説明する機能ブロック図である。ポインタ制御部７５、ポインタ位置移動前記憶部７６、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８、補正後ポインタ位置記憶部７９、インジケータ状態指示部８０、サンプリング点位置記憶部８１、再サンプリング処理部８２（再サンプリング処理手段）、サンプリング点移動画像表示処理部８３、及び計測部８４（計測手段）で構成される。計測部８４は後述する三角測量の原理により、左画像上及び右画像上の計測位置のいくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。また、マッチング処理手段としての機能も有し、左画像上にリモートコントローラ１３又はマウス２７によって入力された計測点に対応する右画像上の計測点をマッチング処理によって求める。

ここで、ポインタ制御部７５や、再サンプリング処理部８２、サンプリング点移動画像表示処理部８３、計測部８４はＣＰＵ２６ａの処理に対応し、ポインタ位置移動前記憶部７６や、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８等は記憶手段であるＲＡＭ２６ｃに対応し、ＣＰＵ２６ａはＲＯＭ２６ｂのプログラムに従ってポインタ位置の移動制御を行う。尚、ＣＰＵ２６ａは、勿論上記ポインタ位置の移動制御以外、計測内視鏡システムのシステム制御もＲＯＭ２６ｂに記憶されたプログラムに従って実行する。

ポインタ位置移動前記憶部７６にはマウス２７を操作する前のポインタ位置の情報が記憶され、ポインタ位置移動後記憶部７７には後述するイベント発生時、マウス２７の操作に基づくポインタの位置が記憶される。また、ポインタ制御部７５はイベント発生毎に上記ポインタ位置移動前記憶部７６に記憶されたポインタ位置と、ポインタ位置移動後記憶部７７に記憶されたポインタ位置の情報に基づいてポインタ移動後の位置を計算し、後述する一定の値（Ｒ値）で割り算したデータを不図示のレジスタに保持する。

補正後ポインタ位置記憶部７９には、マウス２７のボタン操作の停止に基づく補正値の計算結果が記憶され、上記レジスタに保持したデータに基づいて補正値が計算され、補正後のポインタ位置の情報が記憶される。

計測部８４は、上記処理によって設定された左画像におけるサンプリング点の位置に基づいてこのサンプリング点に対応した右画像のサンプリング点をマッチング処理によって求める。

サンプリング点位置記憶部８１は、上記マッチング処理によって設定された左画像及び右画像サンプリング点の位置を記憶する。また、再サンプリング処理部８２はサンプリング点位置記憶部８１によって記憶されたサンプリング点に基づいて左画像及び右画像の再サンプリングを行う際の処理部であり、サンプリング点移動画像表示処理部８３は上記サンプリング点に基づいて再サンプリングされた左画像及び右画像をディスプレイに表示する。尚、計測部８４は、マウス２７のボタン操作の停止前に随時上記マッチング処理を行ってもよい。また、計測部８４は、マッチング処理を行う前にサンプリング点位置記憶部８１が左画像のサンプリング点を記憶し、再サンプリング処理部８２及びサンプリング点移動画像表示処理部８３によって左画像が再サンプリングされて表示された後に右画像のサンプリング点を求めてもよい。

前記リモートコントローラ１３は、図４に示すようにジョイスティック６１、レバースイッチ６２、フリーズスイッチ６３、ストアースイッチ６４、計測実行スイッチ６５、及び拡大表示切り換え用ＷＩＤＥスイッチ６６、ＴＥＬＥスイッチ６７を併設して構成されている。

前記リモートコントローラ１３において、ジョイスティック６１は内視鏡先端部の湾曲動作を行うスイッチであり、３６０度の何れの方向にも自在に操作指示を与たり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、ジョイスティック６１は後述するステレオ計測における計測点指定の指示に使用することもできる。

次に、本実施の形態の計測用内視鏡装置１０に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図５と図６を参照しながら説明する。
図５及び図６はステレオ光学アダプタ３７を内視鏡先端部３９に取り付けた状態を示しており、該ステレオ光学アダプタ３７は、固定リング３８の雌ねじ５３により内視鏡先端部３９の雄ねじ５４と螺合することによって固定される構成である。

また、ステレオ光学アダプタ３７の先端には、一対の照明レンズ３６と２つの対物レンズ系３４、３５が設けられている。２つの対物レンズ系３４、３５は、内視鏡先端部３９内に配設された撮像素子４３上に２つの画像を結像する。そして、撮像素子４３により得られた撮像信号は、電気的に接続された信号線４３ａ、及び図２に示す内視鏡ユニット２４を介してＣＣＵ２５に供給され、該ＣＣＵ２５により映像信号に変換された後に映像信号処理回路３３に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、ＣＣＵ２５に供給される撮像信号によって生成される画像を元画像と呼ぶ。

次に、図７を参照して、ステレオ計測による計測点の３次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、計測点の３次元座標を（Ｘ，Ｙ，Ｚ）とする。但し、（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子４３の交点であり、（Ｘ，Ｙ，Ｚ）の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をＤ、焦点距離をＦとすると、三角測量の方法により、
Ｘ＝ｔ×ＸＲ ＋Ｄ／２
Ｙ＝ｔ×ＹＲ
Ｚ＝ｔ×Ｆ
ただし、ｔ＝Ｄ／（ＸＬ−ＸＲ）となる。

このように、元画像上の計測点の座標が決定されると、既知のパラメータＤ及びＦを用いて計測点の３次元座標が求まる。そして、いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。

以上の構成の計測内視鏡システムにおいて、以下に図８〜図１２を用いて本例の処理動作を説明する。ここで、図８Ａ〜８Ｇはステレオ計測のフローチャートを示し、図９はステレオ計測画面を示す図である。また、図９の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。

先ず、マウス２７を操作し、図８Ａに示す計測フローのステップＳ００１により、画素単位でサンプリングして読み取った画像を元画像として取得し（画像取得工程）、ステップＳ００２で表示装置に表示する。図９（ａ）は読み取られた左右２つの元画像（第１画像、第２画像）と、計測の操作を指示するアイコンと、マウス２７で位置が指定されるポインタからなる計測画面を示す。

次に、ステップＳ００３において左画像上で計測点を指定する。この計測点の指定は、図８Ｂに示す計測点指定フローにより実行する。先ず、ステップＳ１０１において、元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、更に図８Ｃに示す拡大領域設定フローにより実行する。

すなわち、ステップＳ５０１でマウス２７を操作し、元画像上の計測点付近の位置を指定し、ステップＳ５０２で拡大画像表示指示を行うと、ステップＳ５０３で拡大領域を決定する。本例では、拡大領域はマウス２７に指定された位置を中心とする所定の範囲の領域とする。

次に、ステップＳ１０２において、拡大画像（第１再サンプリング画像）を生成する（再サンプリング工程）。この拡大画像の生成は、図８Ｄに示すフローに従って実行される。先ず、ステップＳ６０１で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップＳ１０７で移動される。

ここで、拡大領域のサンプリング点の位置が移動された場合、元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。この場合のサンプリング点を擬似サンプリング点とし、このステップＳ６０１で生成される画像を擬似サンプリング画像とする。

次に、ステップＳ６０２でマウス２７の操作により、例えば押下回数から拡大倍率を設定し、ステップＳ６０３で擬似サンプリング画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双３次補間などを使用する。

次に、ステップＳ１０３において、拡大画像を大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。

次に、ステップＳ１０４では、拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。

図９（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が３倍であることを示す「３ｘ」が表示される。

次に、ステップＳ１０５において、上記指定点によって計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップＳ１０６に進み、指定されていればステップＳ１０８に進む。

ステップＳ１０６ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップＳ１０４に移り、表示されている計測点を指定点として選択する。

拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップＳ１０７に移る。このステップＳ１０７では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。このサンプリング点の移動は、図８Ｅ〜８Ｇに示すフローに従って行われる。

すなわち、図８Ｅに示すステップＳ７０１でマウス２７のボタンを押すと、画面上のポインタ初期位置Ｐ０が検出される。次に、ステップＳ７０２において、ポインタＰの初期位置をＰ０とし、前述のポインタ制御部７５内のレジスタＰ．ｓｘ及びＰ．ｓｙ（第１変数、第２変数）を初期値０に設定する。その後、マウス２７を上下左右に操作し、後述するイベント毎にマウス２７の操作に従って移動するポインタの位置を補正し、マウス２７のボタンを離すと、図８ＦのステップＳ７０３に示すように、補正されたポインタ位置が計測点とされる。尚、上記マウスボタンの操作状態は、前述のマウスボタン状態記憶部７８に記憶されている。

この間の処理を具体的に説明する図が、図８Ｇに示すフローチャート（位置指定工程）である。この処理はマウス処理のイベントが発生する毎に同図に示すフローが実行される。すなわち、マウス２７が操作されると（マウス処理のイベントが発生すると）、ステップＳ９０１の判断において、先ずマウス２７のボタン（左ボタン）が押下されているか判断する（ステップＳ９０１）。ここで、マウス２７のボタン操作が行われておらず（ステップＳ９０１がＮｏ）、コントロールキーも操作されていない場合（ステップＳ９２１がＮｏ）、前述のポインタの初期位置Ｐ０をカレントポジション（サンプル画像上の位置）Ｐとし（ステップＳ９２２）、レジスタＰ．ｓｘ及びＰ．ｓｙを初期値０に設定し（ステップＳ９２３）、ファインモードの表示も行わない（ステップＳ９２４）。

一方、マウス２７のボタンが押下されていると（ステップＳ９０１がＹｅｓ）、ステップＳ９０２においてインジケータをファインモードとする。この処理は、前述のポインタ制御部７５（ＣＰＵ２６ａ）の制御に基づいて、インジケータ状態指示部８０がディスプレイに「Ｆ」アイコンを表示する処理である（図９（ｃ）を参照）。

次に、ステップＳ９０３において、画面上のポインタの位置をＰ１とし、前述のポインタ位置移動後記憶部７７にＰ１の位置情報を記録する。この時、マウス２７はボタン操作が行われた状態で移動しており、例えばマウス２７が右方向（Ｘ軸方向）に移動した場合、移動前のポインタの初期位置Ｐ０のｘ値（例えば、Ｐ０．ｘ）は上記ポインタ位置移動前記憶部７６に記録されており、移動後のポインタ位置Ｐ１のｘ値（例えば、Ｐ１．ｘ）はポインタ位置移動後記憶部７７に記録されている。

この場合、マウス２７は右方向に移動しているので、Ｐ１のｘ値（Ｐ１．ｘ）は移動前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値である。したがって、ステップＳ９０４がＹＥＳとなり、ステップＳ９０５において、ポインタ制御部７５内に設定されたレジスタＰ．ｓｘの値を＋１する。尚、この場合、マウス２７は右方向に移動したものであり、マウス２７を左方向や垂直方向（Ｙ軸方向）には移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。

上記の例では、次のステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、レジスタＰ．ｓｘの値がＲに等しいか判断する。ここで、Ｒは予め設定した一定の値（第１閾値、第２閾値）であり、元画素に対して詳細にポインタを移動するための比率を示す。ＲはＸ軸方向、Ｙ軸方向にそれぞれ設定してもよいし、同一の値に設定してもよい。以下、ＲはＸ軸方向、Ｙ軸方向共に同一の値とする。ここで、例えばＲの値が「１０」に設定されているとすれば、上記最初の処理では、レジスタＰ．ｓｘの値は「１」であり、上記判断はＮＯである。

その後、マウス２７の右方向への移動において、次のマウス処理のイベントが発生すると、ポインタ位置Ｐ１のｘ値（Ｐ１．ｘ）は、前述と同様、前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値であり（ステップＳ９０４がＹＥＳ）、ステップＳ９０５において、再度レジスタＰ．ｓｘの値を＋１する。尚、この場合も、マウス２７を左方向や、垂直方向に移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。

次に、ステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、上記と同様レジスタＰ．ｓｘの値がＲに等しいか判断される。ここで、前述のように、Ｒの値が「１０」に設定されている場合、上記判断もＮＯである。

また、マウス２７がＹ方向（垂直方向）に移動していないので、ステップＳ９１６、及びＳ９１８もＮＯであり、更にステップＳ９２０において、画面上のポインタ位置（Ｐ０）は、初期位置Ｐのままである。

この状態で、例えばマウス２７のボタン操作を止めると、前述の図８ＦのステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「２」）が前述のＲ（１０）によって割り算され、補正値０．２（２／１０）が計算される。この場合、補正値は１画素（１．０）に満たないため、補正後ポインタ位置記憶部７９のポインタ位置情報はそのままである。例えば、ポインタの初期位置Ｐ（Ｘ，Ｙ）が、（１００，１００）であれば、補正後のポインタ位置も同じ（１００，１００）である。尚、上記例ではＸ方向について説明したが、Ｙ方向についても同様に計算される。

その後、マウス２７を右に移動する処理を継続すると、イベントが発生する毎にレジスタＰ．ｓｘの値が順次＋１され、ステップＳ９１３において、レジスタＰ．ｓｘの値がＲの値（例えば、「１０」）に一致すると（ステップＳ９１３がＹＥＳ）、ステップＳ９１５において、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ＋１）に更新される（（Ｐ．ｘ）を（Ｐ．ｘ＋１）に更新する）。尚、この時レジスタＰ．ｓｘの値は「０」にリセットされる。

この状態で、例えばマウス２７のボタン操作を止めると、前述と同様ステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「１０」）が前述のＲ（１０）によって割り算され、補正値１．０（１０／１０）が計算される。この場合、補正後ポインタ位置記憶部７９のポインタ位置情報は、上記例の場合、（１０１，１００）となる。

以後、マウス処理のイベントが発生する毎に上記処理が繰り返され、マウス２７を右方向に操作している場合には、順次レジスタＰ．ｓｘが＋１され（ステップＳ９０５）、上記例ではマウス２７の移動に対して１／Ｒ（「１０」）の割合でポインタの位置を移動することができる。

上記処理は、マウス２７を水平に右方向（Ｘ方向）に移動させた場合であるが、マウス２７を水平に左方向に移動させた場合も同様であり、またマウス２７を垂直方向（Ｙ方向）に移動させた場合も同様である。

例えば、マウス２７を左方向に移動させている間、マウス処理のイベントが発生すると、ステップＳ９０６がＹＥＳとなり、レジスタＰ．ｓｘの値を−１する（ステップＳ９０７）。また、上方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９０８がＹＥＳとなり、ポインタ制御部７５にある不図示のレジスタＰ．ｓｙの値を＋１し（ステップＳ９０９）、同様に下方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９１０がＹＥＳとなり、レジスタＰ．ｓｙを−１する（ステップＳ９１１）。

この間、前述のＲの値とレジスタＰ．ｓｘの値、又はＲの値とレジスタＰ．ｓｙの値の一致判断が行われ、レジスタＰ．ｓｘの値がＲの値に一致すれば前述のようにポインタ位置の更新処理が行われ（ステップＳ９１５）、レジスタＰ．ｓｙの値がＲの値に一致すれば、ステップＳ９１８によって一致判断が行われ、ステップＳ９１９において、ポインタのＹ座標位置（Ｐ．ｙ）を（Ｐ．ｙ＋１）に更新する（（Ｐ０．ｙ）を（Ｐ０．ｙ＋１）に更新する）。尚、この時レジスタＰ．ｓｙの値は「０」にリセットされる。

また、マウス２７を右方向に移動させた後、左方向に移動させる場合もあり、このような場合、レジスタＰ．ｓｘの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を左に変更した後イベントが発生すると、レジスタＰ．ｓｘの値は順次減算される（ステップＳ９０６がＹＥＳ、ステップＳ９０７）。この場合、レジスタＰ．ｓｘの値が０より小さくなると（ステップＳ９１２がＹＥＳ）、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ−１）に更新される（ステップＳ９１４）。

また、同様にマウス２７を上方向に移動させた後、下方向に移動させる場合もあり、この場合、レジスタＰ．ｓｙの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を下に変更した後イベントが発生すると、レジスタＰ．ｓｙの値は順次減算される（ステップＳ９１０がＹＥＳ、ステップＳ９１１）。この場合、レジスタＰ．ｓｙの値が０より小さくなると（ステップＳ９１６がＹＥＳ）、ポインタのＹ座標位置（Ｐ．ｙ）が（Ｐ．ｙ−１）に更新される（ステップＳ９１７）。

上記ポインタの位置は、マウス２７のボタン操作を止める毎に計算され、補正処理が行われたポインタの位置情報は補正後ポインタ位置記憶部７９に記録される。
尚、マウス２７を斜め右上方向や斜め右下方向、斜め左上方向や斜め左下方向に移動する場合も、対応するレジスタＰ．ｓｘ及びＰ．ｓｙが同時に更新され、前述と同様ポインタ位置をマウス２７の移動方向に詳細に移動させることができる。

したがって、本例によればマウス２７の移動操作に対してポインタの位置移動がより詳細に行われ、ポインタ位置の指定を詳細に調整することがきる。
以上のようにして、サンプリング点の位置が移動されると（ステップＳ１０７）、これに伴って拡大領域も移動する。サンプリング点の移動後、ステップＳ１０２に戻り、再度拡大画像を生成し表示する。図９（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示している。さらに、同図（ｅ）はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図（ｄ）の状態からサンプリング点を移動させた場合の計測画面を示している。

次に、上記サンプリング点の移動により指定点が計測点まで移動した後、ステップＳ１０５で指定点を決定し、ステップＳ１０８で指定点の位置から計測点の元画像上での位置を算出する。尚、この時サンプリング点の移動量の単位を所定の設定にする。

次に、ステップＳ００４では、ステップＳ００３で指定された時点の拡大画像を、左画像上に重畳して表示する。さらに、ステップＳ００５では、ステップＳ００３で指定された計測点に対応する右画像上での対応点を検索する（マッチング工程）。尚、上述したように、右画像上での対応点の検索がＳ００３で行われる場合、Ｓ００４、Ｓ００５及びＳ００６はＳ００３に含まれることになる。

この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。ステップＳ００６では、検索された右画像上の対応点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。

図９（ｆ）は、この時の計測画面を示している。これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。

次に、ステップＳ００７で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、マウス２７を操作しで計測画面上のアイコン「←」を選択し、ステップＳ００３に戻り、計測点を再度指定する。一方、修正しない場合にはステップＳ００８に進む。

ステップＳ００８では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、マウス２７を操作して計測画面上のアイコン［→］を選択し、ステップＳ０１０に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップＳ０１１において、右画像上の対応点の周辺を前述のステップＳ００６における処理と同様に表示する。

尚、ステップＳ００７及びステップＳ００８の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。

また、上記ステップＳ００８において、位置を修正しない場合ステップＳ０１２に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップＳ００３に戻り、指定しない場合にはＳ０１３に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図９（ｇ）には２点間の距離を計測した場合の計測結果が含まれる計測画面が示されている。

図９（ｇ）に示す計測結果の例では計測単位がｍｍとなっているが、画面内の「ｍｍ」、「ｉｎｃｈ」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。

次に、前述の拡大画像の詳細について、図１４に示した元画像を例として説明する。図１４に示す拡大領域は、最初前述の図１５で示すように拡大される。そして、拡大のための画素数の増加には最近傍補間を使用し、指定点が２本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を０．１画素に設定し、サンプリング点を左に０．５画素、下に０．５画素移動する。この処理によって、擬似サンプリング画像が線形補間で生成され、この画像の拡大画像が生成される。図１０はこの時の拡大画像である。

次に、疑似サンプリング点移動画像とその拡大画像が生成される原理について、図１１を用いて説明する。元画像は図１１（ａ）に示すように横６画素×縦１画素の元画像であって、中心の２画素が白、それ以外の周囲の画素が黒である。同図（ｂ）は元画像のサンプリング点における輝度を示している。

このサンプリング点を右に元画像の１／３画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図（ｃ）のようになる。サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図（ｄ）のようになる。この輝度から同図（ｅ）の拡大画像が生成される。

次に、図１０に示す拡大画像が生成される原理について述べる。図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図１４に示す元画像では、黒い線は２個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ２の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の２画素に跨った位置では黒となり、白と黒の境界位置では補間により灰色となる。従って、拡大画像において、指定点の位置は黒であるが、その周囲は灰色となる。

このように、擬似サンプリング画像の拡大画像では、指定している点の位置の色が明確である一方その周囲では指定している点から元画像における１画素分ずつ離れた色が表示されるため、指定している点とそれ以外の点の色の区別がし易くなる。そのため、元画像の画素間隔より小さい単位で所望の点を指定しやすい。

以上のように、本例はマウス２７の操作により、ポインタの位置移動を詳細に行うことができ、画面上の希望する計測点の位置に正確に移動させることができる。
尚、本例においては、マウス２７を使用して再サンプリング処理を実行したが、本例の処理の一部をジョイスティック６１を使用して行ってもよい。この場合、レバースイッチ６２はグラフィック表示される各種メニュー操作や計測を行う場合のポインタ移動及び真下への押下による選択項目の決定操作を行うためのスイッチとして使用され、フリーズスイッチ６３はＬＣＤ１４表示にかかわるスイッチとして使用される。

また、ストアースイッチ６４は、前記フリーズスイッチ６３の押下によって静止画像を表示した場合、該静止画像をＰＣＭＣＩＡメモリカード２３（図２参照）に記録する場合に用いられる。また、計測実行スイッチ６５は、計測ソフトを実行する際に用いられ、拡大表示切り換え用ＷＩＤＥスイッチ６６、及びＴＥＬＥスイッチ６７は、内視鏡画像を拡大縮小するのに用いられる。

また、前述の実施形態では、計測内視鏡システムのコントロールユニット１２内に図３に示す処理を行う制御部を設けたが、例えば図１３に示すように、パーソナルコンピュータ（ＰＣ）を使用する構成としてもよい。

この場合、ＣＣＤカメラ（内視鏡カメラ）９０で撮影した画像を内視鏡ユニット９１を介して映像信号処理回路９２に出力し、映像信号処理回路９２によって撮像信号をＮＴＳＣ信号等の映像信号に変換し、パーソナルコンピュータ（ＰＣ）に供給する。

パーソナルコンピュータ（ＰＣ）には、キーボード９３及びマウス９４が接続され、外部記憶装置９５も接続され、サンプリング画像はディスプレイ９８に表示される。また、ＣＤ−ＲＯＭ等の記録媒体９６を装着するメディアドライバ９７も設けられている。

パーソナルコンピュータ（ＰＣ）は内部のＣＰＵ、ＲＯＭ、ＲＡＭによって本システムの制御を行い、例えば同図に示す処理を行う。
すなわち、前述と同様、ＣＰＵ、ＲＯＭ、ＲＡＭによって同図に示す処理を行い、具体的にはポインタ制御部９９、ポインタ位置移動前記憶部１００、ポインタ位置移動後記憶部１０１、マウスボタン状態記憶部１０２、補正後ポインタ位置記憶部１０３、インジケータ状態指示部１０４、サンプリング点位置記憶部１０５、再サンプリング処理部１０６、計測部１０９、及びサンプリング点移動画像表示処理部１０７、元画像メモリ１０８で構成される機能を実行する。この場合も、ポインタ制御部９９や、再サンプリング処理部１０６、サンプリング点移動画像表示処理部１０７、計測部１０９はＣＰＵの処理に対応し、ポインタ位置移動前記憶部１００や、ポインタ位置移動後記憶部１０１、マウスボタン状態記憶部１０２、元画像メモリ１０８等は記憶手段であるＲＡＭに対応し、ＣＰＵはＲＯＭのプログラムに従ってポインタ位置の移動制御を行う。尚、この場合も、ＣＰＵは勿論上記ポインタ位置の移動制御以外、計測内視鏡システムのシステム制御もＲＯＭに記憶されたプログラムに従って実行する。

前述と同様、ＣＣＤカメラ（内視鏡カメラ）９０で撮影された画像は、内視鏡ユニット９１を介して映像信号処理回路９２に入力し、前述のように撮像信号がＮＴＳＣ信号等の映像信号に変換され、パーソナルコンピュータ（ＰＣ）に供給される。パーソナルコンピュータ（ＰＣ）では入力したデータを元画像メモリ１０８に記録する。そして、前述と同様の処理を行う。

例えば、マウス９４を操作して、前述の図８Ａに示す計測フローの処理を行い、先ず左画像上で計測点を指定し、元画像上で拡大対象となる拡大領域を設定し、ディスプレイ９８に表示する（図８Ｂ〜８Ｄの処理）。そして、計測点にサンプリング点を一致させるため、ポインタの移動処理を行う場合、前述の図８Ｅ〜８Ｇに示す処理を実行する。

すなわち、前述のようにマウス９４を水平方向や垂直方向、又は水平方向及び垂直方向に移動し、前述のレジスタＰ．ｓｘ又はレジスタＰ．ｓｙの値を加算処理しつつ、予め設定されたＲ値との比較を行い、補正後ポインタ位置記憶手段７９によってポインタ位置の補正値を記憶する。

このように処理することによって、マウス９４の移動操作に対してポインタの位置移動をより詳細に行うことができ、測定点にポインタを正確に移動することができる。
また、上記実施形態の説明においては、ポインティングデバイスとしてマウス２７、又はマウス９４を使用する例で説明したが、他のポインティングデバイスを使用する構成としてもよい。

本実施形態の計測内視鏡システムを説明する図である。 計測内視鏡システムの構成を説明するブロック図である。 本実施形態の制御処理を説明する機能ブロック図である。 リモートコントローラを説明する図である。 直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。 図５のＡ−Ａ断面図である。 ステレオ計測により計測点の３次元座標を求める方法を示す図である。 計測内視鏡システムによる計測の流れを説明するフローチャートである。 計測点指定処理を説明するフローチャートである。 拡大領域の設定処理を説明するフローチャートである。 拡大画像の生成処理を説明するフローチャートである。 マウスの左ボタンを押した時の処理を説明するフローチャートである。 マウスの左ボタンを戻した時の処理を説明するフローチャートである。 ポインタの位置移動処理を説明するフローチャートである。 （ａ）は、読み取られた左右２つの元画像を示す図であり、（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｅ）は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｆ）は、計測画面を示す図であり、（ｇ）は、２点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。 線形補間で生成された拡大画像を示す図である。 （ａ）は、横６画素×縦１画素の元画像を示す図であり、（ｂ）は、元画像のサンプリング点における輝度を示す図であり、（ｃ）は、サンプリング点移動画像の輝度を示す図であり、（ｄ）は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、（ｅ）は、（ｄ）の輝度情報から拡大画像を生成した図である。 元画像におけるサンプリング点と移動されたサンプリング点を示す図である。 本実施形態の変形例を示すシステム構成図である。 計測対象の元画像の一例を示す図である。 図１４の拡大領域の単純拡大画像を示す図である。

符号の説明

１０・・・計測用内視鏡装置
１１・・・内視鏡挿入部
１２・・・コントロールユニット
１３・・・リモートコントローラ
１４・・・液晶モニタ（ＬＣＤ）
１７・・・フェイスマウントディスプレイ（ＦＭＤ）
１８・・・ＦＭＤアダプタ
１９・・・スピーカ
２０・・・マイク
２１・・・パーソナルコンピュータ
２２・・・コンパクトフラッシュ（登録商標）メモリカード
２３・・・ＰＣＭＣＩＡメモリカード（ＰＭＣＩＡメモリカード）
２４・・・内視鏡ユニット
２５・・・カメラコントロールユニット（ＣＣＵ）
２６ａ・・ＣＰＵ
２６ｂ・・ＲＯＭ
２６ｃ・・ＲＡＭ
２７・・・マウス
２９・・・ＲＳ−２３２ｃインターフェイス（ＲＳ−２３２Ｃ Ｉ／Ｆ）
３０・・・ＰＣカードインターフェイス（ＰＣカードＩ／Ｆ）
３１・・・ＵＳＢインターフェイス（ＵＳＢ Ｉ／Ｆ）
３２・・・音声信号処理回路
３３・・・映像信号処理回路
３４、３５・・・対物レンズ系
３６・・・照明レンズ
３７・・・ステレオ光学アダプタ
３８・・・固定リング
３９・・・内視鏡先端部
４３・・・個体撮像素子
４３ａ・・・信号線
５３・・・雌ねじ
５４・・・雄ねじ
６１・・・ジョイスティック
６２・・・レバースイッチ
６３・・・フリーズスイッチ
６４・・・ストアースイッチ
６５・・・計測実行スイッチ
６６・・・拡大表示切り換え用ＷＩＤＥスイッチ
６７・・・ＴＥＬＥスイッチ
７０・・・外部映像入力端子
７５・・・ポイント制御部
７６・・・ポイント位置移動前記憶部
７７・・・ポイント位置移動後記憶部
７８・・・マウスボタン状態記憶部
７９・・・補正後ポイント位置記憶部
８０・・・インジケータ状態指示部
８１・・・サンプリング点位置記憶部
８２・・・再サンプリング処理部
８４・・・計測部
９０・・・ＣＣＤカメラ（内視鏡カメラ）
９１・・・内視鏡ユニット
９２・・・映像信号処理回路
９３・・・キーボード
９４・・・マウス
９５・・・外部記憶装置
９８・・・ディスプレイ
９９・・・ポインタ制御部
１００・・ポインタ位置移動前記憶部
１０１・・ポインタ位置移動後記憶部
１０２・・マウスボタン状態記憶部
１０３・・補正後ポインタ位置記憶部
１０４・・インジケータ状態指示部
１０５・・サンプリング点位置記憶部
１０６・・再サンプリング処理部
１０７・・サンプリング点移動画像表示処理部
１０８・・元画像メモリ
１０９・・計測部

Claims (4)

1. 観察対象が撮像された画像信号を、画素単位でサンプリングして画像データとして取得する画像取得手段と、
   この画像取得手段によって取得された画像を表示する表示手段と、
   前記画像上の位置を指定する位置指定手段と、
   この位置指定手段によって移動操作され、前記表示手段に表示される指定位置を示すポインタの位置を記憶する記憶手段と、
   前記位置指定手段の指定位置に基づいて移動操作の移動量と移動方向を算出し、前記画素単位より細かい単位で前記表示手段に表示された前記画像上の位置を計算する制御手段と、を備え、
   前記記憶手段は、前記画像上のＸ軸方向及びＹ軸方向のそれぞれについて第１閾値と第２閾値とを有すると共に、前記Ｘ軸方向及び前記Ｙ軸方向のそれぞれの移動操作前と移動操作後との前記指定位置に応じて加減算される第１の値と第２の値とを記憶し、
   前記制御部は、前記指定位置の前記画素単位における値と、前記第１及び第２の値を前記第１及び第２閾値で除算した前記画素単位より細かい単位における値とを加算して、移動操作後の前記指定位置の値を前記画素単位より細かい前記単位で計算することを特徴とする計測内視鏡システム。
2. 前記制御部は、前記画素単位より細かい前記単位で計算された前記指定位置の値に基づいて、前記位置指定手段によって指定される前記画像上の前記指定位置を補正することを特徴とする請求項１に記載の計測内視鏡システム。
3. 前記位置指定手段がマウスコントローラを有し、このマウスコントローラの何れかのボタンが押下されたままの状態で前記ポインタの移動が行われるとき、前記制御手段が前記計算を行うことを特徴とする請求項１、又は２に記載の計測内視鏡システム。
4. 前記制御部は、前記マウスコントローラの何れかのボタンが押下されたままの状態が解除されるとき、前記画素単位よりも細かい単位で計算された前記指定位置を、計測を行うための計測点とすることを特徴とする請求項３に記載の計測内視鏡システム。