JP5830270B2

JP5830270B2 - 内視鏡装置および計測方法

Info

Publication number: JP5830270B2
Application number: JP2011116141A
Authority: JP
Inventors: 横田　政義; 政義横田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-05-24
Filing date: 2011-05-24
Publication date: 2015-12-09
Anticipated expiration: 2031-05-24
Also published as: WO2012161244A1; US9581802B2; JP2012242364A; US20140071239A1

Description

本発明は、内視鏡装置および計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて被検物の三次元形状を計測する方法に関する。

従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、当該縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。たとえば、特許文献１には、縞を投影するための２つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。

米国特許出願公開第２００９／０２２５３２１号公報

しかしながら、特許文献１に記載の内視鏡装置では、計測に適した条件であったかどうかの判定を、三次元形状の計測に使用する縞画像を取得する一連の工程が終了したあと、当該工程で得られた縞画像を使用して行っていた。このため、計測に適した条件であったかどうかの判定が、三次元形状を計測するための演算の後になってしまうことにより、計測に適した条件であったことが分かるまでに時間がかかり、使い勝手が悪かった。

本発明は、上述した事情に鑑みてなされたものであって、その目的は、計測に適した条件であるかを短時間で判定できる内視鏡装置および計測方法を提供することである。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって取得された画像を表示する表示部と、前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、を備え、前記制御部は、前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、前記パターン投影画像の取得前に前記撮像部により撮像された第一明視野画像と前記パターン投影画像の取得後に前記撮像部により撮像された第二明視野画像とにおけるずれ量が所定の閾値未満であるか否かを判定し、前記ずれ量が前記所定の閾値未満であると判定された場合にのみ、前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させることを特徴とする内視鏡装置である。

また、前記制御部は、前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、前記カーソルの座標に基づいて前記表示部に前記領域を設定し、前記領域内に対応する前記被検物の三次元形状の計測を行うことが好ましい。

また、前記制御部は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測することが好ましい。

また、前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる１秒以上の周期であり、前記一周期内における前記第二時間幅は、１秒よりも十分に短い時間に設定されていることが好ましい。

また、前記第二時間幅は１／２５秒以下の長さに設定されていることが好ましい。
また、前記第二時間幅は１／３０秒以下の長さに設定されていてもよい。

本発明の計測方法は、被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、照明光が照射された前記被検物の画像を取得している間に、１秒あたり１／２５秒以下の間隔で前記照明光を周期的に消灯し、前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、前記パターン投影画像の取得前に撮像された第一明視野画像と前記パターン投影画像の取得後に撮像された第二明視野画像とにおけるずれ量が所定の閾値未満であるか否かを判定し、前記ずれ量が前記所定の閾値未満であると判定された場合にのみ、前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示することを特徴とする計測方法である。

また、本発明の計測方法において、前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測することが好ましい。

本発明の内視鏡装置および計測方法によれば、計測に適した条件であるかを短時間で判定できる。

本発明の一実施形態の内視鏡装置の構成を示すブロック図である。同内視鏡装置によって投影される縞パターンを示す模式図である。同内視鏡装置の使用時における各光源の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。同内視鏡装置の使用時の動作を説明するためのフローチャートである。同内視鏡装置の使用時の動作を説明するためのフローチャートである。同内視鏡装置の使用時の動作を説明するためのフローチャートである。同内視鏡装置の使用時の動作を説明するためのフローチャートである。同実施形態の変形例の内視鏡装置の使用時の動作を説明するためのフローチャートである。

以下、本発明の一実施形態の内視鏡装置および計測方法について説明する。
まず、本実施形態の内視鏡装置１の構成について説明する。図１は、内視鏡装置１の構成を示すブロック図である。図２は、内視鏡装置１によって投影される明暗パターン（縞パターン）を示す模式図である。
本実施形態の内視鏡装置は、被検物に明暗パターンが投影されたパターン投影画像を用いて被検物の計測を行う計測内視鏡である。
内視鏡装置１は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部１０と、挿入部１０の基端が接続された本体部２０とを備える。

図１に示すように、挿入部１０は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部１０には、被検物の画像を取得する撮像部３０と、挿入部１０前方の観察視野を照明する照明部４０と、被検物に明暗パターンを投影するパターン投影部５０とが設けられている。本実施形態では、パターン投影部５０は明暗パターンとして、縞パターンを披検物に投影するものとする。
また、挿入部１０の先端面１０ａには、撮像部３０の対物光学系３２に外光を入射させるための開口１１と、照明部４０からの照明光を挿入部１０の前方に照射するための照明窓１２と、パターン投影部５０からの縞を挿入部１０の前方に照射するための投影窓１３とが設けられている。

撮像部３０は、挿入部１０の先端付近に配置されたイメージャー３１と、イメージャー３１の前方に配置された対物光学系３２と、イメージャー３１と接続されたイメージャー制御部３３とを備える。

イメージャー３１としては、ＣＣＤ、ＣＭＯＳ等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。

対物光学系３２は、挿入部１０の開口１１内に配置されている。対物光学系３２は、所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー３１に入射させ、被検物の像を結像させる。また、対物光学系３２は、開口１１を封止する光透過性のカバー部材３２ａを有する。

イメージャー制御部３３は、本体部２０内に設けられており、挿入部１０内を延びる配線３４によりイメージャー３１と接続されている。イメージャー制御部３３は、イメージャー３１の駆動および映像信号を取得する設定等の各種制御を行う。

照明部４０は、第一光源４１と、照明光学系４２と、第一光源４１の光を照明光学系４２に導く第一ファイバーバンドル４３と、第一光源４１と第一ファイバーバンドル４３との間に配置される第一入射光学系４４とを備える。

第一光源４１は、白色光を発する光源であり、本体部２０の内部に配置されている。第一光源４１としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源４１として、ハロゲンランプが採用されている。第一光源４１から発せられる光は、被検物を照明するための照明光となる。また、第一光源４１には、照明光の出射状態を切り替えるシャッターモジュール４１ａが設けられている。シャッターモジュール４１ａは、後述する光源制御部２１によって動作が制御される。

照明光学系４２は、挿入部１０の先端または先端付近に取り付けられている。照明光学系４２は、挿入部１０の照明窓１２内に設けられた光透過性のカバー部材４２ａと、図示しないレンズ群とを有する。照明光学系４２は、第一光源４１から照射された光を対物光学系３２の画角に適した視野範囲に広げて照明窓１２から出射させ、観察視野をまんべんなく照明する。

第一ファイバーバンドル４３は、照明光学系４２の近傍から挿入部１０を通って本体部２０内の第一光源４１近傍まで延びている。第一ファイバーバンドル４３の種類には特に制限はなく、一般的なライトガイドを使用可能である。

第一入射光学系４４は、第一光源４１から発せられる光を第一ファイバーバンドル４３の径と同程度まで収束させて効率よく第一ファイバーバンドル４３内に導入する。

パターン投影部５０は、第二光源５１と、投影光学系５２と、第二光源５１の光を投影光学系５２に導く第二ファイバーバンドル５３と、第二光源５１と第二ファイバーバンドル５３との間に配置される第二入射光学系５４と、第二光源５１から出射された光の光路上に配置された縞パターン生成部５５とを備える。

第二光源５１は、第一光源４１とは異なる光を発する光源であり、本体部２０の内部に配置されている。第二光源５１としては、ＬＥＤ光源やレーザー光源などを採用することができる。本実施形態では、第二光源５１としてＬＥＤ光源が採用されている。第二光源５１から発せられる光は、縞パターンを投影するための投影光となる。

投影光学系５２は、挿入部１０の先端または先端付近に取り付けられている。投影光学系５２は、挿入部１０の投影窓１３内に設けられた光透過性のカバー部材５２ａを有する。なお、投影窓１３に設けられたカバー部材５２ａはレンズ形状であっても構わない。投影光学系５２は、第二光源５１から照射された光を、対物光学系３２の画角に適した視野範囲に広げて１つの投影窓１３から観察視野内に投影する。

第二ファイバーバンドル５３は、投影光学系５２の近傍から挿入部１０を通って本体部２０内の第二光源５１近傍まで延びている。第二ファイバーバンドル５３としては、第一ファイバーバンドル４３と同様に一般的なライトガイドを使用することができる。

第二入射光学系５４は、第二光源５１から発せられた光を、第二ファイバーバンドル５３の径と同程度まで収束させて効率よく第二ファイバーバンドル５３内に導入する。

パターン生成部５５は、縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。

このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるＭＥＭＳ（マイクロ電子機器システム）ミラーモジュール等がパターン生成部５５として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部５５全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部５０の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部５５に接続されたパターン制御部５６によって行われる。

本体部２０内には、上述のイメージャー制御部３３と、照明部４０から照明光を出射する動作および縞投影部５０から投影光を出射する動作を制御する光源制御部２１と、メイン制御部２２とが設けられている。

イメージャー制御部３３には、イメージャー３１の取得した映像信号を処理するビデオプロセッサー２７と、イメージャー制御部３３の動作を制御するメイン制御部２２とが接続されている。ビデオプロセッサー２７およびメイン制御部２２は本体部２０内に設けられている。

ビデオプロセッサー２７には、ビデオプロセッサー２７によって処理された映像信号を画像として表示するモニター（表示部）２８が接続されている。
光源制御部２１は、第一光源４１および第二光源５１、並びにメイン制御部２２に接続されており、メイン制御部２２による制御に基づいて第一光源４１および第二光源５１のオン／オフを制御する。

メイン制御部２２は、さらに、操作部２３、ＲＡＭ２４、ＲＯＭ２６、補助記憶装置２５、およびパターン制御部５６に接続されている。

操作部２３は、使用者が内視鏡装置１に各種入力を行うためのスイッチなどを有する。また、操作部２３として、モニター２８の表示画面と重ねて設けられたタッチパネルが採用されてもよい。

ＲＡＭ２４は、内視鏡装置１を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ＲＯＭ２６は、たとえばファームウェア等が記録されており、内視鏡装置１の起動時にファームウェア等が読み出されるようになっている。
補助記憶装置２５は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。

次に、メイン制御部２２の構成について詳述する。
メイン制御部２２は、光源制御部２１に対して、第一光源４１および第二光源５１を所定の周期Ｗで点滅させ、第一光源４１から照明光が出射されている状態では第二光源５１からの投影光の出射を減少させ、第一光源４１からの照明光の出射が減少されている状態では、第二光源５１から投影光を出射させる制御を行う。本実施形態では、メイン制御部２２が第二光源５１からの投影光の出射を停止させる例で説明するが、使用者がモニター２８を見たときにちらつきを感じない程度であれば、メイン制御部２２を、第二光源５１からの投影光の出射を停止するのではなく、減少させるように構成してもよい。

図３は、内視鏡装置１の使用時における第一光源４１および第二光源５１の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
図３に示すように、第一光源４１および第二光源５１を点滅させる所定の周期の一周期Ｗは、照明光が出射された状態且つ投影光の出射が停止された状態である第一時間幅Ｗ１と、照明光の出射が停止された状態且つ投影光が出射された状態である第二時間幅Ｗ２とからなる。

本実施形態では、所定の周期Ｗの一周期内における第二時間幅Ｗ２は、内視鏡装置１を使用する使用者がモニター２８を見たときにちらつきを感じない時間に設定されている。具体的には、所定の周期Ｗは１秒に設定され、１秒の周期Ｗのうち第二時間幅Ｗ２は１秒よりも十分に短い時間、例えば１／３０秒に設定され、残りの２９／３０秒は第一時間幅Ｗ１とされている。

なお、モニター２８のリフレッシュレートに対応させて、第二時間幅Ｗ２は１／３０秒以下の適宜の時間幅に設定することもできる。たとえばモニター２８のリフレッシュレートが６０ｆｐｓである場合に、第二時間幅Ｗ２を１／６０秒とし、周期をモニター２８のリフレッシュレートと同期させることによって、第一光源４１からの照明光により照明された画像のモニター２８上での欠落を１フレーム／秒とすることができる。
さらになお、本実施形態では、第二時間幅Ｗ２はＮＴＳＣ形式の１秒あたりのフレーム数（３０フレーム）に基づいて設定されているが、ＰＡＬ形式の１秒あたりのフレーム数（２５フレーム）に基づいて設定されてもよい。そのとき、第二時間幅Ｗ２は１／２５秒に設定され、残りの２４／２５秒は第一時間幅Ｗ１とされる。

また、本実施形態では、第二時間幅Ｗ２は、撮像部３０によって少なくとも一枚の画像が適切に取得できる時間に設定されている。たとえば、本実施形態では、第二時間幅Ｗ２の長さは、撮像部３０が一枚のパターン投影画像を取得できる長さに設定されている。

また、メイン制御部２２は、照明光により被検物が照明された明視野画像を、第一光源４１から照明光が出射されている状態で撮像部３０に取得させる。さらに、メイン制御部２２は、被検物に縞パターンが投影されたパターン投影画像を、投影光が出射されている状態で撮像部３０に取得させる。

具体的には、メイン制御部２２は、撮像部３０のイメージャー制御部３３に対して、上記所定の周期Ｗと同期させてイメージャー３１に画像を撮像させる制御を行う。イメージャー３１によって撮像された画像はビデオプロセッサー２７において処理される。メイン制御部２２によって、上記所定の周期Ｗにおける第一時間幅Ｗ１に該当するときに撮像された画像は明視野画像として抽出され、第二時間幅Ｗ２に該当するときに撮像された画像はパターン投影画像として抽出される。

このように、本実施形態では、ビデオプロセッサー２７によって、イメージャー３１が撮像した画像が明視野画像とパターン投影画像とに仕分けされる。

メイン制御部２２は、ビデオプロセッサー２７によって抽出されたパターン投影画像を用いて三次元形状の計測を行い、ビデオプロセッサー２７によって抽出された明視野画像をモニター２８へ出力する。
なお、メイン制御部２２は、イメージャー３１が撮像した画像からパターン投影画像を取り除くことなくモニター２８へ出力してもよい。この場合であっても、たとえばパターン投影画像がモニター２８に表示される時間が１秒当たり1／３０秒以下であれば、モニター２８における画像のちらつきは気にならない程度に抑えられる。

メイン制御部２２は、撮像部３０が取得したパターン投影画像を用いて被検物の三次元形状を計測するソフトウェア（以下、「計測プログラム」と称する。）を動作させることができる。メイン制御部２２は、パターン投影画像を用いた計測によって得られた情報を、明視野画像とともにモニター２８に表示させる。パターン投影画像を用いた計測によって得られた情報をモニター２８に表示させるために、メイン制御部２２は、計測プログラムによる演算が終了したあと、モニター２８に表示されている明視野画像又はパターン投影画像上に、パターン投影画像を用いた計測によって得られた情報を重ね合わせてモニター２８へ出力することができる。
詳細は後述するが、計測プログラムは、上記所定の周期Ｗの一周期以内で演算を完了するように構成されている。よって、三次元形状の計測結果の表示は、上記所定の周期Ｗで更新される。

図４および図５は、内視鏡装置の使用時にモニター２８に表示されるカーソルＣおよび対象領域Ｔの表示例を示す模式図である。
図４および図５に示すように、メイン制御部２２において動作する計測プログラムは、撮像部３０の撮像視野内において被検物の三次元形状の計測をさせる対象領域を定めるためのカーソルＣを、モニター２８に表示させる。カーソルＣは、たとえば十字印（図４参照）や矢印（図５参照）など被検物における座標あるいは領域を使用者が指定しやすい形状とすることができる。また、カーソルＣは、丸印や四角い枠などの形状で、対象領域の広さを指定するために用いられてもよく、この場合には、計測プログラムは、カーソルＣの大きさを使用者の操作入力により変形させることができるように構成されてもよい。

計測プログラムは、モニター２８上に表示されたカーソルＣの座標に基づいて、モニター２８に、三次元形状を計測するための対象領域Ｔを設定する。たとえば上記十字印や矢印など画像上の特定の位置を点として指定したカーソルＣの位置を中心とした矩形形状あるいは円形状などの所定の領域を対象領域Ｔとして設定する。
なお計測プログラムは、使用者の操作入力により、カーソルＣの形状だけでなく、対象領域Ｔの形状や大きさを変更させることができるように構成されてもよい。
さらに、計測プログラムは、三次元形状を計測する対象領域Ｔとして設定された領域内のみに対して三次元形状を計測するための演算を行う。

計測プログラムによる演算は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いる。空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法を用いた演算は、それぞれパターン投影画像を一枚だけ用いて被検物の三次元形状を計測することができる演算法である。

計測プログラムは、対象領域Ｔ内の三次元形状を示す演算結果のデータと、対象領域Ｔ内における計測精度のデータとを生成し、たとえばＲＡＭ２４に記憶させる。計測プログラムにおける演算結果のデータには、少なくとも撮像部３０から被検物までの距離（物体距離）を示す情報が含まれている。また、対象領域Ｔ内における計測精度のデータには、少なくとも縞パターンの移り具合を定量化した情報が含まれている。
計測プログラムによって生成された物体距離を示す情報は、図４および図５に示すように、カーソルＣ上の距離情報Ｉとして、数値やインジケータを示すなどの表示方法を用いてモニター２８上に表示される。
あるいは図示はしないが、モニター２８内の所定の領域に、対象領域Ｔ内における物体距離の分布をカラーマップなどで表示するようにしてもよい。

このように、メイン制御部２２は、撮像部３０、照明部４０、パターン投影部５０、およびモニター２８の動作を制御する。

次に、本実施形態の計測方法について、上記内視鏡装置１を用いて被検物を計測する方法を例に説明する。
図６ないし図８は、本実施形態の内視鏡装置１を用いて被検物の三次元形状を計測する動作を示したフローチャートである。
本実施形態では、内視鏡装置１は、被検物の三次元形状の計測をせずに観察のみ行う観察モードと、被検物の三次元形状の計測を行う計測モードとを備える。以下では、観察モードにおける動作の説明の詳細は省略し、計測モードにおける動作を中心に説明する。

計測モードが開始されたときには、計測プログラムが起動し、初期化される。計測プログラムは、三次元形状の計測のために必要な演算のうち事前に演算可能な式について、変数と解とが関係付けられたテーブルなど、計測時の演算量を減らすことができるテーブルを生成してＲＡＭ２４に一時記憶させる。なお、テーブルは、予めＲＯＭ２６や補助記憶装置２５に記憶されていてもよい。この場合には、計測プログラムは、ＲＯＭ２６や補助記憶装置２５に記憶されたテーブルをＲＡＭ２４に転送して使用する。

また、本実施形態では、計測プログラムは、カーソル位置設定処理と、画像取得処理と、パターン投影画像解析処理とを並列処理するようになっている。

図６は、カーソル位置設定処理のフローチャートである。図６に示すステップＳ１は、モニター２８に表示されるライブ画面上にカーソルＣを表示するステップである。

ステップＳ１では、計測プログラムは、モニター２８にカーソルＣを表示させ、内視鏡装置１の使用者がカーソルＣの位置を移動させることができるように設定する。なお、計測プログラムは、モニター２８上で予め定められた位置（たとえばモニター２８の中央など）にカーソルＣを固定してもよい。
モニター２８上のカーソルＣの座標に基づいて、対象領域Ｔが設定される。
これでステップＳ１は終了し、ステップＳ２へ進む。

ステップＳ２は、カーソルＣが移動したか否かを判定するステップである。
ステップＳ２では、内視鏡装置１の使用者によるカーソルＣを移動させる入力などがあったことを検出する。カーソルＣを移動させる入力は、ボタンやジョイスティックによる入力動作があったことを機械的に検知してもよいし、ボタンやジョイスティックによる入力動作によってカーソルＣの座標が変化したことを検知してもよい。
カーソルＣを移動させる入力などがあるまでステップＳ２では入力待ちとなり、入力があったことが検知された場合にはステップＳ３へ進む。

ステップＳ３は、カーソルＣの位置を更新するステップである。
ステップＳ３では、モニター２８上に表示されているカーソルＣの位置を、入力動作に対応させて変化させる。また、カーソルＣの位置に対応させて対象領域Ｔの位置も更新する。
これでステップＳ３は終了し、ステップＳ２へ進む。

図７は、画像取得処理のフローチャートである。画像取得処理では、上記カーソル位置設定処理において得られたカーソルＣの位置と対象領域Ｔの位置との情報を参照し、カーソルＣの位置と対象領域Ｔの位置との情報を用いる。
図７に示すステップＳ４は、所定の周期Ｗの一周期において何枚目の画像（フレーム）を取得したかを判定するステップである。
ステップＳ４では、一周期内で画像を取得する毎にｎをカウントアップし、一周期が終了したら次の周期からはｎ＝１にリセットしてから再びｎをカウントアップする。
ステップＳ４においてｎ＝１の場合にはステップＳ５へ進み、ステップＳ４においてｎが１より大きい場合にはステップＳ８へ進む。

ステップＳ５は、照明光の出射が停止されている時間内に被検物に縞パターンを投影するステップである。
ステップＳ５では、第一光源４１から照明光が出射されている場合には、メイン制御部２２が、第一時間幅Ｗ１の終了とともに光源制御部２１を制御して照明光の出射を停止させる。照明光の出射を停止させる方法としては、第一光源４１への通電を停止させて第一光源４１を消灯させてもよいし、第一光源４１に設けられたシャッターモジュール４１ａによって照明光を遮蔽してもよい。照明光の出射が停止されると、被検物には照明光が照射されなくなる。

さらに、メイン制御部２２は、光源制御部２１に対して、第二光源５１からの投影光の出射を開始させる制御を行う。このとき、第二光源５１への通電状態を切り替えたり、第二光源５１にシャッターモジュールを設けて出射状態を切り替えたりすることができる。本実施形態の場合には、第二光源５１としてＬＥＤ光源が採用されているので、シャッターモジュールを備えていなくても十分に短い時間で光量を安定させることができる。

図３に示すように、第二光源５１から投影光が出射される時間は、第一時間幅Ｗ１よりも短い第二時間幅Ｗ２である。たとえば本実施形態では、所定の周期Ｗが１秒であり第二時間幅Ｗ２が１／３０秒であるので、第二光源５１自体の通電状態を切り替えることにより第二光源５１を点滅させると、第二光源５１を発光させるために要する電力を大幅に削減できる。

ステップＳ５において第二光源５１から出射された投影光は、パターン生成部５５を透過する。これにより、図２に示すように、被検物に到達した投影光によって明部Ｒ１が生じ、パターン生成部５５によって投影光が遮られた部分に暗部Ｒ２が生じる。その結果、明部Ｒ１と暗部Ｒ２とが交互に並べられた縞パターンが被検物に投影される。
これでステップＳ５は終了し、ステップＳ６へ進む。

ステップＳ６は、縞パターンが投影された被検物の画像（パターン投影画像）を取得するステップである。
ステップＳ６において、撮像部３０は、明視野画像を取得する動作と同様の動作で被検物の画像を取得する。ステップＳ６においては、照明光でなく縞パターンが被検物に投影されているので、撮像部３０によって取得される画像はパターン投影画像となる。本実施形態では、第二時間幅Ｗ２においてパターン投影画像を一枚のみ取得する。
ステップＳ６において、メイン制御部２２は、ビデオプロセッサー２７において処理された画像から上記一枚のパターン投影画像を抽出し、ＲＡＭ２４に一時記憶させる。
これでステップＳ６は終了し、ステップＳ７へ進む。

ステップＳ７は、パターン投影画像解析処理を開始させるステップである。
ステップＳ７では、後述するパターン投影画像解析処理を開始させたあと、上記ステップＳ４へ進む。

ステップＳ８は、被検物への縞パターンの投影を停止して、照明光を出射するステップである。
ステップＳ８では、メイン制御部２２は、第二時間幅Ｗ２の終了とともに第二光源５１からの投影光の出射を停止させ、第一時間幅Ｗ１の開始とともに光源制御部２１を制御して第一光源４１からの照明光の出射を開始させる。

照明光の出射を開始させる方法としては、第一光源４１への通電を開始させて第一光源４１を点灯させてもよいし、第一光源４１に設けられたシャッターモジュール４１ａを開いて照明光を出射させてもよい。

第一光源４１の点灯を開始させてから第一光源４１の光量が安定するまでの時間が十分に短い場合には、第一光源４１自体の点灯および消灯を制御し、第一光源４１が消費する電力を削減することができる。

また、シャッターモジュール４１ａによって照明光を遮蔽する場合には、第一光源４１自体が発する光量を変化させる必要がないので、照明光の光量を安定させるための時間が比較的長い光源であっても採用することができる。
本実施形態の場合は、第一光源４１として採用されたハロゲンランプは、照明光の光量を安定させるための時間が比較的長い光源に相当する。このため、シャッターモジュール４１ａの開閉動作によって照明光の出射状態を変化させている。これにより、第一時間幅Ｗ１内における光量の変動を抑えることができる。
これでステップＳ８は終了し、ステップＳ９へ進む。

ステップＳ９は、被検物に照明光が照射された画像（明視野画像）を取得するステップである。
ステップＳ９では、メイン制御部２２による制御に基づいて、所定の周期Ｗのうちの第一時間幅Ｗ１において撮像部３０が１枚の明視野画像を取得し、ビデオプロセッサー２７を通じてモニター２８に明視野画像を表示させる。
これでステップＳ９は終了し、ステップＳ４へ戻る。そして、所定の周期Ｗのうちの第一時間幅Ｗ１の間は、ステップＳ７及びステップＳ８にて明視野画像の取得が繰り返される。

図８はパターン投影画像解析処理のフローチャートである。パターン投影画像解析処理は、画像取得処理における上述のステップＳ７においてパターン投影画像解析処理を開始させる命令が発せられたことをトリガーとして開始される。
図８に示すステップＳ１０は、縞画像の解析が完了しているか否かを判定するステップである。
ステップＳ１０では、ステップＳ６において取得されたパターン投影画像に対して三次元形状の計測をするための解析や演算が完了しているか否かを判定する。
パターン投影画像の解析が完了していなければステップＳ１１へ進む。

ステップＳ１１は、一枚のパターン投影画像を用いて被検物の三次元形状の計測を行うステップである。
ステップＳ１１では、計測プログラムは、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて、一枚のみのパターン投影画像を用いて被検物の三次元形状を計測する。本実施形態では、計測プログラムは、縞解析を行い、ＲＡＭ２４に記憶されたテーブルを用いて三次元形状を計測するための演算を行う。本実施形態では、テーブルを使用せずに演算を行う方法よりも短時間で演算をすることができる。
また、ステップＳ１１において、計測プログラムは、カーソル位置設定処理において取得された対象領域Ｔの位置情報を参照し、対象領域Ｔ内のみを対象として三次元形状の計測を行う。本実施形態では、画像全体の領域で演算を行う方法よりも短時間で演算をすることができる。計測プログラムによる演算結果は、対象領域Ｔ内における計測精度を示すデータとともにＲＡＭ２４に一時記憶される。なお、計測プログラムによる演算結果をＲＡＭ２４に加えて補助記憶装置２５に記憶させてもよい。また、対象領域Ｔ内における計測精度が悪い場合には、演算結果と計測精度のデータを破棄してもよい。
これでステップＳ１１は終了し、ステップＳ１２へ進む。

ステップＳ１２は、演算結果をモニター２８に表示させるステップである。
ステップＳ１２では、画像セットにおける明視野画像のいずれか一方（例えばパターン投影画像を取得する前に取得した明視野画像）と、演算結果に基づいた情報とをモニター２８へ出力する。モニター２８では、たとえば明視野画像上に演算結果を重ねて表示したりすることができる。演算結果を表示する例としては、たとえば物体距離の数値や、インジケータの表示を更新する。
また、モニター２８上に、対象領域Ｔ内における計測精度のデータを表示させることもできる。この場合、上記ステップＳ１１において演算結果と計測精度のデータを破棄した場合には、計測精度が悪かったことを示す文字列や記号をモニター２８に表示することができる。
これでステップＳ１２は終了する。

図６ないし８に示したカーソル位置設定処理、画像取得処理、およびパターン投影画像解析処理は、それぞれ並列的に、所謂マルチタスク処理として実行される。画像取得処理およびパターン投影画像解析処理は、使用者による操作入力などの割り込みを受け付けることができる。
例えば、使用者による操作入力などによって演算結果の表示を停止させる割り込みが生じた場合は、所定の周期Ｗで照明光と投影光の切り替えを行うことは停止し、常に照明光を照射するようにすることができる。
あるいは、使用者が、二点を指定してその間の長さを計測したり、対象領域Ｔよりも広範囲にわたって三次元形状を表示したりすることができる操作画面へ移行するための操作を行った場合は、パターン投影画像を取得した後で、その画面へ移行する。

ステップＳ４、Ｓ５、Ｓ６、およびＳ７に示すフロー又はステップＳ４、Ｓ８、およびＳ９に示すフローが所定の周期で繰り返し実行されることにより、撮像部３０は、所定の周期の最初にパターン投影画像を取得し、その後はパターン投影画像を取得せずに複数の明視野画像が取得する。
所定の周期Ｗの一周期が終了したら、図３に示すように新たな周期Ｗが開始して、上述の一連の工程によりパターン投影画像および明視野画像が取得される。
なお、上記ステップＳ１１における演算量が多い場合には、所定の周期Ｗ内で演算を完了させることができない場合も考えられる。この場合には、演算を強制終了させ、後続の画像セットを使用した新たな演算を行う。

内視鏡装置１の使用者は、カーソルＣを用いて指定した対象領域Ｔ外における三次元形状を測定する場合や、上記計測プログラムを用いた三次元形状の測定よりも高精度の測定をする場合、あるいは他の測定をする場合には、上記計測プログラムを中断して他のプログラムを呼び出すことができる。

このとき、上記計測プログラムで用いた演算法とは異なる他の演算法を用いたとしても、計測精度を示す情報のうち最新の情報において計測精度が悪いと判定されている場合には、その旨をモニター２８に表示したり、他の演算法を用いるプログラムに自動的に切り替わることを禁止することができる。これにより、計測精度が低下しにくい条件で被検物を撮影することを使用者に促すことができる。

以上説明したように、本実施形態の内視鏡装置１および計測方法によれば、計測に適した条件であるかを短時間で判定できる。このため、要求される計測精度よりも計測精度が低いために計測が失敗する可能性を抑えることができる。
また、計測が失敗することによる時間の無駄を抑えることにより、内視鏡装置１の使い勝手を高めることができる。これは、プログラムにおける演算時間が長い計測を行う場合に特に効果が高い。

また、照明光の出射を周期的に停止させ、照明光が出射されていないときにパターン投影画像を取得し、照明光が出射されているときには明視野画像を取得してモニター２８に表示させるので、被検物の観察をしながら略リアルタイムに被検物の三次元形状を計測することができる。

また、投影光を用いて画像を取得する第二時間幅Ｗ２が、１秒に設定された周期Ｗのうち１／３０秒以下に設定されていることにより、モニター２８に表示される明視野画像の欠落を、使用者に気付かれない程度に抑えることができる。

また、撮像部３０によって撮像できる領域の一部に対象領域Ｔを設定して対象領域Ｔ内のみに対して三次元形状の計測を行うので、使用者が三次元形状の計測を望む領域について、限られた時間内に精度良く計測を行うことができる。

また、本実施形態の内視鏡装置１は、撮像部３０から被検物までの距離をパターン投影画像を用いて計測することができるので、距離センサーを挿入部１０に備える必要が無く、挿入部１０を細径化することができる。

（変形例）
次に、上述の実施形態の内視鏡装置１および計測方法の変形例について説明する。
本変形例では、挿入部１０と被検物とが相対移動して明視野画像とパターン投影画像とが位置ずれを起こした場合における処理をさらに行う点において、メイン制御部２２の構成が異なっている。

メイン制御部２２は、明視野画像とパターン投影画像とから少なくとも２枚の画像を選択し、選択された２枚の画像のずれ量に基づいて挿入部１０と被検物とのブレを検出するブレ検出手段を備える。
ブレ検出手段には、２枚の画像において許容するずれ量の閾値が予め記憶されている。ブレ検出手段は、公知の手段により２枚の画像におけるずれ量を検出し、２枚の画像におけるずれ量が閾値を超えている場合には、挿入部１０と被検物との間の相対移動（ブレ）があったと判定する。

本実施形態では、ブレ検出手段は、パターン投影画像を取得する直前および直後に取得された明視野画像を用いて挿入部１０と被検物とのブレを検出する。
また、メイン制御部２２は、第一時間幅Ｗ１の最初に取得された明視野画像と、第一時間幅Ｗ１の最後に取得された明視野画像とをそれぞれＲＡＭ２４に一時記憶させるようになっている。
また、本変形例では、パターン投影画像についてもＲＡＭ２４に一時記憶される。ＲＡＭ２４に一時記憶された二枚の明視野画像および一枚のパターン投影画像は、三枚一組の画像セットとして後述するブレ検出に使用される。

次に、本変形例の内視鏡装置１の動作および本変形例の計測方法について説明する。
図９は、内視鏡装置１を用いて被検物の三次元形状を計測する動作のうち、被検物の画像を取得する動作を示したフローチャートである。図１０は、内視鏡装置１を用いて被検物の三次元形状を計測する動作のうち、被検物のパターン投影画像を用いて三次元形状の計測を行う計測プログラムの動作を示したフローチャートである。

図９に示すように、本変形例では、明視野画像を取得し（ステップＳ２１）、その後、パターン投影画像を取得する（ステップＳ２１）。内視鏡装置１は、計測モードを終了させるための割り込みが入力されるまで、上記ステップＳ２１とステップＳ２２とをこの順に繰り返す。ステップＳ２１とステップＳ２２とが繰り返されることにより、一枚のパターン投影画像の前後（第一時間幅Ｗ１の終了時と、次の周期の第一時間幅Ｗ１の開始時）にそれぞれ明視野画像が一枚ずつ取得された三枚一組の画像セットを得ることができる。画像セットは、ＲＡＭ２４に一時記憶される。

次に、上記ステップＳ２２において抽出されたパターン投影画像を用いた計測プログラムの動作について図１０を参照して説明する。

図１０に示すステップＳ３１は、一枚のパターン投影画像が取得された前後の明視野画像を用いて挿入部１０と被検物とのブレを検出するステップである。
ステップＳ３１は、上記画像セットがＲＡＭ２４に記憶されたことをトリガーとして開始される。すなわち、ステップＳ３１は、図３に符号Ｐ１で示すように第二時間幅Ｗ２が終了してから第一時間幅Ｗ１が開始してパターン投影画像を取得した後、１枚目の明視野画像が取得された時点で開始される。

ステップＳ３１では、一枚のパターン投影画像の前後の明視野画像におけるずれ量が閾値未満であると判定された場合には、ステップＳ３２へ進む。また、ステップＳ３１では、一枚の縞画像の前後の明視野画像において閾値以上のずれ量があると判定された場合には、ステップＳ３５へ進む。

図１０に示すステップＳ３２は、上述のステップＳ９と同様の処理を行うステップである。
図１０に示すステップＳ３３は、上述のステップＳ１０と同様の処理を行うステップである。

図１０に示すステップＳ３４は、ＲＡＭ２４に一時記憶された上記画像セットを消去するステップである。
ステップＳ３４において画像セットが消去されることにより、新たな画像セットを記憶させるための記憶領域が得られる。なお、ＲＡＭ２４に十分な記憶領域がある場合には、所定の周期間隔でステップＳ３４において画像セットを消去する必要はなく、例えば数分間隔でまとめて消去するようにしてもよい。
また、画像セットと演算結果とを関連付けて補助記憶装置２５に記憶してもよい。これにより、例えば内視鏡装置１の電源を遮断した場合でも、再度内視鏡装置１を起動させれば、過去に取得した画像セットにおける三次元形状を再計測することなくその結果を得ることができる。
これでステップＳ３４は終了する。

ステップＳ３５は、ブレが発生していることをモニターに表示させるステップである。
ステップＳ３５では、ブレが生じていることを示す文字列や記号をモニター２８に表示させる。
これでステップＳ３５は終了し、ステップＳ３４へ進む。

本変形例の内視鏡装置および計測方法によっても、上述した実施形態と同様の効果を奏する。
また、ブレ検出手段を備えているので、被検物と挿入部１０とがずれたりしてパターン投影画像と明視野画像との間に位置ずれが生じた場合には、三次元形状の計測を行わない。これにより、位置ずれに起因して明視野画像に表示された被検物の物体距離などが誤った値で表示される可能性を低減することができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

たとえば、メイン制御部の演算性能が十分に高い場合には、撮像部の撮像視野の全領域について三次元形状の計測のための演算を一周期内で完了させることもできる。また、一周期の時間を上述の実施形態で説明した１秒よりも長く例えば１０秒などにした場合には、即時性は劣るが、高精度に、あるいは広い領域に対して三次元形状の計測を行うことができる。

また、計測プログラムは、対象領域の外側に、対象領域における三次元形状の計測精度を高める目的で付加領域を設定し、対象領域と付加領域に対して三次元形状の計測をした後に、対象領域における三次元形状の計測結果のみを出力してもよい。

また、三次元形状を計測するための演算を所定の周期内で完了させることができなかった場合には、演算を強制終了させて新たな演算をすることに代えて、継続中の画像セットでの演算が完了してから新たな画像セットでの演算を開始するようにしてもよい。

また、ブレを検出するステップにおいて、一枚の明視野画像と一枚のパターン投影画像とを用いてブレの検出を行うこともできる。この場合には、明視野画像を複数枚取得する必要がないので、より短時間で一連の工程を完了させることができる。

また、上述の実施形態では、ブレを検出するために用いる明視野画像の例として、第一時間幅の終了時と、次の周期の第一時間幅の開始時に取得された明視野画像を用いる例を示したが、ブレを検出するために使用する明視野画像の取得タイミングおよび取得枚数はこれに限定されるものではない。パターン投影画像を取得する前に取得した明視野画像のみを用いたり、パターン投影画像を取得した後に取得した明視野画像のみを用いたりすることもできる。

また、上述の実施形態では計測プログラムはソフトウェアである例を示したが、撮像部が取得したパターン投影画像を用いて被検物の三次元形状を計測するＬＳＩなどのハードウェアを用いてもよい。ソフトウェアを用いるかハードウェアを用いるかは、処理速度や実装コストなどに応じて適宜選択することができる。

１内視鏡装置
１０挿入部
１１開口
１２照明窓
１３投影窓
２０本体部
２１光源制御部
２２メイン制御部
３０撮像部
３２対物光学系
３３イメージャー制御部
４０照明部
４１第一光源
５０パターン投影部
５１第二光源
Ｗ所定の周期
Ｗ１第一時間幅
Ｗ２第二時間幅

Claims

光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって取得された画像を表示する表示部と、
前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、
を備え、
前記制御部は、
前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、
前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、
前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、
前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、
前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、
前記パターン投影画像の取得前に前記撮像部により撮像された第一明視野画像と前記パターン投影画像の取得後に前記撮像部により撮像された第二明視野画像とにおけるずれ量が所定の閾値未満であるか否かを判定し、
前記ずれ量が前記所定の閾値未満であると判定された場合にのみ、前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、
前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させる
ことを特徴とする内視鏡装置。
請求項１に記載の内視鏡装置であって、
前記制御部は、
前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、
前記カーソルの座標に基づいて前記表示部に前記領域を設定し、
前記領域内に対応する前記被検物の三次元形状の計測を行う
ことを特徴とする内視鏡装置。
請求項１に記載の内視鏡装置であって、
前記制御部は、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測することを特徴とする内視鏡装置。
請求項１に記載の内視鏡装置であって、
前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる１秒以上の周期であり、
前記一周期内における前記第二時間幅は、１秒よりも十分に短い時間に設定されていることを特徴とする内視鏡装置。
請求項４に記載の内視鏡装置であって、
前記第二時間幅は１／２５秒以下の長さに設定されていることを特徴とする内視鏡装置。
請求項４に記載の内視鏡装置であって、
前記第二時間幅は１／３０秒以下の長さに設定されていることを特徴とする内視鏡装置。
被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、
照明光が照射された前記被検物の画像を取得している間に、１秒あたり１／２５秒以下の間隔で前記照明光を周期的に消灯し、
前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、
前記パターン投影画像の取得前に撮像された第一明視野画像と前記パターン投影画像の取得後に撮像された第二明視野画像とにおけるずれ量が所定の閾値未満であるか否かを判定し、
前記ずれ量が前記所定の閾値未満であると判定された場合にのみ、前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、
前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示する
ことを特徴とする計測方法。
請求項７に記載の計測方法であって、
前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測する
ことを特徴とする計測方法。