JP2002336188A - 計測用内視鏡装置 - Google Patents
計測用内視鏡装置Info
- Publication number
- JP2002336188A JP2002336188A JP2001151092A JP2001151092A JP2002336188A JP 2002336188 A JP2002336188 A JP 2002336188A JP 2001151092 A JP2001151092 A JP 2001151092A JP 2001151092 A JP2001151092 A JP 2001151092A JP 2002336188 A JP2002336188 A JP 2002336188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- algorithm
- scale
- coordinates
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005259 measurement Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000007689 inspection Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 63
- 230000000875 corresponding effect Effects 0.000 description 62
- 238000012937 correction Methods 0.000 description 50
- 230000003287 optical effect Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 239000007787 solid Substances 0.000 description 12
- 101000857682 Homo sapiens Runt-related transcription factor 2 Proteins 0.000 description 6
- 102100025368 Runt-related transcription factor 2 Human genes 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 101100039010 Caenorhabditis elegans dis-3 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100036738 Guanine nucleotide-binding protein subunit alpha-11 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100283445 Homo sapiens GNA11 gene Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】 立体的に見える図形を表示し、対象との距離
の把握、情報の提示を行う。 【解決手段】 内視鏡装置は、ステレオ式ビデオイメー
ジエンドスコープ(以下、内視鏡と記す)301と、こ
の内視鏡301によって撮像される左画像および右画像
の各画像信号を信号処理するビデオプロセッサ310L
および310Rと、前記各ビデオプロセッサ310
L、310Rから出力されるRGB信号を記憶し目盛描
画処理などをするホストコンピュータ311とを備えて
構成される。
の把握、情報の提示を行う。 【解決手段】 内視鏡装置は、ステレオ式ビデオイメー
ジエンドスコープ(以下、内視鏡と記す)301と、こ
の内視鏡301によって撮像される左画像および右画像
の各画像信号を信号処理するビデオプロセッサ310L
および310Rと、前記各ビデオプロセッサ310
L、310Rから出力されるRGB信号を記憶し目盛描
画処理などをするホストコンピュータ311とを備えて
構成される。
Description
【0001】
【発明の属する技術分野】本発明は観察対象を立体視可
能な計測用内視鏡装置に関する。
能な計測用内視鏡装置に関する。
【0002】
【従来の技術】近年、内視鏡の視差を持つ位置に2系統
の撮像手段を設けて立体感のある視野を得るようにした
立体内視鏡装置が、例えば特開平2−119836号公
報等に種々提案されている。
の撮像手段を設けて立体感のある視野を得るようにした
立体内視鏡装置が、例えば特開平2−119836号公
報等に種々提案されている。
【0003】また、立体映像の観察のため、あるいは、
バーチャルリアリティ装置のディスプレイとして用いる
ために、頭部に装着して使用する両眼視眼鏡型ディスプ
レイ(ヘッドマウントディスプレイとも呼ばれる)が、
開発され、例えば特開平11−69383号公報等で
は、このヘッドマウントディスプレイからなる立体表示
装置を医療分野に応用した立体表示装置を提案してい
る。
バーチャルリアリティ装置のディスプレイとして用いる
ために、頭部に装着して使用する両眼視眼鏡型ディスプ
レイ(ヘッドマウントディスプレイとも呼ばれる)が、
開発され、例えば特開平11−69383号公報等で
は、このヘッドマウントディスプレイからなる立体表示
装置を医療分野に応用した立体表示装置を提案してい
る。
【0004】
【発明が解決しようとする課題】特開平11−6938
3号公報の問題点は、 ・左右の画像に単に機器情報を描画しているだけなの
で、実際には、融像合限界を超えた視差を持ち機器情報
は立体視できないこともありうる。その場合、機器情報
が内視鏡画像の立体視の妨げになる可能性がある。ま
た、このとき内視鏡画像の立体視を行う場合と、機器情
報の立体視を行う場合で、ユーザが立体視用の機器を調
整する必要が生じ、ユーザに付加的な作業を強いること
になる。
3号公報の問題点は、 ・左右の画像に単に機器情報を描画しているだけなの
で、実際には、融像合限界を超えた視差を持ち機器情報
は立体視できないこともありうる。その場合、機器情報
が内視鏡画像の立体視の妨げになる可能性がある。ま
た、このとき内視鏡画像の立体視を行う場合と、機器情
報の立体視を行う場合で、ユーザが立体視用の機器を調
整する必要が生じ、ユーザに付加的な作業を強いること
になる。
【0005】特開平2−119836号公報は以下のこ
とが問題であった。
とが問題であった。
【0006】・立体的に見えるカーソルを表示するだけ
ではカーソルと対象との位置関係を把握することは困難
な場合があるが、それを補助する手段がないこと。 ・カーソルを動かし、計測行為を行わないと対象の大き
さを把握できないこと。
ではカーソルと対象との位置関係を把握することは困難
な場合があるが、それを補助する手段がないこと。 ・カーソルを動かし、計測行為を行わないと対象の大き
さを把握できないこと。
【0007】(本発明の目的)請求項1の目的は、立体
的に見える図形を表示し、対象との距離の把握、情報の
提示及び、表示図形の視差の確認等を行うことである。
的に見える図形を表示し、対象との距離の把握、情報の
提示及び、表示図形の視差の確認等を行うことである。
【0008】請求項2の目的は、対象までの距離に応じ
た目盛を表示することにより、対象の大きさを把握でき
るようにすることである。
た目盛を表示することにより、対象の大きさを把握でき
るようにすることである。
【0009】請求項3の目的は、立体的に見える図形を
複数表示することにより、対象と図形との位置関係の把
握を容易にすることである。
複数表示することにより、対象と図形との位置関係の把
握を容易にすることである。
【0010】請求項4の目的は、対象までの距離に応じ
て、図形の表示を停止する手段を提供することである。
て、図形の表示を停止する手段を提供することである。
【0011】請求項5の目的は、立体視した状態におい
て、入力に応じて所定の処理を実行する手段を提供する
ことである。
て、入力に応じて所定の処理を実行する手段を提供する
ことである。
【0012】請求項6の目的は、立体視した状態におい
て、視野内を指定することにより、指定場所に応じた処
理を実行する手段を提供することである。
て、視野内を指定することにより、指定場所に応じた処
理を実行する手段を提供することである。
【0013】請求項7の目的は、立体視した状態におい
て、視野内に表示する図形のパラメータを変更し、パラ
メータにしたがって図形を表示する手段を提供すること
である。
て、視野内に表示する図形のパラメータを変更し、パラ
メータにしたがって図形を表示する手段を提供すること
である。
【0014】請求項8の目的は、立体視した状態におい
て、入力処理装置に入力された情報を視野内に表示し、
確認する手段を提供することである。
て、入力処理装置に入力された情報を視野内に表示し、
確認する手段を提供することである。
【0015】請求項9の目的は、立体視した状態におい
て、指定領域を計測する手段を提供することである。
て、指定領域を計測する手段を提供することである。
【0016】
【課題を解決するための手段】本発明の計測用内視鏡装
置は、所定の観察対象を第1の撮像手段で撮像して得ら
れる第1の画像と、前記第1の撮像手段とは異なる方向
から前記所定の観察対象を第2の撮像手段で撮像して得
られた第2の画像とをそれぞれ表示する立体視可能な計
測用内視鏡装置において、前記第1の撮像手段または前
記第2の撮像手段のいずれか一方と仮想的または実際の
対象物までの距離を設定する距離設定手段と、前記第1
の撮像手段によって得られた画像と前記第2の撮像手段
によって得られた画像において前記対象物の同一点が撮
像されている対応点を求める対応点決定手段と、前記対
象物までの前記距離に応じた図形を少なくとも一つの前
記対応点に描画する図形描画手段と前記対応点の視差を
導出し視差を検査する検査手段とを有して構成される。
置は、所定の観察対象を第1の撮像手段で撮像して得ら
れる第1の画像と、前記第1の撮像手段とは異なる方向
から前記所定の観察対象を第2の撮像手段で撮像して得
られた第2の画像とをそれぞれ表示する立体視可能な計
測用内視鏡装置において、前記第1の撮像手段または前
記第2の撮像手段のいずれか一方と仮想的または実際の
対象物までの距離を設定する距離設定手段と、前記第1
の撮像手段によって得られた画像と前記第2の撮像手段
によって得られた画像において前記対象物の同一点が撮
像されている対応点を求める対応点決定手段と、前記対
象物までの前記距離に応じた図形を少なくとも一つの前
記対応点に描画する図形描画手段と前記対応点の視差を
導出し視差を検査する検査手段とを有して構成される。
【0017】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について述べる。
の実施の形態について述べる。
【0018】図1ないし図34は本発明の第1の実施の
形態に係わり、図1は内視鏡装置の構成を示す構成図、
図2は図1のホストコンピュータの構成を示すブロック
図、図3は図1の内視鏡の先端部の構成を示す構成図、
図4は図1の内視鏡の撮像系における座標系を説明する
図、図5は図1の内視鏡の歪曲収差補正を説明する第1
の図、図6は図1の内視鏡の歪曲収差補正を説明する第
2の図、図7は図2のホストコンピュータの作用を説明
する第1の図、図8は図2のホストコンピュータの作用
を説明する第2の図、図9は図2のホストコンピュータ
の作用を説明する第3の図、図10は図2のホストコン
ピュータの作用を説明する第4の図、図11は図2のホ
ストコンピュータにより処理されるメイン処理の流れを
示す第1のフローチャート、図12は図2のホストコン
ピュータにより処理されるメイン処理の流れを示す第2
のフローチャート、図13は図11及び図12のメイン
処理で使用されるアルゴリズムAの処理の流れを示すフ
ローチャート、図14は図11及び図12のメイン処理
で使用されるアルゴリズムBの処理の作用を説明する第
1の図、図15は図11及び図12のメイン処理で使用
されるアルゴリズムBの処理の作用を説明する第2の
図、図16は図11及び図12のメイン処理で使用され
るアルゴリズムA’の処理の流れを示すフローチャー
ト、図17は図11及び図12のメイン処理で使用され
るアルゴリズムBの処理の流れを示すフローチャート、
図18は図11及び図12のメイン処理で使用されるア
ルゴリズムCの処理の流れを示すフローチャート、図1
9は図18のアルゴリズムCの処理の作用を説明する第
1の図、図20は図18のアルゴリズムCの処理の作用
を説明する第2の図、図21は図11及び図12のメイ
ン処理で使用されるアルゴリズムDの処理の流れを示す
フローチャート、図22は図21のアルゴリズムDの処
理の作用を説明する第1の図、図23は図21のアルゴ
リズムDの処理の作用を説明する第2の図、図24は図
11及び図12のメイン処理で使用されるアルゴリズム
Eの処理の流れを示すフローチャート、図25は図24
のアルゴリズムEの処理の作用を説明する第1の図、図
26は図24のアルゴリズムEの処理の作用を説明する
第2の図、図27は図11及び図12のメイン処理で使
用されるアルゴリズムFの処理の流れを示すフローチャ
ート、図28は図27のアルゴリズムFの処理の作用を
説明する第1の図、図29は図27のアルゴリズムFの
処理の作用を説明する第2の図、図30は図11及び図
12のメイン処理で使用されるアルゴリズムGの処理の
流れを示すフローチャート、図31は図30のアルゴリ
ズムGの処理の作用を説明する第1の図、図32は図3
0のアルゴリズムGの処理の作用を説明する第2の図、
図33は図11及び図12のメイン処理で使用されるア
ルゴリズムHの処理の流れを示す第1のフローチャー
ト、図34は図11及び図12のメイン処理で使用され
るアルゴリズムHの処理の流れを示す第2のフローチャ
ートである。
形態に係わり、図1は内視鏡装置の構成を示す構成図、
図2は図1のホストコンピュータの構成を示すブロック
図、図3は図1の内視鏡の先端部の構成を示す構成図、
図4は図1の内視鏡の撮像系における座標系を説明する
図、図5は図1の内視鏡の歪曲収差補正を説明する第1
の図、図6は図1の内視鏡の歪曲収差補正を説明する第
2の図、図7は図2のホストコンピュータの作用を説明
する第1の図、図8は図2のホストコンピュータの作用
を説明する第2の図、図9は図2のホストコンピュータ
の作用を説明する第3の図、図10は図2のホストコン
ピュータの作用を説明する第4の図、図11は図2のホ
ストコンピュータにより処理されるメイン処理の流れを
示す第1のフローチャート、図12は図2のホストコン
ピュータにより処理されるメイン処理の流れを示す第2
のフローチャート、図13は図11及び図12のメイン
処理で使用されるアルゴリズムAの処理の流れを示すフ
ローチャート、図14は図11及び図12のメイン処理
で使用されるアルゴリズムBの処理の作用を説明する第
1の図、図15は図11及び図12のメイン処理で使用
されるアルゴリズムBの処理の作用を説明する第2の
図、図16は図11及び図12のメイン処理で使用され
るアルゴリズムA’の処理の流れを示すフローチャー
ト、図17は図11及び図12のメイン処理で使用され
るアルゴリズムBの処理の流れを示すフローチャート、
図18は図11及び図12のメイン処理で使用されるア
ルゴリズムCの処理の流れを示すフローチャート、図1
9は図18のアルゴリズムCの処理の作用を説明する第
1の図、図20は図18のアルゴリズムCの処理の作用
を説明する第2の図、図21は図11及び図12のメイ
ン処理で使用されるアルゴリズムDの処理の流れを示す
フローチャート、図22は図21のアルゴリズムDの処
理の作用を説明する第1の図、図23は図21のアルゴ
リズムDの処理の作用を説明する第2の図、図24は図
11及び図12のメイン処理で使用されるアルゴリズム
Eの処理の流れを示すフローチャート、図25は図24
のアルゴリズムEの処理の作用を説明する第1の図、図
26は図24のアルゴリズムEの処理の作用を説明する
第2の図、図27は図11及び図12のメイン処理で使
用されるアルゴリズムFの処理の流れを示すフローチャ
ート、図28は図27のアルゴリズムFの処理の作用を
説明する第1の図、図29は図27のアルゴリズムFの
処理の作用を説明する第2の図、図30は図11及び図
12のメイン処理で使用されるアルゴリズムGの処理の
流れを示すフローチャート、図31は図30のアルゴリ
ズムGの処理の作用を説明する第1の図、図32は図3
0のアルゴリズムGの処理の作用を説明する第2の図、
図33は図11及び図12のメイン処理で使用されるア
ルゴリズムHの処理の流れを示す第1のフローチャー
ト、図34は図11及び図12のメイン処理で使用され
るアルゴリズムHの処理の流れを示す第2のフローチャ
ートである。
【0019】本実施の形態の内視鏡装置は、図1に示す
ように、ステレオ式ビデオイメージエンドスコープ(以
下、内視鏡と記す)301と、この内視鏡301によっ
て撮像される左画像および右画像の各画像信号を信号処
理するビデオプロセッサ310L および310Rと、
前記各ビデオプロセッサ310L、310Rから出力さ
れるRGB信号を記憶し、目盛描画処理などを行うホス
トコンピュータ311と、前記ビデオプロセッサ310
L、310RのRGB信号による映像信号を入力し、左
画像、右画像を表示する観察モニタ312L、312R
と、ホストコンピュータ311に接続され、パラメー
タの入力などを行うマウス331と、ホストコンピュー
タ311に接続され、パラメータの入力などを行うキー
ボード332と、ホストコンピュータ311で処理した
左画像および、右画像を表示するヘッドマウントディス
プレイ313を備え、前記ビデオプロセッサ312L、
312Rは、互いに同期した信号処理を行うようになっ
ている。
ように、ステレオ式ビデオイメージエンドスコープ(以
下、内視鏡と記す)301と、この内視鏡301によっ
て撮像される左画像および右画像の各画像信号を信号処
理するビデオプロセッサ310L および310Rと、
前記各ビデオプロセッサ310L、310Rから出力さ
れるRGB信号を記憶し、目盛描画処理などを行うホス
トコンピュータ311と、前記ビデオプロセッサ310
L、310RのRGB信号による映像信号を入力し、左
画像、右画像を表示する観察モニタ312L、312R
と、ホストコンピュータ311に接続され、パラメー
タの入力などを行うマウス331と、ホストコンピュー
タ311に接続され、パラメータの入力などを行うキー
ボード332と、ホストコンピュータ311で処理した
左画像および、右画像を表示するヘッドマウントディス
プレイ313を備え、前記ビデオプロセッサ312L、
312Rは、互いに同期した信号処理を行うようになっ
ている。
【0020】前記ホストコンピュータ311は、図2に
示すように構成されている。すなわち、ホストコンピュ
ータ311は、ホストバス329に接続されているCP
U321および、メインメモリ322、ローカルバス3
30に接続されている左画像用画像入出力ボード324
L、右画像用画像入出力ボード324R、周辺機器イン
タフェース326、327、ビデオボード328を備え
ている。
示すように構成されている。すなわち、ホストコンピュ
ータ311は、ホストバス329に接続されているCP
U321および、メインメモリ322、ローカルバス3
30に接続されている左画像用画像入出力ボード324
L、右画像用画像入出力ボード324R、周辺機器イン
タフェース326、327、ビデオボード328を備え
ている。
【0021】ホストバス329とローカルバス330
は、ホストーローカルブリッジ323により接続され、
ホストーローカルブリッジ323を介してデータ転送を
行う。
は、ホストーローカルブリッジ323により接続され、
ホストーローカルブリッジ323を介してデータ転送を
行う。
【0022】画像入出力ボード324Lおよび、324
Rは、画像キャプチャー機能および、ビデオ出力機能を
有し、画像キャプチャー時、およびビデオ出力時には、
それぞれボード上に存在する図示しないメモリ334
L、334Rに画像を一時的に保存する。
Rは、画像キャプチャー機能および、ビデオ出力機能を
有し、画像キャプチャー時、およびビデオ出力時には、
それぞれボード上に存在する図示しないメモリ334
L、334Rに画像を一時的に保存する。
【0023】左画像用画像入出力ボード324Lは、左
画像用ビデオプロセッサ310Lに接続され、図示しな
いボード上のメモリ334Lに取り込んだ左画像をメイ
ンメモリ322に転送する。右画像用画像入出力ボード
324Rは、右画像用ビデオプロセッサ310R に接
続され、図示しないボード上のメモリ334Rに取り込
んだ右画像をメインメモリ322に転送する。
画像用ビデオプロセッサ310Lに接続され、図示しな
いボード上のメモリ334Lに取り込んだ左画像をメイ
ンメモリ322に転送する。右画像用画像入出力ボード
324Rは、右画像用ビデオプロセッサ310R に接
続され、図示しないボード上のメモリ334Rに取り込
んだ右画像をメインメモリ322に転送する。
【0024】CPU321は、メインメモリ322に転
送された左画像、右画像に目盛描画などの処理を行っ
て、左画像を左画像用画像入出力ボード324L、右画
像を右画像用画像入出力ボード324Rに転送し、ヘッ
ドマウントディスプレイ313に表示することができ
る。
送された左画像、右画像に目盛描画などの処理を行っ
て、左画像を左画像用画像入出力ボード324L、右画
像を右画像用画像入出力ボード324Rに転送し、ヘッ
ドマウントディスプレイ313に表示することができ
る。
【0025】また、前記周辺機器インタフェース326
はマウス331に、周辺機器インタフェース327はキ
ーボード332に接続されるようになっている。ビデオ
ボード328はディスプレイ333に接続される。
はマウス331に、周辺機器インタフェース327はキ
ーボード332に接続されるようになっている。ビデオ
ボード328はディスプレイ333に接続される。
【0026】内視鏡301は、図3のように細長の挿入
部302を備え、この挿入部302の先端部には、複数
の例えば2つの観察窓と照明窓とが設けられている。前
記各観察窓の内側には互いに視差を有する位置に左眼用
対物レンズ系303L、右眼用対物レンズ系304Rが
設けられている。各対物レンズ系303L、303Rの
結像位置にはそれぞれ固体撮像素子304L、304R
が配設されている。
部302を備え、この挿入部302の先端部には、複数
の例えば2つの観察窓と照明窓とが設けられている。前
記各観察窓の内側には互いに視差を有する位置に左眼用
対物レンズ系303L、右眼用対物レンズ系304Rが
設けられている。各対物レンズ系303L、303Rの
結像位置にはそれぞれ固体撮像素子304L、304R
が配設されている。
【0027】また、前記照明窓の内側には、配光レンズ
305が設けられ、この配光レンズ305の後端にはフ
ァイババンドルよりなるライトガイド306が連設され
ている。このライトガイド306は前記挿入部302内
に挿通され、入射端部は図示しない光源装置に接続され
るようになっている。
305が設けられ、この配光レンズ305の後端にはフ
ァイババンドルよりなるライトガイド306が連設され
ている。このライトガイド306は前記挿入部302内
に挿通され、入射端部は図示しない光源装置に接続され
るようになっている。
【0028】そして、この光源装置から出力される照明
光が前記ライトガイド306および配光レンズ305を
介して被写体に照射されるようになっている。この被写
体からの光は、前記対物レンズ303R、303Lによ
って、それぞれ左画像、右画像として、固体撮像素子3
04L、304Rに結像されるようになっている。
光が前記ライトガイド306および配光レンズ305を
介して被写体に照射されるようになっている。この被写
体からの光は、前記対物レンズ303R、303Lによ
って、それぞれ左画像、右画像として、固体撮像素子3
04L、304Rに結像されるようになっている。
【0029】まず、このように構成された計測内視鏡装
置の目盛描画の概略の流れを説明する。
置の目盛描画の概略の流れを説明する。
【0030】内視鏡301による画像は、歪曲収差によ
る歪みが大きく無視できないため、歪曲収差補正を行
う。補正を行う前の画像を原画像、特に左右の画像をそ
れぞれ左原画像、右原画像と呼称し、補正画像を単に左
画像、右画像と呼ぶこととする。
る歪みが大きく無視できないため、歪曲収差補正を行
う。補正を行う前の画像を原画像、特に左右の画像をそ
れぞれ左原画像、右原画像と呼称し、補正画像を単に左
画像、右画像と呼ぶこととする。
【0031】本実施の形態では、歪曲収差補正を行わな
い原画像に対して目盛描画などの処理を行い立体視を行
うが、補正後の画像に目盛描画を行い、立体視すること
も可能である。
い原画像に対して目盛描画などの処理を行い立体視を行
うが、補正後の画像に目盛描画を行い、立体視すること
も可能である。
【0032】撮像系における座標系を図4に示す。ワー
ルド座標系XLYLZLの原点を左光学中心Oleftとす
る。また、右光学中心をOrightと呼ぶ。
ルド座標系XLYLZLの原点を左光学中心Oleftとす
る。また、右光学中心をOrightと呼ぶ。
【0033】図4のように、左原画像のローカル座標系
をiLjL、右原画像のローカル座標系をiRjRとする。
左右原画像の座標系とも原点は画像の左上である。図4
における左右の画像は歪曲収差補正済みの画像である。
をiLjL、右原画像のローカル座標系をiRjRとする。
左右原画像の座標系とも原点は画像の左上である。図4
における左右の画像は歪曲収差補正済みの画像である。
【0034】また、左画像の座標系はiL'jL'、右画像
の座標系はiR'jR'である。左右画像の座標系とも原点
は画像の左上である。左原画像上の画素Aを左原画像の
ローカル座標で表した座標をAL(iL,jL)、歪曲収
差補正後の左画像において、画素Aに対応する画素の同
じ座標系で表した座標をAL'(iL',jL')で表すもの
とする。
の座標系はiR'jR'である。左右画像の座標系とも原点
は画像の左上である。左原画像上の画素Aを左原画像の
ローカル座標で表した座標をAL(iL,jL)、歪曲収
差補正後の左画像において、画素Aに対応する画素の同
じ座標系で表した座標をAL'(iL',jL')で表すもの
とする。
【0035】同様に右原画像上の画素Aを右原画像のロ
ーカル座標で表した座標をAR(iR,jR)、歪曲収差
補正後の右画像において、画素Aに対応する画素の座標
をAR '(iR',jR')で表すものとする。
ーカル座標で表した座標をAR(iR,jR)、歪曲収差
補正後の右画像において、画素Aに対応する画素の座標
をAR '(iR',jR')で表すものとする。
【0036】AL(iL,jL)を左光学中心を原点とし
たワールド座標で表した座標をAL W(xL,yL,
zL)、AR(iR,jR)を右光学中心を原点としたワー
ルド座標A R W(xR,yR,zR)とする。AL'(iL',
jL')を左光学中心を原点としたワールド座標で表した
座標をAL' W(xL',yL',zL')、AR'(iR',
jR')を右光学中心を原点としたワールド座標A
R' W(xR',yR',zR')とする。
たワールド座標で表した座標をAL W(xL,yL,
zL)、AR(iR,jR)を右光学中心を原点としたワー
ルド座標A R W(xR,yR,zR)とする。AL'(iL',
jL')を左光学中心を原点としたワールド座標で表した
座標をAL' W(xL',yL',zL')、AR'(iR',
jR')を右光学中心を原点としたワールド座標A
R' W(xR',yR',zR')とする。
【0037】歪曲収差補正は例えば、以下の方法を使用
する。以下では、左画像を例に説明するが右画像でも同
様である。内視鏡301により図5の正方形のグリッド
を撮像した場合、得られる画像は図6のようになる。こ
の歪み画像が正方形になるようにあらかじめ各面素の座
標変換を求めておき、原画像から歪曲収差補正画像を作
成する。座標変換を画素の座標(iL,jL)の関数とし
て次式で表す。
する。以下では、左画像を例に説明するが右画像でも同
様である。内視鏡301により図5の正方形のグリッド
を撮像した場合、得られる画像は図6のようになる。こ
の歪み画像が正方形になるようにあらかじめ各面素の座
標変換を求めておき、原画像から歪曲収差補正画像を作
成する。座標変換を画素の座標(iL,jL)の関数とし
て次式で表す。
【0038】
【数1】iL'=p(iL,jL) jL'=q(iL,jL) (1) p、qはiL,jLの多項式で表現される。より具体的手
法については米国特許USP4,895,431におい
て開示されている。
法については米国特許USP4,895,431におい
て開示されている。
【0039】実際には、処理の高速化のため(iL',j
L')を入力とし、(iL,jL)を出力としたルックアッ
プテーブルを作成し、補正画像の座標(iL',jL')の
画素値を原画像の座標(iL,jL)の画素値から決定す
ることにより、歪曲収差補正処理を実現する。前記ルッ
クアップテーブルを用いることにより、歪曲収差補正画
像上のある画素(iL',jL')が、原画像のどの画素か
ら作成されたかが分かる。以下では、(iL',jL')に
対応する(iL,jL)を逆補正対応と呼ぶことにする。
また、(iL,jL)に対応する(iL',jL')を順補正
対応と呼ぶことにする。
L')を入力とし、(iL,jL)を出力としたルックアッ
プテーブルを作成し、補正画像の座標(iL',jL')の
画素値を原画像の座標(iL,jL)の画素値から決定す
ることにより、歪曲収差補正処理を実現する。前記ルッ
クアップテーブルを用いることにより、歪曲収差補正画
像上のある画素(iL',jL')が、原画像のどの画素か
ら作成されたかが分かる。以下では、(iL',jL')に
対応する(iL,jL)を逆補正対応と呼ぶことにする。
また、(iL,jL)に対応する(iL',jL')を順補正
対応と呼ぶことにする。
【0040】同様に、(iR',jR')に対応する
(iR,jR)を逆補正対応、(iR,jR)に対応する
(iR',jR')を順補正対応と呼ぶことにする。
(iR,jR)を逆補正対応、(iR,jR)に対応する
(iR',jR')を順補正対応と呼ぶことにする。
【0041】以下では、図7のように内視鏡先端からD
is1[mm]に存在する立体目盛を描画する例を説明す
る。
is1[mm]に存在する立体目盛を描画する例を説明す
る。
【0042】内視鏡先端からDis1[mm]離れた位置
にあるZL軸に垂直な鉛直平面を仮定する。左画像上の
目盛描画位置をあらかじめ与える。図8のように水平方
向に5個、垂直方向に5個の目盛を考えるが、各目盛の
座標をM[k] L'(i[k] L',j[k ] L')(k=0,1,‥
‥,9)とする。
にあるZL軸に垂直な鉛直平面を仮定する。左画像上の
目盛描画位置をあらかじめ与える。図8のように水平方
向に5個、垂直方向に5個の目盛を考えるが、各目盛の
座標をM[k] L'(i[k] L',j[k ] L')(k=0,1,‥
‥,9)とする。
【0043】次に各目盛ごとに、左画像上の画素M[k]
L'(i[k] L',j[k] L')に映っている鉛直平面の点γを
求め(図4参照)、図9のように点γが映っている右画
像の点M[k] R'(i[k] R',j[k] R')(k=0,1,‥
‥,9)を求める。換言すると、鉛直平面上のある点γ
の左右画像での像の位置を確定することになる。
L'(i[k] L',j[k] L')に映っている鉛直平面の点γを
求め(図4参照)、図9のように点γが映っている右画
像の点M[k] R'(i[k] R',j[k] R')(k=0,1,‥
‥,9)を求める。換言すると、鉛直平面上のある点γ
の左右画像での像の位置を確定することになる。
【0044】さらに、左右画像の像の位置から逆補正対
応を使って、左右原画像の位置を求め、その位置に目盛
を描画することにより、内視鏡先端からDis1[mm]
に浮かんで見える立体目盛がヘッドマウントディスプレ
イ(以下、HMD)313の視野内に観察可能となる。
応を使って、左右原画像の位置を求め、その位置に目盛
を描画することにより、内視鏡先端からDis1[mm]
に浮かんで見える立体目盛がヘッドマウントディスプレ
イ(以下、HMD)313の視野内に観察可能となる。
【0045】第1の実施の形態において、同様の方法に
より、立体図形、パラメータ、グラフィカル・ユーザ・
インタフェース(以下、GUI)、マウスカーソルを視
野内に立体描画する。描画はオーバーレイ画像に行う。
左オーバーレイ画像の座標系は左原画像ローカル座標系
と同じであり、右オーバーレイ画像の座標系は右原画像
ローカル座標系と同じである。
より、立体図形、パラメータ、グラフィカル・ユーザ・
インタフェース(以下、GUI)、マウスカーソルを視
野内に立体描画する。描画はオーバーレイ画像に行う。
左オーバーレイ画像の座標系は左原画像ローカル座標系
と同じであり、右オーバーレイ画像の座標系は右原画像
ローカル座標系と同じである。
【0046】左右のオーバーレイ画像での描画状態は図
10のようになる。オーバーレイ画像は公知のキーイン
グ技術により左右原画像と合成される。
10のようになる。オーバーレイ画像は公知のキーイン
グ技術により左右原画像と合成される。
【0047】なお、キーイングは文献1(C言語で学ぶ
実践画像処理、井上誠喜他著、オーム社)に詳しい。
実践画像処理、井上誠喜他著、オーム社)に詳しい。
【0048】左右原画像の横サイズをW[画素]、縦サ
イズをH[画素]、左右画像の横サイズをWd[画
素]、縦サイズをHd[画素]とする。左右のオーバー
レイ画像のサイズもW[画素]、縦サイズをH[画素]
である。
イズをH[画素]、左右画像の横サイズをWd[画
素]、縦サイズをHd[画素]とする。左右のオーバー
レイ画像のサイズもW[画素]、縦サイズをH[画素]
である。
【0049】第1の実施の形態の具体的なメイン処理の
流れを図11及び図12に従って説明する。
流れを図11及び図12に従って説明する。
【0050】あらかじめ、HMD313による立体視で
立体視可能な視差を調べておく。例えばさまざまな視差
の図形を描画しHMDにより観察することで明らかにす
ることができる。
立体視可能な視差を調べておく。例えばさまざまな視差
の図形を描画しHMDにより観察することで明らかにす
ることができる。
【0051】ここで、視差とは右オーバレイ画像におけ
る図形描画iR座標と、左オーバレイ画像における図形
描画iL座標との差をいう。その範囲をD1[画素]<
(視差)<D2[画素]とする。
る図形描画iR座標と、左オーバレイ画像における図形
描画iL座標との差をいう。その範囲をD1[画素]<
(視差)<D2[画素]とする。
【0052】ステップS1において、後述するアルゴリ
ズムBによりSc[mm]に対する1目盛の間隔[画
素]を決定する。それぞれ左画像水平目盛間隔SpxL'、
左画像垂直目盛間隔SpyL'、右画像水平目盛間隔Sp
xR'、右画像垂直目盛間隔SpyR'とする。
ズムBによりSc[mm]に対する1目盛の間隔[画
素]を決定する。それぞれ左画像水平目盛間隔SpxL'、
左画像垂直目盛間隔SpyL'、右画像水平目盛間隔Sp
xR'、右画像垂直目盛間隔SpyR'とする。
【0053】ステップS2において、左画像水平目盛間
隔SpxL'、左画像垂直目盛間隔Spy L'を用いて、左画像
における目盛描画座標M[k] L'(k=0,1,‥‥,1
0)を決定する。あらかじめ与えられた左画像の目盛描
画中心座標(CxL',CyL')を用いて、式(2)で決定
される。
隔SpxL'、左画像垂直目盛間隔Spy L'を用いて、左画像
における目盛描画座標M[k] L'(k=0,1,‥‥,1
0)を決定する。あらかじめ与えられた左画像の目盛描
画中心座標(CxL',CyL')を用いて、式(2)で決定
される。
【0054】
【数2】 水平目盛 M[k] L'=(CxL'+SpxL'・ (k−2),CyL')=(i[k] L' ,j[k] L') (0 ≦k≦4) 垂直目盛 M[k] L'=(CxL',CyL'+SpyL'・ (k−6))=(i[k] L' ,j[k] L') (5 ≦k≦9) (2) ステップS3において、内視鏡先端から目盛までの距離
をD is1[mm]として、後述するアルゴリズムAによ
りM[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)の逆補正対応画素M[k] L(i[k] L',j[k] L')(k
=0,1,‥‥,9)および、その対応点M[k] R(i
[k] L',j[k] L')(k=0,1,‥‥,10)を求め
る。M[k] Lおよび、M[k] R(k=0,1,‥‥,9)を
用いて後述するアルゴリズムCにより図10のように左
オーバーレイ画像に立体目盛600L、右オーバーレイ
画像に600Rを描画する。
をD is1[mm]として、後述するアルゴリズムAによ
りM[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)の逆補正対応画素M[k] L(i[k] L',j[k] L')(k
=0,1,‥‥,9)および、その対応点M[k] R(i
[k] L',j[k] L')(k=0,1,‥‥,10)を求め
る。M[k] Lおよび、M[k] R(k=0,1,‥‥,9)を
用いて後述するアルゴリズムCにより図10のように左
オーバーレイ画像に立体目盛600L、右オーバーレイ
画像に600Rを描画する。
【0055】ステップS4において、補助図形の左オー
バーレイ画像での描画座標を決定する。ここでは、(C
X2L,Cy2L)をあらかじめ与えておく。
バーレイ画像での描画座標を決定する。ここでは、(C
X2L,Cy2L)をあらかじめ与えておく。
【0056】ステップS5において、内視鏡先端から立
体図形までの距離を図7のようにD is2[mm]とし
て、後述するアルゴリズムA’より(CX2L,Cy2L)の
対応点を求める。後述するアルゴリズムDにより図10
のように左オーバーレイ画像に立体図形601L、右オ
ーバーレイ画像に601Rを描画する。宙に浮かんで見
える目盛に対して対象が前後にあるかどうかはわかりや
すいが、ちょうど横にあるというのは把握しにくい。そ
こで、目盛と内視鏡先端からの距離が異なる補助図形を
描画することで、対象と目盛との位置関係の把握を容易
にする。また、描画する補助図形は複数でもよく、各図
形に対して内視鏡先端から立体図形までの距離を与え、
ステップS4、S5の処理を実施することで描画するこ
とができる。
体図形までの距離を図7のようにD is2[mm]とし
て、後述するアルゴリズムA’より(CX2L,Cy2L)の
対応点を求める。後述するアルゴリズムDにより図10
のように左オーバーレイ画像に立体図形601L、右オ
ーバーレイ画像に601Rを描画する。宙に浮かんで見
える目盛に対して対象が前後にあるかどうかはわかりや
すいが、ちょうど横にあるというのは把握しにくい。そ
こで、目盛と内視鏡先端からの距離が異なる補助図形を
描画することで、対象と目盛との位置関係の把握を容易
にする。また、描画する補助図形は複数でもよく、各図
形に対して内視鏡先端から立体図形までの距離を与え、
ステップS4、S5の処理を実施することで描画するこ
とができる。
【0057】ステップS6において、ボタン604、6
05の左オーバーレイ画像での描画位置を式(3)で与
える。ボタンサイズはあらかじめ与えた幅Bx、高さBy
とし、ボタン604の中心座標をそれぞれ(CX3L,Cy
3L)として、4頂点の座標を決定する。ボタン605に
ついても同様である。
05の左オーバーレイ画像での描画位置を式(3)で与
える。ボタンサイズはあらかじめ与えた幅Bx、高さBy
とし、ボタン604の中心座標をそれぞれ(CX3L,Cy
3L)として、4頂点の座標を決定する。ボタン605に
ついても同様である。
【0058】
【数3】 頂点1:(CX3L−Bx/2,Cy3L−By/2) 頂点2:(CX3L+Bx/2,Cy3L−By/2) 頂点3:(CX3L−Bx/2,Cy3L+By/2) 頂点4:(CX3L+Bx/2,Cy3L+By/2) (3) ステップS7において、内視鏡先端からGUI(ここで
はボタン)までの距離を図7のようにDis3[mm]と
して、後述するアルゴリズムA’により右オーバーレイ
画像のGUI描画座標を求める。後述するアルゴリズム
Eにより図10のようにGUIとして、ボタン604
L、605Lを左オーバーレイ画像に、604R、60
5Rを右オーバーレイ画像に描画する。
はボタン)までの距離を図7のようにDis3[mm]と
して、後述するアルゴリズムA’により右オーバーレイ
画像のGUI描画座標を求める。後述するアルゴリズム
Eにより図10のようにGUIとして、ボタン604
L、605Lを左オーバーレイ画像に、604R、60
5Rを右オーバーレイ画像に描画する。
【0059】ステップS8において、左オーバーレイ画
像におけるパラメータを描画する基準線の座標を決定す
る。1パラメータにつき、基準線つまり直線を決定する
のに必要な2座標を与える。
像におけるパラメータを描画する基準線の座標を決定す
る。1パラメータにつき、基準線つまり直線を決定する
のに必要な2座標を与える。
【0060】ステップS9において、内視鏡先端からパ
ラメータまでの距離を図7のようにDis4[mm]とし
て、後述するアルゴリズムA’により右画像のパラメー
タ描画座標を求める。後述するアルゴリズムFにより図
10のように、左オーバーレイ画像にパラメータ602
L、右オーバーレイ画像に602Rを描画する。図10
では、「20.0mm」を描画している。
ラメータまでの距離を図7のようにDis4[mm]とし
て、後述するアルゴリズムA’により右画像のパラメー
タ描画座標を求める。後述するアルゴリズムFにより図
10のように、左オーバーレイ画像にパラメータ602
L、右オーバーレイ画像に602Rを描画する。図10
では、「20.0mm」を描画している。
【0061】ステップS10において、左オーバーレイ
画像におけるマウスカーソル可動領域内の座標を与え
る。マウスカーソルは図31,32のように矢印先頭部
分の1点により表すものとする。ここでは、カーソル可
動領域を左原画像全体とする。
画像におけるマウスカーソル可動領域内の座標を与え
る。マウスカーソルは図31,32のように矢印先頭部
分の1点により表すものとする。ここでは、カーソル可
動領域を左原画像全体とする。
【0062】ステップS11において、内視鏡先端から
カーソルまでの距離を図7のようにDis5[mm]とし
て、後述するアルゴリズムA’により左マウスカーソル
座標に対する右マウスカーソル座標を導出する。また、
後述するアルゴリズムGにより図10のように左オーバ
レイ画像にマウスカーソル606L、右オーバーレイ画
像に606Rを描画する。
カーソルまでの距離を図7のようにDis5[mm]とし
て、後述するアルゴリズムA’により左マウスカーソル
座標に対する右マウスカーソル座標を導出する。また、
後述するアルゴリズムGにより図10のように左オーバ
レイ画像にマウスカーソル606L、右オーバーレイ画
像に606Rを描画する。
【0063】ステップS12において、目盛、補助図
形、ボタン、パラメータ、マウスカーソル各図形の視差
を調べ立体視可能な範囲に入っているかどうかを調べ
る。例えば目盛の場合は次式となる。
形、ボタン、パラメータ、マウスカーソル各図形の視差
を調べ立体視可能な範囲に入っているかどうかを調べ
る。例えば目盛の場合は次式となる。
【0064】D1<M[k] R−M[k] L<D2 範囲に入っていない場合は、ステップS13において、
内視鏡先端から各図形までの距離の再設定を行うよう警
告表示をしステップS14に進み、範囲に入っている場
合はそのままステップS14に進む。ステップS13で
は入力装置(キーボード332等)で距離を入力させて
も良い。
内視鏡先端から各図形までの距離の再設定を行うよう警
告表示をしステップS14に進み、範囲に入っている場
合はそのままステップS14に進む。ステップS13で
は入力装置(キーボード332等)で距離を入力させて
も良い。
【0065】ステップS14において、後述するアルゴ
リズムHにより、GUI及びキーボードによるパラメー
タの変更手段を実行する。
リズムHにより、GUI及びキーボードによるパラメー
タの変更手段を実行する。
【0066】[アルゴリズムA]対応点決定の処理であ
るアルゴリズムAの流れを図13に従って説明する。
るアルゴリズムAの流れを図13に従って説明する。
【0067】ステップS21において、画像を取得す
る。ビデオプロセッサ310L、310Rから出力され
た画像が、画像入出力ボード324L、324Rにより
メインメモリ322に転送される。
る。ビデオプロセッサ310L、310Rから出力され
た画像が、画像入出力ボード324L、324Rにより
メインメモリ322に転送される。
【0068】ステップS22において、あらかじめ設定
された内視鏡先端からの描画図形までの距離τ[m
m]、左画像における図形描画座標αL'(iL',jL')
を取得する。
された内視鏡先端からの描画図形までの距離τ[m
m]、左画像における図形描画座標αL'(iL',jL')
を取得する。
【0069】ステップS23において、αL'の逆補正対
応画素αLを求める。 αLが左オーバーレイ画像の描画
位置である。逆補正対応策素の求めかたは、式(1)と
逆の処理を行う、もしくは(iL',jL')が出力である
ルックアップテーブルの入力値を探索することで求める
ことができる。求められた座標ををαL(iL,jL)と
する。
応画素αLを求める。 αLが左オーバーレイ画像の描画
位置である。逆補正対応策素の求めかたは、式(1)と
逆の処理を行う、もしくは(iL',jL')が出力である
ルックアップテーブルの入力値を探索することで求める
ことができる。求められた座標ををαL(iL,jL)と
する。
【0070】ステップS24において、次式の座標変換
により、αL'をワールド座標系に変換する。それをαL'
W(xL',yL',zL')とする。次式において、fLは左
光学系の焦点距離、CLは左CCD1画素あたりの横サ
イズ、あるいは左CCD1画素あたりの縦サイズであ
る。
により、αL'をワールド座標系に変換する。それをαL'
W(xL',yL',zL')とする。次式において、fLは左
光学系の焦点距離、CLは左CCD1画素あたりの横サ
イズ、あるいは左CCD1画素あたりの縦サイズであ
る。
【0071】
【数4】xL'=(iL'−Wd/2)×CxL yL'=(Hd/2−jL')×CyL zL'=fL (4) ステップS25において、鉛直平面上の仮想対象点座標
を求める。 αL' Wと左光学中心Oleft(0,0,0)を
通過する直線Lと、(0,0,τ)を通る鉛直平面との
交点を求める。この交点を仮想対象点と呼び、座標γL W
(xL γ,yL γ,zL γ)とする。実際には図14及び
図15の撮像系に見られる三角形の相似を利用すること
により、仮想対象点の座標を求めることが可能である。
を求める。 αL' Wと左光学中心Oleft(0,0,0)を
通過する直線Lと、(0,0,τ)を通る鉛直平面との
交点を求める。この交点を仮想対象点と呼び、座標γL W
(xL γ,yL γ,zL γ)とする。実際には図14及び
図15の撮像系に見られる三角形の相似を利用すること
により、仮想対象点の座標を求めることが可能である。
【0072】
【数5】xL γ=(xL'×τ)/zL yL γ=(yL'×τ)/zL zL γ=τ (5) ステップS26において、右画像における対応点の座標
の導出を行う。座標変換により右光学系中心を原点とし
た座標系XRYRZRにおける仮想対象点γR Wの座標を求
める。その座標をγR W(xR γ,yR γ,zR γ)とす
る。Rは回転行列、(Mx,My,Mz)はXLYLZLに
おける右カメラの座標である。
の導出を行う。座標変換により右光学系中心を原点とし
た座標系XRYRZRにおける仮想対象点γR Wの座標を求
める。その座標をγR W(xR γ,yR γ,zR γ)とす
る。Rは回転行列、(Mx,My,Mz)はXLYLZLに
おける右カメラの座標である。
【0073】
【数6】 Rは回転行列であり、表し方は様々である。例えば、極
座標系においてθ1はZL軸を中心とした回転量を、θ2
はXL軸を中心とした回転量を表すと次式となる。
座標系においてθ1はZL軸を中心とした回転量を、θ2
はXL軸を中心とした回転量を表すと次式となる。
【0074】
【数7】 γR Wと右光学中心Orightを通過する直線L’と、右画
像との交点を求めることにより、仮想対象点γR Wに対す
る右画像での像の座標を求める。その座標をβ
R W(xR,yR,zR)とする。実際には図14及び図1
5の撮像系に見られる三角形の相似を利用することによ
り、求めることが可能である。fRは右光学系の焦点距
離である。
像との交点を求めることにより、仮想対象点γR Wに対す
る右画像での像の座標を求める。その座標をβ
R W(xR,yR,zR)とする。実際には図14及び図1
5の撮像系に見られる三角形の相似を利用することによ
り、求めることが可能である。fRは右光学系の焦点距
離である。
【0075】
【数8】xR=(xR γ/zR γ)×fR yR=(yR γ/zR γ)×fR zR=fR (8) ステップS27において、座標変換によりβR Wを右画像
のローカル座標系に変換する。その座標をβR'(iR',
jR')とする。CxRは右CCD1画素あたりの横サイ
ズ、CyRは右CCD1画素あたりの縦サイズである。
のローカル座標系に変換する。その座標をβR'(iR',
jR')とする。CxRは右CCD1画素あたりの横サイ
ズ、CyRは右CCD1画素あたりの縦サイズである。
【0076】
【数9】iR'=Wd/2+xR/CxR jR'=Hd/2−yR/CyR (9) βR'は歪曲収差補正画像における像の座標を表している
ため、右原画像における像βR(iR,jR)をルックア
ップテーブルにより求める。
ため、右原画像における像βR(iR,jR)をルックア
ップテーブルにより求める。
【0077】以上によりαL(iL,jL)が左オーバー
レイ画像の描画位置、βR(iR,jR)が右オーバーレ
イ画像における描画位置となる。
レイ画像の描画位置、βR(iR,jR)が右オーバーレ
イ画像における描画位置となる。
【0078】[アルゴリズムA’]対応点決定の処理で
あるアルゴリズムA’の流れを図16に従って説明す
る。アルゴリズムAとの違いは、処理のターゲットとな
る座標が左画像の座標でなく、左原画像(つまり左オー
バーレイ画像)の座標であるという点である。
あるアルゴリズムA’の流れを図16に従って説明す
る。アルゴリズムAとの違いは、処理のターゲットとな
る座標が左画像の座標でなく、左原画像(つまり左オー
バーレイ画像)の座標であるという点である。
【0079】ステップS31において、画像を取得す
る。ビデオプロセッサ310L、310Rから出力され
た画像が、画像入出力ボード324L、324Rにより
メインメモリ322に転送される。
る。ビデオプロセッサ310L、310Rから出力され
た画像が、画像入出力ボード324L、324Rにより
メインメモリ322に転送される。
【0080】ステップS32において、あらかじめ設定
された内視鏡先端からの距離τ[mm]、左オーバーレ
イ画像における図形描画座標αL(iL,jL)を取得す
る。
された内視鏡先端からの距離τ[mm]、左オーバーレ
イ画像における図形描画座標αL(iL,jL)を取得す
る。
【0081】ステップS33において、αLの順補正対
応画素αL'を求める。(iL,jL)をルックアップテー
ブルの入力として、その出力がαL'(iL',jL')とな
る。αLとαL'の関係は、座標αLが歪曲収差補正により
座標αL'になるという関係にある。
応画素αL'を求める。(iL,jL)をルックアップテー
ブルの入力として、その出力がαL'(iL',jL')とな
る。αLとαL'の関係は、座標αLが歪曲収差補正により
座標αL'になるという関係にある。
【0082】ステップS34において、次式の座標変換
により、αL'をワールド座標系に変換する。それをαL'
W(xL',yL',zL')とする。次式において、fLは左
光学系の焦点距離、CxLは左CCD1画素あたりの横サ
イズ、CyLは左CCD1画素あたりの縦サイズである。
により、αL'をワールド座標系に変換する。それをαL'
W(xL',yL',zL')とする。次式において、fLは左
光学系の焦点距離、CxLは左CCD1画素あたりの横サ
イズ、CyLは左CCD1画素あたりの縦サイズである。
【0083】
【数10】xL'=(iL'−Wd/2)×CxL yL'=(Hd/2−jL')×CyL zL'=fL (10) ステップS35において、鉛直平面上の仮想対象点座標
を求める。 αL' Wと左光学中心Oleft(0,0,0)を
通過する直線Lと、(0,0,τ)を通る鉛直平面との
交点を求める。この交点を仮想対象点と呼び、座標γL W
(xL γ,yL γ,zL γ)とする。実際には図14及び
図15の撮像系に見られる三角形の相似を利用すること
により、仮想対象点の座標を求めることが可能である。
を求める。 αL' Wと左光学中心Oleft(0,0,0)を
通過する直線Lと、(0,0,τ)を通る鉛直平面との
交点を求める。この交点を仮想対象点と呼び、座標γL W
(xL γ,yL γ,zL γ)とする。実際には図14及び
図15の撮像系に見られる三角形の相似を利用すること
により、仮想対象点の座標を求めることが可能である。
【0084】
【数11】xL γ=(xL'×τ)/zL yL γ=(yL'×τ)/zL zL γ=τ (11) ステップS36において、右画像における対応点の座標
の導出を行う。座標変換により右光学系中心を原点とし
た座標系XRYRZRにおける仮想対象点γR Wの座標を求
める。その座標をγR W(xR γ,yR γ,zR γ)とす
る。Rは回転行列、(MX,My,Mz)はXLYLZLにお
ける右カメラの座標である。
の導出を行う。座標変換により右光学系中心を原点とし
た座標系XRYRZRにおける仮想対象点γR Wの座標を求
める。その座標をγR W(xR γ,yR γ,zR γ)とす
る。Rは回転行列、(MX,My,Mz)はXLYLZLにお
ける右カメラの座標である。
【0085】
【数12】 Rは回転行列であり、アルゴリズムAと同様に次式とな
る。
る。
【0086】
【数13】 γR Wと左光学中心Orightを通過する直線L’と、右画
像との交点を求めることにより、仮想対象点γR Wに対す
る右画像での像の座標を求める。その座標をβ
R W(xR,yR,zR)とする。実際には図14及び図1
5の撮像系に見られる三角形の相似を利用することによ
り、求めることが可能である。fRは右光学系の焦点距
離である。
像との交点を求めることにより、仮想対象点γR Wに対す
る右画像での像の座標を求める。その座標をβ
R W(xR,yR,zR)とする。実際には図14及び図1
5の撮像系に見られる三角形の相似を利用することによ
り、求めることが可能である。fRは右光学系の焦点距
離である。
【0087】
【数14】xR=(xR γ/zR γ)×fR yR=(yR γ/zR γ)×fR zR=fR (14) ステップS37において、座標変換によりβR Wを右画像
のローカル座標系に変換する。その座標をβR'(iR',
jR')とする。CxRは右CCD1画素あたりの横サイ
ズ、CyRは右CCD1画素あたりの縦サイズである。
のローカル座標系に変換する。その座標をβR'(iR',
jR')とする。CxRは右CCD1画素あたりの横サイ
ズ、CyRは右CCD1画素あたりの縦サイズである。
【0088】
【数15】 iR'=Wd/2+xR/CxR jR'=Hd/2−yR/CyR (15) βR'は歪曲収差補正画像における像の座標を表している
ため、右原画像における像βR(iR,jR)をルックア
ップテーブルにより求める。
ため、右原画像における像βR(iR,jR)をルックア
ップテーブルにより求める。
【0089】以上によりαL(iL,jL)、βR(iR,
jR)がオーバーレイ画像における描画位置となる。
jR)がオーバーレイ画像における描画位置となる。
【0090】[アルゴリズムB]目盛り間隔を決定する
アルゴリズムBの流れを図17に従って説明する。ステ
ップS41において、あらかじめ与えられた目盛間隔S
c[mm]を取得する。
アルゴリズムBの流れを図17に従って説明する。ステ
ップS41において、あらかじめ与えられた目盛間隔S
c[mm]を取得する。
【0091】ステップS42において、撮像系の比例関
係により左画像の水平方向の目盛間隔[画素]を決定す
る。水平方向にSc[mm]の目盛を作成する場合、目
盛を描画する画像平面におけるX座標は、撮像系をY軸
側から見た図14から以下のようになる。図14におけ
るX軸、Y軸はグローバル座標系のXL、YLまたは
X R、YRを表す。
係により左画像の水平方向の目盛間隔[画素]を決定す
る。水平方向にSc[mm]の目盛を作成する場合、目
盛を描画する画像平面におけるX座標は、撮像系をY軸
側から見た図14から以下のようになる。図14におけ
るX軸、Y軸はグローバル座標系のXL、YLまたは
X R、YRを表す。
【0092】
【数16】Sc/zγ=Sx/fL Sx=(ScfL)zγ (16) 単位を[mm]から[画素]に変換する。
【0093】
【数17】 SPxL'=Sx/CxL (17) したがってSc[mm]に対応する画素数はSPxL'とな
る。
る。
【0094】ステップS43において、同様に右画像の
水平方向の描画間隔は次式になる。
水平方向の描画間隔は次式になる。
【0095】
【数18】Sc/zγ’=Sx/fR Sx=(ScfR)zγ’ (18) 単位を[mm]から[画素]に変換する。
【0096】
【数19】 SPxR'=Sx/CxR (19) したがってSc[mm]に対応する画素数はSPxR'とな
る。
る。
【0097】ステップS44において、撮像系の比例関
係により左画像の垂直方向の目盛間隔を決定する。垂直
方向にSc[mm]の目盛を作成する場合、目盛を描画
する画像平面におけるY座標は、撮像系をX軸側から見
た図15から比例関係により以下のようになる。図15
におけるY軸、Z軸はグローバル座標系のYL、ZLまた
はYR、ZRを表す。
係により左画像の垂直方向の目盛間隔を決定する。垂直
方向にSc[mm]の目盛を作成する場合、目盛を描画
する画像平面におけるY座標は、撮像系をX軸側から見
た図15から比例関係により以下のようになる。図15
におけるY軸、Z軸はグローバル座標系のYL、ZLまた
はYR、ZRを表す。
【0098】
【数20】Sc/zγ=Sy/fL Sy=(ScfL)zγ (20) 単位を[mm]から[画素]に変換する。
【0099】
【数21】 SPyL'=Sy/CyL (21) したがってSc[mm]に対応する画素数はSPyL'とな
る。
る。
【0100】ステップS45において、同様に右画像の
垂直方向の描画間隔は(22)式になる。
垂直方向の描画間隔は(22)式になる。
【0101】
【数22】Sc/zγ’=Sy/fR Sy=(ScfR)zγ’ (22) 単位を[mm]から[画素]に変換する。
【0102】
【数23】 SPyR'=Sy/CyR (23) したがってSc[mm]に対応する画素数はSPyR'とな
る。
る。
【0103】[アルゴリズムC]与えられた座標を中心
に、水平目盛としてあらかじめ与えた長さSL1の垂直ラ
インを描画する。垂直目盛として長さSL2の水平ライン
を描画する。いずれの目盛に対しても中心座標間で直線
を描画する。ここでは、目盛数が水平5個、垂直5個の
場合を説明する。目盛描画処理であるアルゴリズムCの
流れを図18に従って説明する。
に、水平目盛としてあらかじめ与えた長さSL1の垂直ラ
インを描画する。垂直目盛として長さSL2の水平ライン
を描画する。いずれの目盛に対しても中心座標間で直線
を描画する。ここでは、目盛数が水平5個、垂直5個の
場合を説明する。目盛描画処理であるアルゴリズムCの
流れを図18に従って説明する。
【0104】ステップS51において、k=0とする。
ステップS52において、左右オーバーレイ描画する目
盛を図19、図20のようにM[k] L、M[k] Rで表す。目
盛描画座標を取得する。取得した座標をM
[k] L(i[k] L,j[k] L)、M[k] R(i[k] R,j[k] R)と
する。ここで、図19、図20、さらに図8、図9から
分かるようにk≦4の座標は水平目盛の座標、k>4の
座標は垂直目盛の座標である。
ステップS52において、左右オーバーレイ描画する目
盛を図19、図20のようにM[k] L、M[k] Rで表す。目
盛描画座標を取得する。取得した座標をM
[k] L(i[k] L,j[k] L)、M[k] R(i[k] R,j[k] R)と
する。ここで、図19、図20、さらに図8、図9から
分かるようにk≦4の座標は水平目盛の座標、k>4の
座標は垂直目盛の座標である。
【0105】ステップS53において、k≦4ならばス
テップS54を実施する。そうでなければステップS5
5を実施する。
テップS54を実施する。そうでなければステップS5
5を実施する。
【0106】ステップS54において、左オーバーレイ
画像に水平目盛を描画する。つまり、(i[k] L,
j[k] L)を中心として図19のように垂直ラインを描画
する。右オーバーレイ画像に水平目盛を描画する。つま
り、(i[k] R,j[k] R)を中心として図20のように垂
直ラインを描画する。ステップS56を実施する。
画像に水平目盛を描画する。つまり、(i[k] L,
j[k] L)を中心として図19のように垂直ラインを描画
する。右オーバーレイ画像に水平目盛を描画する。つま
り、(i[k] R,j[k] R)を中心として図20のように垂
直ラインを描画する。ステップS56を実施する。
【0107】ステップS55において、左オーバーレイ
画像に垂直目盛を描画する。(i[k ] L,j[k] L)を中心
として、図19のように水平ラインを描画する。右オー
バーレイ画像に垂直目盛を描画する。(i[k] R,
j[k] R)を中心として、図20のように水平ラインを描
画する。
画像に垂直目盛を描画する。(i[k ] L,j[k] L)を中心
として、図19のように水平ラインを描画する。右オー
バーレイ画像に垂直目盛を描画する。(i[k] R,
j[k] R)を中心として、図20のように水平ラインを描
画する。
【0108】ステップS56において、k>0かつk≠
5ならば左オーバーレイ画像において(i[k] L,
j[k] L)、(i[k-1] L,j[k-1] L)間で直線を描画す
る。右オーバーレイ画像において(i[k] R,j[k] R)、
(i[k-1] R,j[k-1] R)間で直線を描画する。k≠5と
いう条件は水平目盛と垂直目盛間で直線を描画しないよ
うにするためである。
5ならば左オーバーレイ画像において(i[k] L,
j[k] L)、(i[k-1] L,j[k-1] L)間で直線を描画す
る。右オーバーレイ画像において(i[k] R,j[k] R)、
(i[k-1] R,j[k-1] R)間で直線を描画する。k≠5と
いう条件は水平目盛と垂直目盛間で直線を描画しないよ
うにするためである。
【0109】ステップS57において、kを1増加させ
る。ステップS58において、k<10ならばステップ
S53に戻る。
る。ステップS58において、k<10ならばステップ
S53に戻る。
【0110】結果として得られる目盛が図10に示す目
盛600L、600Rである。
盛600L、600Rである。
【0111】[アルゴリズムD]あらかじめ与えられた
座標を中心に、図形を描画する。ここでは、縦ラインお
よび、横ラインの長さがあらかじめ与えたSL3である十
字型の補助図形を、取得した座標を中心として描画す
る。図形としては十字型に限定されるものではない。例
えばステップS1,S2と同様の処理を実施すること
で、立体目盛を補助図形として描画することが可能であ
る。補助図形描画の流れを図21に従って説明する。
座標を中心に、図形を描画する。ここでは、縦ラインお
よび、横ラインの長さがあらかじめ与えたSL3である十
字型の補助図形を、取得した座標を中心として描画す
る。図形としては十字型に限定されるものではない。例
えばステップS1,S2と同様の処理を実施すること
で、立体目盛を補助図形として描画することが可能であ
る。補助図形描画の流れを図21に従って説明する。
【0112】ステップS61において、左画像における
十字型図形の描画座標として座標(i[0] L,j[0] L)を
取得する。右画像における十字型図形の描画座標とし
て、座標(i[0] R,j[0] R)を取得する。
十字型図形の描画座標として座標(i[0] L,j[0] L)を
取得する。右画像における十字型図形の描画座標とし
て、座標(i[0] R,j[0] R)を取得する。
【0113】ステップS62において、左オーバーレイ
画像に十字型図形を描画する。(i [0] L,j[0] L)を中
心として、図22のように縦横ラインの長さがSL3の十
字型図形を描画する。描画状態は図10の十字型図形6
01Lとなる。
画像に十字型図形を描画する。(i [0] L,j[0] L)を中
心として、図22のように縦横ラインの長さがSL3の十
字型図形を描画する。描画状態は図10の十字型図形6
01Lとなる。
【0114】ステップS63において、右オーバーレイ
画像に十字型図形を描画する。(i [0] R,j[0] R)を中
心として、図23のように縦横ラインの長さがSL3の十
字型図形を描画する。描画状態は図10の十字型図形6
01Rとなる。
画像に十字型図形を描画する。(i [0] R,j[0] R)を中
心として、図23のように縦横ラインの長さがSL3の十
字型図形を描画する。描画状態は図10の十字型図形6
01Rとなる。
【0115】[アルゴリズムE]取得した座標を用いて
ボタンを描画する。ボタン描画処理であるアルゴリズム
Eの流れを図24に従って説明する。
ボタンを描画する。ボタン描画処理であるアルゴリズム
Eの流れを図24に従って説明する。
【0116】ステップS71において,左GUI座標を
取得する.取得した座標を(i[0] L,j[0] L)〜(i
[3] L,j[3] L)とする。右GUI座標を取得する。取得
した座標を(i[0] R,j[0] R)〜(i[3] R,j[3] R)と
する。
取得する.取得した座標を(i[0] L,j[0] L)〜(i
[3] L,j[3] L)とする。右GUI座標を取得する。取得
した座標を(i[0] R,j[0] R)〜(i[3] R,j[3] R)と
する。
【0117】ステップS72において、GUI可視属性
がTRUEならば、ステップS73を実行する。そうで
なければステップS74を実行する。
がTRUEならば、ステップS73を実行する。そうで
なければステップS74を実行する。
【0118】ステップS73において、左オーバーレイ
画像にボタンを描画する。(i[0] L,j[0] L)〜(i
[3] L,j[3] L)を4頂点とした長方形のボタンを図25
のようにオーバーレイ画像に描画する。右画像にボタン
を描画する。(i[0] R,j[0] R)〜(i[3] R,j[3] R)
を4頂点とした長方形のボタンを図26のようにオーバ
ーレイ画像に描画する。描画状態は図10の604L、
605L、604R、605Rボタンのようになる。処
理を終了する。
画像にボタンを描画する。(i[0] L,j[0] L)〜(i
[3] L,j[3] L)を4頂点とした長方形のボタンを図25
のようにオーバーレイ画像に描画する。右画像にボタン
を描画する。(i[0] R,j[0] R)〜(i[3] R,j[3] R)
を4頂点とした長方形のボタンを図26のようにオーバ
ーレイ画像に描画する。描画状態は図10の604L、
605L、604R、605Rボタンのようになる。処
理を終了する。
【0119】ステップS74において、GUI可視属性
がFALSEならば、左右のオーバーレイ画像からボタ
ンを消去する。処理を終了する。
がFALSEならば、左右のオーバーレイ画像からボタ
ンを消去する。処理を終了する。
【0120】[アルゴリズムF]取得した座標を用いて
パラメータを描画する。パラメータ描画処理であるアル
ゴリズムFの流れを図27に従って説明する。
パラメータを描画する。パラメータ描画処理であるアル
ゴリズムFの流れを図27に従って説明する。
【0121】ステップS81において、左オーバーレイ
画像におけるパラメータを描画する基準線の座標を取得
する。取得した座標を(i[0] L,j[0] L)、(i[1] L,
j[1 ] L)とする。右オーバーレイ画像におけるパラメー
タを描画する基準線の座標を取得する。取得した座標を
(i[0] R,j[0] R)、(i[1] R,j[1] R)とする。
画像におけるパラメータを描画する基準線の座標を取得
する。取得した座標を(i[0] L,j[0] L)、(i[1] L,
j[1 ] L)とする。右オーバーレイ画像におけるパラメー
タを描画する基準線の座標を取得する。取得した座標を
(i[0] R,j[0] R)、(i[1] R,j[1] R)とする。
【0122】ステップS82において、パラメータ可視
属性がTRUEであればステップS83を実行する。そ
うでなければステップS84を実行する。
属性がTRUEであればステップS83を実行する。そ
うでなければステップS84を実行する。
【0123】ステップS83において、左オーバーレイ
画像にパラメータを描画する。(i [0] L,j[0] L)、
(i[1] L,j[1] L)を基準線として図28のようにパラ
メータをオーバーレイ画像に描画する。基準線が水平方
向に対して傾いた場合は、水平方向に対する式(24)
の角度θLに応じて傾けたフォントを使用して、
画像にパラメータを描画する。(i [0] L,j[0] L)、
(i[1] L,j[1] L)を基準線として図28のようにパラ
メータをオーバーレイ画像に描画する。基準線が水平方
向に対して傾いた場合は、水平方向に対する式(24)
の角度θLに応じて傾けたフォントを使用して、
【数24】 θL=tan-1(jj[1] L−jj[0] L)/(i[1] L−i[0] L) jj[k] L=H−j[k] L (k=0,1) (24) 右オーバーレイ画像にパラメータを描画する。
(i[0] R,j[0] R)、(i[1] R,j[1] R)を基準線とし
て図29のようにパラメータをオーバーレイ画像に描画
する。基準線と水平方向に対する式(25)の角度θR
に応じて傾けたフォントを使用して、パラメータを描画
する。処理を終了する。描画状態は図10のパラメータ
602L、602Rとなる。
(i[0] R,j[0] R)、(i[1] R,j[1] R)を基準線とし
て図29のようにパラメータをオーバーレイ画像に描画
する。基準線と水平方向に対する式(25)の角度θR
に応じて傾けたフォントを使用して、パラメータを描画
する。処理を終了する。描画状態は図10のパラメータ
602L、602Rとなる。
【0124】
【数25】 θR=tan-1(jj[1] R−jj[0] R)/(i[1] R−i[0] R) jjk] R=H−j[k] R (k=0,1) (25) ステップS84において、パラメータ可視属性がFAL
SEであればパラメータを左右のオーバーレイ画像から
消去する。処理を終了する。
SEであればパラメータを左右のオーバーレイ画像から
消去する。処理を終了する。
【0125】[アルゴリズムG]取得した座標を用いて
マウスカーソルを描画する。カーソル描画であるアルゴ
リズムGの流れを図30に従って説明する。
マウスカーソルを描画する。カーソル描画であるアルゴ
リズムGの流れを図30に従って説明する。
【0126】ステップS91において、現在の左オーバ
ーレイ画像の座標におけるマウスカーソルの座標
(iL,jL)を取得する。それに対応する右オーバーレ
イ画像の対応点の座標を(iR,jR)とする。前述のよ
うに左オーバーレイ画像の座標系は、左原画像ローカル
座標と同じであり、右オーバーレイ画像の座標系は、右
原画像ローカル座標と同じである。
ーレイ画像の座標におけるマウスカーソルの座標
(iL,jL)を取得する。それに対応する右オーバーレ
イ画像の対応点の座標を(iR,jR)とする。前述のよ
うに左オーバーレイ画像の座標系は、左原画像ローカル
座標と同じであり、右オーバーレイ画像の座標系は、右
原画像ローカル座標と同じである。
【0127】ステップS92において、カーソル可視属
性がTRUEであればステップS93を実施する。そう
でなければステップS94を実施する。
性がTRUEであればステップS93を実施する。そう
でなければステップS94を実施する。
【0128】ステップS93において、左オーバーレイ
画像にマウスカ4ソルを描画する。(iL,jL)を中心
として図31のようにマウスカーソルをオーバーレイ画
像に描画する。右オーバーレイ画像にマウスカーソルを
描画する。(iR,jR)を中心として図32のようにマ
ウスカーソルをオーバーレイ画像に描画する。描画状態
は図10のカーソル606L、606Rとなる。処理を
終了する。
画像にマウスカ4ソルを描画する。(iL,jL)を中心
として図31のようにマウスカーソルをオーバーレイ画
像に描画する。右オーバーレイ画像にマウスカーソルを
描画する。(iR,jR)を中心として図32のようにマ
ウスカーソルをオーバーレイ画像に描画する。描画状態
は図10のカーソル606L、606Rとなる。処理を
終了する。
【0129】ステップS94において、カーソル可視属
性がFALSEであれば、マウスカーソルを左右のオー
バーレイ画像から消去する。処理を終了する。
性がFALSEであれば、マウスカーソルを左右のオー
バーレイ画像から消去する。処理を終了する。
【0130】[アルゴリズムH]キーボードまたは、マ
ウスなどの入力装置によりパラメータ変更機能を提供す
る。パラメータ変更処理であるアルゴリズムHの流れを
図33及び図34に従って説明する。
ウスなどの入力装置によりパラメータ変更機能を提供す
る。パラメータ変更処理であるアルゴリズムHの流れを
図33及び図34に従って説明する。
【0131】変更可能なパラメータとしては、目盛り間
隔を例とするが、他のパラメータでも可能である。マウ
スカーソル、パラメータおよびGUIは入力手段による
入力が一定時間以上ない場合は画面から消去する。入力
が再開されると自動的にパラメータおよび、GUIは再
描画される。
隔を例とするが、他のパラメータでも可能である。マウ
スカーソル、パラメータおよびGUIは入力手段による
入力が一定時間以上ない場合は画面から消去する。入力
が再開されると自動的にパラメータおよび、GUIは再
描画される。
【0132】ステップS1 0 1において、キーボー
ド、マウスなどの入力がない状態、つまりアイドル状態
が所定の時間を超えたかどうか判断する。超えた場合
は、ステップS1O2を実施、そうでない場合はステッ
プS103を実施する。
ド、マウスなどの入力がない状態、つまりアイドル状態
が所定の時間を超えたかどうか判断する。超えた場合
は、ステップS1O2を実施、そうでない場合はステッ
プS103を実施する。
【0133】ステップS102において、GUI可視属
性、パラメータ可視属性をFALSEに変更し、アルゴ
リズムE、アルゴリズムFを使用してGUI及びパラメ
ータを消去する。カーソル可視属性をFALSEに変更
し、アルゴリズムGによりマウスカーソルを消去する。
性、パラメータ可視属性をFALSEに変更し、アルゴ
リズムE、アルゴリズムFを使用してGUI及びパラメ
ータを消去する。カーソル可視属性をFALSEに変更
し、アルゴリズムGによりマウスカーソルを消去する。
【0134】ステップS103において、キーボードの
入力を判断する。入力がなければステップS106を実
行する。
入力を判断する。入力がなければステップS106を実
行する。
【0135】ステップS104において、パラメータ可
視属性をTRUEに変更し、アルゴリズムFにより再描
画する。
視属性をTRUEに変更し、アルゴリズムFにより再描
画する。
【0136】ステップS105において、入力されたキ
ー判定を行う。例えばテンキー「1」で−1パラメータ
減少、テンキー「3」で+1パラメータ増加とする。
「1」が押された場合目盛間隔を−1[mm]し、
「3」が押された場合目盛間隔を+1[mm]する。そ
の後、アルゴリズムB、Aの順に呼び出し目盛を再描画
する。ステップS106において、変更後のパラメータ
をアルゴリズムFにより再描画する。
ー判定を行う。例えばテンキー「1」で−1パラメータ
減少、テンキー「3」で+1パラメータ増加とする。
「1」が押された場合目盛間隔を−1[mm]し、
「3」が押された場合目盛間隔を+1[mm]する。そ
の後、アルゴリズムB、Aの順に呼び出し目盛を再描画
する。ステップS106において、変更後のパラメータ
をアルゴリズムFにより再描画する。
【0137】ステップS107において、マウスの入力
を判断する。マウスの入力がなければステップS112
を実施する。
を判断する。マウスの入力がなければステップS112
を実施する。
【0138】ステップS108において、マウスが移動
された場合は、GUI可視属性、パラメータ可視属性を
TRUEに変更し、アルゴリズムE、Fを使用してGU
I、パラメータを描画する。カーソル可視属性をTRU
Eに変更し、アルゴリズムGによりカーソルを描画す
る。
された場合は、GUI可視属性、パラメータ可視属性を
TRUEに変更し、アルゴリズムE、Fを使用してGU
I、パラメータを描画する。カーソル可視属性をTRU
Eに変更し、アルゴリズムGによりカーソルを描画す
る。
【0139】ステップS109において、マウス左ボタ
ンを押された場合はカーソルがGUI領域に存在するか
どうか判断する。GUI領域ならばステップS110を
実施し、そうでない場合はステップS112を実施す
る。
ンを押された場合はカーソルがGUI領域に存在するか
どうか判断する。GUI領域ならばステップS110を
実施し、そうでない場合はステップS112を実施す
る。
【0140】ステップS110において、GUI領域を
判断する。「−」ボタンならば、目盛間隔を−1[m
m]し、アルゴリズムB、アルゴリズムAの順で呼び出
し目盛を再描画する。「+」ボタンならば、目盛間隔を
+1[mm]し、アルゴリズムB、アルゴリズムAの順
で呼び出し目盛を再描画する。
判断する。「−」ボタンならば、目盛間隔を−1[m
m]し、アルゴリズムB、アルゴリズムAの順で呼び出
し目盛を再描画する。「+」ボタンならば、目盛間隔を
+1[mm]し、アルゴリズムB、アルゴリズムAの順
で呼び出し目盛を再描画する。
【0141】ステップS111において、変更後のパラ
メータをアルゴリズムFにより再描画する。
メータをアルゴリズムFにより再描画する。
【0142】ステップS112においてアプリケーショ
ンの終了を判定する。終了ならば処理を終了する。そう
でなければステップS101に戻る。
ンの終了を判定する。終了ならば処理を終了する。そう
でなければステップS101に戻る。
【0143】図35ないし図48は本発明の第2の実施
の形態に係わり、図35はホストコンピュータによる処
理の流れを示す第1のフローチャート、図36は図35
の第1のフローチャートに続く第2のフローチャート、
図37は図35及び図36の処理の作用を説明する第1
の図、図38は図35及び図36の処理の作用を説明す
る第2の図、図39は図35及び図36の処理の作用を
説明する第3の図、図40は図35及び図36の処理の
作用を説明する第4の図、図41は図36の第2のフロ
ーチャートの変形例の処理の流れを示すフローチャー
ト、図42は図41のフローチャートの作用を説明する
第1の図、図43は図41のフローチャートの作用を説
明する第2の図、図44は図41のフローチャートの作
用を説明する第3の図、図45は図41のフローチャー
トの作用を説明する第4の図、図46は図41のフロー
チャートの作用を説明する第5の図、図47は図41の
フローチャートの作用を説明する第6の図、図48は図
41のフローチャートの作用を説明する第7の図であ
る。
の形態に係わり、図35はホストコンピュータによる処
理の流れを示す第1のフローチャート、図36は図35
の第1のフローチャートに続く第2のフローチャート、
図37は図35及び図36の処理の作用を説明する第1
の図、図38は図35及び図36の処理の作用を説明す
る第2の図、図39は図35及び図36の処理の作用を
説明する第3の図、図40は図35及び図36の処理の
作用を説明する第4の図、図41は図36の第2のフロ
ーチャートの変形例の処理の流れを示すフローチャー
ト、図42は図41のフローチャートの作用を説明する
第1の図、図43は図41のフローチャートの作用を説
明する第2の図、図44は図41のフローチャートの作
用を説明する第3の図、図45は図41のフローチャー
トの作用を説明する第4の図、図46は図41のフロー
チャートの作用を説明する第5の図、図47は図41の
フローチャートの作用を説明する第6の図、図48は図
41のフローチャートの作用を説明する第7の図であ
る。
【0144】第2の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0145】第2の実施の形態において、機器構成は第
1の実施の形態と同様である。本実施の形態の説明を工
業用分野で行うが、医療分野および、その他の分野でも
同様に実施することが可能である。ここでは、エンジン
のタービンブレードの計測を例に説明を行う。
1の実施の形態と同様である。本実施の形態の説明を工
業用分野で行うが、医療分野および、その他の分野でも
同様に実施することが可能である。ここでは、エンジン
のタービンブレードの計測を例に説明を行う。
【0146】具体的にはブレードの図37に示すクラッ
ク(ひび割れ)の大きさを計測する。計測されたクラッ
クの大きさによりブレード交換の実施が判断される。
ク(ひび割れ)の大きさを計測する。計測されたクラッ
クの大きさによりブレード交換の実施が判断される。
【0147】以下では、対象を立体視した状況下で、ク
ラックの両端を入力装置で指定し、クラックの大きさを
計測後、計測結果を表示する流れを図35及び図36に
従って説明する。入力装置としてマウスを例に説明する
が、他のデバイスでも可能である。
ラックの両端を入力装置で指定し、クラックの大きさを
計測後、計測結果を表示する流れを図35及び図36に
従って説明する。入力装置としてマウスを例に説明する
が、他のデバイスでも可能である。
【0148】ステップS200において、第1の実施の
形態によりタービンブレードの立体視を行う。
形態によりタービンブレードの立体視を行う。
【0149】ステップS201において、第1の実施の
形態のステップS10、11と同様にアルゴリズムGに
より、図37のようにオーバレイ画像にマウスカーソル
621L、621Rを描画する。カーソル可動領域を左
原画像全体とする。
形態のステップS10、11と同様にアルゴリズムGに
より、図37のようにオーバレイ画像にマウスカーソル
621L、621Rを描画する。カーソル可動領域を左
原画像全体とする。
【0150】ステップS202において、マウスのボタ
ン入力を判断する。左ボタン入力があればステップS2
05を実行する。
ン入力を判断する。左ボタン入力があればステップS2
05を実行する。
【0151】ステップS203において、マウスカーソ
ルの移動に応じて、アルゴリズムGによりオーバーレイ
画像にマウスカーソルを描画する。
ルの移動に応じて、アルゴリズムGによりオーバーレイ
画像にマウスカーソルを描画する。
【0152】ステップS204において、アプリケーシ
ョンの終了判断を行う。終了ならば処理を終了する。そ
うでなければステップS202に戻る。
ョンの終了判断を行う。終了ならば処理を終了する。そ
うでなければステップS202に戻る。
【0153】ステップS205において、図37のよう
にマウスカーソルの位置に図形620L、622L、6
20R、622Rを描画する。描画は、第1の実施の形
態のアルゴリズムDと同様に左右オーバーラップ画像に
行う。
にマウスカーソルの位置に図形620L、622L、6
20R、622Rを描画する。描画は、第1の実施の形
態のアルゴリズムDと同様に左右オーバーラップ画像に
行う。
【0154】内視鏡先端から図形までの距離はマウスカ
ーソルと同じDis5[mm]とする。マウスにより1点
ずつ合計2点を指定し、クラック両端を指定する。これ
を指定点と呼び、それぞれをP[0] L、P[1] Lとする。ス
テップS206で1点目の指定の場合は、ステップS2
02に戻る。2点目が指定された場合は、ステップS2
07に進む。なお、1点目の指定の際に、以前の2点の
指定点がすでに描画されていればマウスカーソルの位置
に図形を描画する前に消去する。
ーソルと同じDis5[mm]とする。マウスにより1点
ずつ合計2点を指定し、クラック両端を指定する。これ
を指定点と呼び、それぞれをP[0] L、P[1] Lとする。ス
テップS206で1点目の指定の場合は、ステップS2
02に戻る。2点目が指定された場合は、ステップS2
07に進む。なお、1点目の指定の際に、以前の2点の
指定点がすでに描画されていればマウスカーソルの位置
に図形を描画する前に消去する。
【0155】ステップS207において、左右原画像を
歪曲収差補正する。歪曲収差補正済み画像を左画像、右
画像と呼ぶ。
歪曲収差補正する。歪曲収差補正済み画像を左画像、右
画像と呼ぶ。
【0156】ステップS208において、左右画像に対
して前処理を行う。公知のエッジ検出方法で左右画像の
エッジを検出する。所定の閾値Th1によりエッジ画像を
2値化する。次に、細線化によりエッジを1画素の幅に
整えた後、小さいエッジ群を消去する。まず、公知のラ
ベリングによりエッジ群に番号をつける。同じ番号が振
られたエッジ群の画素数を調べ、画素数が閾値Th2より
小さいエッジを消去する。左画像における各エッジをE
[i] L(i=0,1,2,‥‥)とする。細線化は文献1
(C言語で学ぶ実践画像処理、井上誠喜他著、オーム
社)に詳しい。
して前処理を行う。公知のエッジ検出方法で左右画像の
エッジを検出する。所定の閾値Th1によりエッジ画像を
2値化する。次に、細線化によりエッジを1画素の幅に
整えた後、小さいエッジ群を消去する。まず、公知のラ
ベリングによりエッジ群に番号をつける。同じ番号が振
られたエッジ群の画素数を調べ、画素数が閾値Th2より
小さいエッジを消去する。左画像における各エッジをE
[i] L(i=0,1,2,‥‥)とする。細線化は文献1
(C言語で学ぶ実践画像処理、井上誠喜他著、オーム
社)に詳しい。
【0157】ステップS209において、指定点とエッ
ジの3次元位置を求める。第1の実施の形態同様の方法
により、P[0] L、P[1] L、E[i] L(i=0,1,2,‥
‥)の順補正対応の画素を求める。それぞれを
P[0] L'、P[1] L'、E[i] L'(i=0,1,2,‥‥)
とする。対応点の検出によりP[0] L'、P[1] L'、E[i]
L'に対応する像の3次元位置を求める。
ジの3次元位置を求める。第1の実施の形態同様の方法
により、P[0] L、P[1] L、E[i] L(i=0,1,2,‥
‥)の順補正対応の画素を求める。それぞれを
P[0] L'、P[1] L'、E[i] L'(i=0,1,2,‥‥)
とする。対応点の検出によりP[0] L'、P[1] L'、E[i]
L'に対応する像の3次元位置を求める。
【0158】対応点検出は、左右画像に対する公知のエ
ピポーラ拘束を用いたテンプレートマッチングにより求
める。
ピポーラ拘束を用いたテンプレートマッチングにより求
める。
【0159】図38のようにテンプレートは、P[0] L'
または、P[1] L'または、E[i] L'の座標を中心とした小
領域を切り取り作成する。
または、P[1] L'または、E[i] L'の座標を中心とした小
領域を切り取り作成する。
【0160】図38ではE[i] L'の座標を中心としたテ
ンプレートを示している。その対応点をP[0] R'、P[1]
R'、E[i] R'(i=0,1,2,‥‥)とする(これら
の逆補正対応画素はP[0] R、P[1] R、E[i] R(i=0,
1,2,‥‥)である)。
ンプレートを示している。その対応点をP[0] R'、P[1]
R'、E[i] R'(i=0,1,2,‥‥)とする(これら
の逆補正対応画素はP[0] R、P[1] R、E[i] R(i=0,
1,2,‥‥)である)。
【0161】三角測量の原理によりP[0] L'、P[1] L'、
E[i] L'に対応する像の3次元位置P[0] L' W(x[0] L',
y[0] L',z[0] L')、P[1] L' W(x[1] L',y[1] L',z
[1] L')、E[i] L' W(xE[i] L',yE[i] L',zE[i] L')
を決定する。三角測量の原理は、特開平6−33945
4号公報などに詳しい。
E[i] L'に対応する像の3次元位置P[0] L' W(x[0] L',
y[0] L',z[0] L')、P[1] L' W(x[1] L',y[1] L',z
[1] L')、E[i] L' W(xE[i] L',yE[i] L',zE[i] L')
を決定する。三角測量の原理は、特開平6−33945
4号公報などに詳しい。
【0162】ステップS209において、指定点の3次
元位置P[0] L' W、P[1] L' Wを通過する直線Lmを決定す
る。
元位置P[0] L' W、P[1] L' Wを通過する直線Lmを決定す
る。
【0163】
【数26】 ステップS210において、図39のようにE[i] L' Wと
Lmの距離をすべて求める。その中から最大距離Mmaxを
求める。
Lmの距離をすべて求める。その中から最大距離Mmaxを
求める。
【0164】ステップS211において、図40のよう
にでオーバーラップ画像上で、最大距離を示すE[i] L'
の逆補正対応位置座標E[i] L及びその対応点E[i] Rに図
形を描画し、その図形近傍に距離Mmaxを表示する(図
23では、8.5mm)。マークする方法は第1の実施
の形態におけるアルゴリズムDと同様に行い、距離表示
方法は第1の実施の形態におけるアルゴリズムFと同様
に行うことで立体的に表示する。ステップS202に戻
る。
にでオーバーラップ画像上で、最大距離を示すE[i] L'
の逆補正対応位置座標E[i] L及びその対応点E[i] Rに図
形を描画し、その図形近傍に距離Mmaxを表示する(図
23では、8.5mm)。マークする方法は第1の実施
の形態におけるアルゴリズムDと同様に行い、距離表示
方法は第1の実施の形態におけるアルゴリズムFと同様
に行うことで立体的に表示する。ステップS202に戻
る。
【0165】以上により対象を立体視しながら、対象の
大きさを計測することが可能となり、さらに立体視した
状態で計測結果を見ることができる。なお指定点の入力
時は、画面をフリーズ状態で行うようにしても良い。
大きさを計測することが可能となり、さらに立体視した
状態で計測結果を見ることができる。なお指定点の入力
時は、画面をフリーズ状態で行うようにしても良い。
【0166】また、計測対象の指定として次のような方
法も考えられる。以下では、対象を立体視した状況下
で、クラックを含む領域を入力装置で指定し、クラック
の大きさを計測後、計測結果を表示する流れを図41に
従って説明する。入力装置としてマウスを例に説明する
が、他のデバイスでも可能である。クラック部分を囲む
図形としては、矩形で説明するが、円、矩形、自由曲線
などが考えられ、矩形に限定されるものでない。
法も考えられる。以下では、対象を立体視した状況下
で、クラックを含む領域を入力装置で指定し、クラック
の大きさを計測後、計測結果を表示する流れを図41に
従って説明する。入力装置としてマウスを例に説明する
が、他のデバイスでも可能である。クラック部分を囲む
図形としては、矩形で説明するが、円、矩形、自由曲線
などが考えられ、矩形に限定されるものでない。
【0167】ステップS201〜ステップS204は同
じである。ただし、ステップS202において左ボタン
入力時に実行されるステップをステップS220とす
る。以下、異なる処理を説明する。
じである。ただし、ステップS202において左ボタン
入力時に実行されるステップをステップS220とす
る。以下、異なる処理を説明する。
【0168】ステップS220において、図42のよう
に、マウスカーソル621Lにより始点及び対角を為す
対角点の2点を指定することで矩形領域630Lを指定
する。この矩形領域630Lは、図43に示すように、
対角点を指定してマウスカーソル621Lを移動するこ
とで変更が可能となっており、矩形領域630Lは第1
の実施の形態のアルゴリズムDと同様に左右オーバーラ
ップ画像に描画する。内視鏡先端から矩形までの距離は
マウスカーソル621Lと同じDis5[mm]とする。
に、マウスカーソル621Lにより始点及び対角を為す
対角点の2点を指定することで矩形領域630Lを指定
する。この矩形領域630Lは、図43に示すように、
対角点を指定してマウスカーソル621Lを移動するこ
とで変更が可能となっており、矩形領域630Lは第1
の実施の形態のアルゴリズムDと同様に左右オーバーラ
ップ画像に描画する。内視鏡先端から矩形までの距離は
マウスカーソル621Lと同じDis5[mm]とする。
【0169】ステップS221において、左右原画像を
歪曲収差補正する。歪曲収差済み画像を左画像、右画像
と呼ぶ。
歪曲収差補正する。歪曲収差済み画像を左画像、右画像
と呼ぶ。
【0170】ステップS222において、左画像におい
て、矩形領域内の公知のエッジ検出方法で領域内の輪郭
線を2値画像として抽出する。細線化によりエッジを1
画素の幅に整える。
て、矩形領域内の公知のエッジ検出方法で領域内の輪郭
線を2値画像として抽出する。細線化によりエッジを1
画素の幅に整える。
【0171】ステップS223において、左画像の矩形
領域内において、公知のラベリングにより輪郭線に番号
を割り当て、輪郭線を区別する。同じ番号が振られたエ
ッジ群の画素数を調べ、画素数が閾値Th2より小さいエ
ッジを消去し、小さいエッジ群を消去する。その後、矩
形領域内で最大個数含まれる番号Lvを求める。
領域内において、公知のラベリングにより輪郭線に番号
を割り当て、輪郭線を区別する。同じ番号が振られたエ
ッジ群の画素数を調べ、画素数が閾値Th2より小さいエ
ッジを消去し、小さいエッジ群を消去する。その後、矩
形領域内で最大個数含まれる番号Lvを求める。
【0172】ステップS224において、図44のよう
に左画像の矩形領域内の番号Lvを持つ輪郭線を領域左
から右へ、上から下へ走査して探索する。最初のLvを
持つ輪郭の画像での座標をStL'(iL'st,jL'st)と
する。
に左画像の矩形領域内の番号Lvを持つ輪郭線を領域左
から右へ、上から下へ走査して探索する。最初のLvを
持つ輪郭の画像での座標をStL'(iL'st,jL'st)と
する。
【0173】StL'(iL'st,jL'st)を追跡開始位置
として、すべての輪郭線E[n] L'(n=0,1,2,‥
‥,NE)を輪郭線追跡する。ここで、NEは輪郭線の
個数である。追跡途中で領域外に達した場合はその時点
で、追跡を終了する。各輪郭線に含まれる画素をe
[n,m] L'(m=0,1,2,‥‥,NPn)とする。ここ
で、NPnは輪郭線E[n] L'に含まれているエッジの個数
である。図45は、E[0] L'、E[1] L'、E[2] L'が抽出
された例を示す。E[0] L'はStL'(iL'st,jL'st)を
開始点として、図45のようにE[0] L'の追跡終了点ま
でが抽出されている。E[1] L'はStL'(iL'st,jL's
t)を開始点として、図45のようにE[1] L'の追跡終了
点までが抽出されteいる。E[2] L'も同様である。
として、すべての輪郭線E[n] L'(n=0,1,2,‥
‥,NE)を輪郭線追跡する。ここで、NEは輪郭線の
個数である。追跡途中で領域外に達した場合はその時点
で、追跡を終了する。各輪郭線に含まれる画素をe
[n,m] L'(m=0,1,2,‥‥,NPn)とする。ここ
で、NPnは輪郭線E[n] L'に含まれているエッジの個数
である。図45は、E[0] L'、E[1] L'、E[2] L'が抽出
された例を示す。E[0] L'はStL'(iL'st,jL'st)を
開始点として、図45のようにE[0] L'の追跡終了点ま
でが抽出されている。E[1] L'はStL'(iL'st,jL's
t)を開始点として、図45のようにE[1] L'の追跡終了
点までが抽出されteいる。E[2] L'も同様である。
【0174】ステップS225において、抽出された輪
郭線から主要な輪郭線を決定する。輪郭線が1つのみ抽
出された場合は以下の処理は行わない。 E[n] L'から主
要輪郭線を決定する方法として、ここでは以下の条件を
満たすものから2つを選択する。若い番号ほど優先して
選択するものとする。
郭線から主要な輪郭線を決定する。輪郭線が1つのみ抽
出された場合は以下の処理は行わない。 E[n] L'から主
要輪郭線を決定する方法として、ここでは以下の条件を
満たすものから2つを選択する。若い番号ほど優先して
選択するものとする。
【0175】条件1:E[n] L'始点から出発して、計測
領域を示す矩形まで達しているものを選択する。 条件2:E[n] L'の中からもっとも長い輪郭線を選択す
る。
領域を示す矩形まで達しているものを選択する。 条件2:E[n] L'の中からもっとも長い輪郭線を選択す
る。
【0176】図45では、条件1、条件2とも満たすE
[0] L'、E[1] L'が選択される。E[0 ] L'、E[1] L'ともS
tL'(iL'st,jL'st)を開始点とした輪郭線である
が、両輪郭線から連続した1つの輪郭線を作成する。こ
れは、一方の輪郭線の画素順序を反転してもう一方と合
成することで可能である。ただし、両輪郭線ともStL'
(iL'st,jL'st)を含んでいるので、一方の輪郭線の
StL'(iL'st,jL'st)を削除する必要がある。
[0] L'、E[1] L'が選択される。E[0 ] L'、E[1] L'ともS
tL'(iL'st,jL'st)を開始点とした輪郭線である
が、両輪郭線から連続した1つの輪郭線を作成する。こ
れは、一方の輪郭線の画素順序を反転してもう一方と合
成することで可能である。ただし、両輪郭線ともStL'
(iL'st,jL'st)を含んでいるので、一方の輪郭線の
StL'(iL'st,jL'st)を削除する必要がある。
【0177】図46に示すE[0] L'{e[0,0] L',e
[0,1] L',‥‥,e[0,NP0] L'}、E[1] L '{e[1,0] L',
e[1,1] L',‥‥,e[1,NP1] L'}において、E[0] L'を
反転して、画素列E[0]E[1] L'{e[0,NP0] L',e
[0,NP-1] L',‥‥,e[0,1] L',e[1,0 ] L',
e[1,1] L',‥‥,e[1,NP1] L'}ができる。この例では
E0の輪郭線の開始点e[0,0] L'を削除している。前記E
[0]E[1] L'を図47のようにE[0]E[1] L'{e[0] L',
e[1] L',‥‥,e[NP0+NP1-1] L'}と表記し直す。
[0,1] L',‥‥,e[0,NP0] L'}、E[1] L '{e[1,0] L',
e[1,1] L',‥‥,e[1,NP1] L'}において、E[0] L'を
反転して、画素列E[0]E[1] L'{e[0,NP0] L',e
[0,NP-1] L',‥‥,e[0,1] L',e[1,0 ] L',
e[1,1] L',‥‥,e[1,NP1] L'}ができる。この例では
E0の輪郭線の開始点e[0,0] L'を削除している。前記E
[0]E[1] L'を図47のようにE[0]E[1] L'{e[0] L',
e[1] L',‥‥,e[NP0+NP1-1] L'}と表記し直す。
【0178】ステップS226において、ステップS2
08同様エピポーラ拘束を用いたパターンマッチングお
よび、三角測量の原理により画素列E[0]E[1] L'の3次
元位置E[0]E[1] L' W{e[0] L',e[1] L',‥‥,e
[NP0+NP1-1] L'}を決定する。特に、e[0] L'を
P[0] L'、e[NP0+NP1-1] L'をP[1] L'と表し、その3次
元位置をP [0] L' W(x[0] L',y[0] L',z[0] L')、P
[1] L' W(x[1] L',y[1] L',z[1] L')とする。
08同様エピポーラ拘束を用いたパターンマッチングお
よび、三角測量の原理により画素列E[0]E[1] L'の3次
元位置E[0]E[1] L' W{e[0] L',e[1] L',‥‥,e
[NP0+NP1-1] L'}を決定する。特に、e[0] L'を
P[0] L'、e[NP0+NP1-1] L'をP[1] L'と表し、その3次
元位置をP [0] L' W(x[0] L',y[0] L',z[0] L')、P
[1] L' W(x[1] L',y[1] L',z[1] L')とする。
【0179】ステップS227において、P[0] L' W ,
P[1] L' Wにより直線Lmを決定する。
P[1] L' Wにより直線Lmを決定する。
【0180】
【数27】 E[0]E[1] L' Wの各エッジと直線Lmとの距離を求め、そ
の中から最大距離とその時のエッジを求める。
の中から最大距離とその時のエッジを求める。
【0181】ステップS228において、図48のよう
にオーバーラップ画像上で、最大距離を示すE[0]E[1]
L'の逆補正対応位置座標E[0]E[1] Lに図形を描画し
(633L、633R)、その図形近傍に距離Mmax
(632L、632R)を表示する。マークする方法は
第1の実施の形態におけるアルゴリズムDと同様に行
い、距離表示方法は第1の実施の形態におけるアルゴリ
ズムFと同様に行うことで立体的に表示する。ステップ
S202に戻る。
にオーバーラップ画像上で、最大距離を示すE[0]E[1]
L'の逆補正対応位置座標E[0]E[1] Lに図形を描画し
(633L、633R)、その図形近傍に距離Mmax
(632L、632R)を表示する。マークする方法は
第1の実施の形態におけるアルゴリズムDと同様に行
い、距離表示方法は第1の実施の形態におけるアルゴリ
ズムFと同様に行うことで立体的に表示する。ステップ
S202に戻る。
【0182】以上により対象を立体視しながら、対象の
計測対象を囲むことで計測が容易にでき、さらに立体視
した状態で計測結果を見ること可能となる。なお指定点
の入力時は、画面をフリーズ状態で行うようにしても良
い。
計測対象を囲むことで計測が容易にでき、さらに立体視
した状態で計測結果を見ること可能となる。なお指定点
の入力時は、画面をフリーズ状態で行うようにしても良
い。
【0183】図49ないし図52は本発明の第3の実施
の形態に係わり、図49はホストコンピュータによる処
理の流れを示すフローチャート、図50は図49のフロ
ーチャートの作用を説明する第1の図、図51は図49
のフローチャートの作用を説明する第2の図、図52は
図49のフローチャートで使用されるアルゴリズムJの
処理の流れを示すフローチャートである。
の形態に係わり、図49はホストコンピュータによる処
理の流れを示すフローチャート、図50は図49のフロ
ーチャートの作用を説明する第1の図、図51は図49
のフローチャートの作用を説明する第2の図、図52は
図49のフローチャートで使用されるアルゴリズムJの
処理の流れを示すフローチャートである。
【0184】第3の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0185】第1の実施の形態と同様に立体目盛を内視
鏡先端からDis1[mm]で表示することを考える。内
視鏡先端から対象までの距離がDis1[mm]より近い
場合においても立体目盛を表示すると、対象に隠れるべ
き立体目盛が見えているのであるから違和感がある。
鏡先端からDis1[mm]で表示することを考える。内
視鏡先端から対象までの距離がDis1[mm]より近い
場合においても立体目盛を表示すると、対象に隠れるべ
き立体目盛が見えているのであるから違和感がある。
【0186】そこで、内視鏡先端から対象までの距離が
Dis1[mm]より近い場合に、立体図形を表示しない
立体視システムを以下に示す。
Dis1[mm]より近い場合に、立体図形を表示しない
立体視システムを以下に示す。
【0187】以下では、距離に応じて表示を停止する立
体図形の例として立体目盛で説明するが、図形は、立体
目盛に限定されるものではなく、例えば第1の実施の形
態のアルゴリズムDにおける十字図形などでも、同様の
処理を十字図形に対して実施することで距離に応じて表
示を停止することが可能である。また、表示を停止する
立体図形は複数でもよく、各図形に対して同様の停止処
理を行うことで距離に応じて表示を停止することが可能
である。
体図形の例として立体目盛で説明するが、図形は、立体
目盛に限定されるものではなく、例えば第1の実施の形
態のアルゴリズムDにおける十字図形などでも、同様の
処理を十字図形に対して実施することで距離に応じて表
示を停止することが可能である。また、表示を停止する
立体図形は複数でもよく、各図形に対して同様の停止処
理を行うことで距離に応じて表示を停止することが可能
である。
【0188】第1の実施の形態同様に、図8及び図9の
ように水平方向に5個、垂直方向に5個の目盛を左オー
バーレイ画像および、右オーバーレイ画像に描画するこ
とを考える。第1の実施の形態では内視鏡先端から目盛
までの距離をあらかじめ与えたが、本実施の形態では、
対象の実際の3次元座標を求め、その位置に目盛を描画
する。
ように水平方向に5個、垂直方向に5個の目盛を左オー
バーレイ画像および、右オーバーレイ画像に描画するこ
とを考える。第1の実施の形態では内視鏡先端から目盛
までの距離をあらかじめ与えたが、本実施の形態では、
対象の実際の3次元座標を求め、その位置に目盛を描画
する。
【0189】図8のように左画像の各目盛描画座標をM
[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)、図9のように右画像の目盛描画座標をM
[k] R'(i[k] R',j[k] R')(k=0,1,‥‥,9)
と表す。図8のように水平目盛の中心はM[ 2] L'(i[2]
L',j[2] L')である。代表として、M
[2] L'(i[2] L',j[2] L')(もしくは、垂直目盛の中
心M[7] L'(i[7] L',j[7] L'))に映っている物体の
3次元位置γ(xL W,yL W,zL W)を求める。zL Wを通
過する鉛直平面上に対象があると仮定して、第1の実施
の形態同様に目盛間隔および左右オーバーレイ画像のお
ける目盛描画座標を決定し、左右オーバレイ画像に目盛
を描画する。オーバーレイ画像は公知のキーイング技術
により左右原画像と合成される。
[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)、図9のように右画像の目盛描画座標をM
[k] R'(i[k] R',j[k] R')(k=0,1,‥‥,9)
と表す。図8のように水平目盛の中心はM[ 2] L'(i[2]
L',j[2] L')である。代表として、M
[2] L'(i[2] L',j[2] L')(もしくは、垂直目盛の中
心M[7] L'(i[7] L',j[7] L'))に映っている物体の
3次元位置γ(xL W,yL W,zL W)を求める。zL Wを通
過する鉛直平面上に対象があると仮定して、第1の実施
の形態同様に目盛間隔および左右オーバーレイ画像のお
ける目盛描画座標を決定し、左右オーバレイ画像に目盛
を描画する。オーバーレイ画像は公知のキーイング技術
により左右原画像と合成される。
【0190】次に、内視鏡先端に対して対象がzL W[m
m]より近づいたことを検出する方法を述べる。
m]より近づいたことを検出する方法を述べる。
【0191】図50において、左右カメラの位置は固定
されているとする。今、左カメラと対象との距離をξと
する。左画像上の点Q1に対応する対象上の点Qは、Q1
と左光学中心Oleftを通過する直線と対象との交点から
求めることができる。Qに対する右画像上の像Q2はQ
と右光学中心Orightを通過する直線と右画像との交点
から求めることができる。
されているとする。今、左カメラと対象との距離をξと
する。左画像上の点Q1に対応する対象上の点Qは、Q1
と左光学中心Oleftを通過する直線と対象との交点から
求めることができる。Qに対する右画像上の像Q2はQ
と右光学中心Orightを通過する直線と右画像との交点
から求めることができる。
【0192】次に、左カメラと対象との距離をξ’
(ξ’<ξ)とする。左画像上の点Q1に対応する対象上
の点Q’は、Q1と左光学中心を通過する直線と対象と
の交点から求めることができる。対象上の点Q’に対応
する右画像上の像Q2’の座標はQ2同様に求めることが
できる。つまり、左画像上のある決まった点(計測指定
点と呼ぶ)に対する右画像上の対応点の座標は、カメラ
と対象間の距離により変化するが、一意に決めることが
できる。
(ξ’<ξ)とする。左画像上の点Q1に対応する対象上
の点Q’は、Q1と左光学中心を通過する直線と対象と
の交点から求めることができる。対象上の点Q’に対応
する右画像上の像Q2’の座標はQ2同様に求めることが
できる。つまり、左画像上のある決まった点(計測指定
点と呼ぶ)に対する右画像上の対応点の座標は、カメラ
と対象間の距離により変化するが、一意に決めることが
できる。
【0193】また、Q1およびQ2、Q2’は同じ対象の
像であるから、その近傍は類似している可能性が高い。
したがって、左カメラと対象までの距離を図51のよう
にz L W[mm]から0[mm]までρ[mm]ずつ近づ
けながら、k通り(kは正の整数)の左画像の計測指定
点(CxL',CyL')に対する右画像での対応点M[k] R '
(i[k] R',j[k] R')(k=0,1,2,‥‥)を求め
る(ρは実数)。現在、撮像されている左右画像で(Cx
L',CyL')とM[k] R'(i[k] R',j[k] R')(k=0,
1,2,‥‥)の類似度が高ければ、対象がDis1−
(ρ×k)の距離にあるという判断を下すことができる。
像であるから、その近傍は類似している可能性が高い。
したがって、左カメラと対象までの距離を図51のよう
にz L W[mm]から0[mm]までρ[mm]ずつ近づ
けながら、k通り(kは正の整数)の左画像の計測指定
点(CxL',CyL')に対する右画像での対応点M[k] R '
(i[k] R',j[k] R')(k=0,1,2,‥‥)を求め
る(ρは実数)。現在、撮像されている左右画像で(Cx
L',CyL')とM[k] R'(i[k] R',j[k] R')(k=0,
1,2,‥‥)の類似度が高ければ、対象がDis1−
(ρ×k)の距離にあるという判断を下すことができる。
【0194】まず、内視鏡先端からzL W[mm]にある
立体目盛の描画位置を決定し、左右オーバーレイ画像に
描画する(ステップS251からステップS254)。
次に、内視鏡先端からの距離がzL W[mm]から0[m
m]間で、段階的に左画像(CxL',CyL')に対する右
画像での対応点を求め、記憶する(ステップS255〜
ステップS257)。類似度により内視鏡先端から対象
までの距離がzL W[mm]より近いかどうか判断して目
盛の描画、消去を行う(ステップS261〜267)と
いう流れで実現する。処理の流れを図49に従って説明
する。
立体目盛の描画位置を決定し、左右オーバーレイ画像に
描画する(ステップS251からステップS254)。
次に、内視鏡先端からの距離がzL W[mm]から0[m
m]間で、段階的に左画像(CxL',CyL')に対する右
画像での対応点を求め、記憶する(ステップS255〜
ステップS257)。類似度により内視鏡先端から対象
までの距離がzL W[mm]より近いかどうか判断して目
盛の描画、消去を行う(ステップS261〜267)と
いう流れで実現する。処理の流れを図49に従って説明
する。
【0195】ステップS251において、現在撮影され
ている画像を用いて、水平目盛の中心座標M[2] L'(i
[2] L',j[2] L')に映っている対象の3次元座標を求め
る。つまり、その位置が目盛の3次元位置になる。本実
施の形態では、M[2] L'(i[ 2] L',j[2] L')の左画像
上での座標は本実施の形態では計測指定点(CxL',Cy
L')と同一とする。あらかじめ与えられた左画像におけ
るM[2] L'(i[2] L',j[2] L')の右画像における対応
点を、公知のエピポーラ拘束を用いたテンプレートマッ
チングにより求める。テンプレートは、M[2] L'(i[2]
L',j[2] L')を中心としたあらかじめ与えられたサイ
ズ(Tx×Ty)の小領域を作成する。対応点の座標を用
いて、三角測量の原理により計測指定点(CxL',C
yL')の3次元位置を求める。その座標をγ(xL W,yL
W,zL W)とする。
ている画像を用いて、水平目盛の中心座標M[2] L'(i
[2] L',j[2] L')に映っている対象の3次元座標を求め
る。つまり、その位置が目盛の3次元位置になる。本実
施の形態では、M[2] L'(i[ 2] L',j[2] L')の左画像
上での座標は本実施の形態では計測指定点(CxL',Cy
L')と同一とする。あらかじめ与えられた左画像におけ
るM[2] L'(i[2] L',j[2] L')の右画像における対応
点を、公知のエピポーラ拘束を用いたテンプレートマッ
チングにより求める。テンプレートは、M[2] L'(i[2]
L',j[2] L')を中心としたあらかじめ与えられたサイ
ズ(Tx×Ty)の小領域を作成する。対応点の座標を用
いて、三角測量の原理により計測指定点(CxL',C
yL')の3次元位置を求める。その座標をγ(xL W,yL
W,zL W)とする。
【0196】ステップS252において、内視鏡先端か
らの目盛までの距離をzL Wとして、アルゴリズムBによ
りSc[mm]に対する1目盛の間隔[画素]を決定す
る。それらを左画像水平目盛間隔SpxL'、左画像垂直
目盛間隔SpyL'、右画像水平目盛間隔SpxR'、右画像
垂直目盛間隔SpyR'とする。
らの目盛までの距離をzL Wとして、アルゴリズムBによ
りSc[mm]に対する1目盛の間隔[画素]を決定す
る。それらを左画像水平目盛間隔SpxL'、左画像垂直
目盛間隔SpyL'、右画像水平目盛間隔SpxR'、右画像
垂直目盛間隔SpyR'とする。
【0197】ステップS253において、左画像水平目
盛間隔SpxL'、左画像垂直目盛間隔SpyL'により、描
画位置を決定する。M[n] L'(n=0,1,‥‥,9)
は、あらかじめ与えられた左画像の計測指定点(C
xL',CyL')を用いて、次式で決定される。
盛間隔SpxL'、左画像垂直目盛間隔SpyL'により、描
画位置を決定する。M[n] L'(n=0,1,‥‥,9)
は、あらかじめ与えられた左画像の計測指定点(C
xL',CyL')を用いて、次式で決定される。
【0198】
【数28】 水平目盛 M[n] L'=(CxL'+SpxL'・(n−2),CyL') 垂直目盛 M[n] L'=(CxL' ,CyL'+ SpyL'・(n−6)) ( 28) ステップS254において、内視鏡先端から目盛までの
距離をzL W[mm]として、アルゴリズムAによりM
[n] L'(n=0,1,‥‥,9)の逆補正対応画素M[n]
L(n=0,1,‥‥,9)および、その対応点M[n] R
(n=0,1,‥‥,9)を求める。M[n] Lおよび、M
[n] R(n=0,1,‥‥,10)を用いてアルゴリズム
Cにより図10のように左オーバーレイ画像に立体目盛
600L、右オーバーレイ画像に600Rを描画する。
距離をzL W[mm]として、アルゴリズムAによりM
[n] L'(n=0,1,‥‥,9)の逆補正対応画素M[n]
L(n=0,1,‥‥,9)および、その対応点M[n] R
(n=0,1,‥‥,9)を求める。M[n] Lおよび、M
[n] R(n=0,1,‥‥,10)を用いてアルゴリズム
Cにより図10のように左オーバーレイ画像に立体目盛
600L、右オーバーレイ画像に600Rを描画する。
【0199】ステップS255において、k=0とす
る。ステップS256において、内視鏡先端からの目盛
までの距離[mm]をzL W−(ρ×k)とする。ここで、ρ
は距離変化ステップとする。距離を変化させながら、ア
ルゴリズムAによりM[2] L'の対応点M[k] R'を求める。
M[k] R'の座標をM[k] R'(i[k] R',j[k] R')とする。
る。ステップS256において、内視鏡先端からの目盛
までの距離[mm]をzL W−(ρ×k)とする。ここで、ρ
は距離変化ステップとする。距離を変化させながら、ア
ルゴリズムAによりM[2] L'の対応点M[k] R'を求める。
M[k] R'の座標をM[k] R'(i[k] R',j[k] R')とする。
【0200】ステップS257において、kを1増加
し、ステップS258でzL W−(ρ×k)>0ならばス
テップS256に戻る。
し、ステップS258でzL W−(ρ×k)>0ならばス
テップS256に戻る。
【0201】ステップS259において、後述するアル
ゴリズムJによって目盛描画を行う。ステップS260
において、アプリケーション終了判定を行う。終了なら
ば処理を終了する。そうでなければステップS259に
戻る。
ゴリズムJによって目盛描画を行う。ステップS260
において、アプリケーション終了判定を行う。終了なら
ば処理を終了する。そうでなければステップS259に
戻る。
【0202】[アルゴリズムJ]対象までの距離に応じ
て目盛を描画、消去する処理の流れを図52に従って説
明する。
て目盛を描画、消去する処理の流れを図52に従って説
明する。
【0203】ステップS261において、k=0とす
る。ステップS262において、計測指定点(CxL',
CyL')とM[k] R'(k=0,1,2,‥‥)それぞれを
中心とした小領域との相関をテンプレートマッチングに
よりM[k] R'(i[k] R',j[k] R ')を中心とした所定の
探索領域で求める。
る。ステップS262において、計測指定点(CxL',
CyL')とM[k] R'(k=0,1,2,‥‥)それぞれを
中心とした小領域との相関をテンプレートマッチングに
よりM[k] R'(i[k] R',j[k] R ')を中心とした所定の
探索領域で求める。
【0204】ステップS263において、M[k] R'(i
[k] R',j[k] R')の探索領域内の最大相関値が、所定の
閾値Th3より大きい場合は、先端からDis1未満に対象
が存在すると判断する。その場合ステップS266を実
行する。
[k] R',j[k] R')の探索領域内の最大相関値が、所定の
閾値Th3より大きい場合は、先端からDis1未満に対象
が存在すると判断する。その場合ステップS266を実
行する。
【0205】ステップS264において、計測指定点と
すべてのM[k] R'(i[k] R',j[k] R ')との相関を調べ
終えた場合はステップS267を実行する。
すべてのM[k] R'(i[k] R',j[k] R ')との相関を調べ
終えた場合はステップS267を実行する。
【0206】ステップS265のおいて、kを1増加さ
せてステップS262に戻る。ステップS266におい
て、左オーバーレイ画像のM[n] L(i[n] L,j[n] L)、
右画像のM[n] R(i[n] L,j[n] L)(n=0,1,2,
‥‥,9)の目盛を消去する。処理を終了する。
せてステップS262に戻る。ステップS266におい
て、左オーバーレイ画像のM[n] L(i[n] L,j[n] L)、
右画像のM[n] R(i[n] L,j[n] L)(n=0,1,2,
‥‥,9)の目盛を消去する。処理を終了する。
【0207】ステップS267において、左オーバーレ
イ画像のM[n] L(i[n] L,j[n] L)、右画像のM
[k] R(i[n] L,j[n] L)(n=0,1,2,‥‥,9)
に目盛を描画する。処理を終了する。
イ画像のM[n] L(i[n] L,j[n] L)、右画像のM
[k] R(i[n] L,j[n] L)(n=0,1,2,‥‥,9)
に目盛を描画する。処理を終了する。
【0208】[付記]以上説明した第1、第2及び第3
の実施の形態によれば、次の付記項に示した内容が特徴
事項といえる。
の実施の形態によれば、次の付記項に示した内容が特徴
事項といえる。
【0209】(付記項1) 所定の観察対象を第1の撮
像手段で撮像して得られる第1の画像と、前記第1の撮
像手段とは異なる方向から前記所定の観察対象を第2の
撮像手段で撮像して得られた第2の画像とをそれぞれ表
示する立体視可能な計測用内視鏡装置において、前記第
1の撮像手段または前記第2の撮像手段のいずれか一方
と仮想的または実際の対象物までの距離を設定する距離
設定手段と、前記第1の撮像手段によって得られた画像
と、前記第2の撮像手段によって得られた画像におい
て、前記対象物の同一点が撮像されている対応点を求め
る対応点決定手段と、前記対象物までの前記距離に応じ
た図形を少なくとも一つの前記対応点に描画する図形描
画手段と、前記対応点の視差を導出し、視差を検査する
検査手段とを有することを特徴とする計測用内視鏡装
置。
像手段で撮像して得られる第1の画像と、前記第1の撮
像手段とは異なる方向から前記所定の観察対象を第2の
撮像手段で撮像して得られた第2の画像とをそれぞれ表
示する立体視可能な計測用内視鏡装置において、前記第
1の撮像手段または前記第2の撮像手段のいずれか一方
と仮想的または実際の対象物までの距離を設定する距離
設定手段と、前記第1の撮像手段によって得られた画像
と、前記第2の撮像手段によって得られた画像におい
て、前記対象物の同一点が撮像されている対応点を求め
る対応点決定手段と、前記対象物までの前記距離に応じ
た図形を少なくとも一つの前記対応点に描画する図形描
画手段と、前記対応点の視差を導出し、視差を検査する
検査手段とを有することを特徴とする計測用内視鏡装
置。
【0210】(付記項2) 前記図形描画手段は、前記
対象物までの距離に応じた目盛を描画する目盛描画機能
を有することを特徴とする付記項1に記載の計測用内視
鏡装置。
対象物までの距離に応じた目盛を描画する目盛描画機能
を有することを特徴とする付記項1に記載の計測用内視
鏡装置。
【0211】これによれば、目盛と対象との比較により
対象の大きさを把握できるようになる。
対象の大きさを把握できるようになる。
【0212】(付記項3) 前記図形描画手段は、前記
対象物までの複数の距離に対して、前記対応点決定手段
により求められた対応点に前記図形を描画するを有する
ことを特徴とする付記項1に記載の計測用内視鏡装置。
対象物までの複数の距離に対して、前記対応点決定手段
により求められた対応点に前記図形を描画するを有する
ことを特徴とする付記項1に記載の計測用内視鏡装置。
【0213】これによれば、対象と図形との位置関係の
把握が容易になる。
把握が容易になる。
【0214】(付記項4) 前記対象物までの複数の距
離に対して描画される図形が、前記対象物までの距離に
応じた目盛であることを特徴とする付記項3に記載の計
測用内視鏡装置。
離に対して描画される図形が、前記対象物までの距離に
応じた目盛であることを特徴とする付記項3に記載の計
測用内視鏡装置。
【0215】これによれば、対象と図形との位置関係の
把握と、対象の大きさの把握が容易になる。
把握と、対象の大きさの把握が容易になる。
【0216】(付記項5) 前記図形描画手段は、前記
対象物までの距離に応じた図形描画を停止する機能を有
することを特徴とする付記項1ないし4に記載の計測用
内視鏡装置。
対象物までの距離に応じた図形描画を停止する機能を有
することを特徴とする付記項1ないし4に記載の計測用
内視鏡装置。
【0217】これによれば、対象物までの距離に応じ
て、図形の表示を停止することが可能となる。
て、図形の表示を停止することが可能となる。
【0218】(付記項6) 入力に応じて所定の処理を
実施する入力処理装置を持つことを特徴とする請求項1
ないし4に記載の計測用内視鏡装置。
実施する入力処理装置を持つことを特徴とする請求項1
ないし4に記載の計測用内視鏡装置。
【0219】これによれば、立体視した状態において、
入力に応じた処理を実行できる。
入力に応じた処理を実行できる。
【0220】(付記項7) 前記入力処理装置は、前記
図形または、画像内を指定し、指定された場所に応じて
所定の処理を実施することを特徴とする付記項6に記載
の計測用内視鏡装置。
図形または、画像内を指定し、指定された場所に応じて
所定の処理を実施することを特徴とする付記項6に記載
の計測用内視鏡装置。
【0221】これによれば、立体視した状態において、
視野内を指定することにより所定の処理を実行できる。
視野内を指定することにより所定の処理を実行できる。
【0222】(付記項8) 前記入力処理装置の入力装
置がキーボードであることを特徴とする付記項6または
7に記載の計測用内視鏡装置。
置がキーボードであることを特徴とする付記項6または
7に記載の計測用内視鏡装置。
【0223】これによれば、立体視した状態において、
キーボード入力に応じた所定の処理を実行できる。
キーボード入力に応じた所定の処理を実行できる。
【0224】(付記項9) 前記入力処理装置の入力装
置がマウスであることを特徴とする付記項6または7に
記載の計測用内視鏡装置。
置がマウスであることを特徴とする付記項6または7に
記載の計測用内視鏡装置。
【0225】これによれば、立体視した状態において、
マウス入力に応じた所定の処理を実行できる。
マウス入力に応じた所定の処理を実行できる。
【0226】(付記項10) 前記図形描画手段は、前
記入力処理装置からの指示に基づき、前記図形に関する
パラメータを変更することを特徴とする付記項6または
7に記載の計測用内視鏡装置。
記入力処理装置からの指示に基づき、前記図形に関する
パラメータを変更することを特徴とする付記項6または
7に記載の計測用内視鏡装置。
【0227】これによれば、立体視した状態において、
視野内に表示する図形のパラメータを変更し、パラメー
タにしたがって図形を表示することが可能となる。
視野内に表示する図形のパラメータを変更し、パラメー
タにしたがって図形を表示することが可能となる。
【0228】(付記項11) 前記図形描画手段は、前
記入力処理装置からの指示内容を描画することを特徴と
する付記項6または7に記載の計測用内視鏡装置。
記入力処理装置からの指示内容を描画することを特徴と
する付記項6または7に記載の計測用内視鏡装置。
【0229】これによれば、立体視した状態において、
指示内容を確認することが可能となる。
指示内容を確認することが可能となる。
【0230】(付記項12) 前記図形描画手段は、図
形に関するパラメータを描画することを特徴とする付記
項6または7に記載の計測用内視鏡装置。
形に関するパラメータを描画することを特徴とする付記
項6または7に記載の計測用内視鏡装置。
【0231】これによれば、立体視した状態において、
図形に関するパラメータを確認することが可能となる。
図形に関するパラメータを確認することが可能となる。
【0232】(付記項13) 前記入力処理装置によ
り、画像内対象物上の点を指定し、指定した点について
計測する計測手段を有することを特徴とする付記項7に
記載の計測用内視鏡装置。
り、画像内対象物上の点を指定し、指定した点について
計測する計測手段を有することを特徴とする付記項7に
記載の計測用内視鏡装置。
【0233】これによれば、立体視した状態において、
指定した点についての計測が可能となる。
指定した点についての計測が可能となる。
【0234】(付記項14) 前記計測手段は、前記入
力処理装置により指定した画像内対象物上の2点よりな
る直線と、任意の点との距離により計測を行うことを特
徴とする付記項13に記載の計測用内視鏡装置。
力処理装置により指定した画像内対象物上の2点よりな
る直線と、任意の点との距離により計測を行うことを特
徴とする付記項13に記載の計測用内視鏡装置。
【0235】これによれば、立体視した状態において、
指定した2点による直線と任意の点についての計測が可
能となる。
指定した2点による直線と任意の点についての計測が可
能となる。
【0236】(付記項15) 前記入力処理装置によ
り、画像内対象物の計測領域を指定し、指定した領域に
ついて計測を行う計測手段を有することを特徴とする付
記項7に記載の計測用内視鏡装置。
り、画像内対象物の計測領域を指定し、指定した領域に
ついて計測を行う計測手段を有することを特徴とする付
記項7に記載の計測用内視鏡装置。
【0237】これによれば、計測領域を指定することに
より、領域に対する計測が可能となる。
より、領域に対する計測が可能となる。
【0238】(付記項16) 前記計測手段は、前記計
測領域内の主要な輪郭線を抽出し、輪郭線に対して計測
を行うことを特徴とする付記項15に記載の計測用内視
鏡装置。
測領域内の主要な輪郭線を抽出し、輪郭線に対して計測
を行うことを特徴とする付記項15に記載の計測用内視
鏡装置。
【0239】これによれば、立体視した状態において、
輪郭線に対する計測が可能となる。
輪郭線に対する計測が可能となる。
【0240】(付記項17) 前記計測手段は、前記主
要な輪郭線上の2点のエッジによりなる直線と、任意の
点との距離により計測を行うことを特徴とする付記項1
5に記載の計測用内視鏡装置。
要な輪郭線上の2点のエッジによりなる直線と、任意の
点との距離により計測を行うことを特徴とする付記項1
5に記載の計測用内視鏡装置。
【0241】これによれば、立体視した状態において、
点のエッジによる直線と任意の点についての計測が可能
となる。
点のエッジによる直線と任意の点についての計測が可能
となる。
【0242】(付記項18) 前記図形描画手段は、前
記計測手段による結果を描画することを特徴とする付記
項13ないし17に記載の計測用内視鏡装置。
記計測手段による結果を描画することを特徴とする付記
項13ないし17に記載の計測用内視鏡装置。
【0243】
【発明の効果】以上説明したように本発明によれば、立
体的に見える図形を表示し、対象との距離の把握、情報
の提示を行うことができるという効果がある。
体的に見える図形を表示し、対象との距離の把握、情報
の提示を行うことができるという効果がある。
【図1】本発明の第1の実施の形態に係る内視鏡装置の
構成を示す構成図
構成を示す構成図
【図2】図1のホストコンピュータの構成を示すブロッ
ク図
ク図
【図3】図1の内視鏡の先端部の構成を示す構成図
【図4】図1の内視鏡の撮像系における座標系を説明す
る図
る図
【図5】図1の内視鏡の歪曲収差補正を説明する第1の
図
図
【図6】図1の内視鏡の歪曲収差補正を説明する第2の
図
図
【図7】図2のホストコンピュータの作用を説明する第
1の図
1の図
【図8】図2のホストコンピュータの作用を説明する第
2の図
2の図
【図9】図2のホストコンピュータの作用を説明する第
3の図
3の図
【図10】図2のホストコンピュータの作用を説明する
第4の図
第4の図
【図11】図2のホストコンピュータにより処理される
メイン処理の流れを示す第1のフローチャート
メイン処理の流れを示す第1のフローチャート
【図12】図2のホストコンピュータにより処理される
メイン処理の流れを示す第2のフローチャート
メイン処理の流れを示す第2のフローチャート
【図13】図11及び図12のメイン処理で使用される
アルゴリズムAの処理の流れを示すフローチャー
アルゴリズムAの処理の流れを示すフローチャー
【図14】図11及び図12のメイン処理で使用される
アルゴリズムBの処理の作用を説明する第1の図、
アルゴリズムBの処理の作用を説明する第1の図、
【図15】図11及び図12のメイン処理で使用される
アルゴリズムBの処理の作用を説明する第2の図、
アルゴリズムBの処理の作用を説明する第2の図、
【図16】図11及び図12のメイン処理で使用される
アルゴリズムA’の処理の流れを示すフローチャート
アルゴリズムA’の処理の流れを示すフローチャート
【図17】図11及び図12のメイン処理で使用される
アルゴリズムBの処理の流れを示すフローチャート
アルゴリズムBの処理の流れを示すフローチャート
【図18】図11及び図12のメイン処理で使用される
アルゴリズムCの処理の流れを示すフローチャート
アルゴリズムCの処理の流れを示すフローチャート
【図19】図18のアルゴリズムCの処理の作用を説明
する第1の図
する第1の図
【図20】図18のアルゴリズムCの処理の作用を説明
する第2の図
する第2の図
【図21】図11及び図12のメイン処理で使用される
アルゴリズムDの処理の流れを示すフローチャート
アルゴリズムDの処理の流れを示すフローチャート
【図22】図21のアルゴリズムDの処理の作用を説明
する第1の図
する第1の図
【図23】図21のアルゴリズムDの処理の作用を説明
する第2の図
する第2の図
【図24】図11及び図12のメイン処理で使用される
アルゴリズムEの処理の流れを示すフローチャート
アルゴリズムEの処理の流れを示すフローチャート
【図25】図24のアルゴリズムEの処理の作用を説明
する第1の図
する第1の図
【図26】図24のアルゴリズムEの処理の作用を説明
する第2の図
する第2の図
【図27】図11及び図12のメイン処理で使用される
アルゴリズムFの処理の流れを示すフローチャート
アルゴリズムFの処理の流れを示すフローチャート
【図28】図27のアルゴリズムFの処理の作用を説明
する第1の図
する第1の図
【図29】図27のアルゴリズムFの処理の作用を説明
する第2の図
する第2の図
【図30】図11及び図12のメイン処理で使用される
アルゴリズムGの処理の流れを示すフローチャート
アルゴリズムGの処理の流れを示すフローチャート
【図31】図30のアルゴリズムGの処理の作用を説明
する第1の図
する第1の図
【図32】図30のアルゴリズムGの処理の作用を説明
する第2の図
する第2の図
【図33】図11及び図12のメイン処理で使用される
アルゴリズムHの処理の流れを示す第1のフローチャー
ト
アルゴリズムHの処理の流れを示す第1のフローチャー
ト
【図34】図11及び図12のメイン処理で使用される
アルゴリズムHの処理の流れを示す第2のフローチャー
ト
アルゴリズムHの処理の流れを示す第2のフローチャー
ト
【図35】本発明の第2の実施の形態に係るホストコン
ピュータによる処理の流れを示す第1のフローチャート
ピュータによる処理の流れを示す第1のフローチャート
【図36】図35の第1のフローチャートに続く第2の
フローチャート
フローチャート
【図37】図35及び図36の処理の作用を説明する第
1の図
1の図
【図38】図35及び図36の処理の作用を説明する第
2の図
2の図
【図39】図35及び図36の処理の作用を説明する第
3の図
3の図
【図40】図35及び図36の処理の作用を説明する第
4の図
4の図
【図41】図36の第2のフローチャートの変形例の処
理の流れを示すフローチャート
理の流れを示すフローチャート
【図42】図41のフローチャートの作用を説明する第
1の図
1の図
【図43】図41のフローチャートの作用を説明する第
2の図
2の図
【図44】図41のフローチャートの作用を説明する第
3の図
3の図
【図45】図41のフローチャートの作用を説明する第
4の図
4の図
【図46】図41のフローチャートの作用を説明する第
5の図
5の図
【図47】図41のフローチャートの作用を説明する第
6の図
6の図
【図48】図41のフローチャートの作用を説明する第
7の図
7の図
【図49】本発明の第3の実施の形態に係るホストコン
ピュータによる処理の流れを示すフローチャート
ピュータによる処理の流れを示すフローチャート
【図50】図49のフローチャートの作用を説明する第
1の図
1の図
【図51】図49のフローチャートの作用を説明する第
2の図
2の図
【図52】図49のフローチャートで使用されるアルゴ
リズムJの処理の流れを示すフローチャート
リズムJの処理の流れを示すフローチャート
301…内視鏡(ステレオ式ビデオイメージエンドスコ
ープ) 310L,310R…ビデオプロセッサ 311…ホストコンピュータ 312L、312R …観察モニタ 313…ヘッドマウントディスプレイ 321…CPU 322…メインメモリ 323…ホストーローカルブリッジ 324L、324R…画像入出力ボード 325…外部記憶インタフェース 326、327…周辺機器インタフェース 328…ビデオボード 329…ホストバス 330…ローカルバス 331…マウス 332…キーボード 333…ディスプレイ
ープ) 310L,310R…ビデオプロセッサ 311…ホストコンピュータ 312L、312R …観察モニタ 313…ヘッドマウントディスプレイ 321…CPU 322…メインメモリ 323…ホストーローカルブリッジ 324L、324R…画像入出力ボード 325…外部記憶インタフェース 326、327…周辺機器インタフェース 328…ビデオボード 329…ホストバス 330…ローカルバス 331…マウス 332…キーボード 333…ディスプレイ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成13年6月8日(2001.6.8)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0004
【補正方法】変更
【補正内容】
【0004】
【発明が解決しようとする課題】特開平11−6938
3号公報の問題点は、 ・左右の画像に単に機器情報を描画しているだけなの
で、実際には、融像限界を超えた視差を持ち機器情報は
立体視できないこともありうる。その場合、機器情報が
内視鏡画像の立体視の妨げになる可能性がある。また、
このとき内視鏡画像の立体視を行う場合と、機器情報の
立体視を行う場合で、ユーザが立体視用の機器を調整す
る必要が生じ、ユーザに付加的な作業を強いることにな
る。
3号公報の問題点は、 ・左右の画像に単に機器情報を描画しているだけなの
で、実際には、融像限界を超えた視差を持ち機器情報は
立体視できないこともありうる。その場合、機器情報が
内視鏡画像の立体視の妨げになる可能性がある。また、
このとき内視鏡画像の立体視を行う場合と、機器情報の
立体視を行う場合で、ユーザが立体視用の機器を調整す
る必要が生じ、ユーザに付加的な作業を強いることにな
る。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0053
【補正方法】変更
【補正内容】
【0053】ステップS2において、左画像水平目盛間
隔SpxL'、左画像垂直目盛間隔Spy L'を用いて、左画像
における目盛描画座標M[k] L'(k=0,1,‥‥,
9)を決定する。あらかじめ与えられた左画像の目盛描
画中心座標(CxL',CyL')を用いて、式(2)で決定
される。
隔SpxL'、左画像垂直目盛間隔Spy L'を用いて、左画像
における目盛描画座標M[k] L'(k=0,1,‥‥,
9)を決定する。あらかじめ与えられた左画像の目盛描
画中心座標(CxL',CyL')を用いて、式(2)で決定
される。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0054
【補正方法】変更
【補正内容】
【0054】
【数2】 水平目盛 M[k] L'=(CxL'+SpxL'・ (k−2),CyL')=(i[k] L' ,j[k] L') (0 ≦k≦4) 垂直目盛 M[k] L'=(CxL',CyL'+SpyL'・ (k−6))=(i[k] L' ,j[k] L') (5 ≦k≦9) (2) ステップS3において、内視鏡先端から目盛までの距離
をD is1[mm]として、後述するアルゴリズムAによ
りM[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)の逆補正対応画素M[k] L(i[k] L',j[k] L')(k
=0,1,‥‥,9)および、その対応点M[k] R(i
[k] L',j[k] L')(k=0,1,‥‥,9)を求める。
M[k] Lおよび、M[k] R(k=0,1,‥‥,9)を用い
て後述するアルゴリズムCにより図10のように左オー
バーレイ画像に立体目盛600L、右オーバーレイ画像
に600Rを描画する。
をD is1[mm]として、後述するアルゴリズムAによ
りM[k] L'(i[k] L',j[k] L')(k=0,1,‥‥,
9)の逆補正対応画素M[k] L(i[k] L',j[k] L')(k
=0,1,‥‥,9)および、その対応点M[k] R(i
[k] L',j[k] L')(k=0,1,‥‥,9)を求める。
M[k] Lおよび、M[k] R(k=0,1,‥‥,9)を用い
て後述するアルゴリズムCにより図10のように左オー
バーレイ画像に立体目盛600L、右オーバーレイ画像
に600Rを描画する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0131
【補正方法】変更
【補正内容】
【0131】変更可能なパラメータとしては、目盛間隔
を例とするが、他のパラメータでも可能である。マウス
カーソル、パラメータおよびGUIは入力手段による入
力が一定時間以上ない場合は画面から消去する。入力が
再開されると自動的にパラメータおよび、GUIは再描
画される。
を例とするが、他のパラメータでも可能である。マウス
カーソル、パラメータおよびGUIは入力手段による入
力が一定時間以上ない場合は画面から消去する。入力が
再開されると自動的にパラメータおよび、GUIは再描
画される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0173
【補正方法】変更
【補正内容】
【0173】StL'(iL'st,jL'st)を追跡開始位置
として、すべての輪郭線E[n] L'(n=0,1,2,‥
‥,NE)を輪郭線追跡する。ここで、NEは輪郭線の
個数である。追跡途中で領域外に達した場合はその時点
で、追跡を終了する。各輪郭線に含まれる画素をe
[n,m] L'(m=0,1,2,‥‥,NPn)とする。ここ
で、NPnは輪郭線E[n] L'に含まれているエッジの個数
である。図45は、E[0] L'、E[1] L'、E[2] L'が抽出
された例を示す。E[0] L'はStL'(iL'st,jL'st)を
開始点として、図45のようにE[0] L'の追跡終了点ま
でが抽出されている。E[1] L'はStL'(iL'st,jL's
t)を開始点として、図45のようにE[1] L'の追跡終了
点までが抽出されている。E[2] L'も同様である。
として、すべての輪郭線E[n] L'(n=0,1,2,‥
‥,NE)を輪郭線追跡する。ここで、NEは輪郭線の
個数である。追跡途中で領域外に達した場合はその時点
で、追跡を終了する。各輪郭線に含まれる画素をe
[n,m] L'(m=0,1,2,‥‥,NPn)とする。ここ
で、NPnは輪郭線E[n] L'に含まれているエッジの個数
である。図45は、E[0] L'、E[1] L'、E[2] L'が抽出
された例を示す。E[0] L'はStL'(iL'st,jL'st)を
開始点として、図45のようにE[0] L'の追跡終了点ま
でが抽出されている。E[1] L'はStL'(iL'st,jL's
t)を開始点として、図45のようにE[1] L'の追跡終了
点までが抽出されている。E[2] L'も同様である。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0198
【補正方法】変更
【補正内容】
【0198】
【数28】 水平目盛 M[n] L'=(CxL'+SpxL'・(n−2),CyL') 垂直目盛 M[n] L'=(CxL' ,CyL'+ SpyL'・(n−6)) ( 28) ステップS254において、内視鏡先端から目盛までの
距離をzL W[mm]として、アルゴリズムAによりM
[n] L'(n=0,1,‥‥,9)の逆補正対応画素M[n]
L(n=0,1,‥‥,9)および、その対応点M[n] R
(n=0,1,‥‥,9)を求める。M[n] Lおよび、M
[n] R(n=0,1,‥‥,9)を用いてアルゴリズムC
により図10のように左オーバーレイ画像に立体目盛6
00L、右オーバーレイ画像に600Rを描画する。
距離をzL W[mm]として、アルゴリズムAによりM
[n] L'(n=0,1,‥‥,9)の逆補正対応画素M[n]
L(n=0,1,‥‥,9)および、その対応点M[n] R
(n=0,1,‥‥,9)を求める。M[n] Lおよび、M
[n] R(n=0,1,‥‥,9)を用いてアルゴリズムC
により図10のように左オーバーレイ画像に立体目盛6
00L、右オーバーレイ画像に600Rを描画する。
【手続補正7】
【補正対象書類名】図面
【補正対象項目名】図51
【補正方法】変更
【補正内容】
【図51】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 315 G06T 1/00 315 5C061 17/40 17/40 F H04N 7/18 H04N 7/18 M 13/00 13/00 Fターム(参考) 2H040 BA15 BA22 GA02 GA11 4C061 CC06 HH51 JJ17 LL08 NN05 WW12 5B050 AA02 BA09 EA19 EA28 FA02 FA06 FA14 5B057 AA07 CA12 CB13 CC01 CD14 DA07 DA16 DB03 DC03 5C054 CA04 CC03 FA02 FC15 FD02 FE13 HA05 5C061 AA01 AA21 AB04 AB18 AB20
Claims (9)
- 【請求項1】 所定の観察対象を第1の撮像手段で撮像
して得られる第1の画像と、前記第1の撮像手段とは異
なる方向から前記所定の観察対象を第2の撮像手段で撮
像して得られた第2の画像とをそれぞれ表示する立体視
可能な計測用内視鏡装置において、 前記第1の撮像手段または前記第2の撮像手段のいずれ
か一方と仮想的または実際の対象物までの距離を設定す
る距離設定手段と、 前記第1の撮像手段によって得られた画像と、前記第2
の撮像手段によって得られた画像において、前記対象物
の同一点が撮像されている対応点を求める対応点決定手
段と、 前記対象物までの前記距離に応じた図形を少なくとも一
つの前記対応点に描画する図形描画手段と、 前記対応点の視差を導出し、視差を検査する検査手段と
を有することを特徴とする計測用内視鏡装置。 - 【請求項2】 前記図形描画手段は、前記対象物までの
距離に応じた目盛を描画する目盛描画機能を有すること
を特徴とする請求項1に記載の計測用内視鏡装置。 - 【請求項3】 前記図形描画手段は、前記対象物までの
複数の距離に対して、前記対応点決定手段により求めら
れた対応点に前記図形を描画するを有することを特徴と
する請求項1に記載の計測用内視鏡装置。 - 【請求項4】 前記図形描画手段は、前記対象物までの
距離に応じた図形描画を停止する機能を有することを特
徴とする請求項1ないし3に記載の計測用内視鏡装置。 - 【請求項5】 入力に応じて所定の処理を実施する入力
処理装置を持つことを特徴とする請求項1ないし3に記
載の計測用内視鏡装置。 - 【請求項6】 前記入力処理装置は、前記図形または、
画像内を指定し、指定された場所に応じて所定の処理を
実施することを特徴とする請求項5に記載の計測用内視
鏡装置。 - 【請求項7】 前記図形描画手段は、前記入力処理装置
からの指示に基づき、前記図形に関するパラメータを変
更することを特徴とする請求項5または6に記載の計測
用内視鏡装置。 - 【請求項8】 前記図形描画手段は、前記入力処理装置
からの指示内容を描画することを特徴とする請求項5ま
たは6に記載の計測用内視鏡装置。 - 【請求項9】 前記入力処理装置により、画像内対象物
上の点を指定し、指定した点について計測する計測手段
を有することを特徴とする請求項6に記載の計測用内視
鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001151092A JP2002336188A (ja) | 2001-05-21 | 2001-05-21 | 計測用内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001151092A JP2002336188A (ja) | 2001-05-21 | 2001-05-21 | 計測用内視鏡装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002336188A true JP2002336188A (ja) | 2002-11-26 |
Family
ID=18996002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001151092A Withdrawn JP2002336188A (ja) | 2001-05-21 | 2001-05-21 | 計測用内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002336188A (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345735A (ja) * | 2001-05-30 | 2002-12-03 | Olympus Optical Co Ltd | 画像処理計測装置及び計測内視鏡装置 |
JP2004187711A (ja) * | 2002-12-06 | 2004-07-08 | Olympus Corp | 内視鏡装置 |
JP2005204724A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | 計測用内視鏡装置 |
WO2007063980A1 (ja) * | 2005-12-03 | 2007-06-07 | Atsushi Takahashi | 口腔内パノラマ画像撮像装置、口腔内パノラマ画像撮像システム |
WO2007077895A1 (ja) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp. | 被検体内導入システムおよび被検体内導入装置の誘導方法 |
JP2007181670A (ja) * | 2005-12-30 | 2007-07-19 | Intuitive Surgical Inc | 3次元テレストレーションを提供する医療ロボットシステム |
JP2008206956A (ja) * | 2007-01-31 | 2008-09-11 | Olympus Corp | 計測用内視鏡装置 |
JP2008295512A (ja) * | 2007-05-29 | 2008-12-11 | Olympus Corp | 計測用内視鏡装置およびプログラム |
US7518632B2 (en) | 2005-12-13 | 2009-04-14 | Olympus Corporation | Endoscope device |
JP2011015721A (ja) * | 2009-07-07 | 2011-01-27 | Fa System Engineering Kk | 立体映像表示装置の立体スケール像形成装置 |
JP2011153995A (ja) * | 2010-01-28 | 2011-08-11 | Fa System Engineering Kk | 立体映像表示装置の立体ノギス像形成装置およびプログラム |
US8201097B2 (en) | 2007-01-05 | 2012-06-12 | Sony Corporation | Information processing apparatus, display control method, and program |
JP2012147857A (ja) * | 2011-01-17 | 2012-08-09 | Olympus Medical Systems Corp | 画像処理装置 |
JP2015531271A (ja) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
JP2017086803A (ja) * | 2015-11-17 | 2017-05-25 | 富士フイルム株式会社 | 計測装置、内視鏡システム、及び計測方法 |
JPWO2018051679A1 (ja) * | 2016-09-15 | 2019-06-24 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 |
JPWO2018159292A1 (ja) * | 2017-03-03 | 2019-11-07 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
JP2019195643A (ja) * | 2019-06-26 | 2019-11-14 | 富士フイルム株式会社 | 内視鏡システム |
WO2020148084A1 (de) * | 2019-01-14 | 2020-07-23 | Lufthansa Technik Ag | Boroskop zur optischen inspektion von gasturbinen |
US11419694B2 (en) | 2017-03-28 | 2022-08-23 | Fujifilm Corporation | Endoscope system measuring size of subject using measurement auxiliary light |
US11490785B2 (en) | 2017-03-28 | 2022-11-08 | Fujifilm Corporation | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light |
-
2001
- 2001-05-21 JP JP2001151092A patent/JP2002336188A/ja not_active Withdrawn
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345735A (ja) * | 2001-05-30 | 2002-12-03 | Olympus Optical Co Ltd | 画像処理計測装置及び計測内視鏡装置 |
JP2004187711A (ja) * | 2002-12-06 | 2004-07-08 | Olympus Corp | 内視鏡装置 |
JP2005204724A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | 計測用内視鏡装置 |
WO2007063980A1 (ja) * | 2005-12-03 | 2007-06-07 | Atsushi Takahashi | 口腔内パノラマ画像撮像装置、口腔内パノラマ画像撮像システム |
JPWO2007063980A1 (ja) * | 2005-12-03 | 2009-05-07 | 高橋 淳 | 口腔内パノラマ画像撮像装置、口腔内パノラマ画像撮像システム |
US7518632B2 (en) | 2005-12-13 | 2009-04-14 | Olympus Corporation | Endoscope device |
US8314834B2 (en) | 2005-12-13 | 2012-11-20 | Olympus Corporation | Endoscope device |
WO2007077895A1 (ja) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp. | 被検体内導入システムおよび被検体内導入装置の誘導方法 |
US7841981B2 (en) | 2005-12-28 | 2010-11-30 | Olympus Medical Systems Corp. | Body-insertable device system and body-insertable device guiding method |
JP2007181670A (ja) * | 2005-12-30 | 2007-07-19 | Intuitive Surgical Inc | 3次元テレストレーションを提供する医療ロボットシステム |
US8201097B2 (en) | 2007-01-05 | 2012-06-12 | Sony Corporation | Information processing apparatus, display control method, and program |
JP2008206956A (ja) * | 2007-01-31 | 2008-09-11 | Olympus Corp | 計測用内視鏡装置 |
JP2013238860A (ja) * | 2007-01-31 | 2013-11-28 | Olympus Corp | 内視鏡装置 |
JP2008295512A (ja) * | 2007-05-29 | 2008-12-11 | Olympus Corp | 計測用内視鏡装置およびプログラム |
JP2011015721A (ja) * | 2009-07-07 | 2011-01-27 | Fa System Engineering Kk | 立体映像表示装置の立体スケール像形成装置 |
JP2011153995A (ja) * | 2010-01-28 | 2011-08-11 | Fa System Engineering Kk | 立体映像表示装置の立体ノギス像形成装置およびプログラム |
JP2012147857A (ja) * | 2011-01-17 | 2012-08-09 | Olympus Medical Systems Corp | 画像処理装置 |
JP2015531271A (ja) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
JP2017086803A (ja) * | 2015-11-17 | 2017-05-25 | 富士フイルム株式会社 | 計測装置、内視鏡システム、及び計測方法 |
JPWO2018051679A1 (ja) * | 2016-09-15 | 2019-06-24 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 |
US11536556B2 (en) | 2016-09-15 | 2022-12-27 | Fujifilm Corporation | Measurement support device, endoscope system, processor for endoscope system, and measurement support method for measuring object size |
JPWO2018159292A1 (ja) * | 2017-03-03 | 2019-11-07 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
US10708553B2 (en) | 2017-03-03 | 2020-07-07 | Fujifilm Corporation | Measurement support device, endoscope system, processor for endoscope system |
US11419694B2 (en) | 2017-03-28 | 2022-08-23 | Fujifilm Corporation | Endoscope system measuring size of subject using measurement auxiliary light |
US11490785B2 (en) | 2017-03-28 | 2022-11-08 | Fujifilm Corporation | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light |
WO2020148084A1 (de) * | 2019-01-14 | 2020-07-23 | Lufthansa Technik Ag | Boroskop zur optischen inspektion von gasturbinen |
US11940351B2 (en) | 2019-01-14 | 2024-03-26 | Lufthansa Technik Ag | Borescope that processes image data into 3-d data for optically inspecting gas turbines |
JP2019195643A (ja) * | 2019-06-26 | 2019-11-14 | 富士フイルム株式会社 | 内視鏡システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002336188A (ja) | 計測用内視鏡装置 | |
CN111783820B (zh) | 图像标注方法和装置 | |
JP6955783B2 (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
JP6011102B2 (ja) | 物体姿勢推定方法 | |
JP6946087B2 (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
EP1536378B1 (en) | Three-dimensional image display apparatus and method for models generated from stereo images | |
US9317924B2 (en) | Information processing apparatus, three-dimensional position calculation method, and program | |
JP2012247364A (ja) | ステレオカメラ装置、ステレオカメラシステム、プログラム | |
JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
JP2018031753A (ja) | 物体検出方法及びその装置 | |
JP2018112790A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP2002156212A (ja) | 目盛表示装置及びその方法 | |
JPH10240934A (ja) | 被写体抽出装置 | |
CN113487679A (zh) | 激光打标机自动调焦系统视觉测距信号处理方法 | |
JP7061092B2 (ja) | 画像処理装置及びプログラム | |
JPH11248431A (ja) | 3次元モデル生成装置および3次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP2005174151A (ja) | 三次元画像表示装置及び方法 | |
JP2001005978A (ja) | 物体抽出装置、物体抽出方法、およびプログラム提供媒体 | |
JP4409924B2 (ja) | 三次元画像表示装置及び方法 | |
JP4427305B2 (ja) | 三次元画像表示装置及び方法 | |
JP2018032144A (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP6704712B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080805 |