JP5513343B2

JP5513343B2 - 撮像装置

Info

Publication number: JP5513343B2
Application number: JP2010237511A
Authority: JP
Inventors: 英一小林
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-10-22
Filing date: 2010-10-22
Publication date: 2014-06-04
Anticipated expiration: 2030-10-22
Also published as: JP2012088278A

Description

本発明は、狭い空間内に挿入されて画像を取得する撮像装置に関する。

従来、配管（測定対象物）などのような狭い空間内に小径の挿入部を挿入して、管路内部の画像を取得する様々な撮像装置が用いられている。
この撮像装置の一つとして内視鏡装置が知られている。内視鏡装置は、配管の管路の傷、腐食を観察・計測することを主な目的としているので、配管の管路の局所的な画像を取得することが多い。そのため、一つの画像が他の画像とどのような位置関係にあるのか、この画像は管路全体のどの部位の画像なのか、などを内視鏡装置の使用者が推測していた。

測定対象物の長さ方向に垂直な断面形状が比較的一定であるトンネルの内部を観察する撮像装置として、特許文献１のような変状調査システムが開示されている。
この変状調査システムは、搬送台車と、搬送台車上で搬送台車の進行方向（トンネル孔軸方向）回りに回動可能に支持されたＣＣＤカメラとを備えている。搬送台車のトンネル孔軸方向の位置を固定した状態で、ＣＣＤカメラを軸回りに回転させながらトンネルの内面の画像を撮影する。撮影した画像同士を、一部を重ね合わせるようにして合成する。
ＣＣＤカメラの光軸とトンネルの内面である撮影面とが常に垂直になっているとは限らないので、そのままでは画像同士を合成することができない。そこで、変状調査システムでは、ＣＣＤカメラの撮影位置に加えて、撮影面の位置と傾き情報を正確に測定できるようになっており、これらの情報をもとに複数の画像を同一縮尺で同一スケールとする幾何学的画像補正を行い、画像同士を合成して、トンネル内面の検査画像を構築している。
また、トンネル内面を帯状に撮影することと、搬送台車をトンネル孔軸方向に移動させることを交互に繰り返すことで、トンネル内面を全体にわたり撮影する。よって、トンネル内面の画像は基本的に、トンネルの入り口側から出口側まで順に取得され、保存されることになる。

特開２００３−１８５５８９号公報

しかしながら、たとえば工業用の内視鏡装置などの撮像装置を使った検査では、特許文献１に記載された変状調査システムとは異なり、たとえば、地下空洞や被災地の瓦礫下などのように、測定対象物の長さ方向に垂直な断面形状が様々に変化する場合がある。
一般的に、地下空洞などの内部形状は不明確であるとともに、内面には数多くの凹凸が形成されているため、特許文献１に開示された幾何学的画像補正を行いやすいような画像を得ることは難しい。
さらに、内部形状が複雑であるほど、長手方向に順を追って内部形状の画像を取得することが困難になり、既に取得した画像を取得した位置が分かりにくくなる。

本発明は、このような問題点に鑑みてなされたものであって、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から観察し直すことが容易な撮像装置を提供することを目的とする。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の撮像装置は、可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が可視光線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。

また、本発明の他の撮像装置は、可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が赤外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。

また、本発明の別の他の撮像装置は、可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が紫外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。

また、上記の撮像装置において、前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることがより好ましい。

また、上記の撮像装置において、前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることがより好ましい。

また、上記の撮像装置において、前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることがより好ましい。

本発明の撮像装置によれば、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から容易に観察し直すことができる。

本発明の第１実施形態の内視鏡装置の全体図である。同内視鏡装置のブロック図である。同内視鏡装置の挿入部の位置によるＣＣＤで取得される画像の違いを説明する図である。同内視鏡装置の挿入部の位置による画像から抽出される抽出画像の違いを説明する図である。同内視鏡装置の主メモリに記憶されたデータセットの内容を示す図である。同内視鏡装置の画像処理部により抽出画像が仮想空間に配置された状態を説明する図である。同画像処理部により平行投影を用いて作成された視線変換全体画像の図である。同画像処理部により透視投影を用いて抽出画像が変換される概要を説明する図である。同画像処理部により透視投影を用いて作成された視線変換全体画像の図である。本発明の第２実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。図１０中の要部拡大図である。同内視鏡装置のＬＣＤに表示された新規抽出画像および視線変換画像を説明する図である。同ＬＣＤに他の方式で表示された新規抽出画像および視線変換画像を説明する図である。図１４（ａ）は同内視鏡装置に通常アダプタを装着したときの視野角を示す図であり、図１４（ｂ）は同内視鏡装置に広角アダプタを装着したときの視野角を示す図である。図１５（ａ）は同内視鏡装置に通常アダプタを装着したときの画像と抽出画像とを比較して示す図であり、図１５（ｂ）は同内視鏡装置に広角アダプタを装着したときの画像と抽出画像とを比較して示す図である。同内視鏡装置に通常アダプタおよび広角アダプタを装着したときの抽出画像を比較して示す図である。本発明の第３実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。同内視鏡装置のＬＣＤに表示された配置範囲表示画像およびライブ画像を示す図である。同内視鏡装置で画像を連続的に取得する様子を示す図である。同内視鏡装置のＬＣＤに表示された配置範囲表示画像およびライブ画像を示す図である。本発明の実施形態の変形例における内視鏡装置で測定対象物の表面の傾きを検出する手順を説明する図である。同内視鏡装置のＬＣＤに表示された指標を表す図である。

（第１実施形態）
以下、本発明に係る撮像装置の第１実施形態を、撮像装置が内視鏡装置である場合について、図１から図９を参照しながら説明する。内視鏡装置は、地下空洞などに挿入され、内部を観察するとともに地下空洞の内部にある測定対象物までの距離を測定する装置である。
図１に示すように、本内視鏡装置１は、前方を観察するとともに前方の画像を取得可能な小径で長尺の挿入部１０と、挿入部１０の基端に接続され挿入部１０などを操作する操作部４０と、操作部４０に接続された内視鏡本体５０と、挿入部１０で取得された画像などを表示する表示部７０とを備えている。

図１および図２に示すように、挿入部１０は、先端側に配置された先端硬質部１１と、先端硬質部１１の基端に接続され湾曲可能な湾曲部１２と、湾曲部１２の基端に接続され可撓性を有する可撓管部１３（図１参照）と、を有している。
一般的に、挿入部の外径として５ｍｍ以上１５ｍｍ以下のものが用いられ、挿入部の長さとして２ｍ以上２０ｍ以下のものが用いられる。
図２に示すように、先端硬質部１１の先端面には、白色の可視光線を前方に照射する発光ダイオードを有する照明ユニット１６および可視光線を集光する観察レンズ１７が配置されている。先端硬質部１１には、可視光線から画像を取得するＣＣＤ（撮像素子）１８、内視鏡本体５０の後述する通信制御部５２との間で信号の送受信を行う通信制御部１９、測定対象物Ｗまでの距離を測定する距離測定部（測定部）２０、距離測定部２０の後述する発光部２６の位置を測定する位置センサ（位置測定部）２１、および発光部２６がレーザー光Ｌ１を照射する向きを測定する姿勢センサ（姿勢測定部）２２が内蔵されている。

ＣＣＤ１８は、可視光線を検出する検出面１８ａを有していて、検出面１８ａで検出した可視光線から画像を取得する。
観察レンズ１７は、挿入部１０の前方における所定の視野角θ_１内の可視光線による像を集光し、ＣＣＤ１８の検出面１８ａ上に結像させる。視野角θ_１に対応して画像が取得される測定対象物Ｗ上の範囲が、表示部７０で表示される観察視野となる。
通信制御部１９は、通信制御部１９に先端が接続され挿入部１０内を通る電線２５の本数を、たとえば３本にするために、複数の信号を１つの信号に重畳したり分離したりする処理を行う。

本実施形態では、距離測定部２０として、レーザー光が照射されてから測定対象物で反射されて検出されるまでの時間に基づいて測定対象物までの距離を測定するＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）型の距離センサが用いられている。
距離測定部２０は、赤色のレーザー光Ｌ１を前方に照射する発光部２６と、通信制御部１９からの信号に基づいて発光部２６を制御する光制御部２７と、赤色の可視光線を検出する受光部２８と、受光部２８で検出したレーザー光Ｌ１の信号を増幅する戻光検出部２９と、発光部２６から測定対象物Ｗまでの距離を算出する距離算出部３０とを有している。

発光部２６および受光部２８は、先端硬質部１１の先端面に配置されている。ＣＣＤ１８および発光部２６は、測定誤差を抑えるために、先端硬質部１１の先端面において互いに近い位置に配置されていることが好ましい。
光制御部２７は、通信制御部１９と電気的に接続されていて、通信制御部１９から受信した信号に基づいて、発光部２６への電力の供給状態を切替える。
使用者は、発光部２６が測定対象物Ｗの表面の一部である被照射領域Ｗ１にレーザー光Ｌ１を照射したときに、被照射領域Ｗ１が、観察レンズ１７の視野角θ_１内に位置するように、挿入部１０の先端から被照射領域Ｗ１までの距離を調節して使用する。
測定対象物Ｗの表面において、被照射領域Ｗ１、および被照射領域Ｗ１に隣接する隣接領域Ｗ２は、照明ユニット１６により白色の可視光線で照明される。発光部２６は、赤色のレーザー光Ｌ１を被照射領域Ｗ１に照射することで、隣接領域Ｗ２に対して被照射領域Ｗ１が反射する可視光線の色彩を、ＣＣＤ１８が取得する画像により使用者などが識別可能となるように異ならせることができる。

被照射領域Ｗ１と隣接領域Ｗ２とが画像により識別可能となるように色彩を異ならせるために、レーザー光Ｌ１の色彩は測定対象物Ｗの表面の色彩と異なるものを用いることが好ましい。また、たとえば、外界の光を遮断して被照射領域Ｗ１および隣接領域Ｗ２を白色光で１００ｌｘ（ルクス）の照度で照明したときに、被照射領域Ｗ１を照射する赤色のレーザー光Ｌ１の単独の照度を１５０ｌｘ以上とすることが好ましい。

受光部２８には、ＰＳＤ（ＰｏｓｉｔｉｏｎＳｅｎｓｉｔｉｖｅＤｅｔｅｃｔｏｒ）やＣＣＤなどの、指向性が高く、前方から受光部２８に向かう受信方向Ｄからの赤色の可視光線を検出する素子を適宜選択して用いることができる。
一般的に、発光部２６から測定対象物Ｗまでの距離は、発光部２６と受光部２８との間の距離に比べて充分大きくなっている。さらに本実施形態では、発光部２６と受光部２８との相対位置が変わらないように構成されているので、湾曲部１２を湾曲したときに、発光部２６がレーザー光Ｌ１を照射する被照射領域Ｗ１から受光部２８に向かう方向が受信方向Ｄとなる。
距離算出部３０は、発光部２６でレーザー光Ｌ１が照射された時から、被照射領域Ｗ１で反射されたレーザー光Ｌ１が受光部２８で受光される時までの時間差に基づいて、発光部２６から測定対象物Ｗの被照射領域Ｗ１までの距離を算出し、その結果を信号として通信制御部１９に送信する。

姿勢センサ２２としては、たとえば、加速度センサやジャイロスコープなどを、位置センサ２１としては、加速度センサ、および加速度センサで検出される加速度を積分して位置を算出する装置を組み合わせたものを、それぞれ用いることができる。位置センサ２１は、後述するように内視鏡本体５０に対して定められたグローバル座標（基準座標）における所定の基準位置に対する発光部２６の位置を測定する
これまで説明した距離測定部２０、姿勢センサ２２、および位置センサ２１としては、上述のような公知のセンサを適宜用いることができる。

図１に示すように、操作部４０には、湾曲部１２を湾曲操作するための湾曲操作ボタン４１と、内視鏡本体５０、および表示部７０などを操作するための主操作ボタン４２とが設けられている。

内視鏡本体５０は、図１および図２に示すように、ケーシング５１と、ケーシング５１に内蔵された、通信制御部１９との間で信号の送受信を行う通信制御部５２、照明ユニット１６を制御する照明制御部５３、画像から抽出画像を作成する画像切出し部５４、被照射領域Ｗ１の位置および向きを算出する領域状態算出部５５、抽出画像を被照射領域Ｗ１の位置および向きに対応付けて記憶する主メモリ（記憶部）５６、抽出画像を変換した視線変換全体画像を作成して表示部７０に表示させる画像処理部５７、内視鏡本体５０全体としての制御処理を行う処理部５８、および挿入部１０や表示部７０などに電力を供給する電源部５９とを有している。

前述の電線２５は、中間部が操作部４０に接続されているとともに、基端が通信制御部５２に接続されている。通信制御部５２は、通信制御部１９と同様に信号の重畳、分離処理を行う。通信制御部５２は、照明制御部５３、画像切出し部５４、領域状態算出部５５および電源部５９にそれぞれ電気的に接続されている。
画像切出し部５４、主メモリ５６、および処理部５８は、この順で直列となるように接続されている。
画像切出し部５４は、ＣＣＤ１８が取得した画像から抽出画像を作成するときに、抽出画像が被照射領域Ｗ１を含むように抽出する。抽出画像の抽出方法を図３および図４を用いて説明する。

前述したようにＣＣＤ１８は、挿入部１０に配置された観察レンズ１７の視野角θ_１内の可視光線による画像を取得する。図３に示すように、測定対象物Ｗに対して挿入部１０が配置された位置によらず視野角θ_１は一定である一方で、画像を取得するときの観察レンズ１７の位置である撮像位置Ｐ_iから被照射領域Ｗ１の位置である測定位置Ｑ_iまでの距離（距離測定部２０により測定される測定距離ｄ_i）は、挿入部１０が配置された位置より異なる場合がある。なお、図３には、撮像位置Ｐ_iなどのｉが１から４までの場合の、４種類の撮像位置Ｐ_１〜Ｐ_４、および撮像位置Ｐ_１〜Ｐ_４に対応する測定位置Ｑ_１〜Ｑ_４、測定距離ｄ_１〜ｄ_４をそれぞれ示している。
撮像位置Ｐ_iで取得される画像に測定位置Ｑ_iにおいて写される長さＶ_iは、（１）式に従って測定距離ｄ_iが大きくなるほど大きくなる。
Ｖ_i＝２ｄ_i×ｔａｎθ_１・・（１）

図３に示すように、被照射領域Ｗ１の測定位置Ｑ_iを通るとともに画像を取得したときの観察レンズ１７の光軸（発光部２６の向き）に直交する基準面Ｓ_iを規定する。このときに、画像切出し部５４は、図４に示すように、抽出画像に写された像の基準面Ｓ_i上での形状Ｋ_iが互いに等しく、たとえば１辺が３０ｍｍの正方形状となるように、画像から抽出画像を抽出する。言い換えれば、基準面Ｓ_i上で測定位置Ｑ_iを含んで互いに同一形状となる形状Ｋ_iに対して、ＣＣＤ１８の検出面１８ａから投影した範囲内の像として、それぞれの画像から抽出画像を抽出する。
本実施形態において、画像および抽出画像は、複数の画素を全体として正方形状に並べることにより構成されている。測定位置Ｑ_１〜Ｑ_４を通る形状Ｋ_１〜Ｋ_４は、それぞれが１辺が３０ｍｍの正方形状であるが、たとえば、測定距離ｄ_１より測定距離ｄ_２の方が長くなっているので、以下に示すように、形状Ｋ_iに対する撮像位置Ｐ_iにおける角度α_iを調節する。
すなわち、３０ｍｍなどの長さＶ_０を予め定めておき、挿入部１０の観察レンズ１７が撮像位置Ｐ_iにあり、距離測定部２０により測定された撮像位置Ｐ_iから測定位置Ｑ_iまでの測定距離ｄ_iに対して、（２）式により得られる角度α_iに対応する一辺の長さを有する正方形状の範囲内の画素からなる抽出画像を抽出する。
α_i＝ｔａｎ^−１（Ｖ_i／（２ｄ_i））・・（２）
このため、形状Ｋ_１を写した抽出画像の１辺の画素数がたとえば２００であるのに対して、形状Ｋ_２を写した抽出画像の一辺の画素数は、２００より少ない１５０となっている。

領域状態算出部５５は、抽出画像の被照射領域Ｗ１の向きとして、被照射領域Ｗ１を抽出した画像を取得したときの発光部２６のグローバル座標における向きを求める。また、被照射領域Ｗ１の位置として、画像を取得したときの発光部２６のグローバル座標における位置から前記発光部２６の向きに測定距離ｄ_i移動した位置を算出して求める。領域状態算出部５５は、求めた被照射領域Ｗ１の位置および向きのデータを主メモリ５６に送信する。
主メモリ５６は、図５に示すように、領域状態算出部５５により送信された被照射領域Ｗ１の位置および向きのデータを、被照射領域Ｗ１を抽出した抽出画像データに対応付けて１つのデータセットとして記憶する。被照射領域Ｗ１の位置データとしては、たとえば直交座標系における座標データ、向きデータとしては、被照射領域Ｗ１における正規化された法線ベクトルなどを用いることができる。
画像処理部５７が行う処理については、後で詳しく説明する。
図２に示すように、処理部５８は、照明制御部５３および画像処理部５７と電気的に接続されている。

図１および図２に示すように、ケーシング５１の外面には、処理部５８および電源部５９に電気的に接続されたコネクタ６２と、挿入部１０の先端硬質部１１が係止されて内視鏡本体５０に対して位置決めされる係止部材６３と、抽出画像を変換する基準となる視線方向などを入力するためのフロントパネル（方向入力部）６４とが取付けられている。
フロントパネル６４には、複数の入力ボタン６４ａが設けられている。入力ボタン６４ａを操作することで、内視鏡装置１全体としての電源のＯＮ／ＯＦＦ操作を行ったり、視線方向を入力したりすることができる。

表示部７０は、ケーシング５１に着脱自在に配設されている。表示部７０は、画像などを表示するＬＣＤ７１と、コネクタ６２に着脱可能な配線７２とを有している。
配線７２をコネクタ６２に接続することで、表示部７０は電源部５９から所定の電力を供給されるとともに、処理部５８から送信された画像などをＬＣＤ７１に表示することができる。

次に、画像処理部５７が行う処理について説明する。
画像処理部５７は、主メモリ５６に記憶された位置および向きに基づいて、図６に示すように、画像切出し部５４が抽出した抽出画像Ｅ_１〜Ｅ_４を仮想空間Ｉに配置する。そして、フロントパネル６４から入力される視線方向Ｆに基づいて仮想空間Ｉに配置された抽出画像Ｅ_１〜Ｅ_４を変換して視線変換全体画像を作成する。
画像処理部５７は、仮想空間Ｉにおいて、抽出画像Ｅ_i中の被照射領域Ｗ１の像が抽出画像Ｅ_iに対応付けて記憶された位置に設置されるように抽出画像Ｅ_iを配置するとともに、抽出画像Ｅ_iが抽出画像Ｅ_iに対応付けて記憶された向きに向くように配置する。
視線方向Ｆに基づいて抽出画像Ｅ_iを変換するとは、抽出画像Ｅ_iを視線方向Ｆから見たように公知の方法を用いて投影することを意味する。この投影方法としては、抽出画像を充分遠い位置から見たように表した平行投影、抽出画像が配置された位置の遠近感が表現される透視投影などの公知の方法がある。
視線方向Ｆが画像を取得したときの先端硬質部１１の軸線に平行であって平行投影が用いられる場合には、図７に示すように、ＬＣＤ７１に表示された視線変換全体画像７５中の、各抽出画像Ｅ_１〜Ｅ_４が変換された画像である視線変換画像Ｇ_１〜Ｇ_４の外形形状は全て同一となる。ただし、抽出画像Ｅ_iが抽出された画像に対する測定距離ｄ_iは一部異なっていて、それぞれの視線変換画像Ｇ_i中の画素ｇの数は測定距離ｄ_iに対応して異なる。
画像処理部５７は、たとえばアフィン変換という公知の変換方法を用いて、抽出画像Ｅ_iを視線方向Ｆに基づいて視線変換画像Ｇ_iに変換する。

なお、視線方向Ｆが画像を取得したときの先端硬質部１１の軸線に平行であって透視投影が用いられる場合には、図８に示すように、抽出画像Ｅ_iは、視点Ａ１を中心とした所定の半径の球面Ａ２上に投影されるように変換される。このため、図９に示すように、視線変換画像Ｇ_２〜Ｇ_４の外形形状は互いに異なり、遠近感が表現される。

次に、以上のように構成された内視鏡装置１を地下空洞内に挿入して測定対象物Ｗを観察するときの動作について説明する。
まず、使用者は、係止部材６３に挿入部１０の先端硬質部１１を係止した状態でフロントパネル６４の入力ボタン６４ａを操作することで、内視鏡装置１全体を電源ＯＮ状態、すなわち起動状態にする。このときの内視鏡本体５０に対する先端硬質部１１の位置が、グローバル座標上で基準位置として認識される。
使用者が、挿入部１０を係止部材６３から取外して不図示の地下空洞内に挿入すると、位置センサ２１は発光部２６の位置を、姿勢センサ２２は発光部２６の向きをそれぞれ測定する。測定結果は表示部７０に送信され、ＬＣＤ７１に表示される。
照明ユニット１６により前方を照明するとともに発光部２６から前方に赤色のレーザー光Ｌ１を照射しながら、必要に応じて操作部４０の湾曲操作ボタン４１を操作して湾曲部１２を湾曲させ、挿入部１０を地下空洞内に挿入していく。

使用者は、地下空洞中の所望の位置で、測定対象物Ｗに挿入部１０の先端硬質部１１が対向するように位置決めする。そして、操作部４０を操作することでＣＣＤ１８により被照射領域Ｗ１が写された測定対象物Ｗの画像を取得すると同時に、位置センサ２１および姿勢センサ２２により発光部２６の位置および向きが測定され、距離測定部２０により発光部２６から被照射領域Ｗ１までの測定距離ｄ_iが算出される。
画像切出し部５４は、抽出画像Ｅ_iに写された像の基準面Ｓ_i上での形状Ｋ_iが互いに等しくなるように、取得された画像から抽出画像Ｅ_iを抽出して主メモリ５６に送信する。一方で、領域状態算出部５５は、発光部２６の位置および向き、並びに測定距離ｄ_iから被照射領域Ｗ１の位置および向きを算出して主メモリ５６に送信する。主メモリ５６は、画像切出し部５４から送信された抽出画像Ｅ_iを領域状態算出部５５から送信された被照射領域Ｗ１の位置および向きに対応付けてデータセットとして記憶する。

測定対象物Ｗの抽出画像Ｅ_iをたとえば複数取得した後で、使用者はフロントパネル６４を操作して、これらの抽出画像Ｅ_iを見たい視線方向Ｆを入力する。すると、画像処理部５７は、主メモリ５６に記憶された複数のデータセットを読み出して仮想空間Ｉに複数の抽出画像Ｅ_iを配置し、視線方向Ｆに基づいて変換して作成した視線変換全体画像７５をＬＣＤ７１に表示する。
必要に応じて視線方向Ｆを繰り返してフロントパネル６４から入力して、抽出画像Ｅ_iを様々な視線方向Ｆから確認しながら測定対象物Ｗを観察していく。

以上説明したように、本実施形態の内視鏡装置１によれば、使用者は、ＣＣＤ１８で取得した映像を表示部７０で確認しながら地下空洞内に挿入部１０を挿入していき、測定対象物Ｗの近傍に挿入部１０の先端を配置する。そして、ＣＣＤ１８により可視光線による画像を取得するとともに、発光部２６から赤色のレーザー光Ｌ１を測定対象物Ｗの被照射領域Ｗ１に照射し、受光部２８で被照射領域Ｗ１からの可視光線を検出することで距離測定部２０により発光部２６から被照射領域Ｗ１までの距離を測定する。さらに、位置センサ２１により発光部２６の位置、姿勢センサ２２により発光部２６の向きをそれぞれ測定する。
画像切出し部５４により被照射領域Ｗ１を含んだ領域を抽出して抽出画像Ｅ_iを作成し、領域状態算出部５５により発光部２６の位置および向き、並びに発光部２６から被照射領域Ｗ１まで距離に基づいて、被照射領域Ｗ１の位置および向きを算出する。主メモリ５６に、算出された被照射領域Ｗ１の位置および向きのデータを、この被照射領域Ｗ１を含む抽出した抽出画像Ｅ_iに対応付けてデータセットとして記憶する。
さらに、画像処理部５７により、仮想空間Ｉに被照射領域Ｗ１の位置および向きに基づいて配置された抽出画像Ｅ_iをフロントパネル６４から入力された視線方向Ｆに基づいて変換して視線変換全体画像７５を作成し、表示部７０に表示する。

このように、ＣＣＤ１８が配置されている挿入部１０が小径かつ長尺であって、ＣＣＤ１８を測定対象物Ｗの広範囲の画像を一度に取得する仕様にできない場合であっても、仮想空間Ｉに複数の抽出画像Ｅ_iを配置し、所望の視線方向Ｆから見たように表示することができる。これにより、地下空洞内の測定対象物Ｗの各部位の抽出画像Ｅ_iおよび位置を取得するとともに、後で、取得した抽出画像Ｅ_iを所望の視線方向Ｆから観察することができる。

また、画像切出し部５４は、抽出画像Ｅ_iに写された像の基準面Ｓ_i上での形状Ｋ_iが互いに等しくなるように画像から抽出画像Ｅ_iを抽出し、抽出画像Ｅ_iを表示部７０に表示する。このため、抽出画像Ｅ_iにおける測定対象物Ｗの大きさの比較を容易に行うことができる。

（第２実施形態）
次に、本発明の第２実施形態について図２、および図１０から図１６を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図２に示すように、本実施形態の内視鏡装置２は、前記第１実施形態の内視鏡装置１の画像処理部５７に代えて画像処理部８１を備えている。
画像処理部８１は、画像切出し部５４で新たに作成された新規抽出画像（抽出画像）の被照射領域Ｗ１の位置と同一の位置が主メモリ５６に既に記憶されていることを検出したときに、以下に説明するような処理を行う。すなわち、この同一の位置に対応付けられて主メモリ５６に既に記憶された参照抽出画像（抽出画像）を新規抽出画像を抽出した画像を取得したときの発光部２６の向きに基づいて変換した視線変換画像と、新規抽出画像とを表示部７０に表示させる。

より具体的に説明すると、主メモリ５６に、図１０に示す参照抽出画像Ｈ_１〜Ｈ_４が既に記憶されていて、再び測定対象物Ｗの新規抽出画像を取得する場合を考える。このような場合としては、たとえば、地下空洞などに挿入部１０を挿入していくときに参照抽出画像Ｈ_iを主メモリ５６に既に記憶していて、この地下空洞などから挿入部１０を取出していくときに新規抽出画像を取得する場合や、この参照抽出画像Ｈ_iを取得し記憶してからたとえば数週間経過した後で再びこの地下空洞に挿入部１０を挿入していきながら新規抽出画像を取得する場合などが挙げられる。

使用者は、地下空洞中の所望の位置で、図１０および図１１に示すように、測定対象物Ｗに挿入部１０の先端硬質部１１が対向するように位置決めする。そして、操作部４０を操作することでＣＣＤ１８により被照射領域Ｗ１が写された測定対象物Ｗの画像を取得し、この画像から抽出した新規抽出画像Ｉ_３（図１１参照）に写された被照射領域Ｗ１の位置などを算出する。
画像処理部８１は、この算出された位置が、主メモリ５６に既に記憶された、たとえば測定位置Ｑ_３と同一の位置であると検出すると、測定位置Ｑ_３に対応付けて記憶された参照抽出画像Ｈ_３を新規抽出画像Ｉ_３を抽出した画像を取得したときの発光部２６の向きＡ３に基づいて変換して視線変換画像を作成する。そして、図１２に示すように、この視線変換画像８２と新規抽出画像Ｉ_３とを、表示部７０のＬＣＤ７１に表示させる。

視線変換画像８２は、参照抽出画像Ｈ_３の向きおよび発光部２６の向きＡ３に対応した方向および比率で変形した状態で、ＬＣＤ７１に表示される。図１２に示す例では、視線変換画像８２は元の形状から一方向に圧縮して表示されている。

このように構成された本実施形態の内視鏡装置２によれば、測定対象物Ｗの内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Ｆから容易に観察し直すことができる
さらに、内視鏡装置２は画像処理部８１を備えているため、測定対象物Ｗの同一の位置を写した新規抽出画像Ｉ_３と視線変換画像８２とを容易に比較することができる。そして、必要に応じて、不要となった一方の画像を主メモリ５６から消去して、主メモリ５６を効果的に使用することができる。

なお、本実施形態では、図１３に示すように、新規抽出画像Ｉ_３に写された像の一方の側Ｂ１、および、視線変換画像８２に写された像の他方の側Ｂ２を互いに連続させてＬＣＤ７１に表示してもよい。このように表示することで、新規抽出画像Ｉ_３と視線変換画像８２とをさらに容易に比較することができる。

また、本実施形態は、内視鏡装置２が、観察レンズ１７に代えて、互いに視野角が異なってＣＣＤ１８の検出面１８ａ上に可視光線の像を結像させるとともに挿入部１０の先端に着脱可能な通常観察レンズおよび広角観察レンズをそれぞれ有する通常アダプタおよび広角アダプタを備える場合にも効果的である。
図１４（ａ）および図１５（ａ）に、視野角θ_１が比較的狭い通常観察レンズを有する通常アダプタを用いた場合の画像Ｍ_２と抽出画像Ｅ_２との範囲を示し、図１４（ｂ）および図１５（ｂ）に、視野角θ_２が比較的広い広角観察レンズを有する広角アダプタを用いた場合の画像Ｍ_１１と抽出画像Ｅ_１１との範囲を示す。
同一のＣＣＤ１８を用いているため、画像Ｍ_２および画像Ｍ_１１の画素数は一定であり、さらに、抽出画像Ｅ_２および抽出画像Ｅ_１１に写された像の基準面Ｓ_２上での形状Ｋ_２は互いに等しい。このため、図１６に示すように、ＬＣＤ７１に表示された抽出画像Ｅ_２および抽出画像Ｅ_１１は互いに同一形状となるが、抽出画像Ｅ_２より抽出画像Ｅ_１１の方が画像が粗くなる。
この場合においても、抽出画像Ｅ_２と抽出画像Ｅ_１１とを容易に比較することができる。

（第３実施形態）
次に、本発明の第３実施形態について図２、図１７から図２０を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図２に示すように、本実施形態の内視鏡装置３は、前記第１実施形態の内視鏡装置１の画像処理部５７に代えて画像処理部９１を備えている。

図１７に示すように、参照抽出画像Ｈ_１〜Ｈ_４が既に主メモリ５６に記憶されていて、再び測定対象物Ｗの抽出画像を取得する場合を考える。
画像処理部９１は、仮想空間Ｉに配置された参照抽出画像Ｈ_iを視線方向Ｆから見たように変換した図１８に示す視線変換画像Ｇ_１〜Ｇ_４を含んだ視線変換全体画像中に、ＣＣＤ１８が新たに取得する画像から画像切出し部５４が抽出する抽出画像が配置される抽出画像配置範囲Ｒを重ね合わせた配置範囲表示画像９２を作成してＬＣＤ７１に表示させる。なお、配置範囲表示画像９２中の範囲Ｘは、まだ抽出画像が取得されていない範囲を示す。
ＬＣＤ７１には、ＣＣＤ１８が新たに取得するライブ画像（画像）９３が、配置範囲表示画像９２とともに表示される。

このように構成された本実施形態の内視鏡装置３によれば、測定対象物Ｗの内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Ｆから観察し直すことができる。
さらに、仮想空間Ｉにおいて、既に記憶された参照抽出画像Ｈ_iの位置および範囲、および、これから取得する抽出画像が配置される抽出画像配置範囲Ｒを確認しながら抽出画像を取得する。このため、抽出画像の撮り残しを防止することができる。

また、本実施形態は、内視鏡装置３が抽出画像を自動で連続的に取得する場合にも効果的である。たとえば、図１９に示すように、測定対象物Ｗに対して内視鏡装置３の挿入部１０を移動させながら、たとえば１秒当たり数枚程度の抽出画像を連続的に取得する場合がある。
この場合、図２０に示すように、ＬＣＤ７１には、連続的に取得している画像から抽出された抽出画像を画像処理部９１で変換した視線変換画像Ｇと、ＣＣＤ１８が新たに取得する画像から画像切出し部５４が抽出する抽出画像が配置される抽出画像配置範囲Ｒとが重ね合わせて表示される。
この場合においても、抽出画像を連続的に取得しながら、抽出画像の撮り残しを防止することができる。

以上、本発明の第１実施形態から第３実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更なども含まれる。さらに、各実施形態で示した構成のそれぞれを適宜組み合わせて利用できることは、言うまでもない。
たとえば、前記第１実施形態から第３実施形態では、発光部２６が赤色のレーザー光Ｌ１を照射し、被照射領域Ｗ１と隣接領域Ｗ２との色彩を異ならせることで、ＣＣＤ１８が取得する画像により使用者などが識別可能となるように構成した。しかし、発光部が所定の照度以上の白色の可視光線を照射して隣接領域Ｗ２より被照射領域Ｗ１の明るさを異ならせることで、被照射領域Ｗ１と隣接領域Ｗ２とを画像により識別可能となるように構成してもよい。
このとき、たとえば、照明ユニット１６が被照射領域Ｗ１および隣接領域Ｗ２を白色光で１００ｌｘの照度で照明したときに、発光部２６が被照射領域Ｗ１を照射する白色光単独の照度を１５０ｌｘ以上とすることが好ましい。

また、前記第１実施形態から第３実施形態では、発光部２６が赤色のレーザー光Ｌ１を照射し、ＣＣＤ１８が可視光線を検出するものとし、発光部２６は、照射するレーザー光Ｌ１により被照射領域Ｗ１と隣接領域Ｗ２とを使用者などが識別可能となるように色彩を異ならせるとした。
しかし、発光部が赤外線を照射し、挿入部１０のＣＣＤが赤外線および可視光線を検出可能なものであり、発光部は、自身が照射する赤外線により被照射領域Ｗ１と隣接領域Ｗ２とを識別可能となるように赤外線の強度を異ならせるように構成してもよい。同様に、発光部が紫外線を照射し、ＣＣＤが紫外線および可視光線を検出可能なものであり、発光部は、自身が照射する紫外線により被照射領域Ｗ１と隣接領域Ｗ２とを識別可能となるように紫外線の強度を異ならせるように構成してもよい。

また、前記第１実施形態から第３実施形態では、図２１に示すように、内視鏡装置が測定対象物Ｗの表面の傾きを検出し、挿入部１０の軸線Ｃに１対する測定対象物Ｗの表面の傾きが所定の値以上である場合には、使用者に注意を促す表示を示したり、音声を発したりするように構成してもよい。
注意を促す条件としては、たとえば、挿入部１０の可撓管部１３の位置を固定した状態で湾曲部１２の先端を角度β湾曲させる前後での測定距離ｄ_１、ｄ_２に対して（３）式の値が所定の閾値を越えるときとすることができる。
｜ｄ_１−ｄ_２｜／β ・・（３）
使用者に注意を促す表示としては、図２２に示すように、ＬＣＤ７１に測定対象物Ｗの傾きが大きくなるように従って、正方形から、対向する一辺Ｚ１に対して他辺Ｚ２が短くなる台形に変形する指標Ｚを用いてもよい。また、使用者に注意を促す音声としては、「挿入部が正面を向くように調整してください」などのような文章を用いることができる。

前記第１実施形態から第３実施形態では、たとえば、観察レンズ１７がピントを調節できる距離の範囲内に距離測定部２０が測定する測定距離ｄ_iが入ったときに、内視鏡装置が自動的に所定の時間間隔で抽出画像を取得するように構成してもよい。また、距離測定部２０が測定する測定距離ｄ_iが、観察レンズ１７がピントを調節できる距離よりも長い場合に、「挿入部を測定対象物に近づけて下さい」のような案内の音声を発してもよい。
前記第１実施形態から第３実施形態では、距離測定部２０としてＴＯＦ型の距離センサを用いた。しかし、内視鏡装置で用いられる距離センサはこれに限ることなく、たとえば、三角測量方式、ステレオ計測方式、そしてマルチレーザポイント方式などの周知の距離センサを用いることができる。

また、前記第１実施形態から第３実施形態では、撮像装置が内視鏡装置であるとしたが、撮像装置は内視鏡装置に限ることなく、照明部および撮像素子を有する先端ユニットが挿入部の先端に回動可能に支持されたパイプカメラなどでもよい。
前記第１実施形態から第３実施形態では、２つの画像に写されたものの大きさを比較する必要が無い場合は、抽出画像は画像と同じ大きさであってもよい。

１、２、３内視鏡装置（撮像装置）
１０挿入部
１８ＣＣＤ（撮像素子）
２０距離測定部（測定部）
２１位置センサ（位置測定部）
２２姿勢センサ（姿勢測定部）
２６発光部
２８受光部
５４画像切出し部
５５領域状態算出部
５６主メモリ（記憶部）
５７、８１、９１画像処理部
６４フロントパネル（方向入力部）
７０表示部
Ｄ受信方向
Ｅ_i 抽出画像
Ｆ視線方向
Ｈ参照抽出画像
Ｉ仮想空間
Ｉ_i 新規抽出画像
Ｍ_i 画像
Ｓ_i 基準面
Ｗ測定対象物
Ｗ１被照射領域

Claims

可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、
測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が可視光線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。
可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、
測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が赤外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴とする撮像装置。
可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、
測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が紫外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。
前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、
前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、
前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、
前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。