JP2011156203A

JP2011156203A - 画像処理装置、内視鏡システム、プログラム及び画像処理方法

Info

Publication number: JP2011156203A
Application number: JP2010021095A
Authority: JP
Inventors: Keiji Higuchi; 圭司樋口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-02-02
Filing date: 2010-02-02
Publication date: 2011-08-18

Abstract

【課題】処置の際に病変などの注目領域の位置情報を医師等に提示できる画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、取得部１３５と、第２検出部１３１と、注目位置情報抽出部１３２と、を含む。第１の内視鏡装置１０の第１検出部１０３は、第１の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する。第２検出部１３１は、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２基準注目領域を含む画像を検出する。注目位置情報抽出部１３１は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する。
【選択図】図１

Description

本発明は、画像処理装置、内視鏡システム、プログラム及び画像処理方法等に関する。

近年では、体腔検査において患者が飲み込んで使用するカプセル型内視鏡が普及している。このカプセル型内視鏡は、各臓器を通過する際に体腔内を順次撮影していき、医師は、撮影完了後にその画像をチェックすることで病変の検出や診断を行う。

特開２００６−２３０９０６号公報

しかしながら、カプセル型内視鏡は病変の検出を行うものであり、検出した病変の処置にはスコープ型内視鏡を用いるのが一般的である。そのため、医師が処置する際には、カプセル型内視鏡で検出された病変の位置へスコープ型内視鏡を操作する必要があるという課題がある。

例えば、特許文献１には、スコープ型内視鏡やカプセル型内視鏡を使用しながらＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）により体内の３次元画像を生成する手法が開示されている。この手法では、生成した３次元画像から体内での内視鏡の位置情報を取得し、その位置情報を含む種々の情報を医者に提示する。

しかしながら、ＣＴやＭＲＩによる３次元画像の取得と内視鏡の位置情報の取得とを同時に行うため、検査や診断に時間をかけられず、医師が診断を誤る可能性がある。また、ＣＴやＭＲＩを用いる必要があるため、これらの機器の準備の手間が多くかかったり、機器のない病院などでは莫大な設備導入のコストが必要になってしまう。

本発明の幾つかの態様によれば、処置の際に病変などの注目領域の位置情報を医師等に提示できる画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、を含み、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理装置に関係する。

本発明の一態様によれば、ユーザが第２の内視鏡装置を用いる際に、注目領域の位置情報を提供することが可能になる。また、第１、第２の基準で注目領域を検出することで、２つの異なる基準での検出処理が可能になる。

また、本発明の他の態様は、第１の内視鏡装置が位置する部位を判別する第１部位判別部と、前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、を含み、前記第１部位判別部は、前記第１の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第１の内視鏡装置が位置する部位を判別し、前記第１位置情報取得部は、前記第１部位判別部によって判別された結果を、前記第１の内視鏡装置によって画像が撮像された際の前記第１の位置情報として取得し、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理装置に関係する。

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第１の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する第１検出部と、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、を含む内視鏡システムに関係する。

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する第１検出部と、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部と、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、第２の内視鏡装置の体内での位置を示す第２の位置情報を取得する第２位置情報取得部と、前記第１位置情報取得部により取得された前記第１の位置情報と、前記第２位置情報取得部により取得された前記第２の位置情報とを対応付ける対応付け部と、前記対応付け部による対応付けの結果に基づく情報を表示部に表示する制御を行う表示制御部と、を含む内視鏡システムに関係する。

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部として、コンピュータを機能させ、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出するプログラムに関係する。

また、本発明の他の態様は、第１の内視鏡装置の第１検出部が、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得し、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である前記第２基準注目領域を含む画像を検出し、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理方法に関係する。

本実施形態のシステム構成例。受信機と受信装置の装着についての説明図。位置情報、検出情報の説明図。位置情報、検出情報、注目位置情報の説明図。２次元体内マップの説明図。撮像画像と２次元体内マップの表示例。警告表示の表示例。ナビゲーション情報の表示例。図９（Ａ）〜図９（Ｃ）は、ナビゲーション情報の表示例。本実施形態の第２のシステム構成例。１次元体内マップの説明図。撮像画像と１次元体内マップの表示例。カプセル型内視鏡の第１の詳細な構成例。カプセル型内視鏡の第２の詳細な構成例。ソフトウェア処理で用いられるコンピュータの構成例。ソフトウェア処理で用いられるコンピュータの構成例。本実施形態の処理を説明するためのフローチャート。本実施形態の処理を説明するためのフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．システム構成例
上述のように、カプセル型内視鏡を用いて病変を検出し、その病変の処置をスコープ型内視鏡を用いて行う場合、検出した病変の場所を医師が探す必要があるという課題がある。本実施形態は、カプセル型内視鏡により病変の検出とその位置の取得を行い、取得した病変位置に基づいて医師にナビゲーション情報を表示する。図１に、この本実施形態のシステム構成例を示す。

なお以下では、第１の内視鏡装置がカプセル型内視鏡であり、第２の内視鏡装置がスコープ型内視鏡である場合を例に説明するが、これらの内視鏡装置は他の内視鏡装置であってもよい。例えば、第１の内視鏡装置はスコープ型内視鏡であってもよい。

このシステム構成例は、第１の内視鏡システム１００、第２の内視鏡システム２００を含む。そして、第１の内視鏡システム１００は、カプセル型内視鏡１０（広義には第１の内視鏡装置）、第１の受信機１１、第１の受信装置１２、画像処理装置１３（例えばコンピュータ）、記憶装置１４を含む。第２の内視鏡システム２００は、スコープ型内視鏡１５、第２の受信機１６、第２の受信装置１７、制御装置１８（例えばプロセッサ）、出力装置１９（表示装置、表示モニター）を含む。

カプセル型内視鏡１０は、患者が飲み込んで用い、消化管の粘膜等を撮影する。このカプセル型内視鏡１０は、撮像部１０１、第１画像取得部１０２、第１検出部１０３、発信機１０４、制御部１０５を含む。撮像部１０１は、例えば図示しないレンズ系と、撮像素子、Ａ／Ｄ変換回路により構成される。第１画像取得部１０２は、図示しない同時化補間処理部等で構成される。発信機１０４は、図示しない音波発信部または電波発信部を有し、音波または電波を発信する。そして、撮像部１０１は、第１画像取得部１０２へ接続し、第１画像取得部１０２は、第１検出部１０３へ接続し、第１検出部１０３は、発信機１０４へ接続する。制御部１０５は、撮像部１０１と、第１画像取得部１０２、第１検出部１０３、発信機１０４へ接続する。

受信機１１は、図示しない音波受信部または電波受信部を有する複数の受信機で構成され、発信機１０４からの音波または電波を受信する。この受信機１１は、受信装置１２の第１位置情報取得部１２１と記憶部１２２へ接続する。

受信装置１２は、カプセル型内視鏡１０からの撮影画像等の受信を行う。この受信装置１２は、第１位置情報取得部１２１、記憶部１２２、制御部１２３、Ｉ／Ｆ部１２４を含む。そして、第１位置情報取得部１２１は、記憶部１２２へ接続し、記憶部１２２は、コンピュータ１３の第２検出部１３１、注目位置情報抽出部１３２へ接続し、制御部１２３は、第１位置情報取得部１２１、記憶部１２２へ接続する。Ｉ／Ｆ部１２４は、制御部１２３と双方向に接続する。なお、受信装置１２は、ＵＳＢケーブル等を用いて画像処理装置１３に着脱可能であり、記憶部１２２に保存されているデータを画像処理装置１３から読み取ることが可能である。

画像処理装置１３は、病変（広義には注目領域）の位置である注目位置を取得する。この画像処理装置１３は、第２検出部１３１、注目位置情報抽出部１３２、制御部１３３、Ｉ／Ｆ部１３４を含む。そして、第２検出部１３１は、注目位置情報抽出部１３２へ接続し、第２検出部１３１と注目位置情報抽出部１３２は、記憶装置１４へ接続する。但し、記憶装置１４は、画像処理装置１３の図示しない装置インターフェース等に着脱可能である。制御部１３３は、第２検出部１３１、注目位置情報抽出部１３２へ接続し、Ｉ／Ｆ部１３４は、制御部１３３と双方向に接続する。

記憶装置１４は、画像処理装置１３からの画像や位置情報を記憶し、例えばフラッシュメモリや磁気ディスク、ネットワーク上のディスクなどのストレージにより実現される。この記憶装置１４は、制御装置１８の取得部１８６へ接続する。但し、記憶装置１４は制御装置１８に着脱可能である。

スコープ型内視鏡１５（狭義にはスコープ部）は、例えば下部内視鏡（大腸内視鏡）であり、体腔に挿入して撮影や処置を行う。このスコープ型内視鏡１５は、撮像部１５１、第２画像取得部１５２、発信機１５３、制御部１５４、Ｉ／Ｆ部１５５を含む。撮像部１５１は、例えば図示しないレンズ系と、撮像素子、Ａ／Ｄ変換回路で構成される。第２画像取得部１５２は、図示しない同時化補間処理部等で構成される。発信機１５３は、例えばスコープ型内視鏡１５のスコープの先端部に設けられる。そして、撮像部１５１は、第２画像取得部１５２へ接続し、第２画像取得部１５２は、制御部１８の表示制御部１８３へ接続する。制御部１５４は、撮像部１５１と、第２画像取得部１５２、発信機１５３へ接続する。Ｉ／Ｆ部１５５は、制御部１５４と双方向に接続する。

受信機１６は、図示しない音波受信部または電波受信部を有し、発信機１５３からの音波または電波を受信する。この受信機１６は、受信装置１７の第２位置情報取得部１７１へ接続する。

受信装置１７は、音波または電波の受信によりスコープ型内視鏡１５の体内位置を取得する。この受信装置１７は、第２位置情報取得部１７１、制御部１７２、Ｉ／Ｆ部１７３を含む。そして、第２位置情報取得部１７１は、制御装置１８の対応付け部１８２へ接続し、制御部１７２は、第２位置情報取得部１７１へ接続し、Ｉ／Ｆ部１７３は、制御部１７２と双方向に接続する。

制御装置１８は、ナビゲーション情報の生成や、第２の内視鏡システム２００の制御、画像の表示制御等を行う。この制御装置１８は、マップ生成部１８１、対応付け部１８２、表示制御部１８３（提示部）、制御部１８４、Ｉ／Ｆ部１８５、取得部１８６を含む。そして、取得部１８６は、マップ生成部１８１へ接続し、マップ生成部１８１は、対応付け部１８２へ接続する。対応付け部１８２は、表示制御部１８３へ接続し、表示制御部１８３は、出力装置１９へ接続する。制御部１８４は、マップ生成部１８１と、対応付け部１８２、表示制御部１８３へ接続する。Ｉ／Ｆ部１８５は、制御部１８４と双方向に接続する。

出力装置１９は、内視鏡１０、１５の撮像画像や、ナビゲーション情報（例えば体内マップ、注目位置、警告表示）等を表示する。出力装置１９は、例えば液晶表示装置等により構成される。

なお、上述の制御部１０５、１２３、１３３、１５４、１７２、１８４は、例えばマイクロコンピュータやＣＰＵで構成される。Ｉ／Ｆ部１２４、１３４、１５５、１７３、１８５は、電源スイッチや、変数設定などを行うためのインターフェースを備える。

２．第１の内視鏡システムの処理例
次に、本実施形態の処理について説明する。本実施形態では、まずカプセル型内視鏡を用いて医師が検査・診断を行い、その検査・診断結果に基づいてスコープ型内視鏡（下部内視鏡）を用いて患部の処置を行う。

まず、カプセル型内視鏡による検査・診断時の本実施形態の処理について説明する。図２に示すように、患者は複数の受信機１１を腹部周辺に装着し、受信装置１２を携帯または装着する。受信機１１の装着後、患者はカプセル型内視鏡１０を飲み込む。カプセル型内視鏡１０は、その撮像部１０１で体内の画像を撮像し、第１画像取得部１０２が撮像画像の画像データ（動画データ）を取得する。

カプセル型内視鏡１０は、体内画像として、例えば通常光画像と特殊光画像を撮影する。ここで、通常光画像は、白色光の波長帯域の照明を照射することで取得され、白色光の波長帯域は、例えば３８０ｎｍ〜６５０ｎｍである。また、特殊光画像は、特定の波長帯域を照射することにより得られる。あるいは、白色光を照射して得られた反射光を、特定の波長帯域を透過するフィルタで処理することで得られる。この特定の波長帯域は、例えば３９０〜４４５ｎｍ及び５３０〜５５０ｎｍの２帯域や、４９０〜６２５ｎｍの１帯域である。特殊光画像は、波長帯域に応じて特定の病変を検出する性能に優れている。

取得された通常光画像や特殊光画像の中から、第１検出部１０３が、第１基準注目領域（注目候補領域。例えば病変部）が含まれる画像をリアルタイムに検出する。具体的には、この第１基準注目領域の検出では、第１の基準により、第２検出部１３１が行う検出処理よりも軽負荷の検出処理が行われる。例えば、第１検出部１０３は、通常光画像の色相が所定範囲内であることを第１の基準として出血部位を検出したり、特殊光画像の色相が所定範囲内であることを第１の基準として扁平上皮癌等の病変部を検出したりする。あるいは、第１検出部１０３は、既知の画像認識手法により第１基準注目領域を検出してもよい。例えば、既知の画像認識手法として、注目画素とその周辺画素との画素値変化量が所定閾値以上であることを第１の基準として第１基準注目領域を検出してもよい（特開２００８−９３１７２）。

第１検出部１０３により第１基準注目領域が検出されている間、撮像部１０１は、画像を撮像する間隔を短くして多くの画像を取得する。すなわち、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、撮像部１０１の撮影レートを速くする。この制御は、例えばカプセル型内視鏡１０の制御部１０５が行う。

カプセル型内視鏡１０の発信機１０４は、取得された画像とインデックス情報を電波に乗せて発信する。第１基準注目領域フラグ（広義にはインデックス情報）は、第１検出部１０３により第１基準注目領域を含む画像であると判定されたことを示す情報である。また、発信機１０４は、電波の発信と同時に、カプセル型内視鏡１０の位置を検出するための短期間のパルス状の音波を発信する。

この発信機１０４からの電波と音波は、受信機１１により受信される。受信装置１２の第１位置情報検出部１２１は、受信機１１の各受信機に音波が到達した時間から、カプセル型内視鏡１０の体内位置（第１の位置情報）を求める。具体的には、第１位置情報検出部１２１は、音波到達時間から発信機１０４と各受信機との距離を計算する。そして、計算した発信機１０４と各受信機の距離と、予めわかっている各受信機間の位置関係から、三角法等を用いて体内位置（座標）を求める。

発信機１０４は、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、発信する音波強度をそれ以外のときよりも強くする。このようにすることで、受信機１１で音波を受信しやすくなり、カプセル型内視鏡１０の位置を高精度に捕捉できる。また、非検出時には音波強度を弱くすることで、カプセル型内視鏡１０を省消費電力化できる。

上記のようにして取得したカプセル型内視鏡１０の体内位置と、受信した画像と第１基準注目領域フラグが、受信装置１２の記憶部１２２に記憶される。図３に、記憶部１２２に記憶される情報の例を示す。図３に示すように、カプセル型内視鏡１０で撮像された白色光画像及び特殊光画像が記憶され、その画像に対応するカプセル型内視鏡１０の２次元座標（ｘ、ｙ）と第１基準注目領域フラグが記憶される。画像にはインデックスが付され、その画像インデックスに対して座標とフラグが対応付けられている。この画像インデックスは、例えば動画として撮影された体内画像の中の何番目の画像（フレーム）であるかを示す番号であり、あるいは、静止画として撮影された体内画像のファイルを示す番号（ファイル名）である。第１基準注目領域フラグは、例えば第１基準注目領域を含む場合は“１”、含まない場合は“１”である。

カプセル型内視鏡１０の体内通過が終了した後、上記情報が保存された記憶部１２２を画像処理装置１３に接続する。画像処理装置１３の取得部１３５は、記憶部１２２から画像や座標、フラグ（インデックス情報）を読み出す。

第２検出部１３１は、第２の基準を用いて、第１基準注目領域を含む画像の中から第２基準注目領域を検出する。この第２の基準による検出処理は、第１検出部１０３の検出処理よりも、病変部である可能性が更に高い画像を検出できる高精度な注目領域検出処理である。すなわち、第１検出部１０３は、病変である可能性がやや低い画像も検出し、広く多くの画像を第１基準注目領域として検出する。一方、第２検出部１３１は、それらの画像の中から更に病変を含む可能性が高い画像を絞りこみ、第２基準注目領域を検出する。

例えば、第１検出部１０３は、上述のように色相（色）だけを判定基準にして検出する軽負荷の処理を行う。例えば、所定の色相範囲に入る画素数をカウントし、その画素数が全画素数の所定割合以上であることを判定基準とする。一方、第２検出部１３１は、パターンマッチングを用いてポリープ等の形状に一致することを第２の検出基準として注目領域を検出する重負荷の処理を行う。あるいは、第２検出部１３１は、所定の色相範囲に入る画素を統合し、その統合した領域を注目領域とする。そして、その注目領域の面積等を信頼度として算出し、その信頼度が所定閾値以上であることを第２の検出基準として注目領域を検出する。

ここで、第２検出部１３１は、上記検出処理を通常光画像に対して行ってもよく、特殊光画像に対して行ってもよい。例えば、特殊光画像から信頼度等を用いて注目領域を検出し、第２基準注目領域を検出した場合に、検出画像として特殊光画像及び対応する通常光画像を出力する。あるいは、検出処理は特殊光画像に対して行い、対応する通常光画像だけを検出画像として出力してもよい。

注目位置情報抽出部１３２（注目位置情報取得部）は、注目領域の体内位置を示す注目位置情報を抽出する。具体的には、第２検出部１３１で検出した第２基準注目領域を含む画像が撮影された体内位置を注目位置情報として抽出する。例えば、図４に示すように、画像インデックス３、４の画像に第１基準注目領域フラグが立っている場合、第２検出部１３１は、これらの画像に対して検出処理を行う。そして、画像インデックス４の画像が第２基準注目領域を含む場合、第２検出部１３１が第２基準注目領域フラグ（広義にはインデックス情報）を“１”にする。注目位置情報抽出部１３２は、画像インデックス４に対応する注目位置フラグを“１”にし、この注目位置フラグ“１”を注目位置情報として出力する。なお、注目位置フラグを設けず、注目位置情報として座標（ｘ、ｙ）＝（４０、３０）を直接出力してもよい。

以上のようにして取得した撮像画像、その位置情報、注目位置情報を、着脱可能な記憶装置１４に保存する。例えば、図４に示すカプセル型内視鏡位置（ｘ、ｙ）と、画像インデックス、注目位置フラグを保存し、各画像インデックスに対応する通常光画像と特殊光画像を保存する。

医師は、上記の保存された情報をＰＣ等で閲覧し、病変を含む画像の診断を行い、処置が必要か否かを判断する。処置が必要な場合、後述するスコープ型内視鏡システムによる処置を行う。

なお、画像処理装置１３は、カプセル型内視鏡１０の撮像画像の要約処理を行ってもよい。すなわち、カプセル型内視鏡１０が体内に停留した場合、同じ範囲が撮像された画像が多数取得されるため、その同じ範囲が撮像された画像を省略して撮像画像の枚数を減らす処理を行ってもよい。

ここで、上記においては、第２検出部１３１が、第１基準注目領域を含む画像の中から検出を行うとして説明したが、本実施形態では、第２検出部１３１が、撮像画像全体から検出を行ってもよい。すなわち、第１検出部１０３と第２検出部１３１が、それぞれ撮像画像全体から検出を行い、注目位置情報抽出部１３２が、第１、第２基準注目領域の両方が検出された画像に対応する座標を注目位置情報としてもよい。

また、上記においては、音波により位置情報の取得を行なったが、本実施形態では、電波により位置情報を取得してもよい。

３．第２の内視鏡システムの処理例
次に、スコープ型内視鏡による処置時の本実施形態の処理について説明する。まず、第１の内視鏡システム１００で取得された位置情報や画像等が保存された記憶装置１４を、第２の内視鏡システム２００の制御装置１８に接続する。そして、制御装置１８の取得部１８６が、記憶装置１４から画像、画像の位置情報、注目位置情報を読み出す。

マップ生成部１８１は、読み出された画像の位置情報から体内マップを生成する。図５に、体内マップの例を示す。この体内マップは、カプセル型内視鏡１０が体腔内を移動した軌跡を表したマップであり、例えば図４等で上述のカプセル型内視鏡１０の位置（ｘ、ｙ）を２次元マップ上に順次プロットしたものである。

また、マップ生成部１８１は、注目位置情報が示す位置を体内マップ上にマッピングする。すなわち、病変部等を含む画像が撮影された位置を体内マップ上にマッピングする。このとき、マップ生成部１８１は、第２基準注目領域の位置だけをマッピングしてもよく、第１、第２基準注目領域の双方をマッピングしてもよい。

患者は、受信機１６と受信装置１７を腹部周辺に装着する。例えば、図３で上述した受信機１１、受信装置１２と同様に装着する。装着後、医師は、患者の体腔内にスコープ型内視鏡１５を挿入し、スコープ型内視鏡１５の撮像部１５１が体内の画像を撮像し、第２画像取得部１５２が、画像（画像データ）を取得する。例えば、第２画像取得部１５２は、通常光画像（白色光画像）と特殊光画像を取得する。第２画像取得部１５２は、取得した画像を制御回路１８の表示制御部１８３に対して出力する。

スコープ型内視鏡１５の先端に配置された発信機１５３は、所定間隔でパルス音波を発信する。受信機１６が、発信された音波を受信し、各受信機により音波が受信されるまでの時間を測定する。そして、受信装置１７の第２位置情報取得部１７１が、受信機１６で測定した音波受信までの時間からスコープ型内視鏡１５の体内位置（第２の位置情報）を計算する。この体内位置の計算は、上述のカプセル型内視鏡１０の場合と同様に三角法等を用いて行う。第２位置情報取得部１７１は、求めたスコープ型内視鏡１５の体内位置情報を制御装置１８の対応付け部１８２に対して出力する。

対応付け部１８２は、マップ生成部１８１により生成された体内マップ上に、第２位置情報取得部１７１で取得されたスコープ型内視鏡１５の位置をマッピングする。例えば、スコープ型内視鏡１５の現在位置は２次元座標（ｘ’、ｙ’）で表され、体内マップの２次元座標上に座標（ｘ’、ｙ’）をマッピングする。

そして、表示制御部１８３は、スコープ型内視鏡１５の位置と注目領域の位置がマッピングされた体内マップと、スコープ型内視鏡１５の撮像画像を出力装置１９に出力する。例えば、図６のＡ１に示すように、画像表示領域にスコープ型内視鏡１５の撮像画像を表示し、Ａ２に示すように、マップ表示領域に体内マップを表示する。そして、Ａ３に示すように、体内マップ上にスコープ型内視鏡１５の位置を示すマークを表示する。また、Ａ４に示すように、体内マップ上に病変等の注目領域の位置を示すマークを表示し、スコープ型内視鏡１５を注目領域まで誘導するためのガイド表示とする。

また、表示制御部１８３は、医師によるスコープ型内視鏡の操作時のアシスト機能を提供する。例えば、アシスト機能として、アテンション表示やナビゲーション表示を行う。

まず、アテンション表示について説明する。アテンション表示は、病変等の注目領域の位置にスコープ型内視鏡１５が接近したことを医師に知らせるための表示である。ここで、接近した場合とは、到達した場合または近づいた場合である。例えば、スコープ型内視鏡１５の座標（ｘ’、ｙ’）が注目領域の座標と一致した場合や、注目領域の座標までの距離が所定距離以下である場合にアテンション表示を行う。

図７にアテンション表示の例を示す。図７のＢ１に示すように、スコープ型内視鏡１５が注目位置に接近した場合に、Ｂ２に示すように、アテンション表示領域にエクスクラメーションマークを表示する。なお、他のアテンション表示の例として、矢印を表示したり、ビープ音などの音や音声を出力したりしてもよい。あるいは、Ｂ３に示す撮像画像表示を、通常光画像の表示から特殊光画像の表示に切り替えるアテンション表示を行ってもよい。

次に、ナビゲーション表示について説明する。ナビゲーション表示は、スコープ型内視鏡が今ある位置から一番近い病変検出位置の方向を医師に知らせるための表示である。

図８に、注目領域の方向を示す矢印を表示する第１のナビゲーション表示例を示す。図８のＣ１に示すように、スコープ型内視鏡１５の挿入方向前方に注目領域がある場合、Ｃ２に示すように、画像上方に矢印を表示する。

図９（Ａ）〜図９（Ｃ）に、注目領域までの距離に応じて画像を拡大する第２のナビゲーション表示例を示す。図９（Ａ）に示すように、例えば注目領域までの距離が５ｃｍ以上の場合には撮像画像を拡大せず表示する。図９（Ｂ）に示すように、注目領域までの距離が３ｃｍ〜５ｃｍの範囲内の場合には撮像画像を第１所定倍率で拡大表示する。そして、図９（Ｃ）に示すように、注目領域までの距離が３ｃｍ以下の場合には撮像画像を、第１所定倍率より高倍率の第２所定倍率で拡大表示する。このようにすれば、注目領域に近づいた場合に、医師が病変等をより観察しやすい画像を提供できる。

このようなアテンション表示やナビゲーション表示を医者に提示することで、医師がスムーズに病変に到達して処置できるため、医者の負荷低減、患者の負担軽減に寄与できる。

４．第２のシステム構成例
上述のシステム構成例では、音波を用いて内視鏡の位置情報を取得したが、本実施形態では、音波を用いずに画像から内視鏡の位置情報を取得してもよい。図１０に、画像から内視鏡の位置情報を取得する第２のシステム構成例を示す。

このシステム構成例は、第１の内視鏡システム１００、第２の内視鏡システム２００を含む。第１の内視鏡システム１００は、カプセル型内視鏡２０（第１の内視鏡装置）、受信機２１、受信装置２２、画像処理装置２３、記憶装置２４を含む。第２の内視鏡システム２００は、スコープ型内視鏡１５（第２の内視鏡装置）、制御装置２６を含む。

カプセル型内視鏡２０は、上述のシステム構成例とは異なり、位置測定のための音波を発信しない。このカプセル型内視鏡２０は、撮像部２０１、第１画像取得部２０２、第１検出部２０３、発信機２０４、制御部２０５を含む。そして、撮像部２０１は、第１画像取得部２０２へ接続する。第１画像取得部２０２は、第１検出部２０３へ接続する。第１検出部２０３は、発信機２０４へ接続する。制御部２０５は、撮像部２０１と、第１画像取得部２０２、第１検出部２０３、発信機２０４へ接続する。

受信機２１は、図示しない電波受信部を有し、発信機２０４からの電波を受信する。この受信機２１は、受信装置２２の記憶部２２１へ接続する。

受信装置２２は、カプセル型内視鏡２０からの撮影画像を受信する。この受信装置２２は、記憶部２２１、制御部２２２、Ｉ／Ｆ部２２３を含む。そして、記憶部２２１は、画像処理装置２３の取得部２３７へ接続する。制御部２２２は、記憶部２２１へ接続する。Ｉ／Ｆ部２２３は、制御部２２２と双方向に接続する。なお、受信装置１２は、ＵＳＢケーブル等を用いて画像処理装置１３と着脱可能である。

画像処理装置２３は、撮像画像を用いてカプセル型内視鏡２０の体内位置（第１位置情報）を取得する。この画像処理装置２３は、第１部位判別部２３１、第１位置情報取得部２３２、第２検出部２３３、注目位置情報抽出部２３４、制御部２３５、Ｉ／Ｆ部２３６、取得部２３７を含む。そして、取得部２３７は、第１部位判別部２３１と、第２検出部２３３へ接続する。第１部位判別部２３１は、第１位置情報取得部２３２へ接続する。第１位置情報取得部２３２は、注目位置情報抽出部２３４と記憶装置２４へ接続する。第２検出部２３３は、注目位置情報抽出部２３４と記憶装置２４へ接続する。注目位置情報抽出部２３４は、記憶装置２４へ接続する。制御部２３５は、第１部位判別部２３１と、第１位置情報取得部２３２、第２検出部２３３、注目位置情報抽出部２３４へ接続する。Ｉ／Ｆ部２３６は、制御部２３５と双方向に接続する。なお、記憶装置２４は、画像処理装置２３に着脱可能である。

記憶装置２４は、例えばフラッシュメモリや磁気ディスクにより実現される。この記憶装置２４は、制御装置２６の取得部２６８へ接続する。但し、記憶装置２４は、制御装置２６の図示しない装置インターフェース等に着脱可能である。

スコープ型内視鏡２５は、上述のシステム構成例とは異なり、位置測定のための発信機を有さない。このスコープ型内視鏡２５は、撮像部２５１、第２画像取得部２５２、制御部２５３、Ｉ／Ｆ部２５４を含む。そして、撮像部１５１は、第２画像取得部１５２へ接続し、第２画像取得部１５２は、制御部１８の表示制御部１８３へ接続する。制御部１５４は、撮像部１５１と、第２画像取得部１５２、発信機１５３へ接続する。Ｉ／Ｆ部１５５は、制御部１５４と双方向に接続する。

制御装置２６は、スコープ型内視鏡２５の撮像画像を用いてスコープ型内視鏡２５の体内位置（第２位置情報）を取得する。この制御装置２６は、第２部位判別部２６１、第２位置情報取得部２６２、マップ生成部２６３、対応付け部２６４、表示制御部２６５、制御部２６６、Ｉ／Ｆ部２６７、取得部２６８を含む。そして、第２部位判別部２６１は、第２位置情報取得部２６２へ接続する。第２位置情報取得部２６２は、対応付け部２６４へ接続する。取得部２６８は、マップ生成部２６３と対応付け部２６４へ接続する。マップ生成部２６３は、対応付け部２６４へ接続する。対応付け部２６４は、表示制御部２６５へ接続する。表示制御部２６５は、出力装置２７へ接続する。制御部２６６は、第２部位判別部２６１と、第２位置情報取得部２６２、マップ生成部２６３、対応付け部２６４、提示部２６５へ接続する。Ｉ／Ｆ部２６７は、制御部２６６と双方向に接続する。

５．第２のシステム構成例の第１の内視鏡システムの処理例
次に、上記第２のシステム構成例の処理について説明する。上述のように、第２のシステム構成例では、発信機や受信機を用いて位置情報を取得するのではなく、撮像した画像から位置情報を推定する。

まず、カプセル型内視鏡２０を用いた検査・診断時の処理について説明する。カプセル型内視鏡２０を飲む前に、患者は、受信機２１と受信装置２２を装着又は携帯する。このとき、受信機２１は、電波を受信するための受信機が少なくとも１つあればよい。また、音波で位置を特定する必要がないため、受信機を体に密着させなくてもよく、カプセル型内視鏡２０からの電波を受信できる距離内に装着すればよい。

受信機２１の装着後、患者は、カプセル型内視鏡２０を飲み込み、カプセル型内視鏡２０の撮像部２０１が、体内の画像を撮像する。撮像画像として、例えば第１のシステム構成例と同様に通常光画像と特殊光画像が取得される。そして、第１検出部２０３が、撮像画像の中から第１基準注目領域を含む画像をリアルタイムに検出する。この検出処理は、例えば第１のシステム構成例の第１検出部１０３と同様の検出処理で実現される。制御部２０５は、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、撮像部１０１の撮影レートを速くする制御を行い、注目領域の撮像画像数を増加させる。

発信機２０４は、検出情報である第１基準注目領域フラグ（広義にはインデックス情報）と、カプセル型内視鏡２０の撮像画像を電波により送信する。発信機２０４からの電波を受信機２１が受信し、受信装置２２の記憶部２２１が、受信した撮像画像と第１基準注目領域フラグを保存する。

カプセル型内視鏡２０の体内通過が終了した後、上記情報が保存された記憶部２２１を画像処理装置２３に接続する。画像処理装置２３の取得部２３７は、記憶部２２１から画像やフラグを読み出す。

第１部位判別部２３１は、読み出された画像を要約する処理を行い、カプセル型内視鏡２０が停留（停止）した位置で複数取得された画像の枚数を削減する。そして、第１部位判別部２３１は、何枚目から何枚目までの画像がどの器官（例えば、胃、十二指腸、盲腸等）の画像であるかを判定する。例えば、第１部位判別部２３１は、既知のシーン変化認識アルゴリズム（例えば特開２００９−５０２０）によるシーン変化の検出や、テンプレートマッチングによる検出、輝度や色相等の特徴量の急激な変化の検出により、器官が変わったことを認識する。あるいは、カプセル型内視鏡２０の撮像レート（単位時間当たり撮像枚数）を利用してカプセル型内視鏡２０の通過速度を推定し、器官毎の通過速度の違いから器官が変わったことを認識してもよい。また、医師（ユーザ）が、画像を閲覧して器官を判別し、器官の始まりと終わりの画像を外部Ｉ／Ｆ部２３６から入力してもよい。

第１位置情報取得部２３２は、第１部位判別部２３１から得られた部位判別結果に基づいて、各画像がどの器官のどの割合に位置するか（例えば、回腸のはじめから２０％の位置）を示す情報（第１位置情報）を取得する。例えば、カプセル型内視鏡２０が小腸を通過する時間が小腸内で一定であると仮定すると、カプセル型内視鏡２０の撮像レートが一定であることから、一定の距離間隔で画像が撮像される。これを利用して、第１位置情報取得部２３２は、小腸での全撮像枚数と各画像までの撮像枚数の比を求めることで、各画像が小腸内のどの割合に位置するかを求める。例えば、上述の図３において、カプセル型内視鏡２０の位置は、器官を示すインデックス及びその器官での割合を示す数値により表される。

第２検出部２３３は、第２の基準を用いて、第１基準注目領域を含む画像の中から第２基準注目領域を検出する。この第２の基準による検出処理は、第１検出部２０３の検出処理よりも、病変部である可能性が更に高い画像を検出できる高精度な注目領域検出処理である。この検出処理は、例えば第１のシステム構成例の第２検出部１３１と同様の処理により実現できる。

注目位置情報抽出部２３４は、注目領域の体内位置を示す注目位置情報を抽出する。具体的には、注目位置情報抽出部２３４は、第２基準注目領域を含む画像の器官内での位置（割合）を注目位置情報として抽出する。

上記のようにして取得された撮像画像、カプセル型内視鏡２０の位置情報、注目位置情報は、着脱可能な記憶装置２４に保存される。医者は、これらの情報を閲覧して病変部等の診断を行い、処置が必要か否かを判断する。

６．第２のシステム構成例の第２の内視鏡システムの処理例
次に、スコープ型内視鏡による処置時の第２のシステム構成例の処理について説明する。まず、カプセル型内視鏡２０の撮像画像や位置情報が保存された記憶装置２４を制御装置２６に接続する。制御装置２６の取得部２６８は、記憶装置２４から画像や位置情報を読み出す。

マップ生成部２６３は、記憶装置２４からカプセル型内視鏡２０の体内位置情報を読み出し、撮像画像を時系列に並べた１次元の体内マップを生成する。また、マップ生成部１８１は、生成した体内マップ上に、病変部等を示す注目位置情報をマッピングする。図１１に、１次元の体内マップの例を示す。図１１のＤ１に示すように、例えば各撮像画像の横幅（水平方向の画素数）を圧縮して縦線状にし、その縦線上の画像を撮像順に並べることで体内マップを生成する。Ｄ２に示すように、部位判別の結果を体内マップにマッピングし、Ｄ３に示すように、注目位置情報が示す位置を体内マップにマッピングする。

マップ生成後、医師が患者の体腔内にスコープ型内視鏡２５を挿入し、スコープ型内視鏡２５の撮像部２５１が体内の画像を撮像し、第２画像取得部２５２が通常光画像や特殊光画像を取得する。第２画像取得部２５２は、取得した画像を制御回路２６の第２部位判別部２６１と表示制御部２６５に対して出力する。

第２部位判別部２６１は、スコープ型内視鏡２５が挿入されている部位を撮像画像から判別する。例えば、上述の第１部位判別部２３１と同様に、シーン変化認識や、テンプレートマッチング、医師による画像選択等により器官を判別する。

第２位置情報取得部２６２は、第２部位判別部２６１による部位判別結果に基づいて、撮像画像がどの器官のどの割合又は距離に位置するかを示す情報（第２位置情報。例えば、結腸の後ろから３０ｃｍ）を取得する。例えば、大腸内視鏡で診断処置を行う際は、まず下降結腸奥まで内視鏡を挿入し、抜きながら診断を行う。この場合には、器官の最初と最後の位置から器官の全長が分かるため、内視鏡を抜いた距離との比から内視鏡先端が器官どの割合にあるかを距離情報として取得する。一方、上記のように抜きながらでなく内視鏡を挿入しながら診察する場合には、器官の全長が分からないため、内視鏡を挿入した長さを距離情報として取得する。内視鏡の挿入長は、例えば内視鏡先端に加速度センサ等を設けることで測定できる。

対応付け部２６４は、第２位置情報取得部２６２で取得されたスコープ型内視鏡２５の位置情報を、体内マップ上に対応付けする。例えば、位置情報が器官の全長に対する割合である場合には、その割合を、体内マップ上でその器官に対応する範囲内での割合とする。また、位置情報が挿入距離である場合には、一般的な器官の長さ（例えば、結腸の一般的な長さは１２０ｃｍ〜１５０ｃｍ）を全長とし、挿入距離の割合を算出して対応付けを行う。

表示制御部２６５は、スコープ型内視鏡２５の位置情報や病変等の注目位置情報がマッピングされた体内マップと、スコープ型内視鏡２５の撮像画像を出力装置２７に表示する制御を行う。図１２に、表示画像の例を示す。図１２のＥ１に示すように、撮像画像表示領域に、スコープ型内視鏡２５の撮像画像を表示する。Ｅ２に示すように、体内マップ表示領域に、１次元体内マップを表示する。そして、Ｅ３に示すように、体内マップ上に内視鏡の先端位置を表示し、Ｅ４に示すように、カプセル型内視鏡２０によって病変等の注目領域が検出された位置を表示する。

以上のように、器官の位置や病変位置を示すガイド情報を医師に提示することで、医師がスムーズに病変部に到達し、病変部の処置を行うことができる。これにより、医者の負荷低減、患者の負担軽減に寄与できる。また、受信機などの装置を省略したことで、受信機装着等の準備が不要となり、処置準備を簡素化できる。

７．カプセル型内視鏡の詳細な構成例。
図１３、図１４に、上述の第１検出部を有するカプセル型内視鏡の詳細な構成例を示す。図１３には、白色光と特殊光を照射することで白色光画像と特殊光画像を取得する第１の詳細な構成例を示す。図１３に示すカプセル型内視鏡３００は、光源３１０、集光レンズ３２０、照明レンズ３３０（照明光学系）、撮像素子３４０、結像レンズ３５０、集積回路装置３９０を含む。

光源３１０は、白色光と特殊光を交互に照射する。特殊光は、例えば特定の波長帯域を透過するフィルタに白色光を透過させることで生成する。集光レンズ３２０は、光源３１０からの照射光を照明光学系３３０に集光させる。照明光学系３３０は、撮影領域に照明光を配光する。レンズ３５０は、撮影領域からの反射光を撮像素子３４０に結像させる。撮像素子３４０は、例えばＣＭＯＳセンサやＣＣＤ等のイメージセンサで構成され、被写体像を撮像する。集積回路装置３９０は、ＡＳＩＣ等で実現され、Ａ／Ｄ変換部、画像処理部、第１検出部、音波発信部、電波発信部、制御部等を有する。

図１４には、白色光画像を撮像する撮像素子と特殊光画像を撮像する撮像素子を有する第２の詳細な構成例を示す。図１４に示すカプセル型内視鏡３００は、光源３１０（白色光光源）、集光レンズ３２０、照明レンズ３３０（照明光学系）、第１の撮像素子３４０、結像レンズ３５０、第２の撮像素子３６０、特殊光フィルタ３７０、ハーフミラー３８０、集積回路装置３９０を含む。

光源３１０は、白色光を照射する。ハーフミラー３８０は、結像レンズ３５０からの光を第１、第２の撮像素子３４０、３６０に分配する。特殊光フィルタ３７０は、白色の反射光のうちの特定の波長帯域の光を透過させる。第１の撮像素子３４０は、特殊光画像を撮像する。第２の撮像素子３６０は、フィルタを透過しない白色光の被写体像が結像され、白色光画像を撮影する。

８．本実施形態の処理の概要
以上、内視鏡システムの全体構成について説明したが、上述のように画像処理装置には受信機や記憶装置が着脱可能であり、画像処理装置はその処理を単独で行うことが可能である。以下では、上記において具体的に説明した本実施形態のうち、画像処理装置の概要について説明する。なお、以下では原則として図１に示すシステム構成例に付した符号を用いて説明するが、第１検出部、第２検出部、対応付け部、表示制御部等の同一の構成要素については、図１０に示す第２のシステム構成例においても同様である。

上述の図１等に示すように、本実施形態の画像処理装置１３は、取得部１３５と、第２検出部１３１と、注目位置情報抽出部１３２と、を含む。取得部１３５は、第１の内視鏡装置１０（カプセル型内視鏡）によって画像が撮像された際の第１の内視鏡装置の体内での位置を示す第１の位置情報（２次元座標（ｘ、ｙ））を取得する（記憶部１２２から読み出す）。第２検出部１３１は、第２の検出基準に適合した領域である第２基準注目領域を検出する。注目位置情報抽出部１３２は、第１の位置情報の中から注目位置情報を抽出する。

具体的には、第１の内視鏡装置１０の第１検出部１０３によって、第１の検出基準（例えば所定色相範囲内の画素数が一定割合以上であること）を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域（病変部候補）を含む画像が検出される。そして、第２検出部１３１は、第１の検出基準とは異なる第２の検出基準（例えば病変パターンとのマッチングがとれること）を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２基準注目領域（注目すべき領域、病変部）を含む画像を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報（例えば図４に示す注目位置フラグ“１”に対応する座標（ｘ、ｙ））として抽出する。

このようにすれば、医師が第２の内視鏡装置で処置する際に、注目領域の位置情報を提供することが可能になる。すなわち、第１の位置情報により第１の内視鏡装置が体内を通過した軌跡を体内マップとして提供し、注目位置情報により病変の位置を体内マップ上の位置として提供できる。また、第１、第２の基準で注目領域を検出することで、２つの異なる基準での検出処理が可能になる。これにより、同じ種類の病変に対して２つの基準で判定を行ったり、異なる種類の病変に対してそれぞれ適切な基準で判定を行ったりすることができるため、病変の検出精度を向上できる。

また、本実施形態では、第２検出部１３１は、第１基準注目領域を含む画像の中から、第２基準注目領域を含む画像を検出する。

このようにすれば、第１検出部で病変候補を大まかに把握し、第２検出部で病変候補から病変部の絞り込みを行うことができる。これにより、ＩＣ等の実装面積が限られたカプセル型内視鏡では、低精度であるが軽負荷の処理で検出を行い、画像処理装置において重負荷で高精度の検出を行うことで、病変部の検出精度を向上できる。また、第２検出部で処理する画像の枚数を減らすことができるため、検出処理を高速化できる。

また、本実施形態では、第１の内視鏡装置１０は、白色光の波長帯域の情報を含む通常光画像（広義には第１の画像）と、その通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像（広義には第２の画像）とを取得する（例えば、通常光画像と特殊光画像が交互に撮像され、連続して撮像された１組の通常光画像と特殊光画像が対応する画像として取得される）。第１の内視鏡装置１０の第１検出部１０３は、第１の検出基準を特殊光画像に適用し、第１の検出基準に適合した特殊光画像に対応する通常光画像を、第１基準注目領域を含む画像として検出する（例えば、上述の図３において、画像インデックス３の特殊光画像が検出基準に適合した場合、画像インデックス３の白色光画像が検出画像として出力される）。そして、画像処理装置１３の取得部１３５は、第１検出部１０３により検出された通常光画像が、第１基準注目領域を含む画像であることを示す検出情報（例えば図３の注目領域フラグ）を取得する。

このようにすれば、第１基準注目領域の検出処理は特殊光画像に対して行い、第１基準注目領域を含む画像として通常光画像を出力できる。これにより、通常光画像に対して検出処理を行うよりも、特定の病変部に対する検出精度を向上できる。また、一般に目視による検査・診断は通常光画像を基に行うため、検出情報が通常光画像と対応して取得されることで、医師が画像を閲覧する際に注目領域を含む通常光画像を知ることができる。

また、本実施形態では、画像処理装置１３の第２検出部１３１は、第２の検出基準を特殊光画像に適用し、第２の検出基準に適合した特殊光画像に対応する通常光画像を、第２基準注目領域を含む画像として検出する。

このようにすれば、第２基準注目領域の検出処理は特殊光画像に対して行い、第２基準注目領域を含む画像として通常光画像を出力できる。これにより、上記と同様に、特定の病変部に対する検出精度を向上したり、医師が注目領域を含む通常光画像を知ることができる。

また、本実施形態では、第２基準注目領域は、病変を表す領域である。

例えば、病変を表す領域は、体腔内の粘膜から出血している箇所や、血管が他の領域よりも集中している箇所や、特定の検査用薬剤が集積する箇所である。また、病変としては、例えば炎症や、潰瘍、ポリープ、癌等が想定される。

また、本実施形態では、取得部１３５は、第１の内視鏡装置１０に設けられた発信機１０４からの電波または音波が、第１の内視鏡装置１０の外部の測位点（受信機１１の装着位置）に設けられた受信機１１で受信されることで取得された第１の位置情報（ｘｙ座標）を取得する。

このようにすれば、受信機により電波または音波を受信することで、カプセル型内視鏡の体内位置を測定し、画像処理装置１３がその体内位置を取得できる。

より具体的には、本実施形態では、取得部１３５は、第１の内視鏡装置１０に設けられた発信機１１からの電波または音波が、第１の内視鏡装置１０の外部の測位点に設けられた３つ以上の受信機（図３に示す複数の受信機１１）で受信され、発信機１０４と各受信機１１との距離が計算されることで取得された第１の位置情報（ｘｙ座標）を取得する。

このようにすれば、３つ以上の受信機により電波または音波を受信することで、三角法等を用いてカプセル型内視鏡の体内位置をより高精度に測定できる。

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連（撮像開始から終了まで）の画像の撮像期間中に（撮像期間中リアルタイムに）第１基準注目領域の検出処理を行う。第１の内視鏡装置１０の発信機１０４は、第１検出部１０４によって第１基準注目領域が検出された場合、第１基準注目領域が検出されている期間内（例えば検出後の所定期間内）において、電波または音波の強度を上昇させる。そして、取得部１３５は、強度が上昇された電波または音波が、受信機１１で受信されることで取得された第１の位置情報（ｘｙ座標）を取得する。

このようにすれば、強度が上昇された電波または音波により取得された第１の位置情報を取得部が取得することで、第１基準注目領域付近でのカプセル型内視鏡の位置情報を高精度に捕捉できる。これにより、注目領域の位置をより正確に知ることが可能になる。

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連の画像の撮像期間中（診断対象部位の撮像中）に第１基準注目領域の検出処理を行い、第２検出部１３１は、第１の内視鏡装置１０による一連の画像の撮像期間が経過した後（診断対象部位の撮像終了後、またはカプセル型内視鏡の体外排出後）に、第２基準注目領域の検出処理を行う。

このようにすれば、第１基準注目領域をリアルタイムに検出できるため、医師による診断が容易になる。また、撮像終了後に第２基準注目領域を検出することで、処理負荷のより大きい検出処理が可能になるため、さらに信頼性の高い検出処理が可能になる。そして、第２検出部により検出処理の信頼性を担保できるため、処理能力の確保が困難なカプセル型内視鏡等を用いた場合であっても、簡素な検出処理を用いてリアルタイムの検出処理を行うことができる。

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連の画像の撮像期間中（撮像中リアルタイムに）に第１基準注目領域の検出処理を行う。第１の内視鏡装置１０（制御部１０５）は、第１検出部１０３によって第１基準注目領域が検出された場合、第１基準注目領域が検出されている期間内（例えば検出後の所定期間内）において、撮像部１０１による画像の撮像間隔を短縮する制御を行う。そして、画像処理装置１３の取得部１３５は、その撮像間隔が短縮されて撮像された画像を取得する。

このようにすれば、注目領域が撮像された画像の取得枚数を増加できるため、注目領域をより詳細に観察したり、第２検出部による第２基準注目領域の検出精度を向上したりすることができる。また、各撮像画像の送信時に同時に音波が送信され、第１の内視鏡装置の体内位置が測定されるため、撮像間隔が短縮されることで、注目領域の位置測定精度を向上できる。

また、本実施形態では、第１の検出基準は、画像の色相が所定範囲内である場合に満たされる基準であり、第２の検出基準は、画像が所定の形状と一致する場合に満たされる基準である。

また、本実施形態では、第１の内視鏡装置１０は、通常光画像と特殊光画像を取得し、第１の内視鏡装置１０の第１検出部１０３は、特殊光画像に対して第１の検出基準を適用する。そして、第２検出部１３１は、白色光画像に対して第２の検出基準を適用する。

また、本実施形態では、第１の検出基準は、第１基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含まず、第２の検出基準は、第２基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含む。

これらの実施形態によれば、２つの異なる検出基準により注目領域を検出できるため、検出精度を向上できる。また、第１検出部による検出処理を軽負荷のリアルタイム処理にし、第２検出部による検出処理を信頼性の高い検出処理にできる。例えば、第１検出部が、簡素な処理で行うことができる色相判定を用いて特殊光画像から病変検出を行い、第２検出部が、形状に特徴があるポリープ等の病変を白色光画像から検出できる。あるいは、第２検出部が、病変領域の面積等から信頼度を判定することで、画像のノイズ等による誤検出を抑止し、検出処理の信頼性を向上できる。

また、図１０等で上述のように、画像処理装置２３は、第１部位判別部２３１と、第１位置情報取得部２３２と、第２検出部２３３と、注目位置情報抽出部２３４と、を含む。この第１部位判別部２３１は、第１の内視鏡装置２０（カプセル型内視鏡）により撮像された画像の特徴量の変化（輝度変化、色相変化、シーン変化等）に基づいて、第１の内視鏡装置２０が位置する部位（十二指腸、小腸、結腸等の器官）を判別する。第１位置情報取得部２３２は、第１部位判別部２３１によって判別された結果（部位、器官、またはそれらを示すインデックスやフラグ）を、第１の内視鏡装置２０によって画像が撮像された際の第１の位置情報（１次元の位置、座標）として取得する。第１の内視鏡装置２０の第１検出部２０３は、第１の検出基準を用いて、第１の内視鏡装置２０により撮像された画像の中から、第１基準注目領域を含む画像を検出する。第２検出部２３３は、第２の検出基準を用いて、第１の内視鏡装置２０により撮像された画像の中から、第２基準注目領域を含む画像を検出する。注目位置情報抽出部２３４は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報（部位、器官、１次元の位置、座標）を注目位置情報（病変位置、注目領域を含む画像が撮影された位置）として抽出する。

このようにすれば、音波または電波を用いずに画像から内視鏡位置を取得できるため、位置測定のための受信機等を不要にできる。これにより、受信機装着の手間やわずらわしさを軽減したり、受信機等のコストを削減したりできる。また、異なる２つの検出基準を用いることで、注目領域の検出精度の向上等が可能になる。

次に、上記画像処理装置を含む内視鏡システムの概要について説明する。
図１等で上述のように、第１の内視鏡システム１００は、第１位置情報取得部１２１と、第１検出部１０３と、第２検出部１３１と、注目位置情報抽出部１３２と、を含む。そして、第１位置情報取得部１２１は、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する。第１検出部１０３は、第１の検出基準を用いて、第１の内視鏡装置１０によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する。第２検出部１３１は、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０によって撮像された画像の中から、第２の検出基準に適合した領域である第２基準注目領域を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する。

このようにすれば、上記画像処理装置１３を含む内視鏡システムを実現できる。すなわち、第１の検出基準を用いて第１の内視鏡装置によってリアルタイムに注目領域を検出し、第２の検出基準を用いて、より確実性の高い注目領域の検出を行うことができる。

また、本実施形態では、第１の内視鏡装置１０は、白色光の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）の情報を含む通常光画像と、その通常光画像に対応する（同タイミングで撮像された、または次のタイミングで撮像された）、特定の波長帯域の情報を含む特殊光画像とを取得する。

具体的には、特定の波長帯域は、白色光の波長帯域よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像および特殊光画像は生体内を写した生体内画像であり、生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ナノメータ〜４４５ナノメータ（第１の狭帯域光。狭帯域光のＢ２成分）、または５３０ナノメータ〜５５０ナノメータ（第２の狭帯域光。狭帯域光のＧ２成分）である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であってもよい。

これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。

これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、取得された白色光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図１に示す第１画像取得部１０２が白色光画像を取得し、第１画像取得部１０２が図示しない特殊光画像取得部を含み、その特殊光画像取得部が、取得された白色光画像から特殊光画像を生成してもよい。

具体的には、特殊光画像取得部は、取得された白色光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、特殊光画像取得部は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、白色光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、特殊光画像取得部は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。

より具体的には、特殊光画像取得部は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、特殊光画像取得部は、設定されたマトリクスデータを用いて、白色光の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。

これにより、通常光画像に基づいて特殊光画像を生成することができるので、通常光を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。

次に、上記画像処理装置を含む内視鏡システム全体の概要について説明する。
図１等で上述のように、本実施形態の内視鏡システムは、第１位置情報取得部１２１と、第１検出部１０３と、第２検出部１３１と、注目位置情報抽出部１３２と、第２位置情報取得部１７１と、対応付け部１８２と、表示制御部１８３と、を含む。第１位置情報取得部１２１は、第１の位置情報（例えば２次元座標（ｘ、ｙ））を取得する。第１検出部１０３は、第１の検出基準を用いて第１基準注目領域を含む画像を検出する。第２検出部１３１は、第２の検出基準を用いて第２基準注目領域を含む画像を検出する。注目位置情報抽出部１３２は、注目位置情報を抽出する。そして、第２位置情報取得部１７１は、第２の内視鏡装置１５の体内での位置を示す第２の位置情報（例えば２次元座標（ｘ’、ｙ’））を取得する。対応付け部１８２は、第１の位置情報と第２の位置情報を対応付ける（マッピングする）。表示制御部１８３は、対応付け部１８２による対応付けの結果に基づく情報（例えば図６のＡ２に示すガイド情報や、図７のＢ２に示すアラート情報）を表示部（出力装置１９）に表示する制御を行う。

このようにすれば、第１の内視鏡装置の体内位置を取得し、その体内位置と第２の内視鏡装置の体内位置を対応させることができる。これにより、医師が第２の内視鏡装置で処置する際に、第１の内視鏡装置により検出された病変位置に容易に到達して処置を行うことができる。

また、本実施形態では、第１の内視鏡装置１０は、カプセル型内視鏡であり、第２の内視鏡装置１５は、スコープ型内視鏡である。

このようにすれば、患者の負担の少ないカプセル型内視鏡を用いて検査・診断を行い、処置の必要があると判断された場合には、スコープ型内視鏡を用いて処置を行うことができる。これにより、スコープ型内視鏡のみを用いて検査と処置を行う場合と比べて、患者の負担を軽減できる。

また、本実施形態では、体内の空間（第１の内視鏡装置の通過軌跡、消化管の配置や構造、体腔の配置や構造）の全体または一部を表現した体内マップを生成するマップ生成部１８１を含む。対応付け部１８２は、生成された体内マップ上において、少なくとも注目位置情報と第２の位置情報とを体内マップに対応付ける。

例えば、図５等で上述のように、マップ生成部１８１は、第１の位置情報が示す体内での位置を２次元座標にプロットした２次元マップを生成する。あるいは、図１１等で上述のように、マップ生成部２６３は、第１の位置情報が示す体内での位置順（撮像順）に、第１の内視鏡装置２０により撮像された画像を並べることで１次元の体内マップを生成してもよい。

また、本実施形態では、表示制御部１８３は、少なくとも注目位置情報と第２の位置情報とが対応付けられた体内マップと、第２の内視鏡装置１５により撮像された画像とを表示部（出力装置１９）に表示する制御を行う。

このようにすれば、体内マップ上に第２の内視鏡装置の位置を表すことで、医者が処置時に患者のどの位置を観察しているかを容易に把握することができる。また、画像を並べることで１次元の体内マップを生成することで、音波等を用いることなく体内マップを生成できる。

また、本実施形態では、注目位置情報抽出部１３２は、複数の注目位置情報を抽出する。そして、表示制御部１８３は、その複数の注目位置情報が示す複数の位置のうち、体内マップ上の第２の位置情報が示す位置に対して距離的に最も近傍の（最も距離が近い）位置への方向を示す方向画像（例えば図８のＣ２に示す矢印）を、体内マップ上に表示する制御を行う。

このようにすれば、第２の内視鏡装置に最も近い注目領域との位置関係を医師に提示することで、医師が第２の内視鏡装置を速やかに注目領域の位置まで到達させるためのナビゲーション表示を実現できる。

また、本実施形態では、表示制御部１８３は、第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合（例えば、注目位置と第２の位置が一致した場合や、注目位置と第２の位置が所定距離内になった場合）、その接近したことを示す情報を表示部（出力装置１９）に表示する制御を行う。例えば、表示制御部１８３は、接近したことを示す情報として、ユーザに注意を促す情報（例えば、警告音や、図７のＢ２に示す警告マークや、図９（Ａ）〜図９（Ｃ）に示す拡大表示）を表示部に表示する制御を行う。

このようにすれば、第２の内視鏡装置が注目領域の位置に接近したときに、医師に対してその旨を知らせることで、医師が注目領域を見逃してしまうことを抑止できる。

また、本実施形態の内視鏡システムは、第２の内視鏡装置１５の撮像により通常光画像と特殊光画像とを取得する第２画像取得部１５２を含む。そして、表示制御部１８３は、第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合、少なくとも特殊光画像を表示部（出力装置１９）に表示する制御を行う。

このようにすれば、第２の内視鏡装置が注目領域の位置に接近したときに、特定の病変の診断性能（視認性）に優れた特殊光画像を医師に対して提示できるため、医者による診断の精度向上を図ることができる。

また、本実施形態では、第２位置情報取得部１７１は、第２の内視鏡装置１５に設けられた発信機１５３からの電波または音波を、第２の内視鏡装置１５の外部の測位点に設けられた受信機１６で受信することで、第２の位置情報を取得する。より具体的には、第２位置情報取得部１７１は、電波または音波を３つ以上の受信機１６で受信し、発信機１１と各受信機１６との距離を計算することで、第２の位置情報を取得する。

このようにすれば、受信機１６により電波または音波を受信することで、第２の内視鏡装置の体内位置を測定できる。また、３つ以上の受信機により電波または音波を受信することで、三角法等を用いて体内位置をより高精度に測定できる。

また、本実施形態の内視鏡システムは、発信機１５３から送信される電波または音波の強度を制御する制御部１５４を含む。そして、第２位置情報取得部１７１は、第２の内視鏡装置１５の移動に伴って、体内での位置を示す第２の位置情報を順次取得する。制御部１５４は、順次取得された第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合に、電波または音波の強度を上昇させる制御を行う。

このようにすれば、注目領域に接近した場合に電波または音波の強度を上昇させることで、第２の内視鏡装置の位置情報を高精度に捕捉できる。これにより、医師が第２の内視鏡装置をより容易に病変に到達させることができる。

また、図１０等で説明したように、本実施形態の内視鏡システムは、第２の内視鏡装置１５により撮像された画像の特徴量の変化（輝度変化、色相変化、シーン変化等）に基づいて、第２の内視鏡装置１５が位置する部位（胃や小腸、大腸等の器官）を判別する第２部位判別部２６１を含んでもよい。そして、第２位置情報取得部２６２は、第２部位判別部２６１により判別された結果を第２の位置情報として取得してもよい。

また、本実施形態では、第２位置情報取得部２６２は、第２部位判別部２６１により判別された部位と、第２の内視鏡装置１５の体内に挿入された長さに基づいて、第２の位置情報を取得してもよい。

このようにすれば、音波または電波を用いずに画像から第２の内視鏡装置の位置情報を取得できるため、位置測定のための受信機等を不要にできる。これにより、受信機装着の手間やわずらわしさを軽減したり、受信機等のコストを削減したりできる。

９．ソフトウェア
上記の本実施形態では、画像処理装置１３（または画像処理装置２３）を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル型内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

画像処理装置１３の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理装置１３の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図１５は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１５は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１５に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図１６に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１７のＳ６〜Ｓ９）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して、画像処理装置１３の処理をソフトウェアで実現する場合の処理手順を、図１７、図１８のフローチャートを用いて説明する。あらかじめ取得された画像は、例えば、第１画像取得部１０２が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図１７、図１８には、内視鏡システム全体の処理手順を示す。画像処理装置１３は、例えばこの処理手順のうちのＳ６〜Ｓ９を実行する。

図１７には、カプセル型内視鏡を含む第１の内視鏡システム１００の処理手順を示す。図１７に示すように、この処理が開始されると、撮像部１０１が画像を撮像し（Ｓ１）、第１検出部１０３が第１基準注目領域を検出し（Ｓ２）、第１位置情報取得部１２１が音波の受信により第１位置情報を取得し（Ｓ３）、記憶部１２２が画像や検出情報、第１位置情報を記憶する（Ｓ４）。カプセル型内視鏡による撮像が終了していない場合（Ｓ５Ｎｏ）には、再び撮像を行う（Ｓ１）。カプセル型内視鏡による撮像が終了した場合（Ｓ５Ｙｅｓ）には、画像処理装置１３の取得部１３５が、画像や検出情報、第１位置情報を取得する（Ｓ６）。第２検出部１３１が第２基準注目領域を検出し（Ｓ７）、注目位置情報抽出部１３２が注目位置情報を抽出し（Ｓ８）、記憶装置１４に画像や第１位置情報、注目位置情報を記憶させる（Ｓ９）。

図１８には、スコープ型内視鏡を含む第２の内視鏡システム２００の処理手順を示す。図１８に示すように、この処理が開始されると、取得部１８６がカプセル型内視鏡の撮像画像や第１位置情報、注目位置情報を記憶装置１４から取得し（Ｓ２１）、マップ生成部１８１が体内マップを生成する（Ｓ２２）。そして、スコープ型内視鏡が画像を撮像し（Ｓ２３）、第２位置取得部１７１が第２位置情報を取得し、対応付け部１８２が体内マップと第２位置情報を対応付け（Ｓ２５）、表示制御部１８３が画像と体内マップを出力装置１９に表示する（Ｓ２６）。スコープ型内視鏡による処置が終了していない場合には、再び撮像を行い（Ｓ２３）、スコープ型内視鏡による処置が終了した場合には、処理を終了する（Ｓ２７Ｙｅｓ）。

以上の実施形態では、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する取得部１３５と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部１３１と、第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部１３２として、コンピュータを機能させる。そして、第１の内視鏡装置１０の第１検出部１０３は、第１の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する。第２検出部１３１は、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２基準注目領域を含む画像を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する。

これにより、例えばカプセル型内視鏡等により、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。

また本実施形態は、本実施形態の各部（取得部、第２検出部、注目位置情報抽出部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

ここで、プログラムコードとは、第１の内視鏡装置１０の第１検出部１０３が、第１の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する取得部１３５と、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部１３１と、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する注目位置情報抽出部１３２と、を実現する。

またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（通常光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０，２０カプセル型内視鏡、１１，２１受信機、１２，２２受信装置、
１３，２３画像処理装置、１４，２４記憶装置、１５，２５スコープ型内視鏡、
１６受信機、１７受信装置、１８，２６制御装置、１９，２７出力装置、
１００第１の内視鏡システム、１０１，２０１撮像部、
１０２，２０２第１画像取得部、１０３，２０３第１検出部、
１０４，２０４発信機、１０５，２０５制御部、
１２１，２３２第１位置情報取得部、１２２，２２１記憶部、
１２３，２２２制御部、１２４，２２３Ｉ／Ｆ部、
１３１，２３３第２検出部、１３２，２３４注目位置情報抽出部、
１３３，２３５制御部、１３４，２３６Ｉ／Ｆ部、１３５，２３７取得部、
１５１，２５１撮像部、１５２，２５２第２画像取得部、
１５３発信機、１５４，２５３制御部、１５５，２５４Ｉ／Ｆ部、
１７１，２６２第２位置情報取得部、１７２制御部、１７３Ｉ／Ｆ部、
１８１，２６３マップ生成部、１８２，２６４対応付け部、
１８３，２６５表示制御部、１８４，２６６制御部、
１８５，２６７Ｉ／Ｆ部、１８６，２６８取得部、
２３１第１部位判別部、２６１第２部位判別部、
３００カプセル型内視鏡、３１０光源、３２０集光レンズ、３３０照明レンズ、
３４０，３６０撮像素子、３５０結像レンズ、３７０特殊光フィルタ、
３８０ハーフミラー、３９０集積回路装置、６００コンピュータシステム、
６１０本体部、６１１ＣＰＵ、６１２ＲＡＭ、６１３ＲＯＭ、６１４ＨＤＤ、
６１５ＣＤ−ＲＯＭドライブ、６１６ＵＳＢポート、
６１７Ｉ／Ｏインターフェース、６１８ＬＡＮインターフェース、
６２０ディスプレイ、６２１表示画面、６３０キーボード、６４０マウス、
６５０モデム、６６０ＣＤ−ＲＯＭ、６７０ＵＳＢメモリ、６８１ＰＣ、
６８２サーバ、６８３プリンタ

Claims

第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、
を含み、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を、前記注目位置情報として抽出することを特徴とする画像処理装置。
請求項１において、
前記第２検出部は、
前記第１基準注目領域を含む画像の中から、前記第２基準注目領域を含む画像を検出することを特徴とする画像処理装置。
請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の検出基準を前記特殊光画像に適用し、前記第１の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第１基準注目領域を含む画像として検出し、
前記取得部は、
前記第１検出部により検出された前記通常光画像が前記第１基準注目領域を含む画像であることを示す検出情報を取得することを特徴とする画像処理装置。
請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第２検出部は、
前記第２の検出基準を前記特殊光画像に適用し、前記第２の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第２基準注目領域を含む画像として検出することを特徴とする画像処理装置。
請求項１において、
前記第２基準注目領域は、病変を表す領域であることを特徴とする画像処理装置。
請求項１において、
前記取得部は、
前記第１の内視鏡装置に設けられた発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた受信機で受信されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。
請求項６において、
前記取得部は、
前記第１の内視鏡装置に設けられた発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた３つ以上の受信機で受信され、前記発信機と各受信機との距離が計算されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。
請求項６において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第１の内視鏡装置の前記発信機は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、前記電波または前記音波の強度を上昇させ、
前記取得部は、
強度が上昇された前記電波または前記音波が、前記受信機で受信されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。
請求項１において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第２検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間が経過した後に、前記第２基準注目領域の検出処理を行うことを特徴とする画像処理装置。
請求項１において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第１の内視鏡装置は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、画像の撮像間隔を短縮する制御を行い、
前記取得部は、
前記撮像間隔が短縮されて撮像された画像を取得することを特徴とする画像処理装置。
請求項１において、
前記第１の検出基準は、画像の色相が所定範囲内である場合に満たされる基準であり、前記第２の検出基準は、画像が所定の形状と一致する場合に満たされる基準であることを特徴とする画像処理装置。
請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１の内視鏡装置の前記第１検出部は、
前記特殊光画像に対して前記第１の検出基準を適用し、
前記第２検出部は、
前記白色光画像に対して前記第２の検出基準を適用することを特徴とする画像処理装置。
請求項１において、
前記第１の検出基準は、前記第１基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含まず、
前記第２の検出基準は、前記第２基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含むことを特徴とする画像処理装置。
第１の内視鏡装置が位置する部位を判別する第１部位判別部と、
前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、
を含み、
前記第１部位判別部は、
前記第１の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第１の内視鏡装置が位置する部位を判別し、
前記第１位置情報取得部は、
前記第１部位判別部によって判別された結果を、前記第１の内視鏡装置によって画像が撮像された際の前記第１の位置情報として取得し、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とする画像処理装置。
第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第１の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する第１検出部と、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、
を含むことを特徴とする内視鏡システム。
請求項１５において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１検出部は、
前記第１の検出基準を前記特殊光画像に適用し、前記第１の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第１基準注目領域を含む画像として検出することを特徴とする内視鏡システム。
請求項１５において、
前記第１の内視鏡装置に設けられた発信機から送信される前記電波または前記音波の強度を制御する制御部を含み、
前記第１位置情報取得部は、
前記発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた受信機で受信されることで前記第１の位置情報を取得し、
前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記制御部は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、前記電波または前記音波の強度を上昇させる制御を行うことを特徴とする内視鏡システム。
請求項１５において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得することを特徴とする内視鏡システム。
請求項１８において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする内視鏡システム。
請求項１９において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする内視鏡システム。
請求項２０において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする内視鏡システム。
請求項１８において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする内視鏡システム。
請求項２２において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする内視鏡システム。
請求項１８において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする内視鏡システム。
請求項２４において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする内視鏡システム。
請求項１８において、
取得された前記白色光画像に基づいて、前記特殊光画像を生成する特殊光画像取得部を含むことを特徴とする内視鏡システム。
請求項２６において、
前記特殊光画像取得部は、
取得された前記白色光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記特殊光画像取得部は、
抽出された前記白色光の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする内視鏡システム。
請求項２７において、
前記特殊光画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記特殊光画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする内視鏡システム。
第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する第１検出部と、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部と、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、
第２の内視鏡装置の体内での位置を示す第２の位置情報を取得する第２位置情報取得部と、
前記第１位置情報取得部により取得された前記第１の位置情報と、前記第２位置情報取得部により取得された前記第２の位置情報とを対応付ける対応付け部と、
前記対応付け部による対応付けの結果に基づく情報を表示部に表示する制御を行う表示制御部と、
を含むことを特徴とする内視鏡システム。
請求項２９において、
前記第１の内視鏡装置は、カプセル型内視鏡であり、前記第２の内視鏡装置は、スコープ型内視鏡であることを特徴とする内視鏡システム。
請求項２９において、
体内の空間の全体または一部を表現した体内マップを生成するマップ生成部を含み、
前記対応付け部は、
前記生成された体内マップ上において、少なくとも前記注目位置情報と前記第２の位置情報とを対応付けることを特徴とする内視鏡システム。
請求項３１において、
前記表示制御部は、
少なくとも前記注目位置情報と前記第２の位置情報とが対応付けられた前記体内マップと、前記第２の内視鏡装置により撮像された画像とを前記表示部に表示する制御を行うことを特徴とする内視鏡システム。
請求項３１において、
前記マップ生成部は、
前記第１の位置情報が示す体内での位置順に、前記第１の内視鏡装置により撮像された画像を並べることで前記体内マップを生成することを特徴とする内視鏡システム。
請求項３１において、
前記注目位置情報抽出部は、
複数の注目位置情報を抽出し、
前記表示制御部は、
前記複数の注目位置情報が示す複数の位置のうち、前記体内マップ上の前記第２の位置情報が示す位置に対して距離的に最も近傍の位置への方向を示す方向画像を、前記体内マップ上に表示する制御を行うことを特徴とする内視鏡システム。
請求項２９において、
前記表示制御部は、
前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合、その接近したことを示す情報を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。
請求項３５において、
前記表示制御部は、
前記接近したことを示す情報として、ユーザに注意を促す情報を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。
請求項３５において、
前記第２の内視鏡装置の撮像により、白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得する第２画像取得部を含み、
前記表示制御部は、
前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合、少なくとも前記特殊光画像を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。
請求項２９において、
前記第２位置情報取得部は、
前記第２の内視鏡装置に設けられた発信機からの電波または音波を、前記第２の内視鏡装置の外部の測位点に設けられた受信機で受信することで、前記第２の位置情報を取得することを特徴とする内視鏡システム。
請求項３８において、
前記第２位置情報取得部は、
前記第２の内視鏡装置に設けられた前記発信機からの電波または音波を、前記第２の内視鏡装置の外部の測位点に設けられた３つ以上の受信機で受信し、前記発信機と各受信機との距離を計算することで、前記第２の位置情報を取得することを特徴とする内視鏡システム。
請求項３８において、
前記発信機から送信される前記電波または前記音波の強度を制御する制御部を含み、
前記第２位置情報取得部は、
前記第２の内視鏡装置の移動に伴って、体内での位置を示す第２の位置情報を順次取得し、
前記制御部は、
順次取得された前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合に、前記電波または音波の強度を上昇させる制御を行うことを特徴とする内視鏡システム。
請求項２９において、
前記第２の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第２の内視鏡装置が位置する部位を判別する第２部位判別部を含み、
前記第２位置情報取得部は、
前記第２部位判別部により判別された結果を前記第２の位置情報として取得することを特徴とする内視鏡システム。
請求項４１において、
前記第２位置情報取得部は、
前記第２部位判別部により判別された部位と、前記第２の内視鏡装置の体内に挿入された長さに基づいて、前記第２の位置情報を取得することを特徴とする内視鏡システム。
第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部として、
コンピュータを機能させ、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とするプログラム。
第１の内視鏡装置の第１検出部が、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、
第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得し、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である前記第２基準注目領域を含む画像を検出し、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とする画像処理方法。