JP2011255006A - 画像処理装置、内視鏡装置、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】アラート画像が診断や処置等の妨げとなることを抑止する画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、通常光画像と特殊光画像の少なくとも一方の画像である取得画像を取得する白色光画像取得部３２０及び特殊光画像取得部３３０と、その取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部３４０と、その注目領域の検出結果に応じて、注目領域に対応するアラート画像を表示すべきか否かの判定を行うアラート画像表示設定部３５０と、アラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う表示態様制御部３６０と、を含む。
【選択図】図３

Description

本発明は、画像処理装置、内視鏡装置、プログラム及び画像処理方法等に関する。

従来、体腔内の組織に対して回転フィルタを用いてＲＧＢの３色の光を順次照射し、それらの反射光画像から白色光画像を取得し、その白色光画像を用いて診断を行う面順次式の内視鏡装置が広く使用されている。また、体腔内の組織に対してＲＧＢの３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から狭帯域光画像を取得し、その狭帯域光画像を用いて診断を行う内視鏡装置が提案されている（例えば、特許文献１）。また、体腔内の組織に対して狭帯域の励起光を照射し、その励起光により体腔内の組織から自家蛍光や薬剤蛍光を生じさせて蛍光画像を取得し、その蛍光画像を用いて診断を行う内視鏡装置が提案されている（例えば、特許文献２）。

特開２００６−６８１１３号公報 特開２００７−２２９０５３号公報

さて、上述の白色光画像を用いた診断では、腫瘍等の病変部が、正常部位よりも赤味が強い領域として描出されることが知られている。一方、上述の狭帯域光画像を用いた診断では、白色光画像では視認が困難な扁平上皮癌等の病変部が、正常部位とは異なる褐色の領域として描出されるため、その病変部の発見が容易になることが知られている。また、上述の蛍光画像を用いた診断では、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用し、その病変部だけに蛍光を発生させることで、その病変部の発見が容易になる。

しかしながら、これらの狭帯域光画像や蛍光画像（以下、特殊光画像と呼ぶ）は、白色光画像と比較して一般的に異なる色味を有する。また、特殊光画像は、帯域が狭いため光量が不足し、非常に暗い画像となってしまう。そのため、特殊光画像のみを用いて診断を行うことは難しい。

そこで、医師の診断精度を向上するために、例えば白色光画像と特殊光画像を同時に取得して表示する手法が考えられる。しかしながら、この手法では、２つの画像を並べて同時に表示すると、医師が常時複数の画像に注目しながら診断を行うこととなり医師の負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。

この病変部の見逃しを抑止するために、例えば白色光画像のみを表示し、その白色光画像において病変部の可能性がある領域にアラート画像を表示して注意を促す手法が考えられる。しかしながら、この手法では、そのアラート画像が、病変部の診断や処置の妨げとなってしまう。

本発明の幾つかの態様によれば、アラート画像が診断や処置等の妨げとなることを抑止する画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得する画像取得部と、前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行う判定部と、前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う表示態様制御部と、を含む画像処理装置に関係する。

本発明の一態様によれば、通常光画像と特殊光画像の少なくとも一方の画像である取得画像が取得され、取得画像から注目領域が検出される。そして、検出された注目領域に対応するアラート画像を表示すべきか否かの判定が行われ、アラート画像を表示すべきと判定された注目領域に対応するアラート画像を表示する制御が行われる。これにより、アラート画像が診断や処置の妨げとなることの抑止等が可能になる。

また、本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。

また、本発明のさらに他の態様は、白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得する画像取得部と、前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行う判定部と、前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う表示態様制御部として、コンピュータを機能させるプログラムに関係する。

また、本発明のさらに他の態様は、白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得し、前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行い、前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う画像処理方法に関係する。

図１（Ａ）、図１（Ｂ）は、本実施形態の手法の概要についての説明図。 本実施形態の手法の概要についての説明図。 内視鏡装置の第１の構成例。 白色光画像を撮影するための色フィルタの分光特性例。 特殊光画像を撮影するための色フィルタの構成例。 特殊光画像を撮影するための色フィルタの分光特性例。 画像処理装置が行う処理の概要についての説明図。 白色光画像取得部の詳細な構成例。 特殊光画像取得部の詳細な構成例。 狭帯域光画像を生成する手法についての説明図。 注目領域検出部の詳細な構成例。 局所領域についての説明図。 タグ情報を付与する処理についての説明図。 アラート画像表示設定部の詳細な構成例。 表示態様制御部の詳細な構成例。 表示可否判定部の詳細な構成例。 図１７（Ａ）、図１７（Ｂ）は、領域サイズ判定部が行う処理についての説明図。 図１８（Ａ）、図１８（Ｂ）は、領域サイズ判定部が行う処理についての説明図。 病変部を遠景撮影した場合の画像例。 病変部を近景撮影した場合の画像例。 注目領域群の検出経過時間を算出する手法についての説明図。 画像処理の処理手順を表すフローチャート例。 表示態様変更処理の処理手順を表すフローチャート例。 内視鏡装置の第２の構成例。 注目領域検出部の詳細な構成例。 画像処理の処理手順を表すフローチャート例。 内視鏡装置の第３の構成例。 画像処理装置が行う処理の概要についての説明図。 注目領域制御部の詳細な構成例。 表示態様制御部の詳細な構成例。 画像処理の処理手順を表すフローチャート例。 注目領域制御処理の処理手順を表すフローチャート例。 内視鏡装置の第４の構成例。 画像処理の処理手順を表すフローチャート例。 コンピュータシステムの構成を示すシステム構成図。 コンピュータシステムにおける本体部の構成を示すブロック図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
図１（Ａ）〜図２を用いて、本実施形態の手法の概要について説明する。
図１（Ａ）に示すように、医師が内視鏡を用いて患者を診察する場合、まず医師は画像を見ながら診察対象の体腔内に異常な部位が無いかをチェックしていく。このとき、一般的には画像の色味や血管構造等から、病変部（広義には、注目領域）であるか否かが診断される。しかしながら、この視認による診断では、視認性の低い病変部を見落とす可能性がある。そのため、本実施形態では、Ｅ１に示すように病変部の可能性がある領域がある場合に、後述する特殊光画像を用いてその領域を検出する。そして、Ｅ２に示すように、その領域にアラート画像を表示することで、医師の見落としを抑止し、医師の負担を低減する。

次に、図１（Ｂ）に示すように、病変部と疑われる領域が見つかると、その領域に内視鏡を近づけ、拡大観察して診断や処置を行う。例えば、Ｆ１に示す病変部が診断や処置の対象である場合に、Ｆ２に示すように、その病変部にアラート画像が表示される。しかしながら、このようにアラート画像が表示されていると、病変部を直接に観察できないため診断や処置が妨げられてしまう。例えば、この課題を解決する手法として、診断や処置を行う際にアラート画像を全て非表示にする手法が考えられる。しかしながら、アラート画像を全て非表示にすると、例えばＦ３に示すように、小さい病変部を見落として診断や処置が完全に行われない可能性がある。

そこで、本実施形態では、図２のＧ１に示すように、例えば所定の閾値よりもサイズが大きい病変部にはアラート画像を表示せず、診断や処置の対象となる病変部を観察しやすくする。一方、Ｇ２に示すように、例えば所定の閾値よりもサイズが小さい病変部にはアラート画像を表示し、小さい病変の見落としを抑止する。

２．第１の構成例
図３に、病変部のサイズに応じてアラート画像の表示・非表示を制御する内視鏡装置の第１の構成例を示す。この内視鏡装置（内視鏡システム）は、光源部１００、撮像部２００、制御装置３００（制御部）、表示部４００（表示装置）、外部Ｉ／Ｆ部５００を含む。

光源部１００は、体腔内の被写体に照射するための照明光を発生する。具体的には、光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバ２１０に集光する集光レンズ１２０を含む。

撮像部２００は、体腔内の被写体を撮像するための挿入部である。例えば、撮像部２００は、体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。具体的には、撮像部２００は、ライトガイドファイバ２１０、照明レンズ２２０、対物レンズ２３０、ハーフミラー２４０、第１撮像素子２５０、第２撮像素子２６０を含む。

ライトガイドファイバ２１０は、光源部１００により集光された光を被写体に導く。照明レンズ２２０は、ライトガイドファイバ２１０により撮像部２００の先端まで導かれてきた光を拡散させて被写体に照射する。対物レンズ２３０は、被写体から戻る反射光を集光する。ハーフミラー２４０は、その集光された反射光を２つに分離する。第１撮像素子２５０は、その分離された反射光の一方により被写体を撮像する。第２撮像素子２６０は、分離された反射光の他方により被写体を撮像する。

より具体的には、第１撮像素子２５０は、白色光画像（通常光画像）を撮影するためのベイヤ（Bayer）配列の色フィルタを持つ撮像素子である。例えば図４に示すように、第１撮像素子２５０の色フィルタｒ，ｇ，ｂは、それぞれ赤色、緑色、青色の波長帯域を透過する分光特性を有する。図５に示すように、第２撮像素子２６０は、例えば２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。図６に示すように、色フィルタｂ２は、例えば３９０〜４４５ｎｍ（ｎｍ：ナノメートル）の波長帯域の光を透過する分光特性を有し、色フィルタｇ２は、５３０〜５５０ｎｍの波長帯域の光を透過する分光特性を持つ。例えば、第１撮像素子２５０と第２撮像素子２６０の画素数は同一である。

制御装置３００は、内視鏡装置の各構成要素を制御したり、撮像された画像の画像処理を行う。この制御装置３００は、第１のＡ／Ｄ変換部３１０、第２のＡ／Ｄ変換部３１１、画像処理装置３０１（画像処理部）、制御部３７０を含む。

画像処理装置３０１は、注目領域（例えば病変部）を検出したり、アラート画像の表示可否を判定したり、表示画像の表示制御を行う。この画像処理装置３０１は、白色光画像取得部３２０（第１の画像取得部）、特殊光画像取得部３３０（第２の画像取得部）、注目領域検出部３４０、アラート画像表示設定部３５０（アラート画像生成部）、表示態様制御部３６０を含む。

制御部３７０は、白色光画像取得部３２０、特殊光画像取得部３３０、注目領域検出部３４０、アラート画像表示設定部３５０、表示態様制御部３６０に接続され、これらの構成要素の制御を行う。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェース部である。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン等を含む。また、外部Ｉ／Ｆ部５００は、入力された情報を制御部３７０へ出力する。

Ａ／Ｄ変換部３１０は、第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を白色光画像取得部３２０に出力する。Ａ／Ｄ変換部３１１は、第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を特殊光画像取得部３３０に出力する。

白色光画像取得部３２０（通常光画像取得部）は、Ａ／Ｄ変換部３１０からのデジタル画像信号に基づいて白色光画像を取得し、その取得した白色光画像をアラート画像表示設定部３５０と表示態様制御部３６０に出力する。特殊光画像取得部３３０は、Ａ／Ｄ変換部３１１からのデジタル画像信号に基づいて特殊光画像を取得し、その取得した特殊光画像を注目領域検出部３４０に出力する。なお、白色光画像取得部３２０と特殊光画像取得部３３０の詳細は後述する。

注目領域検出部３４０は、特殊光画像取得部３３０から出力される特殊光画像に基づいて注目領域を検出する。そして、注目領域検出部３４０は、検出した注目領域の情報（例えば、領域の座標等）をアラート画像表示設定部３５０と表示態様制御部３６０に出力する。

アラート画像表示設定部３５０は、注目領域検出部３４０により検出された注目領域に対応するアラート画像を作成する。具体的には、アラート画像表示設定部３５０は、特殊光画像上の注目領域に対応する白色光画像上の領域に対して強調処理を行う。例えば、アラート画像表示設定部３５０は、その領域の全ての画素に対して強調処理を施してアラート画像を作成する。このアラート画像は、各注目領域（または各注目領域群）に対応して作成され、注目領域が複数検出された場合にはアラート画像も複数作成される。そして、アラート画像表示設定部３５０は、作成したアラート画像を表示態様制御部３６０に出力する。

表示態様制御部３６０は、注目領域の表示態様を制御する。具体的には、表示態様制御部３６０は、まず注目領域検出部３４０から出力される注目領域の情報に応じて、アラート画像の表示可否を判定する処理を行う。そして、表示態様制御部３６０は、その判定処理の結果、表示すべきと判定されたアラート画像のみを白色光画像に重畳し、その白色光画像を表示部４００に出力する。なお、アラート画像表示設定部３５０と表示態様制御部３６０の詳細は後述する。

３．第１の構成例における画像処理
３．１．画像処理の概要
次に、上記構成例が行う画像処理の詳細について説明する。
まず図７を用いて、画像処理装置３０１が行う処理の概要について説明する。図７のＨ１に示すように、まず特殊光画像と白色光画像が取得される。次に、Ｈ２に示すように、特殊光画像の中から病変部等の注目領域（図７では楕円で表す）が検出される。このとき、注目領域を区別するためのタグ（図７では数字で表す）が、各注目領域に付与される。次に、Ｈ３に示すように、各注目領域に対応するアラート画像（図７では網掛けの四角で表す）が白色光画像に基づいて生成される。次に、Ｈ４に示すように、注目領域のサイズ等に応じてアラート画像の表示可否が判定される。例えば、タグ“１”の注目領域のアラート画像は非表示と判定され、タグ“２”の注目領域のアラート画像は表示と判定される。そして、Ｈ５に示すように、表示と判定された注目領域のアラート画像が白色光画像に重畳されて表示される。

３．２．白色光画像取得部、特殊光画像取得部
次に、各構成要素の詳細な構成例とその動作について説明する。図８に、白色光画像取得部３２０の詳細な構成例を示す。この白色光画像取得部３２０は、白色光画像生成部３２１（通常光画像生成部）、白色光画像記憶部３２２（通常光画像記憶部）を含む。白色光画像生成部３２１は、Ａ／Ｄ変換部３１０から出力されるデジタル画像信号に対して画像処理を行い、白色光画像を生成する。具体的には、白色光画像生成部３２１は、既知の補間処理やホワイトバランス処理、色変換処理、階調変換処理等を行い、白色光画像を生成して出力する。例えば、白色光画像は、３原色の画素値から構成されたＲＧＢ画像である。白色光画像記憶部３２２は、白色光画像生成部３２１から出力された白色光画像を記億する。

図９に、特殊光画像取得部３３０の詳細な構成例を示す。この特殊光画像取得部３３０は、特殊光画像生成部３３１、特殊光画像記憶部３３２を含む。特殊光画像生成部３３１は、Ａ／Ｄ変換部３１１から出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。例えば、特殊光画像は上述の狭帯域光画像である。この狭帯域光画像は、後述のように、Ｇ２とＢ２の画素値から構成されたＲＧＢ画像である。そして、特殊光画像生成部３３１は、生成した狭帯域光画像を特殊光画像記憶部３３２に出力する。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された狭帯域光画像を記憶する。

図１０を用いて、特殊光画像生成部３３１が狭帯域光画像を生成する手法について説明する。図３で上述のように、第２撮像素子２６０は、２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。そのため、図１０に示すように、特殊光画像生成部３３１には、市松状のデジタル画像信号が入力される。ここで、Ｇ２（ｘ，ｙ）はｇ２フィルタの信号値を表し、Ｂ２（ｘ，ｙ）はｂ２フィルタの信号値を表すものとする。また、ｘ，ｙは画素の座標である。

まず、特殊光画像生成部３３１は、このような画像信号に対して補間処理を行い、全画素に対して、ｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。この補間処理で算出される信号値は、例えば周辺４画素の信号値の平均値により求められる。例えば、図１０に示すＧ２（１，１）の位置でのｂ２フィルタの信号値Ｂ２（１，１）、及びＢ２（１，２）位置でのｇ２フィルタの信号値Ｇ２（１，２）は、下式（１）、（２）により算出される。

Ｂ２（１，１）＝｛Ｂ２（０，１）＋Ｂ２（１，０）＋
Ｂ２（１，２）＋Ｂ２（２，１）｝／４ ・・・（１）
Ｇ２（１，２）＝｛Ｇ２（０，２）＋Ｇ２（１，１）＋
Ｇ２（１，３）＋Ｇ２（２，２）｝／４ ・・・（２）

次に、特殊光画像生成部３３１は、上述の補間処理により生成したＧ２画像及びＢ２画像から、白色光画像と同様にＲ，Ｇ，Ｂの３種類の信号値を有するカラー画像を生成する。具体的には、特殊光画像生成部３３１は、カラー画像の座標（ｘ，ｙ）における画素のＲ信号にＧ２（ｘ，ｙ）を入力し、Ｇ，Ｂ信号にＢ２（ｘ，ｙ）を入力して、ＲＧＢのカラー画像を生成する。そして、特殊光画像生成部３３１は、そのカラー画像に対してホワイトバランス処理や階調変換処理等を行い、狭帯域光画像を生成する。

３．３．注目領域検出部
図１１に、注目領域検出部３４０の詳細な構成例を示す。この注目領域検出部３４０は、局所領域設定部３４１、特徴量算出部３４２、領域検出部３４３、タグ情報付与部３４４を含む。

局所領域設定部３４１は、特殊光画像取得部３３０から出力される狭帯域光画像に対して、複数の局所領域を設定する。具体的には図１２に示すように、局所領域設定部３４１は、狭帯域光画像を複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。例えば、１つの局所領域は、２０×２０画素の矩形領域である。

より具体的には、狭帯域光画像は、Ｍ×Ｎ個の局所領域に分割される。この各局所領域の座標を（ｍ，ｎ）で表し、座標（ｍ，ｎ）の局所領域をａ（ｍ，ｎ）と表すこととする（ｍ、ｎは、０以上の整数）。そして、画像の左上に位置する局所領域の座標を（０，０）とし、右方向（水平方向）をｍの正方向、下方向（垂直方向）をｎの正方向と定義する。なお、局所領域は必ずしも矩形である必要はなく、狭帯域光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定してもよい。また、局所領域をユーザの指示に応じて任意に設定できるようにしてもよい。また、本実施形態では後段での計算量を削減するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域としてもよい。この場合も後段での処理は同様に行うことができる。

特徴量算出部３４２は、局所領域設定部３４１で設定された全ての局所領域に対して特徴量を算出する。以下では、特徴量算出部３４２が行う処理を、特徴量として色相を用いる場合を例に説明する。ここで、局所領域ａ（ｍ，ｎ）に対応する色相をＨ（ｍ，ｎ）と表す。

まず、特徴量算出部３４２は、色相Ｈ（ｍ，ｎ）を算出するため、各局所領域におけるＲ，Ｇ，Ｂ信号の平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅを算出する。この平均値Ｒ＿ａｖｅは、各局所領域に含まれる全ての画素におけるＲ信号の平均値である。同様にＧ＿ａｖｅ，Ｂ＿ａｖｅは、各局所領域に含まれる全ての画素におけるＧ，Ｂ信号の平均値である。例えば、各信号値は８ビット（０〜２５５）である。次に、特徴量算出部３４２は、例えば下式（３）〜（８）を用いて、平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅから各局所領域の色相Ｈ（ｍ，ｎ）を算出する。ここで、ＭＡＸ関数は、複数の引数の中から最大値の引数を出力する関数である。
ｍａｘ＝ＭＡＸ（Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅ） ・・・ （３）

ｍａｘ＝０の場合には、下式（４）により色相Ｈ（ｍ，ｎ）を求める。
Ｈ（ｍ，ｎ）＝０ ・・・ （４）

ｍａｘが０以外の場合には、まず下式（５）により値ｄを求める。ここで、ＭＩＮ関数は、複数の引数の中から最小値の引数を出力する関数である。
ｄ＝ＭＡＸ（Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅ）−
ＭＩＮ（Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅ） ・・・ （５）

Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅのうちＲ＿ａｖｅが最大の場合には、下式（６）により色相Ｈ（ｍ，ｎ）を求める。
Ｈ（ｍ，ｎ）＝６０×（Ｇ＿ａｖｅ−Ｂ＿ａｖｅ）／ｄ ・・・ （６）

また、Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅのうちＧ＿ａｖｅが最大の場合には、下式（７）により色相Ｈ（ｍ，ｎ）を求める。
Ｈ（ｍ，ｎ）＝６０×｛２＋（Ｂ＿ａｖｅ−Ｒ＿ａｖｅ）｝／ｄ ・・・ （７）

また、Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅのうちＢ＿ａｖｅが最大の場合には、下式（８）により色相Ｈ（ｍ，ｎ）を求める。
Ｈ（ｍ，ｎ）＝６０×｛４＋（Ｒ＿ａｖｅ−Ｇ＿ａｖｅ）｝／ｄ ・・・ （８）

なお、上記演算によりＨ＜０となった場合には、Ｈに３６０を加える。また、上記演算によりＨ＝３６０となった場合には、Ｈ＝０とする。

領域検出部３４３は、上記特徴量算出部３４２からの色相Ｈ（ｍ，ｎ）を用いて、全ての局所領域の中から特定の色相Ｈを持つ局所領域を注目領域として検出する。例えば、領域検出部３４３は、色相Ｈ（ｍ，ｎ）が５≦Ｈ≦３５の範囲である局所領域を注目領域として検出する。そして、領域検出部３４３は、注目領域として検出された局所領域の座標（例えば、局所領域内の全画素の座標）をタグ情報付与部３４４に出力する。

なお、本実施の形態で用いられる狭帯域光画像では、扁平上皮癌等の病変が褐色の領域として描出される特徴がある。上記の色相Ｈの範囲５≦Ｈ≦３５は、その褐色を表す色相範囲の一例であり、この色相範囲の領域を検出することで扁平上皮癌等の病変領域の検出が可能である。

タグ情報付与部３４４は、領域検出部３４３で検出された注目領域に対し、タグ情報を付与する処理を行う。具体的には、タグ情報付与部３４４は、検出された注目領域のうち、互いに隣接する注目領域に対し、同一のタグ情報を付与する処理を行う。そして、タグ情報付与部３４４は、全ての注目領域の座標（例えば各注目領域に含まれる全画素の座標）とタグ情報を、アラート画像表示設定部３５０と表示態様制御部３６０に出力する。

図１３を用いて、タグ情報を付与する処理について説明する。図１３に示すように、第１の病変部と第２の病変部が存在し、網掛けで表す局所領域が注目領域として検出されたとする。このとき、タグ情報付与部３４４は、隣接する複数の注目領域を統合し、第１の病変部に対応する第１の注目領域群と第２の病変部に対応する第２の注目領域群を設定する。そして、タグ情報付与部３４４は、第１の注目領域群に属する全ての局所領域（注目領域）にタグ情報“１”を付与し、第２の注目領域群に属する全ての局所領域にタグ情報“２”を付与する。なお、本実施形態では、同一のタグ情報が付与された注目領域の集合を注目領域群と呼ぶ。このようにしてタグ情報を付与することで、互いに異なる注目領域の集合を識別することが可能である。

３．４．アラート画像表示設定部
次に、図１４に、アラート画像表示設定部の詳細な構成例を示す。このアラート画像表示設定部３５０は、対応領域選出部３５１、強調処理部３５２を含む。

対応領域選出部３５１は、注目領域検出部３４０から出力される特殊光画像上の全ての注目領域に対応する白色光画像上の領域を選出し、選出した領域に含まれる全ての画素の情報とタグ情報を強調処理部３５２に出力する。ここで、画素の情報とは、その画素の座標とＲＧＢ信号値である。また、タグ情報は画素毎に付与され、その付与されるタグ情報は、各画素が属する注目領域に付与されているタグ情報と同一のタグ情報である。

強調処理部３５２は、対応領域選出部３５１から出力される全ての画素に対して、下式（９）を用いて色変換処理を施すことでアラート画像を作成し、作成したアラート画像を表示態様制御部３６０に出力する。強調処理部３５２は、色変換処理後の全ての画素の情報（座標、ＲＧＢ画素値）とタグ情報を表示態様制御部３６０に出力する。

Ｒ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×Ｒ（ｘ，ｙ）＋（１−ｇａｉｎ）×Ｔ＿Ｒ，
Ｇ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×Ｇ（ｘ，ｙ）＋（１−ｇａｉｎ）×Ｔ＿Ｇ，
Ｂ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×Ｂ（ｘ，ｙ）＋（１−ｇａｉｎ）×Ｔ＿Ｂ
・・・ （９）

ここで、上式（９）において、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、色変換処理前の白色光画像の座標（ｘ，ｙ）におけるＲＧＢ信号値である。また、Ｒ＿ｏｕｔ（ｘ，ｙ），Ｇ＿ｏｕｔ（ｘ，ｙ），Ｂ＿ｏｕｔ（ｘ，ｙ）は、色変換処理後の白色光画像の座標（ｘ，ｙ）におけるＲＧＢ信号値である。また、Ｔ＿Ｒ，Ｔ＿Ｇ，Ｔ＿Ｂは、ターゲット色を表す任意のＲＧＢ信号値である。また、ｇａｉｎは、０≦ｇａｉｎ≦１の任意の係数である。

例えば、上式（９）において、各ＲＧＢ信号値は８ビット（０〜２５５）で表わされ、（Ｔ＿Ｒ，Ｔ＿Ｇ，Ｔ＿Ｂ）＝（６４，６４，２５５）であり、ｇａｉｎ＝０．５であるとする。この場合、注目領域に対応する白色光画像の領域を、通常とは異なる色領域として描出したアラート画像が得られる。具体的には、Ｔ＿Ｂが２５５であるため、注目領域に対応する白色光画像のＢ信号値が強調されることになり、注目領域に対応する白色光画像の領域を青みの強い領域として描出したアラート画像が得られる。なお、Ｔ＿Ｒ１，Ｔ＿Ｇ１，Ｔ＿Ｂ１、及びｇａｉｎパラメータは、外部Ｉ／Ｆ部５００よりユーザが設定することも可能であるし、予め一定の値を設定しておいてもよい。

ここで、上記実施形態では、上式（９）を用いた色変換処理によりアラート画像を作成する場合について説明したが、本実施形態はこれに限定されず、任意の輝度変換処理や色変換処理を用いてアラート画像を作成してもよい。

また上記実施形態では、検出された注目領域に対応する白色光画像の領域内における全ての画素に対して、上式（９）を用いて強調処理を施す場合について説明したが、本実施形態はこれに限定されない。例えば、注目領域と、注目領域として検出されなかった非注目領域との境界に対応する白色光画像内の画素に対して強調処理を施すことで、アラート画像を作成してもよい。この場合、注目領域と非注目領域の境界に対応する白色光画像の全ての画素に対し、例えば下式（１０）に示す色変換処理を行う。下式（１０）に示した色変換処理により、注目領域と非注目領域の境界に対応する白色光画像内の画素を、青色で描出したアラート画像が得られる。

Ｒ＿ｏｕｔ（ｘ，ｙ）＝０，
Ｇ＿ｏｕｔ（ｘ，ｙ）＝０，
Ｂ＿ｏｕｔ（ｘ，ｙ）＝２５５ ・・・ （１０）

３．５．表示態様制御部
さて、上記のようにして作成した全てのアラート画像を白色光画像に重畳表示したとする。そうすると、病変領域が通常とは異なる色領域として描出されるため、病変の発見が容易になる。しかしながら、アラート画像を重畳した状態では、病変が通常とは異なる色として描出されるため、アラート画像が病変の診断や処置の妨げとなるという課題がある。

そこで、本実施形態では、注目領域検出部３４０により検出される注目領域の情報に応じてアラート画像の表示態様を制御し、アラート画像が病変の診断や処置の妨げとなることを抑止する。具体的には、病変の診断や処置は、内視鏡を病変に近接させた状態で行うことが一般的である。また、その病変の処置は、撮像部２００が固定された状態で行われることが多い。そのため、病変の診断や処置を行う際には、病変領域は、白色光画像上で大きな割合を占め、また、白色光画像上に一定時間存在し続ける特徴がある。また、その病変領域が微小な病変により構成されている場合には、多数の病変領域が検出されることになる。そこで、本実施形態では、注目領域のサイズや数や検出時間に応じて、アラート画像の表示・非表示を制御する。

図１５に、この注目領域の情報に応じてアラート画像の表示態様を制御する表示態様制御部３６０の詳細な構成例を示す。この表示態様制御部３６０は、表示可否判定部３６１、アラート画像重畳部３６２を含む。

表示可否判定部３６１は、アラート画像表示設定部３５０から出力されるアラート画像を表示すべきか否かの判定処理を行い、その判定処理により表示すべきと判定されたアラート画像をアラート画像重畳部３６２に出力する。なお、判定処理は、注目領域検出部３４０から出力される注目領域の情報を用いて後述の手法により行う。

アラート画像重畳部３６２は、表示可否判定部３６１から出力されるアラート画像を白色光画像に重畳し、その白色光画像を表示部４００に出力する。

図１６に、表示可否判定部３６１の詳細な構成例を示す。この表示可否判定部３６１は、領域数判定部３６１１、領域サイズ判定部３６１２、検出回数算出部３６１３、メモリ３６１４、経過時間判定部３６１５、アラート画像選択部３６１６を含む。

領域数判定部３６１１は、注目領域検出部３４０から出力される注目領域の情報から注目領域群の数を算出する。具体的には、領域数判定部３６１１は、上述の注目領域群の数を閾値Ａｒｅａ＿Ｎｕｍと比較し、その比較結果をフラグ情報として領域サイズ判定部３６１２に出力する。より具体的には、領域数判定部３６１１は、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍよりも大きい場合にはフラグ“０”を出力し、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍ以下の場合にはフラグ“１”を出力する。例えば、閾値Ａｒｅａ＿Ｎｕｍは、制御部３７０により所定の値が領域数判定部３６１１に設定される。また、注目領域群の数（広義には、数情報）は、領域数判定部３６１１が各注目領域に付与されている全てのタグ情報を参照し、そのタグ情報が何種類存在するかを算出することで決定する。

領域サイズ判定部３６１２は、注目領域群のサイズ情報及び、領域数判定部３６１１から出力されるフラグ情報に応じて、各注目領域群に対応するアラート画像を表示すべきか否かの判定処理を後述の手法により行う。そして、領域サイズ判定部３６１２は、その判定処理の結果をアラート画像選択部３６１６に出力する。この判定処理の結果として出力される情報は、例えばアラート画像を表示すべきと判定された注目領域群に付与されているタグ情報である。ここで、注目領域群のサイズ情報は、注目領域群が占める領域の大きさを表す情報であり、例えば各注目領域群を構成する局所領域（注目領域）の数であり、あるいは注目領域群を構成する局所領域の数と画像全体を構成する局所領域の数との比であってもよい。

次に、領域サイズ判定部３６１２が行う判定処理について詳細に説明する。まず、領域サイズ判定部３６１２は、注目領域群のサイズを算出する。例えば、注目領域群のサイズは、各注目領域群を構成する局所領域の数である。次に、領域サイズ判定部３６１２は、領域数判定部３６１１から出力されるフラグ情報を参照する。

注目領域群の数が閾値より少ないフラグ“１”の場合、サイズの大きな注目領域群に対応するアラート画像を表示すると、そのアラート画像が医師の診断や処置の妨げとなることが懸念される。そこで、領域サイズ判定部３６１２は、閾値Ｓｉｚｅ＿Ｍａｘを超える注目領域群のアラート画像を非表示と判定する。そして、領域サイズ判定部３６１２は、サイズが閾値Ｓｉｚｅ＿Ｍａｘ以下である注目領域群に付与されているタグ情報をアラート画像選択部３６１６に出力する。

一方、注目領域群の数が閾値より多いフラグ“０”の場合、注目領域群の数が多いため、全ての注目領域群に対応するアラート画像を表示してしまうと、そのアラート画像が医師の診断や処置の妨げとなることが懸念される。しかしながら、全てのアラート画像を非表示にしてしまうと、微小な病変を見落とす危険性も考えられる。そこで、領域サイズ判定部３６１２は、注目領域群のうちサイズの小さい注目領域群のアラート画像のみを表示と判定する。具体的には、領域サイズ判定部３６１２は、閾値Ｓｉｚｅ＿Ｍａｘより小さい閾値Ｓｉｚｅ＿Ｍｉｎ以下のサイズの注目領域群のみに対して、アラート画像を表示すべきと判定し、その注目領域群に付与されているタグ情報のみをアラート画像選択部３６１６に出力する。

図１７（Ａ）〜図１８（Ｂ）を用いて、領域サイズ判定部３６１２の処理について例を挙げて説明する。なお、以下では、閾値はＡｒｅａ＿Ｎｕｍ＝５，Ｓｉｚｅ＿Ｍｉｎ＝１，Ｓｉｚｅ＿Ｍａｘ＝３であるとする。

図１７（Ａ）に示すように、３つの注目領域群Ａ１〜Ａ３が検出されたとする。ここで、各注目領域群Ａ１，Ａ２，Ａ３にはそれぞれタグ情報“１”，“２”，“３”が付与されているものとする。まず領域サイズ判定部３６１２は、各注目領域群を構成する注目領域の数を各注目領域群のサイズとして算出する。各注目領域群のサイズは以下となる。
注目領域群Ａ１のサイズ：１２
注目領域群Ａ２のサイズ：３
注目領域群Ａ３のサイズ：１

次に、注目領域群の数は３であり、閾値Ａｒｅａ＿Ｎｕｍ＝５以下であるから、領域数判定部３６１１からはフラグ“１”が出力される。そのため、図１７（Ｂ）に示すように、領域サイズ判定部３６１２は、閾値Ｓｉｚｅ＿Ｍａｘ＝３以下である注目領域群のみをアラートを表示すべき領域と判定する。従ってこの場合は、注目領域群Ａ２，Ａ３がアラートを表示すべき領域と判定され、アラート画像選択部３６１６にはタグ情報“２”，“３”が出力される。

次に、図１８（Ａ）に示すように、７つの注目領域群Ｂ１〜Ｂ７が検出されたとする。ここで、各注目領域群Ｂ１〜Ｂ７には、それぞれタグ情報“１”〜“７”が付与されているものとする。領域サイズ判定部３６１２が算出する各注目領域群のサイズは以下となる。
注目領域群Ｂ１，Ｂ２，Ｂ３，Ｂ５，Ｂ６のサイズ：３
注目領域群Ｂ４のサイズ：２
注目領域群Ｂ７のサイズ：１

次に、注目領域群の数は７であり、閾値Ａｒｅａ＿Ｎｕｍ＝５よりも大きいから、領域数判定部３６１１からはフラグ“０”が出力される。そのため、図１８（Ｂ）に示すように、領域サイズ判定部３６１２は、閾値Ｓｉｚｅ＿Ｍｉｎ＝１以下である注目領域群のみのアラート画像を表示すべき領域と判定する。従ってこの場合は、注目領域群Ｂ７のみがアラート画像を表示すべき領域と判定され、アラート画像選択部３６１６にはタグ情報“７”が出力される。

上記判定処理によれば、アラート画像が診断・処置の妨げとなることと微小な病変の見落としを抑止できる。具体的には、狭帯域光画像上で大きな病変領域が検出された場合には、その病変領域に対応するアラート画像を非表示と判定することで、アラート画像が診断・処置の妨げとなることを抑止できる。一方、閾値以下のサイズの注目領域群ではアラート画像を表示すると判定することで、見落とし易い領域についてはアラート画像を表示できる。

また、上記判定処理によれば、注目領域群の数に応じてサイズの閾値を変えることで、撮影状況に応じたアラート制御を行うことができる。例えば、図１９に示すように、病変部を比較的遠景で観察する場合、Ｃ１に示すように、大きくまとまった注目領域群が少数検出されることが想定される。この場合、注目領域群のサイズが大きいため、図１７（Ａ）等で上述のように、より大きな閾値Ｓｉｚｅ＿Ｍａｘを用いて判定処理を行う。一方、図２０に示すように、病変部を比較的近景で観察する場合、例えばＤ１〜Ｄ７に示すように、病変部の構造が拡大されて細かい注目領域群が多数検出されることが想定される。この場合、注目領域群のサイズが小さいため、同じ閾値を用いるとアラート画像が非表示にならない可能性がある。そのため、図１８（Ａ）等で上述のように、より小さい閾値Ｓｉｚｅ＿Ｍｉｎを用いて判定処理を行うことで、微小な病変で構成されている領域のアラート画像を非表示にする。

次に、図１６に示す検出回数算出部３６１３について説明する。検出回数算出部３６１３は、注目領域検出部３４０から出力される全ての注目領域についての検出回数を算出する。ここで、検出回数とは、注目領域が継続して検出された経過時間を表す情報であり、例えば後述するように各注目領域が連続して検出される回数（フレーム数）である。以下では、白色光画像と狭帯域光画像が同時に取得され、それぞれの画像が時系列で取得され、ある時刻ｔにおいて取得された狭帯域光画像から検出された注目領域に対して検出回数を算出する場合を例に説明する。ここで、時刻ｔにおいて取得された狭帯域光画像をＦｔとし、ＦｔのＮフレーム前に取得された狭帯域光画像をＦｔ−Ｎとする。

まず、検出回数算出部３６１３は、メモリ３６１４を参照し、メモリ３６１４に格納されている検出回数の情報（データ）を取得する。後述するように、メモリ３６１４にはＦｔ−１で検出された全ての注目領域の座標とその注目領域の検出回数の情報が格納されている。以下では、Ｆｔ−１で検出された注目領域を旧注目領域と呼ぶ。

次に、検出回数算出部３６１３は、注目領域検出部３４０から出力されるＦｔで検出された全ての注目領域の検出回数を算出する。具体的には、検出回数算出部３６１３は、その注目領域の座標と、メモリ３６１４より取得した全ての旧注目領域の座標とを比較し、その注目領域の座標に一致する旧注目領域の座標が存在する場合には、下式（１１）により注目領域の検出回数を算出する。ここで、（ｍ，ｎ）は、注目領域の座標であり、Ｐｔ（ｍ，ｎ）は、メモリ３６１４から取得した旧注目領域（ｍ，ｎ）の検出回数であり、Ｐｔ’（ｍ，ｎ）は、注目領域（ｍ，ｎ）の検出回数である。
Ｐｔ’（ｍ，ｎ）＝Ｐｔ（ｍ，ｎ）＋１ ・・・・・（１１）

一方、その注目領域の座標に一致する旧注目領域の座標が存在しない場合には、検出回数算出部３６１３は、注目領域の検出回数をＰｔ’（ｍ，ｎ）＝１とする。そして、検出回数算出部３６１３は、全ての注目領域に対して上述の処理が終了した後、その結果をメモリ３６１４と経過時間判定部３６１５に出力する。ここで出力する情報は、具体的には、Ｆｔで検出された全ての注目領域の座標と検出回数である。また、メモリ３６１４に前記情報を出力する際、メモリ３６１４に予め保持されていた情報は、消去するものとする。

なお、時系列で画像を取得する場合、被写体や撮像部２００の微小な動きにより、画像上での注目領域の位置がフレーム間で変化する。しかし本実施形態では、局所領域設定部３４１で設定される局所領域の大きさを２０×２０としているため、被写体や撮像部２００の微小な動きによる影響は無視することができる。

経過時間判定部３６１５は、上述した注目領域の検出回数及びタグ情報に基づいて、後述する手法により各注目領域群の経過時間を算出する。そして、経過時間判定部３６１５は、経過時間が閾値Ａｒｅａ＿Ｔｉｍｅを超える注目領域群が存在する場合には、その注目領域群に対応するアラート画像を表示すべきでないと判定し、その判定結果をアラート画像選択部３６１６に出力する。経過時間判定部３６１５が出力する情報は、上述の判定処理により、閾値Ａｒｅａ＿Ｔｉｍｅ以下と判定された全ての注目領域群に付与されているタグ情報である。

図２１を用いて、注目領域群の検出経過時間を算出する手法について説明する。ここで、注目領域群の経過時間（検出経過時間情報）とは、その注目領域群が特殊光画像から検出され続ける時間の長さを表す情報であり、あるいは、その注目領域群が白色光画像内に存在し続ける時間の長さを表す情報である。

例えば、図２１に示すように、注目領域群の経過時間は、その注目領域群に属する各注目領域の検出回数から算出される。具体的には、Ｇ１に示すように、注目領域が検出されると、その注目領域として検出された局所領域の検出回数Ｐｔが、各フレームにおいて順次インクリメントされる。そして、Ｇ２に示すように、注目領域群に属する全ての局所領域の検出回数Ｐｔの平均値が、注目領域群の経過時間として算出される。例えば、経過時間判定の閾値を３とする。そうすると、Ｇ３に示すように、Ｐｔの平均値が３未満の場合にはアラート画像が表示され、Ｐｔの平均値が３以上の場合にはアラート画像が非表示にされる。なお、注目領域群の経過時間は、上記のようにＰｔの平均値が用いられてもよく、他の算出手法により求めた値が用いられてもよい。

ここで、上述の閾値Ａｒｅａ＿Ｎｕｍ，Ｓｉｚｅ＿Ｍｉｎ，Ｓｉｚｅ＿Ｍａｘ，Ａｒｅａ＿Ｔｉｍｅは、外部Ｉ／Ｆ部５００よりユーザが設定することも可能であるし、予め一定の値を設定しておいてもよい。

アラート画像選択部３６１６は、アラート画像表示設定部３５０から出力されるアラート画像のうち、領域サイズ判定部３６１２と経過時間判定部３６１５の両方から共通に出力されたタグ情報に対応するアラート画像のみをアラート画像重畳部３６２に出力する。また、アラート画像選択部３６１６は、共通に出力されたタグ情報が存在しない場合には、表示すべきアラート画像がないことを表すトリガ信号をアラート画像重畳部３６２に出力する。

アラート画像重畳部３６２は、表示可否判定部３６１から出力されるアラート画像を、白色光画像取得部３２０から出力される白色光画像に重畳し、表示部４００に出力する。例えば、その重畳処理として、下式（１２）に示すように、白色光画像中の注目領域をアラート画像に置き換える処理が行われる。一方、表示可否判定部３６１からトリガ信号が出力されている場合は、アラート画像重畳部３６２は、白色光画像をそのまま表示部４００に出力する。

Ｒ＿ｏｒｇ（ｘ，ｙ）＝Ｒ＿ｏｕｔ（ｘ，ｙ），
Ｇ＿ｏｒｇ（ｘ，ｙ）＝Ｇ＿ｏｕｔ（ｘ，ｙ），
Ｂ＿ｏｒｇ（ｘ，ｙ）＝Ｂ＿ｏｕｔ（ｘ，ｙ） ・・・ （１２）

ここで、上式（１２）において、Ｒ＿ｏｒｇ（ｘ，ｙ），Ｇ＿ｏｒｇ（ｘ，ｙ），Ｂ＿ｏｒｇ（ｘ，ｙ）は、白色光画像の座標（ｘ，ｙ）におけるＲＧＢ信号値である。また、Ｒ＿ｏｕｔ（ｘ，ｙ），Ｇ＿ｏｕｔ（ｘ，ｙ），Ｂ＿ｏｕｔ（ｘ，ｙ）は、アラート画像の座標（ｘ，ｙ）におけるＲＧＢ信号値である。

上記処理を行うことで、白色光画像と特殊光画像とを用いた診断を行う場合に、白色光画像内に存在する病変領域を通常とは異なる色領域として描出できる。これにより、医師への負荷を増大させることなく、病変の見落としを防ぐことが可能になる。また、検出された注目領域の情報に応じてアラート画像の表示態様を制御することで、アラート表示が医師の診断や処置の妨げとなる課題を改善できる。

なお、上記実施形態では、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍより大きい場合に、閾値Ｓｉｚｅ＿Ｍｉｎよりも小さい注目領域群に対応するアラート画像のみを表示する場合を説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍより大きい場合に、全ての注目領域群に対応するアラート画像を非表示としてもよい。この場合、領域サイズ判定部３６１２は、領域数判定部３６１１からフラグ“０”が出力されている場合に、全ての注目領域群に対応するアラート画像を非表示とする判定を行う。

また、上記実施形態では、注目領域群のサイズ（局所領域の数、画素数等）に応じてアラート表示を制御する場合を説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、注目領域群のサイズではなく、注目領域群の狭帯域光画像に対する大きさ（面積）の割合に応じてアラート表示を制御してもよい。この場合、例えば注目領域群を構成する注目領域の数と、局所領域設定部３４１で設定される全ての局所領域の数との比率を、その注目領域群の狭帯域光画像に対する大きさの割合とする。そして、その割合が閾値よりも大きい場合、注目領域群に対応するアラート画像を非表示とするようにアラート表示を制御する。

また、上記実施形態では、注目領域の数やサイズや経過時間を用いた判定処理により、アラート表示を制御する場合を説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、上述の判定処理に関係なく、アラート画像を強制的に表示させてもよい。この場合、ユーザは外部Ｉ／Ｆ部５００を介してアラート画像を強制的に表示させる設定を行う。この設定情報は、制御部３７０にトリガ信号として送信され、制御部３７０は、そのトリガ信号をアラート画像選択部３６１６に出力する。そして、アラート画像選択部３６１６は、制御部３７０からトリガ信号が出力されている場合、アラート画像表示設定部３５０から出力される全てのアラート画像をアラート画像重畳部３６２に出力する。

３．６．ソフトウェア
上記実施形態では、画像処理装置３０１を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されず、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。この場合、制御装置３００や画像処理装置３０１は、例えば図３５等で後述するコンピュータシステムにより実現される。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して画像処理装置３０１が行う処理をソフトウェアで実現する場合の処理手順を、図２２に示すフローチャートを用いて説明する。例えば、あらかじめ取得された画像とは、Ａ／Ｄ変換部３１０，３１１が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図２２に示すように、この処理が開始されると、上述した強調処理や判定処理に用いるパラメータをメモリから読み込む（ステップＳ０）。次に、狭帯域光画像をメモリから読み込み（ステップＳ１）、さらにこの狭帯域光画像と同時に取得された白色光画像をメモリから読み込む（ステップＳ２）。次に、読み込んだ狭帯域光画像から上式（６）〜（８）に示す色相に基づいて注目領域を検出する（ステップＳ３）。

次に、ステップＳ３で検出された注目領域に対応する白色光画像の領域内の全ての画素に対して上式（９）に示す強調処理を施し、アラート画像を作成する（ステップＳ４）。次に、ステップＳ４で作成したアラート画像を、ステップＳ３で検出された注目領域の情報に応じて上述の手法により白色光画像に重畳する。そして、アラート画像が重畳された白色光画像を表示画像として出力する（ステップＳ５）。次に、全ての画像に対して一連の処理が完了した場合は処理を終了し（ステップＳ６、ＹＥＳ）、未処理の画像が残っている場合は同様の処理を継続する（ステップＳ６、ＮＯ）。

図２３に示すフローチャートを用いて、上述の表示態様変更処理（ステップＳ５）における詳細な処理手順について説明する。

図２３に示すように、この処理が開始されると、ステップＳ３で検出された注目領域群の数を算出し、その注目領域群の数を閾値Ａｒｅａ＿Ｎｕｍと比較し、その比較結果をフラグ情報として出力する（ステップＳ５１）。具体的には、フラグ情報として、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍよりも大きい場合にはフラグ“０”を出力し、閾値以下の場合にはフラグ“１”を出力する。

次に、ステップＳ３で検出された各注目領域群のサイズを算出する。そして、ステップＳ５１で出力されるフラグ情報を参照し、フラグが“０”の場合は注目領域群のサイズを閾値Ｓｉｚｅ＿Ｍｉｎと比較した結果を出力する。一方、フラグが“１”の場合は注目領域群のサイズを閾値Ｓｉｚｅ＿Ｍａｘと比較した結果を出力する（ステップＳ５２）。具体的には、比較結果としてタグ情報が出力される。このタグ情報は、サイズが閾値以下であると判定された注目領域群に付与されている全てのタグ情報である。

次に、ステップＳ３で検出された各注目領域群の検出経過時間を上式（１１）に示す手法により算出し、その検出経過時間を閾値Ａｒｅａ＿Ｔｉｍｅと比較し、その比較結果を出力する（ステップＳ５３）。具体的には、比較結果としてタグ情報を出力する。このタグ情報は、検出経過時間が閾値Ａｒｅａ＿Ｔｉｍｅ以下であると判定された注目領域群に付与されている全てのタグ情報である。

次に、ステップＳ５２及びステップＳ５３での判定結果に応じてアラート画像を重畳する（ステップＳ５４）。具体的には、ステップＳ５２、Ｓ５３で出力されたタグ情報のうち共通のタグ情報を抽出し、そのタグ情報が付与されている注目領域群に対応するアラート画像のみを白色光画像に重畳し、その白色光画像を表示画像として出力する。共通のタグ情報が存在しない場合には、白色光画像をそのまま表示画像として出力する。

以上の処理により、画像処理装置３０１が行う処理をソフトウェアとして実現できる。例えば、カプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。

さて、上述のように、内視鏡を病変部に近づけて診断や処置を行う際に、アラート画像が診断や処置の妨げとなるという課題がある。しかしながら、診断や処置の妨げとならないようアラート画像を全て非表示にすると、微小な病変部を見逃す可能性があるという課題がある。

この点、本実施形態によれば、図３に示すように、画像処理装置３０１は、画像取得部（白色光画像取得部３２０、特殊光画像取得部３３０）と、注目領域検出部３４０と、判定部（図１５に示す表示可否判定部３６１）と、表示態様制御部３６０を含む。そして、画像取得部は、白色の波長帯域における情報を有した被写体像を含む通常光画像（第１の画像）と、その通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像（第２の画像）との少なくとも一方の画像である取得画像を取得する。注目領域検出部３４０は、その取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する。判定部は、その注目領域の検出結果に応じて、その注目領域（注目領域群）に対応するアラート画像を表示すべきか否かの判定を行う。表示態様制御部３６０は、判定部によりアラート画像を表示すべきと判定された注目領域（注目領域群）である表示対象注目領域（表示対象注目領域群）に対応するアラート画像を表示する制御を行う。

これにより、アラート画像が医師による診断や処置の妨げとなることの抑止等が可能になる。具体的には、注目領域に対応するアラート画像を表示すべきか否かの判定が行われることで、表示対象注目領域に対応するアラート画像のみを表示できる。これにより、診断や処置の妨げとなるアラート画像を非表示にできる。また、表示対象注目領域にはアラート画像が表示されるため、病変部の見落としを抑止できる。

なお、画像処理装置３０１は、画像取得部として白色光画像取得部３２０及び特殊光画像取得部３３０を含み、画像取得部は、取得画像として白色光画像及び特殊光画像を取得してもよい。あるいは、図２４等で後述のように、画像処理装置３０１は、画像取得部として白色光画像取得部３２０のみを含み、画像取得部は、取得画像として白色光画像のみを取得してもよい。また、画像処理装置３０１は、判定部として表示可否判定部３６１を含んでもよく、図２７等で後述のように、判定部として注目領域制御部３８０を含んでもよい。

ここで、注目領域とは、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また、注目領域は特殊光画像や白色光画像の画素の特徴量（色相、彩度等）を用いて検出することができる。例えば、特徴量に対して閾値を設定することで注目領域を検出でき、その閾値は、注目領域の種類に応じて変化する。例えば第１の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第２の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理（判定処理等）については、本実施形態で説明した処理と同様の処理で実現することができる。

また、本実施形態では、図３に示すように、注目領域検出部３４０により検出された注目領域に対応するアラート画像を生成するアラート画像生成部（アラート画像表示設定部３５０）を含む。そして、表示態様制御部３６０は、アラート画像生成部により生成されたアラート画像の中から表示対象注目領域に対応するアラート画像を表示する制御を行う。

また、本実施形態では、判定部（表示可否判定部３６１）は、注目領域の検出結果に応じて、アラート画像生成部（アラート画像表示設定部３５０）により生成されたアラート画像を表示すべきか否かの判定を行う。そして、表示態様制御部３６０は、判定部により非表示と判定されたアラート画像を非表示にする制御を行う。

このようにすれば、図７のＨ３に示すように、検出された注目領域全てに対応するアラート画像を生成し、Ｈ４に示すように、アラート画像の表示・非表示を判定し、Ｈ５に示すように、表示すべきと判定されたアラート画像のみを表示できる。これにより、アラート画像の表示・非表示を制御できる。

また、本実施形態では、図１６（または図２９）に示すように、判定部（表示可否判定部３６１、注目領域制御部３８０）は、注目領域の検出結果に基づいて、取得画像内における注目領域の数情報と注目領域のサイズ情報と注目領域の検出経過時間情報のうちの少なくとも１つ以上の情報を取得する。そして、判定部は、取得した情報に応じて、アラート画像を表示すべきか否かの判定を行う。

このようにすれば、注目領域の検出結果に応じて注目領域に対応するアラート画像を表示すべきか否かの判定を行い、アラート画像の表示・非表示を制御できる。

また、本実施形態では、判定部は、数情報（例えばタグの最大値）により表される注目領域の数が所定の閾値Ａｒｅａ＿Ｎｕｍよりも大きい場合には、検出された注目領域の一部の注目領域に対応するアラート画像を非表示とする判定を行う。

また、本実施形態では、判定部は、数情報（例えばタグの最大値）により表される注目領域の数が所定の閾値Ａｒｅａ＿Ｎｕｍよりも大きい場合には、検出された注目領域の全部の注目領域に対応するアラート画像を非表示とする判定を行う。

このようにすれば、検出された注目領域の数が多い場合に一部または全部の注目領域に対応するアラート画像を非表示にすることで、診断や処置の妨げとなるアラート画像を非表示にできる。

また、本実施形態では、判定部は、サイズ情報により表されるサイズが所定の閾値よりも大きい注目領域に対応するアラート画像を非表示と判定する。

このようにすれば、検出された注目領域のサイズが大きい場合に、その注目領域に対応するアラート画像を非表示にすることで、診断や処置の妨げとなるアラート画像を非表示にできる。

より具体的には、図１７（Ａ）等に示すように、判定部は、注目領域の数が所定の閾値Ａｒｅａ＿Ｎｕｍよりも小さい場合には、サイズが第１の閾値Ｓｉｚｅ＿Ｍａｘよりも大きい注目領域に対応するアラート画像を非表示とする判定を行う。一方、図１８（Ｂ）等に示すように、判定部は、注目領域の数が所定の閾値よりも大きい場合には、サイズが第２の閾値Ｓｉｚｅ＿Ｍｉｎよりも大きい注目領域に対応するアラート画像を非表示とする判定を行う。第２の閾値Ｓｉｚｅ＿Ｍｉｎは、第１の閾値Ｓｉｚｅ＿Ｍａｘよりも小さい閾値である。

このようにすれば、検出された注目領域の数に応じて、注目領域のサイズ判定の閾値を変えることができる。これにより、図１９、図２０で上述のように、病変部の構造や撮影状況に応じてアラート画像の表示・非表示を制御できる。

また、本実施形態では、図２１に示すように、判定部は、検出経過時間情報により表される検出経過時間が所定の閾値を超える注目領域に対応するアラート画像を非表示とする判定を行う。具体的には、判定部は、検出経過時間情報として、注目領域が検出されたフレーム数をカウントする。より具体的には、図１３に示すように、注目領域検出部３４０は、取得画像を複数の局所領域に分割し、各局所領域が注目領域に該当するか否かを検出する。そして、図２１のＧ１に示すように、判定部は、注目領域に該当すると検出されたフレーム数Ｐｔ（ｍ，ｎ）を各局所領域においてカウントする。

このようにすれば、注目領域が検出されたフレーム数をカウントし、そのカウント値を検出経過時間情報としてアラート画像の表示・非表示を制御できる。これにより、所定期間はアラート画像を表示して見落としを抑止できる。また、診断・処置時には同じ領域を撮影するため、アラート画像を表示し続ける必要がなく、所定期間後はアラート画像を非表示にすることで診断や処置の妨げとなることを抑止できる。

また、本実施形態では、図２１のＧ１に示すように、判定部は、今回のフレーム（例えばＦｔ−１）において注目領域に該当すると検出された局所領域のうち、前回のフレーム（Ｆｔ−２）において注目領域に該当すると検出された局所領域（メモリ３６１４に前回フレームのＰｔ（ｍ，ｎ）が記憶されている領域）のカウント値をインクリメントする。また、判定部は、今回のフレーム（Ｆｔ−１）において注目領域に該当すると検出された局所領域のうち、前回のフレーム（Ｆｔ−２）において注目領域に非該当であると検出された局所領域（メモリ３６１４に前回フレームのＰｔ（ｍ，ｎ）が記憶されていない領域）のカウント値を初期値（例えば“１”）に設定する。

このようにすれば、各局所領域において、連続して注目領域に該当すると検出されたフレーム数Ｐｔ（ｍ，ｎ）をカウントできる。これにより、各局所領域における検出経過時間情報を取得できる。

また、本実施形態では、図１３に示すように、注目領域検出部３４０は、注目領域に該当すると検出された局所領域のうち隣接する局所領域を注目領域群とする。そして、図２１のＧ２に示すように、判定部は、注目領域群内の各局所領域における注目領域に該当したフレーム数に基づいて注目領域群の検出経過時間情報（例えばカウント値の平均値）を算出して、注目領域群に対応するアラート画像の表示可否を判定する。

このようにすれば、注目領域群の検出経過時間情報に基づいて、注目領域群に対応するアラート画像の表示可否を判定できる。これにより、図２１のＧ３に示すように、注目領域群でまとめてアラート画像の表示・非表示を制御でき、局所領域毎にバラバラにアラート画像の表示・非表示が行われることを防止できる。

また、本実施形態では、図３に示すように、アラート画像の表示・非表示の指示がインターフェース部（外部Ｉ／Ｆ部５００）を介して入力される。そして、表示態様制御部３６０は、インターフェース部に表示の指示が入力された場合に、判定部による判定結果に依らず、注目領域に対応するアラート画像を表示する制御を行う。

このようにすれば、医師（ユーザ）が全ての注目領域にアラート画像を表示させたい場合に、インターフェース部を介して指示することで、アラート画像を強制的に表示させることができる。

また、本実施形態では、図１５に示すように、表示態様制御部３６０は、表示対象注目領域に対応するアラート画像を出力画像に重畳する重畳部（アラート画像重畳部３６２）を有する。そして、表示態様制御部３６０は、表示対象注目領域に対応するアラート画像が重畳された出力画像を表示する制御を行う。より具体的には、重畳部は、表示対象注目領域に対応するアラート画像を、出力画像としての通常光画像（白色光画像）に重畳する。

このようにすれば、表示対象注目領域にアラート画像が重畳された通常光画像を表示する制御を行うことができる。これにより、アラート画像を表示する制御を行うことができる。

また、本実施形態では、図１４（または図３０）に示すように、領域選出部（対応領域選出部３５１）を含む。そして、注目領域検出部３４０は、特殊光画像から注目領域を検出する。領域選出部は、通常光画像から、注目領域に対応する領域である対応注目領域を選出する。アラート画像生成部（アラート画像表示設定部３５０、強調処理部３５２）は、通常光画像に含まれる対応注目領域内の画素に対して強調処理（例えば、上述のターゲット色を付与する処理）を行って、アラート画像を生成する。

また、本実施形態では、アラート画像生成部は、通常光画像内の対応注目領域と、対応注目領域以外の領域である非対応注目領域との境界線上に位置する画素（境界線の近傍領域）に対して強調処理を行って、アラート画像を生成してもよい。

このようにすれば、対応注目領域内の画素または境界線上に位置する画素に対して強調処理を行うことで、注目領域に対応するアラート画像を生成できる。ここで、対応注目領域とは、白色光画像内の注目領域であり、特殊光画像において検出された注目領域と１対１に対応する領域である。例えば、白色光画像と特殊光画像が同一画素数の画像である場合、対応注目領域内の画素の座標は、特殊光画像における注目領域内の画素の座標と同一の座標である。

また、本実施形態では、図１１に示すように、注目領域検出部３４０は、特殊光画像内の画素の特定の色特徴量（例えば色相）に基づいて、注目領域を検出する。

また、本実施形態では、図２５等で後述のように、注目領域検出部３４０は、通常光画像内の画素の特定の色特徴量（例えば、Ｒ画素値とＧ画素値の比）に基づいて、注目領域を検出してもよい。

このようにすれば、通常光画像と特殊光画像との少なくとも一方の画像である取得画像の画素の特徴量に基づいて、注目領域を検出できる。

また、本実施形態では、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（第１の狭帯域光、狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（第２の狭帯域光、狭帯域光のＧ２成分）である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、通常光画像および特殊光画像は生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であってもよい。

これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。この蛍光観察では、励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍとは、上述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であってもよい。

これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。この赤外光観察では、赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、取得された通常光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図３に示す特殊光画像取得部３３０が、白色光画像取得部３２０から通常光画像を取得し、取得した通常光画像から特殊光画像を生成してもよい。

具体的には、特殊光画像取得部は、取得された通常光画像から、白色の波長帯域における信号を抽出する信号抽出部を含む。そして、特殊光画像取得部は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、通常光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、特殊光画像取得部は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。

より具体的には、特殊光画像取得部は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含んでもよい。そして、特殊光画像取得部は、設定されたマトリクスデータを用いて、白色の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、１０ｎｍ刻みに推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。

これにより、通常光画像に基づいて特殊光画像を生成することができるため、通常光を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。

また、本実施形態では、図３に示すように、内視鏡装置は、光源（光源部１００）と、白色の波長帯域の光を透過する白色光フィルタ（第１撮像素子２５０の色フィルタ）と、特定の波長帯域の光を透過する特殊光フィルタ（第２撮像素子２６０の色フィルタ）を含む。そして、画像取得部は、光源からの光を被写体に照射して得られた光を、白色光フィルタに通過させて通常光画像を取得し、特殊光フィルタに通過させて特殊光画像を取得する。

また、本実施形態では、白色の波長帯域の光を発する白色光光源と、特定の波長帯域の光を発する特殊光光源を含んでもよい。そして、画像取得部は、白色光光源からの光を被写体に照射して得られた通常光画像を取得し、特殊光光源からの光を被写体に照射して得られた特殊光画像を取得してもよい。例えば、特殊光光源は、白色光光源と特殊光フィルタにより構成され、白色光を特殊光フィルタに透過させることで特殊光を発生させる。

このようにすれば、白色の波長帯域における情報を有した被写体像を含む通常光画像と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得できる。

４．第２の構成例
上記第１の構成例では、特殊光画像から注目領域を検出する場合について説明したが、本実施形態では、白色光画像から注目領域を検出してもよい。図２４に、この白色光画像から注目領域を検出する場合の構成例として、内視鏡装置の第２の構成例を示す。

この内視鏡装置は、光源部１００、撮像部２００、制御装置３００、表示部４００、外部Ｉ／Ｆ部５００を含む。なお、図３等ですでに説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。例えば、撮像部２００と制御装置３００以外の構成要素の動作は、図３に示す第１の構成例と同じである。

撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被写体に照射する照明レンズ２２０と、被写体から戻る反射光を集光する対物レンズ２３０と、集光された反射光を検出するための第１撮像素子２５０を含む。第１撮像素子２５０は、白色光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。例えば、第１撮像素子２５０の色フィルタｒ，ｇ，ｂは、図４に示す分光特性を有する。

制御装置３００は、Ａ／Ｄ変換部３１０と、画像処理装置３０１と、制御部３７０を含む。画像処理装置３０１は、白色光画像取得部３２０と、注目領域検出部３４０と、アラート画像表示設定部３５０と、表示態様制御部３６０を含む。なお、注目領域検出部３４０以外の構成要素が行う処理は、上述の第１の構成例と同じである。

図２５に、注目領域検出部３４０の詳細な構成例を示す。注目領域検出部３４０は、白色光画像取得部３２０から出力される白色光画像から注目領域を検出する。具体的には、注目領域検出部３４０は、局所領域設定部３４１と、特徴量算出部３４５と、領域検出部３４６と、タグ情報付与部３４４を含む。なお、局所領域設定部３４１とタグ情報付与部３４４が行う処理は、上述の第１の構成例と同様であるため、説明を省略する。

特徴量算出部３４５は、局所領域設定部３４１で設定される全ての局所領域に対して、各局所領域におけるＲ，Ｇ信号値の平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅを算出する。そして、特徴量算出部３４５は、全ての局所領域に対して、下式（１３）を用いて特徴量Ｆを算出し、その特徴量Ｆを領域検出部３４６に出力する。

領域検出部３４６は、特徴量算出部３４５で算出された各局所領域の特徴量Ｆを参照し、特徴量Ｆが閾値より大きい局所領域を注目領域として検出する。例えば、閾値は、０より大きく１より小さい値である。なお、閾値は、外部Ｉ／Ｆ部５００を介してユーザが設定することも可能であるし、予め一定の値が設定されていてもよい。

上記実施形態によれば、白色光画像を用いた診断を行う場合に、白色光画像内に存在する病変領域が通常とは異なる色領域として描出されるため、病変の見落としを防ぐことが可能になる。具体的には、白色光画像では、腫瘍等の病変部が赤みの強い領域として描出される特徴があるため、上式（１３）に示す特徴量Ｆが閾値よりも大きい領域を注目領域として検出することで、腫瘍等の病変領域を検出することが可能である。

また、上記実施形態によれば、検出された注目領域の情報に応じてアラート画像の表示態様を制御することで、アラート表示が医師の診断や処置の妨げとなる課題を改善できる。

また、上記実施形態によれば、白色光画像のみを用いて処理を行うため、第１の構成例のように白色光画像と特殊光画像を用いる場合に比べて、撮像部２００や制御装置３００の構成を簡略化できる。

ここで、上記実施形態では、画像処理装置３０１を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されず、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。この場合、制御装置３００や画像処理装置３０１は、例えば図３５等で後述するコンピュータシステムにより実現される。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して画像処理装置３０１が行う処理をソフトウェアで実現する場合の処理手順を、図２６に示すフローチャートを用いて説明する。例えば、あらかじめ取得された画像とは、Ａ／Ｄ変換部３１０が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図２６に示すように、この処理が開始されると、上述した強調処理や判定処理に用いるパラメータをメモリから読み込む（ステップＳ１０）。次に、白色光画像をメモリから読み込む（ステップＳ１１）。次に、読み込んだ白色光画像から、上式（１３）に示す特徴量に基づいて注目領域を検出する（ステップＳ１２）。

次に、ステップＳ１２で検出された注目領域に対応する白色光画像の領域内の全ての画素に対し、上式（９）に示した強調処理を施し、アラート画像を作成する（ステップＳ１３）。次に、ステップＳ１３で作成したアラート画像を、ステップＳ１２で検出された注目領域の情報に応じて、白色光画像に重畳し、アラート画像を重畳した白色光画像を表示画像として出力する（ステップＳ１４）。なお、アラート画像の重畳処理は、図２３で上述の処理と同様である。次に、全ての画像に対して一連の処理が完了した場合は、処理を終了し（ステップＳ１５、ＹＥＳ）、未処理の画像が残っている場合は、同様の処理を継続する（ステップＳ１５、ＮＯ）。

５．第３の構成例
上記実施形態では、検出された全ての注目領域に対応するアラート画像を予め生成する場合について説明したが、本実施形態では、表示すべきと判定された注目領域に対応するアラート画像のみを生成してもよい。図２７に、表示すべきと判定された注目領域に対応するアラート画像のみを生成する場合の構成例として、内視鏡装置の第３の構成例を示す。

この内視鏡装置は、光源部１００、撮像部２００、制御装置３００、表示部４００、外部Ｉ／Ｆ部５００を含む。なお、図３等ですでに説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。例えば、制御装置３００以外の構成要素の動作は、図３に示す第１の構成例と同じである。

制御装置３００は、２つのＡ／Ｄ変換部３１０，３１１と、画像処理装置３０１（画像処理部）と、制御部３７０を含む。画像処理装置３０１は、白色光画像取得部３２０と、特殊光画像取得部３３０と、注目領域検出部３４０と、注目領域制御部３８０と、表示態様制御部３９０を含む。

まず、図２８を用いて、画像処理装置３０１が行う処理の概要について説明する。図２８のＩ１，Ｉ２に示すように、特殊光画像と白色光画像が取得され、特殊光画像の中から病変部等の注目領域が検出され、各注目領域にタグが付与される。ここまでは、上述の第１の構成例と同様の処理である。次に、Ｉ３に示すように、注目領域のサイズ等に応じてアラート画像の表示可否が判定される。例えば、タグ“１”の注目領域のアラート画像は非表示と判定され、タグ“２”の注目領域のアラート画像は表示と判定される。次に、Ｉ４に示すように、表示すべきと判定された注目領域に対応するアラート画像が白色光画像に基づいて生成される。すなわち、タグ“１”の注目領域のアラート画像は生成されず、タグ“２”の注目領域のアラート画像が生成される。そして、Ｉ５に示すように、生成されたアラート画像が白色光画像に重畳されて表示される。

次に、各構成要素の詳細な構成例とその動作について説明する。なお、Ａ／Ｄ変換部３１０，３１１と白色光画像取得部３２０と特殊光画像取得部３３０と注目領域検出部３４０の処理は、上述の第１の構成例と同一であるため、説明を省略する。

図２９に、注目領域制御部３８０の詳細な構成例を示す。注目領域制御部３８０は、注目領域選択部３８１と、領域数判定部３６１１と、領域サイズ判定部３６１２と、検出回数算出部３６１３と、メモリ３６１４と、経過時間判定部３６１５を含む。なお、領域数判定部３６１１と領域サイズ判定部３６１２と検出回数算出部３６１３とメモリ３６１４と経過時間判定部３６１５が行う処理は、上述の第１の構成例と同じである。

注目領域選択部３８１は、注目領域検出部３４０から出力される注目領域群のうち、アラートを表示すべきと判断された注目領域群の情報のみを表示態様制御部３９０に出力する。具体的には、注目領域選択部３８１は、領域サイズ判定部３６１２及び経過時間判定部３６１５の両方から共通に出力されているタグ情報が付与されている全ての注目領域の座標（例えば、注目領域内の全画素の座標）を、表示態様制御部３９０に出力する。また、上記共通に出力されているタグ情報が存在しない場合には、注目領域選択部３８１は、表示すべきアラート画像がないことを示すトリガ信号を表示態様制御部３９０に出力する。

図３０に、表示態様制御部３９０の詳細な構成例を示す。表示態様制御部３９０は、対応領域選出部３５１と、強調処理部３５２と、アラート画像重畳部３６２を含む。

対応領域選出部３５１は、注目領域制御部３８０から出力される注目領域に対応する白色光画像の領域に含まれる画素の情報（座標や画素値等）を強調処理部３５２に出力する。強調処理部３５２は、対応領域選出部３５１から出力される全ての画素に対し、上式（９）に示す色変換処理を施し、色変換処理後の画素の情報をアラート画像として、アラート画像重畳部３６２に出力する。アラート画像重畳部３６２は、白色光画像取得部３２０から出力される白色光画像にアラート画像を重畳し、その白色光画像を表示部４００に出力する。

上記実施形態によれば、白色光画像と特殊光画像とを用いた診断を行う場合に、白色光画像内に存在する病変領域が通常とは異なる色領域として描出されるため、医師への負荷を増大させることなく、病変の見落としを防ぐことが可能になる。また、検出された注目領域の情報に応じてアラート画像の表示態様を制御することで、アラート表示が医師の診断、処置の妨げとなる問題も改善することができる。

また、第１の構成例では、検出された全ての注目領域群に対応するアラート画像を作成するが、上記第３の構成例では注目領域選択部３８１でアラート画像を表示すべきと判定された注目領域群に対応するアラート画像のみを作成する。そのため、上記実施形態によれば、第１の構成例に比べ、強調処理部３５２の処理時間を短縮できる特徴がある。

なお、上記実施形態では、注目領域の数やサイズや経過時間を用いた判定処理により、注目領域を制御する場合を例に説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、判定処理に関係なく、アラート画像を強制的に表示する構成としてもよい。この場合、ユーザは外部Ｉ／Ｆ部５００を介してアラート画像を強制的に表示させる設定を行う。この設定情報は、制御部３７０にトリガ信号として送信され、制御部３７０は、そのトリガ信号を注目領域選択部３８１に出力する。そして、注目領域選択部３８１は、制御部３７０からそのトリガ信号が出力されている場合、領域サイズ判定部３６１２や経過時間判定部３６１５の判定結果に関係なく、注目領域検出部３４０から出力される全ての注目領域の座標を表示態様制御部３９０に出力する。

また、上記実施形態では、上式（９）を用いた色変換処理によりアラート画像を作成する場合について説明したが、本実施形態はこれに限定されず、任意の輝度変換処理や色変換処理を用いてアラート画像を作成してもよい。

また、上記実施形態では、検出された注目領域に対応する白色光画像の領域内における全ての画素に対して、上式（９）を用いて強調処理を施す場合について説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、注目領域と、注目領域として検出されなかった非注目領域との境界に対応する白色光画像内の画素に対して、強調処理を施すことで、アラート画像を作成してもよい。この場合、例えば注目領域と非注目領域との境界（境界近傍）に対応する白色光画像内の全ての画素に対し、上式（１０）に示す色変換処理を施せばよい。

ここで、上記実施形態では、画像処理装置３０１を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されず、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。この場合、制御装置３００や画像処理装置３０１は、例えば図３５等で後述するコンピュータシステムにより実現される。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して画像処理装置３０１が行う処理をソフトウェアで実現する場合の処理手順を、図３１に示すフローチャートを用いて説明する。例えば、あらかじめ取得された画像とは、Ａ／Ｄ変換部３１０，３１１が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図３１に示すように、この処理が開始されると、上述した強調処理や判定処理に用いるパラメータをメモリから読み込む（ステップＳ２０）。次に、狭帯域光画像をメモリから読み込み（ステップＳ２１）、白色光画像をメモリから読み込む（ステップＳ２２）。次に、読み込んだ狭帯域光画像から第１の構成例と同様の方法で注目領域を検出する（ステップＳ２３）。

次に、ステップＳ２３で検出された注目領域群の数やサイズや経過時間に応じて判定処理を行い、アラート画像を表示すべきと判定された注目領域の情報を出力する（ステップＳ２４）。次に、ステップＳ２４より出力される注目領域に対応する白色光画像の領域内の全ての画素に対し、上式（９）に示す強調処理を行うことでアラート画像を作成する（ステップＳ２５）。次に、ステップＳ２５で作成したアラート画像を白色光画像に重畳し、表示画像として出力する（ステップＳ２６）。なお、ステップＳ２４で、トリガ信号が出力された場合には、上記重畳処理を行わず、白色光画像をそのまま表示画像として出力する。次に、全ての画像に対して一連の処理が完了した場合は処理を終了し（ステップＳ２７、ＹＥＳ）、未処理の画像が残っている場合は同様の処理を継続する（ステップＳ２７、ＮＯ）。

次に、図３２に示すフローチャートを用いて、注目領域制御処理（ステップＳ２４）の処理手順について説明する。

図３２に示すように、この処理が開始されると、ステップＳ２３で検出された注目領域群の数を算出し、その注目領域群の数を閾値Ａｒｅａ＿Ｎｕｍと比較した結果をフラグ情報として出力する（ステップＳ２４１）。具体的には、フラグ情報として、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍよりも大きい場合にはフラグ“０”を出力し、閾値以下の場合にはフラグ“１”を出力する。

次に、ステップＳ２３で検出された各注目領域群のサイズを算出する。そして、ステップＳ２４１で出力されるフラグ情報を参照し、フラグが“０”の場合は注目領域群のサイズを閾値Ｓｉｚｅ＿Ｍｉｎと比較した結果を出力する。一方、フラグが“１”の場合は注目領域群のサイズを閾値Ｓｉｚｅ＿Ｍａｘと比較した結果を出力する（ステップＳ２４２）。具体的には、比較結果として、サイズが閾値以下であると判定された注目領域群に付与されている全てのタグ情報が出力される。

次に、ステップＳ２３で検出された各注目領域群の検出経過時間を上式（１１）に示す手法により算出し、その検出経過時間を閾値Ａｒｅａ＿Ｔｉｍｅと比較した結果を出力する（ステップＳ２４３）。具体的には、比較結果としてタグ情報を出力する。このタグ情報は、検出経過時間が閾値Ａｒｅａ＿Ｔｉｍｅ以下であると判定された注目領域群に付与されている全てのタグ情報である。

次に、ステップＳ２４２及びステップＳ２４３の判定結果に応じて、アラート画像を表示すべき注目領域を選択する（ステップＳ２４４）。具体的には、ステップＳ２４２，Ｓ２４３で出力されたタグ情報のうち共通のタグ情報を抽出し、その共通のタグ情報が付与されている全ての注目領域の座標を出力する。また、共通のタグ情報が存在しない場合には、表示すべきアラートが存在しないことを示すトリガ信号を出力する。

なお、上記実施形態では、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍより大きい場合に、閾値Ｓｉｚｅ＿Ｍｉｎよりも小さい注目領域群に対応するアラート画像のみを表示する場合を説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、注目領域群の数が閾値Ａｒｅａ＿Ｎｕｍより大きい場合に、全ての注目領域群に対応するアラート画像を非表示としてもよい。この場合、領域サイズ判定部３６１２は、領域数判定部３６１１からフラグ“０”が出力されている場合に、全ての注目領域群に対応するアラート画像を非表示とする判定を行う。

また、上記実施形態では、注目領域群のサイズ（局所領域の数、画素数等）に応じてアラート表示を制御する場合を説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、注目領域群のサイズではなく、注目領域群の狭帯域光画像に対する大きさ（面積）の割合に応じてアラート表示を制御してもよい。この場合、例えば注目領域群を構成する注目領域の数と、局所領域設定部３４１で設定される全ての局所領域の数との比率を、その注目領域群の狭帯域光画像に対する大きさの割合とする。そして、その割合が閾値よりも大きい場合、注目領域群に対応するアラート画像を非表示とするように注目領域を制御する。

上記実施形態によれば、図２７に示すように、判定部（注目領域制御部３８０）は、アラート画像を表示すべきか否かの判定を行って、注目領域検出部３４０により検出された注目領域の中から表示対象注目領域を選択する。アラート画像生成部（図３０に示す強調処理部３５２）は、判定部により選択された表示対象注目領域に対応するアラート画像を生成する。そして、表示態様制御部３９０は、アラート画像生成部により生成されたアラート画像を表示する制御を行う。

このようにすれば、図２８のＩ３に示すように、検出された注目領域の中からアラート画像を表示すべき注目領域を選択し、Ｉ４に示すように、選択された注目領域のみに対応するアラート画像を生成し、Ｉ５に示すように、表示すべきと判定されたアラート画像のみを表示できる。これにより、アラート画像の表示・非表示を制御できる。

６．第４の構成例
上記第３の構成例では、特殊光画像から注目領域を検出する場合について説明したが、本実施形態では、白色光画像から注目領域を検出してもよい。図３３に、この白色光画像から注目領域を検出する場合の構成例として、内視鏡装置の第４の構成例を示す。

この内視鏡装置は、光源部１００、撮像部２００、制御装置３００、表示部４００、外部Ｉ／Ｆ部５００を含む。なお、図３等ですでに説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。例えば、制御装置３００以外の構成要素の動作は、図２４に示す第２の構成例と同じである。

制御装置３００は、Ａ／Ｄ変換部３１０と、画像処理装置３０１と、制御部３７０を含む。画像処理装置３０１は、白色光画像取得部３２０と、注目領域検出部３４０と、注目領域制御部３８０と、表示態様制御部３９０を含む。なお、注目領域検出部３４０が行う処理は、上述の第２の構成例と同じであり、注目領域検出部３４０以外の構成要素が行う処理は、上述の第３の構成例と同じである。

上記構成例によれば、白色光画像を用いた診断を行う場合に、白色光画像内に存在する病変領域が通常とは異なる色領域として描出されるため、医師への負荷を増大させることなく、病変の見落としを防ぐことが可能になる。また、検出された注目領域の情報に応じてアラート画像の表示態様を制御することで、アラート表示が医師の診断、処置の妨げとなる課題を改善できる。

また、上記実施形態によれば、白色光画像のみを用いて処理を行うため、第３の構成例のように白色光画像と特殊光画像を用いる場合に比べて、撮像部２００及び制御装置３００の構成を簡略化できる。

ここで、上記実施形態では、画像処理装置３０１を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されず、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。この場合、制御装置３００や画像処理装置３０１は、例えば図３５等で後述するコンピュータシステムにより実現される。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して画像処理装置３０１が行う処理をソフトウェアで実現する場合の処理手順を、図３４に示すフローチャートを用いて説明する。例えば、あらかじめ取得された画像とは、Ａ／Ｄ変換部３１０が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図３４に示すように、この処理が開始されると、上述した強調処理や判定処理に用いるパラメータをメモリから読み込む（ステップＳ３０）。次に、白色光画像をメモリから読み込む（ステップＳ３１）。次に、読み込んだ白色光画像から第２の構成例と同様の手法により注目領域を検出する（ステップＳ３２）。次に、上述の第３の構成例と同様に、表示すべき注目領域を判定する処理を行い（ステップＳ３３）、強調処理によりアラート画像を作成し（ステップＳ３４）、そのアラート画像を白色光画像に重畳する（ステップＳ３５）。そして、全ての画像に対して一連の処理が完了した場合は処理を終了し（ステップＳ３６、ＹＥＳ）、未処理の画像が残っている場合は同様の処理を継続する（ステップＳ３６、ＮＯ）。

７．コンピュータシステム
以上に説明したように、制御装置３００や画像処理装置３０１は、ハードウェアにより実現してもよく、あるいは、ＣＰＵがその各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。あるいは、各部が行う処理の一部をソフトウェアで構成してもよい。

撮像部２００を別体とし、制御装置３００や画像処理装置３０１の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを制御装置や画像処理装置として用いることができる。そして、制御装置３００や画像処理装置３０１の各部が行う処理を実現するためのプログラム（制御プログラム、画像処理プログラム）を予め用意し、このプログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図３５は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図３６は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図３５に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図３６に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録されたプログラム（例えば図２２、図２３）を参照して、上述した処理手順を実現するためのプログラムを読み出して実行することで制御装置や画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

また本実施形態は、本実施形態の各部（白色光画像取得部、特殊光画像取得部、注目領域検出部、アラート画像表示設定部、表示態様制御部、注目領域制御部、制御部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

例えば、コンピュータプログラムプロダクトは、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の内視鏡装置、第２の内視鏡装置、通常光画像等）と共に記載された用語（カプセル型内視鏡、スコープ型内視鏡、白色光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ ハーフミラー、２５０ 第１撮像素子、２６０ 第２撮像素子、
３００ 制御装置、３０１ 画像処理装置、３１０，３１１ Ａ／Ｄ変換部、
３２０ 白色光画像取得部、３２１ 白色光画像生成部、３２２ 白色光画像記憶部、
３３０ 特殊光画像取得部、３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、
３４０ 注目領域検出部、３４１ 局所領域設定部、３４２ 特徴量算出部、
３４３ 領域検出部、３４４ タグ情報付与部、３４５ 特徴量算出部、
３４６ 領域検出部、３５０ アラート画像表示設定部、３５１ 対応領域選出部、
３５２ 強調処理部、３６０ 表示態様制御部、３６１ 表示可否判定部、
３６２ アラート画像重畳部、３７０ 制御部、３８０ 注目領域制御部、
３８１ 注目領域選択部、３９０ 表示態様制御部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、６００ コンピュータシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、３６１１ 領域数判定部、
３６１２ 領域サイズ判定部、３６１３ 検出回数算出部、３６１４ メモリ、
３６１５ 経過時間判定部、３６１６ アラート画像選択部、
ａ（ｍ，ｎ） 局所領域、
Ａｒｅａ＿Ｎｕｍ，Ｓｉｚｅ＿Ｍｉｎ，Ｓｉｚｅ＿Ｍａｘ，Ａｒｅａ＿Ｔｉｍｅ 閾値、
ｒ，ｇ，ｂ 色フィルタ、ｇ２，ｂ２ 色フィルタ、Ｆ 特徴量、Ｈ 色相、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線、Ｐｔ 検出回数

Claims (41)

1. 白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得する画像取得部と、
   前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
   前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行う判定部と、
   前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う表示態様制御部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   アラート画像生成部を含み、
   前記表示態様制御部は、
   前記アラート画像生成部により生成された前記注目領域に対応するアラート画像の中から、前記表示対象注目領域に対応するアラート画像を表示する制御を行うことを特徴とする画像処理装置。
3. 請求項２において、
   前記判定部は、
   前記注目領域の検出結果に応じて、前記アラート画像生成部により生成されたアラート画像を表示すべきか否かの判定を行い、
   前記表示態様制御部は、
   前記判定部により非表示と判定されたアラート画像を非表示にする制御を行うことを特徴とする画像処理装置。
4. 請求項１において、
   アラート画像生成部を含み、
   前記判定部は、
   アラート画像を表示すべきか否かの判定を行って、前記注目領域検出部により検出された前記注目領域の中から前記表示対象注目領域を選択し、
   前記アラート画像生成部は、
   前記判定部により選択された前記表示対象注目領域に対応するアラート画像を生成し、
   前記表示態様制御部は、
   前記アラート画像生成部により生成されたアラート画像を表示する制御を行うことを特徴とする画像処理装置。
5. 請求項１において、
   前記判定部は、
   前記注目領域の検出結果に基づいて、前記取得画像内における前記注目領域の数情報と前記注目領域のサイズ情報と前記注目領域の検出経過時間情報のうちの少なくとも１つ以上の情報を取得し、取得した前記情報に応じて、前記アラート画像を表示すべきか否かの判定を行うことを特徴とする画像処理装置。
6. 請求項５において、
   前記判定部は、
   前記数情報により表される前記注目領域の数が所定の閾値よりも大きい場合には、検出された前記注目領域の一部の注目領域に対応するアラート画像を非表示とする判定を行うことを特徴とする画像処理装置。
7. 請求項５において、
   前記判定部は、
   前記数情報により表される前記注目領域の数が所定の閾値よりも大きい場合には、検出された前記注目領域の全部の注目領域に対応するアラート画像を非表示とする判定を行うことを特徴とする画像処理装置。
8. 請求項５において、
   前記判定部は、
   前記サイズ情報により表されるサイズが所定の閾値よりも大きい注目領域に対応するアラート画像を非表示と判定することを特徴とする画像処理装置。
9. 請求項８において、
   前記判定部は、
   前記数情報により表される前記注目領域の数が所定の閾値よりも小さい場合には、前記サイズが第１の閾値よりも大きい注目領域に対応するアラート画像を非表示とする判定を行い、前記注目領域の数が所定の閾値よりも大きい場合には、前記サイズが第２の閾値よりも大きい注目領域に対応するアラート画像を非表示とする判定を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記第２の閾値は、
    前記第１の閾値よりも小さい閾値であることを特徴とする画像処理装置。
11. 請求項５において、
    前記判定部は、
    前記検出経過時間情報により表される検出経過時間が所定の閾値を超える前記注目領域に対応するアラート画像を非表示とする判定を行うことを特徴とする画像処理装置。
12. 請求項１１において、
    前記判定部は、
    前記検出経過時間情報として、前記注目領域が検出されたフレーム数をカウントすることを特徴とする画像処理装置。
13. 請求項１１において、
    前記注目領域検出部は、
    前記取得画像を複数の局所領域に分割し、各局所領域が前記注目領域に該当するか否かを検出し、
    前記判定部は、
    前記注目領域に該当すると検出されたフレーム数を前記各局所領域においてカウントすることを特徴とする画像処理装置。
14. 請求項１３において、
    前記判定部は、
    前記注目領域に該当すると検出された局所領域のうち、前回のフレームにおいて前記注目領域に該当すると検出された局所領域のカウント値をインクリメントし、
    前記注目領域に該当すると検出された局所領域のうち、前回のフレームにおいて前記注目領域に非該当であると検出された局所領域のカウント値を初期値に設定することを特徴とする画像処理装置。
15. 請求項１３において、
    前記注目領域検出部は、
    前記注目領域に該当すると検出された局所領域のうち隣接する局所領域を注目領域群とし、
    前記判定部は、
    前記注目領域群内の各局所領域における前記注目領域に該当したフレーム数に基づいて前記注目領域群の前記検出経過時間情報を算出して、前記注目領域群に対応するアラート画像の表示可否を判定することを特徴とする画像処理装置。
16. 請求項１において、
    前記アラート画像の表示・非表示の指示がインターフェース部を介して入力され、
    前記表示態様制御部は、
    前記インターフェース部にアラート画像の表示の指示が入力された場合に、前記判定部による判定結果に依らず、前記注目領域に対応するアラート画像を表示する制御を行うことを特徴とする画像処理装置。
17. 請求項１において、
    前記表示態様制御部は、
    前記表示対象注目領域に対応するアラート画像を出力画像に重畳する重畳部を有し、
    前記表示態様制御部は、
    前記表示対象注目領域に対応するアラート画像が重畳された前記出力画像を表示する制御を行うことを特徴とする画像処理装置。
18. 請求項１７において、
    前記重畳部は、
    前記表示対象注目領域に対応するアラート画像を、前記出力画像としての前記通常光画像に重畳することを特徴とする画像処理装置。
19. 請求項２において、
    領域選出部を含み、
    前記注目領域検出部は、
    前記特殊光画像から前記注目領域を検出し、
    前記領域選出部は、
    前記通常光画像から、前記注目領域に対応する領域である対応注目領域を選出し、
    前記アラート画像生成部は、
    前記通常光画像に含まれる前記対応注目領域内の画素に対して強調処理を行って、前記アラート画像を生成することを特徴とする画像処理装置。
20. 請求項２において、
    領域選出部を含み、
    前記注目領域検出部は、
    前記特殊光画像から前記注目領域を検出し、
    前記領域選出部は、
    前記通常光画像から、前記注目領域に対応する領域である対応注目領域を選出し、
    前記アラート画像生成部は、
    前記通常光画像内の前記対応注目領域と、前記対応注目領域以外の領域である非対応注目領域との境界線上に位置する画素に対して強調処理を行って、前記アラート画像を生成することを特徴とする画像処理装置。
21. 請求項４において、
    領域選出部を含み、
    前記注目領域検出部は、
    前記特殊光画像から前記注目領域を検出し、
    前記領域選出部は、
    前記通常光画像から、前記注目領域に対応する領域である対応注目領域を選出し、
    前記アラート画像生成部は、
    前記判定部により選択された注目領域に対応する前記対応注目領域内の画素に対して強調処理を行って、前記アラート画像を生成することを特徴とする画像処理装置。
22. 請求項４において、
    領域選出部を含み、
    前記注目領域検出部は、
    前記特殊光画像から前記注目領域を検出し、
    前記領域選出部は、
    前記通常光画像から、前記注目領域に対応する領域である対応注目領域を選出し、
    前記アラート画像生成部は、
    前記判定部により選択された注目領域に対応する前記対応注目領域と、前記対応注目領域以外の領域である非対応注目領域との境界線上に位置する画素に対して強調処理を行って、前記注目領域に対応するアラート画像を生成することを特徴とする画像処理装置。
23. 請求項１において、
    前記注目領域検出部は、
    前記特殊光画像内の画素の特定の色特徴量をもとに、前記注目領域を検出することを特徴とする画像処理装置。
24. 請求項１において、
    前記注目領域検出部は、
    前記通常光画像内の画素の特定の色特徴量をもとに、前記注目領域を検出することを特徴とする画像処理装置。
25. 請求項１において、
    前記注目領域は、
    病変部を表す領域であることを特徴とする画像処理装置。
26. 請求項１において、
    前記特定の波長帯域は、
    前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
27. 請求項２６において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
28. 請求項２７において、
    前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
29. 請求項１において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
30. 請求項２９において、
    前記特定の波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であることを特徴とする画像処理装置。
31. 請求項１において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
32. 請求項３１において、
    前記特定の波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であることを特徴とする画像処理装置。
33. 請求項１において、
    前記画像取得部は、
    前記通常光画像に基づいて、前記特殊光画像を取得する特殊光画像取得部を有することを特徴とする画像処理装置。
34. 請求項３３において、
    前記特殊光画像取得部は、
    取得された前記通常光画像から、前記白色の波長帯域における信号を抽出する信号抽出部を有し、
    前記特殊光画像取得部は、
    抽出された前記白色の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする画像処理装置。
35. 請求項３４において、
    前記特殊光画像取得部は、
    前記白色の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を有し、
    前記特殊光画像取得部は、
    設定された前記マトリクスデータを用いて、前記白色の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする画像処理装置。
36. 請求項１乃至３５のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
37. 請求項３６において、
    前記表示態様制御部による制御により、前記表示対象注目領域に対応するアラート画像を表示する表示部を含むことを特徴とする内視鏡装置。
38. 請求項３６において、
    光源と、
    前記白色の波長帯域の光を透過する白色光フィルタと、
    前記特定の波長帯域の光を透過する特殊光フィルタと、
    を含み、
    前記画像取得部は、
    前記光源からの光を被写体に照射して得られた光を前記白色光フィルタに通過させて前記通常光画像を取得し、前記光源からの光を被写体に照射して得られた光を前記特殊光フィルタに通過させて前記特殊光画像を取得することを特徴とする内視鏡装置。
39. 請求項３６において、
    前記白色の波長帯域の光を発する白色光光源と、
    前記特定の波長帯域の光を発する特殊光光源と、
    を含み、
    前記画像取得部は、
    前記白色光光源からの光を被写体に照射して得られた前記通常光画像を取得し、前記特殊光光源からの光を前記被写体に照射して得られた前記特殊光画像を取得することを特徴とする内視鏡装置。
40. 白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得する画像取得部と、
    前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
    前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行う判定部と、
    前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行う表示態様制御部として、
    コンピュータを機能させることを特徴とするプログラム。
41. 白色の波長帯域における情報を有した被写体像を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像との少なくとも一方の画像である取得画像を取得し、
    前記取得画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
    前記注目領域の検出結果に応じて、前記注目領域に対応するアラート画像を表示すべきか否かの判定を行い、
    前記判定部によりアラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示する制御を行うことを特徴とする画像処理方法。