JP5591570B2

JP5591570B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP5591570B2
Application number: JP2010065925A
Authority: JP
Inventors: 恵仁森田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-03-23
Filing date: 2010-03-23
Publication date: 2014-09-17
Anticipated expiration: 2030-03-23
Also published as: CN102201114A; US9095269B2; CN102201114B; JP2011194111A; US20110235877A1; US9629525B2; US20150305607A1

Description

本発明は、画像処理装置、画像処理方法及びプログラム等に関する。

従来、体腔内の組織に対して回転フィルタを用いてＲ１、Ｇ１、Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域画像（これを特殊光画像と呼ぶ）を用いて診断を行う内視鏡システムが提案されている（例えば、特許文献１）。

特開２００６−６８１１３号公報

上述の特許文献１のような特殊光画像を取得する内視鏡システムを用いて診断を行うことで、粘膜表層の毛細血管や粘膜微細模が強調表示されるため、例えば通常光観察による視認が困難な扁平上皮癌等の病変部の発見が容易になることが知られている。

しかしこのような特殊光画像は、病変部が褐色として表示され、一般的に通常光画像と比較してかなり異なる色味を有している。さらに、照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。

このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかしながら、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなり、ドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。

本発明の幾つかの態様によれば、通常光の波長領域に対応する通常光画像と特定の波長領域に対応する特殊光画像を取得した上で、特殊光画像を補正し、補正後特殊光画像と通常光画像との、Ｇ成分同士、Ｂ成分同士を合成する処理を行うことにより、特殊光画像を擬似カラー化した上で合成する場合に比べて、血管等の被写体の視認性を向上させる画像処理装置、画像処理方法及びプログラム等を提供できる。

また本発明の幾つかの態様によれば、通常光画像と特殊光画像を用いた診断を行う際のドクターの負荷等を低減しながら病変部の見逃し等を抑止する画像処理装置、画像処理方法及びプログラム等を提供できる。

本発明の一態様は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記特殊光画像の補正処理を行う補正部と、前記通常光画像と、前記補正部により補正された前記特殊光画像である補正後特殊光画像とを合成処理する合成部と、を含み、前記合成部は、前記合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行う画像処理装置に関係する。

本発明の一態様では、通常光画像と特殊光画像を取得する。そして特殊光画像を補正して補正後特殊光画像を取得し、補正後特殊光画像と、通常光画像のＧ成分同士、Ｂ成分同士を合成する。そのため、特殊光画像を擬似カラー化した上で合成する場合に比べて、血管等の被写体の視認性を向上できる画像表示が可能になる。

本発明の他の態様は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記特殊光画像の明るさ情報である特殊光明るさ情報に基づいて前記特殊光画像の補正処理を行う補正部と、を含む画像処理装置に関係する。

本発明の他の態様によれば、通常光画像と特殊光画像を取得し、特殊光画像の明るさ情報に基づいて特殊光画像の補正処理を行う。そのため、補正を行わない場合に比べて、特殊光画像を明るくすることが可能になり、視認性が向上する。

本発明の他の態様は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得し、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得し、前記特殊光画像の補正処理を行い、前記通常光画像と、前記補正部により補正された前記特殊光画像である補正後特殊光画像との合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行う画像処理方法に関係する。

本発明の他の態様は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記特殊光画像の補正処理を行う補正部と、前記通常光画像と、前記補正部により補正された前記特殊光画像である補正後特殊光画像とを合成処理する合成部として、コンピュータを機能させ、前記合成部は、前記合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行うプログラムに関係する。

本発明の他の態様は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記特殊光画像の明るさ情報である特殊光明るさ情報に基づいて前記特殊光画像の補正処理を行う補正部として、コンピュータを機能させるプログラムに関係する。

図１（Ａ）、図１（Ｂ）は従来の手法の説明図。本実施形態の手法の説明図。本実施形態におけるＧ成分同士の合成処理の説明図。本実施形態におけるＢ成分同士の合成処理の説明図。本実施形態のシステム構成例。色フィルタｒ、ｇ、ｂの分光特性。色フィルタｇ２，ｂ２の分光特性。色フィルタｇ２，ｂ２の説明図。通常光画像取得部の構成例。特殊光画像取得部の構成例。出力画像生成部の構成例。合成部の構成例。合成部の他の構成例。図１４（Ａ）〜図１４（Ｄ）はエッジ方向判別に使用する画素と方向の説明図。ソフトウェア処理で用いられるコンピュータの構成例。ソフトウェア処理で用いられるコンピュータの構成例。本実施形態の処理を説明するためのフローチャート。合成処理を説明するためのフローチャート。本実施形態におけるＧ成分同士の合成処理の他の説明図。本実施形態におけるＢ成分同士の合成処理の他の説明図。合成部の他の構成例。合成処理を説明するための他のフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

本実施形態の手法について、図１（Ａ）、図１（Ｂ）及び図２を参照して説明する。

図１（Ａ）及び図１（Ｂ）は従来の手法を示している。図１（Ａ）は通常光による観察の様子を示したものである。全体に明るく、見やすい画像が得られるが、扁平上皮癌等の一部の病変については視認が困難である。また図１（Ｂ）は特殊光（狭帯域光）による観察の様子を示したものである。例えば扁平上皮癌等の病変が褐色で表示されるなど、一部の病変の視認性を通常光観察に比べて高めることが可能になるが、全体に暗く、見づらい画像になってしまう。

このような問題を解決するために、通常光画像と特殊光画像を機器のスイッチ等を操作することで切り替えながら表示し、診断や治療を行う手法も考えられる。しかしこの手法では、内視鏡の挿入部を動かすと同時に機器の操作を行い、さらに画面を参照する必要があり、ドクターに負荷がかかってしまう。さらに表示される通常光画像も特殊光画像も欠点を有しているため、状況に応じて適切に表示画像を選択する必要があり、そのためには熟練を要する可能性が高い。

また、通常光画像と特殊光画像を並べて表示する手法も考えられるが、その場合は２つの画面を同時に参照しなくてはならず、病変部を見落とすおそれがあるなど、やはりドクターの負荷が大きい。

そこで本出願人は図２のようなシステムを提案する。本実施形態では、特殊光画像から粘膜表層の毛細血管、粘膜微細模様を抽出し、抽出された情報を元に通常光画像に合成処理することで、例えば扁平上皮癌等の病変部の視認性を高めている。

これにより、通常光画像の利点である明るく見やすい画像の上に、特殊光画像の利点である病変部の視認性の高さが加わるため、病変部の見落としを抑止し、ドクターの負荷を軽減することで、スムーズな診断・治療を行うことが可能になる。

なお、本実施形態においても、機器のスイッチ等を操作することで、特殊光画像を表示することが可能なのは言うまでもない。これにより、例えば、病変部のサーチには合成処理した通常光画像、病変部の詳細の確認には特殊光画像といったように、画像を適宜使い分けることも可能である。

２．第１の実施形態

まず本実施形態の手法について図３、図４を用いて説明する。

図３はＧ成分の合成を説明するための図である。特殊光画像はＧ２，Ｂ２の２成分を持っている（ここでは特殊光画像としてＮＢＩ画像を想定している）ため、そのうちのＧ２成分を抽出する。また通常光画像はＲ，Ｇ，Ｂの３成分を持っているため、Ｇ２成分に対応する成分であるＧ成分を抽出する。

そして通常光画像のＧ成分の明るさ情報であるｗｌｉＡｖｅＧと、特殊光画像のＧ２成分の明るさ情報であるｎｂｉＡｖｅＧの比から後述する式（３）を用いてｒａｔｉｏＧを求める。求めたｒａｔｉｏＧを用いて、後述する式（４）により、特殊光画像のＧ２成分の明るさ補正を行い、補正後特殊光画像（Ｇ成分）を取得する。

取得した補正後特殊光画像と、通常光画像のＧ成分とを合成比ｂｌｅｎｄＧを用いて、後述する式（２４）により合成することで、出力画像（Ｇ成分）を取得する。なお本実施形態の処理の目的は出力画像を取得することであり、以下に説明する処理は合成比ｂｌｅｎｄＧを求めるための処理である。

合成比ｂｌｅｎｄＧを求めるために、補正後特殊光画像に対してラプラシアンフィルタを適用し、ｌａｐＩｍｇＧを取得する。そしてｌａｐＩｍｇＧにおいて、後述する式（８）〜（１５）を用いてエッジ方向を判別し、エッジ方向の画素値の平均値を取るような方向依存フィルタを適用することでＡｖｅＧ画像を取得する。

さらに、ＡｖｅＧ画像に対して後述する式（１６）〜（２０）のコアリング処理を行うことで、エッジ情報画像であるｅｄｇｅＧを取得する。そしてｅｄｇｅＧに係数Ｋ１をかけることで合成比画像ｂｌｅｎｄＧを取得し、取得したｂｌｅｎｄＧを合成比として、前述したように通常光画像のＧ成分と補正後特殊光画像との合成処理を行い、出力画像を取得する。

特殊光画像はＢ２成分も持っているため、同様に、通常光画像のＢ成分との合成処理を行う。処理の概要を示したものが図４である。

処理の内容はＧ成分の合成と同様である。通常光画像のＢ成分の明るさ情報と、特殊光画像のＢ２成分の明るさ情報からｒａｔｉｏＢを求めて、特殊光画像のＢ２成分の明るさ補正を行う。そして、通常光画像のＢ成分と、補正後特殊光画像（Ｂ成分）とを合成比ｂｌｅｎｄＢで合成することで出力画像（Ｂ成分）を取得する。

合成比ｂｌｅｎｄＢは、補正後特殊光画像に対してラプラシアンフィルタと方向依存フィルタを適用した後、コアリング処理を行ってエッジ情報画像ｅｄｇｅＢを求め、ｅｄｇｅＢに対して係数Ｋ２をかけることで求められる。

なお、特殊光画像にはＲチャネルに対応する成分が存在しないため、出力画像のＲ成分は通常光画像のＲ成分をそのまま用いる（後述する式（２３））。

このようにして得られた出力画像のＲ成分、Ｂ成分、Ｇ成分からカラー画像を生成する。生成された画像は、血管等が自然な色味で強調された画像となっているため、血管等の構造や病変部の視認性が向上しており、診断においてドクターの負荷を軽減すること等が可能になる。

以下、システム構成及び上述した処理に関して詳細に説明する。

本実施形態に係る画像処理装置及びこれを含む内視鏡システムについて、図５を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、本実施形態の画像処理装置に対応する画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を備えている。

第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ，Ｇ，Ｂは例えば図６に示すような分光特性を持っている。第２撮像素子２６０は特殊光画像を撮影するための撮像素子であり、例えば図８に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。第２撮像素子２６０の色フィルタｇ２、ｂ２は例えば図７に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。

画像処理部３００（画像処理装置）はＡＤ変換部３１０ａ、３１０ｂと通常光画像取得部３２０と特殊光画像取得部３３０と出力画像生成部３４０と選択部３５０と制御部３６０を備えている。制御部３６０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０、選択部３５０と双方向に接続されていて、これらを制御するようになっている。

外部Ｉ／Ｆ部５００は、この画像処理装置（内視鏡システム）に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３６０へ出力するようになっている。

ＡＤ変換部３１０ａは、第１撮像素子２５０から出力されるアナログ信号をデジタル信号に変換して出力する。ＡＤ変換部３１０ｂは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。

通常光画像取得部３２０は、例えばＡＤ変換部３１０ａから出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０は、例えばＡＤ変換部３１０ｂから出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。

通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。特殊光画像取得部３３０で取得された特殊光カラー画像は選択部３５０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の合成画像を生成して選択部３５０に出力する。選択部３５０は、表示画像を表示部４００に出力する。出力画像生成部３４０の詳細については後述する。

次に通常光画像取得部３２０について図９を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。ＡＤ変換部３１０ａは、通常光画像生成部３２１に接続されている。通常光画像生成部３２１は、通常光画像記憶部３２２に接続されている。通常光画像記憶部３２２は、出力画像生成部３４０に接続されている。

通常光画像生成部３２１はＡＤ変換部３１０ａで変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成する。通常光画像における座標(ｘ，ｙ)の、Ｒ、Ｇ、Ｂ信号値をそれぞれｒ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｂ（ｘ，ｙ）と表記する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。通常光画像記憶部３２２に記憶された通常光画像は出力画像生成部３４０へ出力される。

次に特殊光画像取得部３３０について図１０を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。ＡＤ変換部３１０ｂは、特殊光画像生成部３３１に接続されている。特殊光画像生成部３３１は、特殊光画像記憶部３３２と、選択部３５０に接続されている。特殊光画像記憶部３３２は、出力画像生成部３４０に接続されている。

特殊光画像生成部３３１はＡＤ変換部３１０ｂで変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。

ここで、特殊光画像生成部３３１で特殊光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図８で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。ここで、特殊光画像における座標(ｘ，ｙ)の、ＧＢ信号値をそれぞれｇ２（ｘ，ｙ）、ｂ２（ｘ，ｙ）と表記する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図８のｇ２（１，１）の位置でのｂ２の画素値ｂ２（１，１）、及びｂ２（１，２）位置でのｇ２の画素値ｇ２（１，２）は、下式（１）、（２）のように算出される。

b2(1,1)=[b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)]/4 ・・・・・（１）

g2(1,2)=[g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)]/4 ・・・・・（２）

ここで、特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。特殊光画像記憶部３３２に記憶された特殊光画像は出力画像生成部３４０へ出力される。

次に、出力画像生成部３４０の具体的な構成について説明する。図１１は、第１の実施形態における出力画像生成部３４０の構成の一例を説明するブロック図である。出力画像生成部３４０は、補正部３４１と、合成部３４２とを備えている。

ここで、通常光画像取得部３２０からの画像信号は、補正部３４１と、合成部３４２に出力される。また、特殊光画像取得部３３０からの画像信号は、補正部３４１に出力される。補正部３４１は、合成部３４２に接続されている。合成部３４２は、選択部３５０に接続されている。合成部３４２の詳細については後述する。また、制御部３６０は、補正部３４１と、合成部３４２に双方向に接続されていて、これらを制御するようになっている。

補正部３４１は、制御部３６０の制御に基づき、特殊光画像内の画素の特徴量と、通常光画像内の画素の特徴量の比に基づいて、特殊光画像の補正処理を行う。ここで、補正処理とは、特殊光画像を通常光画像と同程度の明るさに補正する。ここでは、特徴量として各画像内のＧ信号を用いる。具体的には、特殊光画像内のＧ信号の平均値をｎｂｉＡｖｅＧ、通常光画像内のＧ信号の平均値をｗｌｉＡｖｅＧと表記する。特殊光画像のＧ信号に対する、通常光画像のＧ信号の比ｒａｔｉｏＧは、下式のように算出される。

ratioG = K0 × wliAveG / nbiAveG ・・・・・（３）

Ｋ０は定数項である。設定された信号比ｒａｔｉｏＧを、特殊光画像の全画素のＧ信号およびＢ信号に対して乗算する。ここで、信号比を乗算された特殊光画像は、補正後特殊光画像として、座標(ｘ，ｙ)におけるＢ、Ｇ信号をそれぞれｇ２’（ｘ，ｙ）、ｂ２’（ｘ，ｙ）と表記する。

g2’(x,y) = ratioG ×g2(x,y) ・・・・・（４）

b2’(x,y) = ratioG ×b2(x,y) ・・・・・（５）

また、信号比の算出方法は上記に限らず、特殊光画像内のＢ信号の平均値と、通常光画像内のＢ信号の平均値を用い、信号比ｒａｔｉｏＢを算出し、特殊光画像のＢ信号に対してはｒａｔｉｏＢを乗算してもよい。

ratioB = K0 × wliAveB / nbiAveB ・・・・・（６）

b2’(x,y) = ratioB ×b2(x,y) ・・・・・（７）

また、各信号の平均値は、例えばＮ×Ｍ画素の複数の領域に分割し、領域毎に平均値を算出し、領域毎の信号比を算出してもよい。また、領域分割の手法はテクスチャ解析に代表される公知の領域分割アルゴリズムを適用してもよい。補正後特殊光画像は、合成部３４２へ出力される。

合成部３４２は、制御部３６０の制御に基づいて通常光画像に、補正された特殊光画像を合成する。合成部３４２の具体的な構成について説明する。図１２は、第１の実施形態における合成部３４２の構成の一例を説明するブロック図である。図１２に示すように、合成部３４２は、エッジ抽出部３４２１と、合成比算出部３４２２と、合成画像作成部３４２３とを含んでいる。

ここで、通常光画像取得部３２０は、エッジ抽出部３４２１と、合成画像作成部３４２３に接続されている。また、補正部３４１は、エッジ抽出部３４２１に接続されている。エッジ抽出部３４２１は、合成比算出部３４２２に接続されている。合成比算出部３４２２は、合成画像作成部３４２３に接続されている。合成画像作成部３４２３は、選択部３５０に接続されている。また、制御部３６０は、エッジ抽出部３４２１と、合成比算出部３４２２と、合成画像作成部３４２３とに双方向に接続されていて、これらを制御するようになっている。

エッジ抽出部３４２１は、制御部３６０の制御に基づき、補正された特殊光画像内のエッジ情報と、通常光画像内のエッジ情報を抽出する。ここでは、特殊光画像のＧ信号値と、特殊光画像のＢ信号値に対して、方向判別エッジ抽出を行う。

ここでは、特殊光画像のＧ信号に対して処理を行った例を示すが、特殊光画像のＢ信号に対しても同様の処理を行う。具体的にはまず、特殊光画像のＧ信号に対してラプラシアンフィルタを適用しエッジ画像ｌａｐＩｍｇＧを作成する。

次に、エッジ画像ｌａｐＩｍｇＧの全画素に対して、エッジ成分がどの方向のエッジに含まれるかを８方向から判定する。図１４（Ａ）〜図１４（Ｄ）はエッジ方向判別に使用する画素と方向である。具体的には注目画素の周辺５×５画素を使って評価値を算出し、最小値を示す方向を判別結果とする。下式（８）〜（１５）に注目画素が座標(２，２)の場合の評価式を示す。

e0G(2,2) = |g2’(2,2)-g2’(2,3)|+|g2’(2,2)-g2’(2,4)|
+|g2’(2,2)-g2’(2,1)|+|g2’(2,2)-g2’(2,0)| ・・・・（８）

e1G(2,2) = |g2’(2,2)-g2’(2,3)|+|g2’(2,2)-g2’(1,4)|
+|g2’(2,2)-g2’(2,1)|+|g2’(2,2)-g2’(3,0)| ・・・・（９）

e2G(2,2) = |g2’(2,2)-g2’(1,3)|+|g2’(2,2)-g2’(0,4)|
+|g2’(2,2)-g2’(3,1)|+|g2’(2,2)-g2’(4,0)| ・・・・（１０）

e3G(2,2) = |g2’(2,2)-g2’(1,2)|+|g2’(2,2)-g2’(0,3)|
+|g2’(2,2)-g2’(3,2)|+|g2’(2,2)-g2’(4,1)| ・・・・（１１）

e4G(2,2) = |g2’(2,2)-g2’(1,2)|+|g2’(2,2)-g2’(0,2)|
+|g2’(2,2)-g2’(3,2)|+|g2’(2,2)-g2’(4,2)| ・・・・（１２）

e5G(2,2) = |g2’(2,2)-g2’(1,2)|+|g2’(2,2)-g2’(0,1)|
+|g2’(2,2)-g2’(3,2)|+|g2’(2,2)-g2’(4,3)| ・・・・（１３）

e6G(2,2) = |g2’(2,2)-g2’(1,1)|+|g2’(2,2)-g2’(0,0)|
+|g2’(2,2)-g2’(3,3)|+|g2’(2,2)-g2’(4,4)| ・・・・（１４）

e7G(2,2) = |g2’(2,2)-g2’(2,1)|+|g2’(2,2)-g2’(1,0)|
+|g2’(2,2)-g2’(2,3)|+|g2’(2,2)-g2’(3,4)| ・・・・（１５）

続いて、判別した結果を用いて、ラプラシアンフィルタで作成したエッジ画像ｌａｐＩｍｇＧにエッジ方向に沿ったフィルタを適用する。これによりエッジを保持したままエッジ画像のノイズを低減する。具体的には、エッジ画像に対して、式（８）〜（１５）で評価値が最小となった方向の評価値の算出に使用した５個の画素の平均値ＡｖｅＧ（ｘ，ｙ）を算出し、方向依存フィルタの出力値とする。

続いて、方向依存フィルタで算出された平均値ＡｖｅＧ（ｘ，ｙ）に対してコアリング処理を行うことで、エッジ画像のノイズや方向判別の誤りによるアーティファクトを除去する。ここではコアリング量が平坦部では大きめに、エッジ部では小さめになるように適応的にコアリング量を制御する。

具体的には、上式（８）、（１０）、（１２）、（１４）で算出したｅ０Ｇ（ｘ，ｙ）、ｅ２Ｇ（ｘ，ｙ）、ｅ４Ｇ（ｘ，ｙ）、ｅ６Ｇ（ｘ，ｙ）を比較し、その最大値ｅｖａＭａｘＧ（ｘ，ｙ）をエッジ量指標として使用する。各画素のコアリング量ｅｖａＣｏｒｅＧ（ｘ，ｙ）はこのエッジ量指標ｅｖａＭａｘＧ（ｘ，ｙ）と、予め外部から与えられたパラメータである、最大コアリング量ｃｏｒｅＭａｘＧ、最小コアリング量ｃｏｒｅＭｉｎＧ、傾きｓｌｏｐｅＧ、エッジ量指標の閾値ＴｈｅＧから下式（１６）〜（１８）で算出する。

evaMaxGがTheGより小さい場合

evaCoreG(x,y)=coreMaxG ・・・・・（１６）

evaMaxGがTheG以上の場合

evaCoreG(x,y)=coreMaxG-((evaMaxG(x,y)-TheG)×slopeG) ・・・・・（１７）

evaCoreGがcoreMinGより小さい場合

evaCoreG(x,y) = coreMinG ・・・・・（１８）

次に、算出されたコアリング量ｅｖａＣｏｒｅＧ（ｘ，ｙ）を用いて、方向依存フィルタ処理の出力値ＡｖｅＧ（ｘ，ｙ）に対して下式（１９）、（２０）を用いてコアリング処理を行い、エッジ情報ｅｄｇｅＧ（ｘ，ｙ）を算出する。

AveG(x,y)が0以上の場合

edgeG(x,y) = AveG(x,y) - evaCoreG(x,y) ・・・・・（１９）

ここで、edgeG(x,y)が0より小さくなったらedgeG(x,y)に0を代入する。

AveG(x,y)が0より小さい場合

edgeG(x,y) = AveG(x,y) + evaCoreG(x,y) ・・・・・（２０）

ここで、edgeG(x,y)が0より大きくなったらedgeG(x,y)に0を代入する

ここでは、エッジ情報として方向判別フィルタを用いたが、これに限らず公知のエッジ抽出手法を用いてもよい。作成された、特殊光画像のＧ信号値のエッジ画像ｅｄｇｅＧと、特殊光画像のＢ信号値のエッジ画像ｅｄｇｅＢは、合成比算出部３４２２に出力される。

合成比算出部３４２２は、制御部３６０の制御に基づき、エッジ抽出部３４２１で抽出されたエッジ情報に基づき合成比を算出する。具外的には、下式（２１）、（２２）を用いて合成比ｂｌｅｎｄＧ、ｂｌｅｎｄＢを算出する。

blendG(x,y) = K1×edgeG(x,y) ・・・・・（２１）

blendB(x,y) = K2×edgeB(x,y) ・・・・・（２２）

Ｋ1、Ｋ２は定数項である。ここで、合成比ｂｌｅｎｄＧ（ｘ，ｙ）、ｂｌｅｎｄＢ（ｘ，ｙ）が、１以上の場合は１、０以下の場合は０を代入する。また、合成比の算出方法は上記に限らず、補正された特殊光画像を領域分割し、領域毎にエッジ情報の平均値ｅｄｇｅＡｖｅＧ、ｅｄｇｅＡｖｅＢを求め、エッジ情報の平均値を用いて合成比を算出しても良い。算出した合成比ｂｌｅｎｄＧ、ｂｌｅｎｄＢは、合成画像作成部３４２３に出力される。

合成画像作成部３４２３は、制御部３６０の制御に基づき、合成比算出部３４２２で算出された合成比に基づき、特殊光画像と、通常光画像を合成する。具体的には、合成画像のＲＧＢ信号をそれぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と表記して、下式で算出する。

R(x,y)=r(x,y) ・・・・・（２３）

G(x,y)=(1-blendG(x,y))×g(x,y)+blendG(x,y)×g2’(x,y) ・・・・・（２４）

B(x,y)=(1-blendB(x,y))×b(x,y)+blendB(x,y)×b2’(x,y) ・・・・・（２５）

合成画像は、選択部３５０に出力される。

選択部３５０は、制御部３６０の制御に基づき、表示画像の選択を行う。ここでは、外部Ｉ／Ｆ部５００により選択された撮影モードに応じて、特殊光カラー画像と合成画像のどちらかを表示画像として設定する。設定された表示画像は表示部４００へ出力される。

なお、合成部３４２の構成は前述のものに限定されない。例えば図１３に示すように、合成部３４２は、注目領域検出部３４２５と、合成比算出部３４２２と、合成画像作成部３４２３とを含んでもよい。

注目領域検出部３４２５は、注目すべき領域を検出する。注目すべき領域とは血管等のエッジ情報に限定されず、例えば、病変部等であってもよい。そして合成比算出部３４２２は、注目領域が検出されたところでは補正後特殊光画像の合成比率を高く設定し、注目領域が検出されなかったところでは補正後特殊光画像の合成比率を低く設定する。

例えばＮＢＩ観察においては、Ｇ２成分、Ｂ２成分をＲ，Ｇ，Ｂのうちの所定のチャネルに入力し、擬似カラー画像を生成することで、扁平上皮癌等の特定の病変が褐色で表示されることになる。そのため、褐色の領域（例えば色相Ｈが５〜３５の範囲にある領域）を病変部であると認識し、注目領域として検出することができる。

ただし、合成の方法に関しては、前述した式（２３）〜（２５）を用いる。つまり、通常光画像のＧ成分と特殊光画像のＧ２成分、通常光画像のＢ成分と特殊光画像のＢ２成分を合成するのであって、通常光画像と擬似カラー化した（Ｒ，Ｇ，Ｂの３成分を持っている）特殊光画像を合成するのではない点には注意が必要である。

また、注目領域であることの確からしさを示す信頼度という尺度を導入し、信頼度が高いほど補正後特殊光画像の合成比率を高く設定してもよい。信頼度としては、例えば褐色領域（病変部）の面積などを用いることができる。

また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部とＡＤ変換部を別体とし、ＡＤ変換部を除く画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。

図１５は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１６は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１５に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピューターシステム６００における本体部６１０は、図１６に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１７〜図１８を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図１１の出力画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図１７のフローチャートを用いて説明する。

この処理を開始すると、まず、時系列の通常光画像と、特殊光画像に対して、撮影モードなどのヘッダ情報を入力する（Ｓ１１）。次に、特殊光画像と通常光画像を予め確保しておいた画像バッファに入力する（Ｓ１２）。続いて、入力された通常光画像に対し既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い通常光画像を作成する（Ｓ１３）。

さらに、入力された特殊光画像に対し式（１）〜（２）で上述した通り、特殊光画像を作成する（Ｓ１４）。そして、式（３）〜（５）で上述した通り、特殊光画像内の画素の特徴量と、通常光画像内の画素の特徴量の比に基づいて、特殊光画像の補正処理を行う（Ｓ１５）。その後、後で図１８を参照して詳細に説明するように、通常光画像に補正された特殊光画像を合成する（Ｓ１６）。次に、合成処理された画像信号を出力する（Ｓ１７）。そして、時系列で最終画像の処理が終了したか否かを判定して（Ｓ１８）、終了していないと判定した場合にはＳ１２へ戻って次の画像信号について上述したような処理を繰り返して行う。一方、全画像信号の処理が終了していると判定した場合には、この処理を終了する。

次に、図１８を参照して、図１７のＳ１６における合成処理の詳細について説明する。
この処理を開始すると、まず、式（８）〜（２０）で上述した通り、補正された特殊光画像内のエッジ情報を抽出する（Ｓ２１）。続いて、式（２１）〜（２２）で上述した通り、抽出されたエッジ情報に基づき合成比を算出する（Ｓ２２）。次に、式（２３）〜（２５）で上述した通り、通常光画像のＢ、Ｇ信号に補正された特殊光画像のＢ、Ｇ信号を合成した合成画像を作成する（Ｓ２３）。

このような処理を行うことで、通常光画像と特殊光画像を単一の画像で表示することが可能となるため、ドクターの負荷を低減しながら病変部の見逃しを抑止する画像処理装置（内視鏡システム）等を提供することが可能となる。

以上の本実施形態では、図５に示す通常光画像取得部３２０は白色光の波長帯域における情報を有した被写体像を含む画像を取得し、特殊光画像取得部３３０は特定の波長帯域における情報を有した被写体像を含む画像を取得する。そして図１１に示す補正部３４１は特殊光画像の補正処理を行い、合成部３４２は通常光画像に対して補正された特殊光画像の合成処理を行う。合成処理とは、通常光画像のＧ成分と補正後特殊光画像のＧ成分同士を合成する第１の合成処理（図３におけるＣ１）と、通常光画像のＢ成分と補正後特殊光画像のＢ成分同士を合成する第２の合成処理（図４におけるＤ１）の少なくとも一方のことである。

ここで、成分とは、ＡＤ変換部によりアナログからデジタルに変換された際の出力である、ＲＧＢチャネルのデータのことである。

これにより、補正部３４１により補正された補正後特殊光画像を合成することで、通常光画像に比べて、粘膜表層の毛細血管や粘膜微細模様の視認性が高い画像を得ることができる。また、図３のＣ１、図４のＤ１に示したようにＧ成分同士、Ｂ成分同士を合成しているため、自然な色味で血管等の視認性を向上させることができる。よって、例えば内視鏡で生体内を通常光及び特殊光を用いて観察する場合には、通常光では視認が難しい病変部を特殊光観察で的確に捉えたうえで、本実施形態の方法を用いない場合に比べて視認性の高い態様で当該病変部を含む画像を表示することが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。
なお、本実施形態での説明において、Ｇ成分同士の合成及びＢ成分同士の合成の両方を行うものとしたが、これに限定されるものではない。Ｇ成分同士の合成は行い、Ｂ成分同士の合成は行わなくてもよい。また、Ｂ成分同士の合成は行い、Ｇ成分同士の合成は行わなくてもよい。

また図１２に示すように、合成部３４２は、エッジ抽出部３４２１と、合成比算出部３４２２とを含んでもよい。エッジ抽出部３４２１は補正された特殊光画像内のエッジ情報及び通常光画像のエッジ情報の少なくとも一方を抽出し、合成比算出部３４２２は抽出されたエッジ情報に基づき合成比を算出する。そして合成部３４２は、算出された合成比に基づき合成処理を行ってもよい。

具体的には、エッジ情報とは図３におけるｅｄｇｅＧであり、合成比とは上述した式（２１）のように、ｅｄｇｅＧに係数Ｋ１をかけることで求められるｂｌｅｎｄＧである。ｅｄｇｅＧは図３で示したように、補正後特殊光画像に対してラプラシアンフィルタ、方向依存フィルタを適用後、コアリング処理をすることで求められる。

ここで、エッジ情報は特殊光画像内の粘膜表層の毛細血管や粘膜微細模様を示す指標である。

これにより、特殊光画像内の粘膜表層の毛細血管や粘膜微細模様の含まれる画素について、病変部の視認性を向上させ、粘膜表層の毛細血管や粘膜微細模様の含まれない画素については従来通りの通常光画像を表示することで、従来の通常光に比べ病変部の視認性を向上させることが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、合成比算出部３４２２は、補正後特殊光画像内にエッジが多い場合、補正後特殊光画像の合成比率を、エッジが少ない場合の補正後特殊光画像の合成比率と比べて高くしてもよい。具体的にはｅｄｇｅＧの値が大きいほど、補正後特殊光画像の合成比率が高くなる。これは上述した式（２１）及び（２４）からもわかる。式（２４）に示したように補正後特殊光画像の合成比率はｂｌｅｎｄＧであり、式（２１）に示したように合成比ｂｌｅｎｄＧはｅｄｇｅＧにより決定されるためである。

これにより、粘膜表層の毛細血管や粘膜微細模様が多い部分については、特殊光画像の比率を大きくすることで、病変部の視認性を向上させる。また、粘膜表層の毛細血管や粘膜微細模様が少ない部分については、明るくノイズの少ない通常光画像の比率が高くなることで視認性を向上させることが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、図１２のエッジ抽出部３４２１は、補正後特殊光画像に対して、少なくとも方向依存フィルタを含むエッジ検出フィルタを適用することで、補正後特殊光画像内のエッジ情報を抽出する。具体的には例えば、補正後特殊光画像に対して、ラプラシアンフィルタ及び方向依存フィルタを適用することで、補正後特殊光画像のエッジ情報を抽出する。さらに具体的には図３におけるｌａｐＩｍｇＧ及びＡｖｅＧを求める処理に対応する。ここで方向依存フィルタとは、エッジ方向に沿った画素の画素値を平滑化するフィルタであってもよい。具体的には図１４（Ａ）〜図１４（Ｄ）で示した８方向について、上述した式（８）〜（１５）に基づいてエッジ方向を判別することになる。

これにより、方向依存フィルタを含むエッジ検出フィルタを適用することで、エッジ情報を抽出することができる。具体的には例えば、ラプラシアンフィルタを適用してエッジ画像を取得した上で、方向依存フィルタによりノイズ低減処理を行うことが可能になる。そのため、補正後特殊光画像のエッジ情報として、シャープなエッジを持った画像を取得することができる。

また、エッジ抽出部３４２１は、通常光画像に対して、ラプラシアンフィルタ及び方向依存フィルタを適用することで、通常光画像のエッジ情報を抽出してもよい。具体的には後述する図１９におけるｌａｐＩｍｇＹ及びＡｖｅＹを求める処理に対応する。

これにより、ラプラシアンフィルタを適用してエッジ画像を取得した上で、方向依存フィルタによりノイズ低減処理を行うことが可能になる。そのため、通常光画像のエッジ情報として、シャープなエッジを持った画像を取得することができる。

また、合成部３４２は、図１３に示すように、注目領域検出部３４２５と、合成比算出部３４２２とを含んでもよい。注目領域検出部３４２５は、補正後特殊光画像内の注目すべき領域である注目領域を検出し、合成比算出部３４２２は検出された注目領域情報に基づき合成比を算出する。そして合成部３４２は、算出された合成比に基づき合成処理を行ってもよい。注目領域の検出は、具体的には例えば、特殊光画像のＧ２、Ｂ２信号から擬似カラー画像を生成し、色相Ｈの値を調べることで実現される。

これにより、特殊光画像内の注目領域（例えば病変部等）について、病変部の視認性を向上させ、注目領域以外の画素については従来通りの通常光画像を表示することで、従来の通常光に比べ病変部の視認性を向上させることが可能になる。

また、図１３の合成比算出部３４２２は、注目領域が検出された場合は、検出されない場合に比べて、補正後特殊光画像の合成比率を高くしてもよい。

これにより、注目領域について特殊光画像の比率を大きくすることで、例えば病変部等の視認性を向上させることができる。また、注目領域以外の領域については、明るくノイズの少ない通常光画像の比率が高くなるため、視認性が向上する。

また、合成部３４２は、補正後特殊光画像を複数の領域に分割する分割部を含んでもよい。そして合成比算出部３４２２は、分割された各領域ごとに合成比を算出してもよい。

これにより、画素単位だけではなく、複数の画素を含む領域単位で処理を行うことが可能になる。そのため、計算量を削減することが可能になり、処理の高速化が実現できる。また、領域分割しない場合に比べ、画素毎に合成比が極端に変化することがなく、粘膜表層の毛細血管や粘膜微細模様が有る画素と無い画素が隣接している場合でもアーティファクトが発生しない。そのため病変部の視認性を向上させることが可能となり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には通常光画像及び特殊光画像は例えば生体内画像であり、特定の波長帯域とは、例えば血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、図７に示すように３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。

また、本実施形態は、図５及び図１１に示すように通常光画像取得部３２０と、特殊光画像取得部３３０と、補正部３４１を含む画像処理装置であってもよい。通常光画像取得部３２０は白色光の波長帯域における情報を有した被写体像を含む画像を取得し、特殊光画像取得部３３０は特定の波長帯域における情報を有した被写体像を含む画像を取得する。補正部３４１は、特殊光画像の明るさ情報である特殊光明るさ情報に基づいて、特殊光画像の補正処理を行う。ここで、特殊光明るさ情報とは、図３におけるｎｂｉＡｖｅＧに対応する。

これにより、特殊光明るさ情報を用いて特殊光画像の明るさ補正を行うことが可能になる。一般的に特殊光画像は非常に暗い画像となるため、明るさ補正を行うことで画像の視認性を高めることができる。

また、図１１の補正部３４１は、特殊光明るさ情報に加えて、通常光画像の明るさ情報である通常光明るさ情報を用いて、特殊光画像の補正処理を行ってもよい。ここで、通常光明るさ情報とは、図３におけるｗｌｉＡｖｅＧに対応する。

これにより、通常光画像の明るさと特殊光画像の明るさとを比較した上で、明るさ補正を行うことが可能になる。

また、補正部３４１は、補正処理として、特殊光明るさ情報と通常光明るさ情報の明るさを同等にする処理を行ってもよい。

これにより、非常に暗い特殊光画像の明るさを、通常光画像の明るさのレベルまで引き上げることが可能になり、視認性を向上させることができる。

また、補正部３４１は、特殊光明るさ情報と明るさ検知センサから得られた明るさ情報とに基づいて、特殊光画像の補正処理を行ってもよい。

ここで、明るさ検知センサ（調光センサ）とは、具体的には例えばフォトダイオード等により実現され、光起電力や光伝導等により動作することで、明るさを検知するものである。

これにより、明るさ情報をセンサ情報として取得することが可能になり、センサ情報に基づいて明るさ補正を行うことができる。

また、補正部３４１は、特殊光画像内の画素値と、通常光画像内の画素値とに基づいて、特殊光画像の補正処理を行ってもよい。

これにより、画素値に基づいた補正処理が可能になる。ここで画素値とは、例えばＲ，Ｇ，Ｂに１画素あたり各８ビットが割り当てられているような場合には、Ｒ，Ｇ，Ｂの各成分が取ることができる０〜２５５の値のことである。

また、補正部３４１は、特殊光画像内の画素値に基づいて特殊光明るさ情報を算出するとともに、通常光画像内の画素値に基づいて通常光明るさ情報を算出してもよい。そして、通常光明るさ情報と特殊光明るさ情報に基づいて、特殊光画像の補正処理を行ってもよい。前述したとおり、特殊光明るさ情報は図３のｎｂｉＡｖｅＧに対応し、通常光明るさ情報は図３のｗｌｉＡｖｅＧに対応する。

これにより、画素値に基づいて明るさ情報を算出することが可能になる。そして、通常光画像の明るさと特殊光画像の明るさとを比較した上で、明るさ補正を行うことができる。

また、補正部３４１は、特殊光明るさ情報と通常光明るさ情報の比に応じた値を補正係数として算出し、補正係数を特殊光画像内の画素値に乗ずる処理を行う。具体的には例えば上述した式（３）、（４）のような処理が考えられる。

これにより、具体的な補正係数として、特殊光明るさ情報と通常光明るさ情報の比、もしくは比に応じた値を用いて、補正処理を行うことが可能になる。

また、通常光画像は第１〜第Ｎの画素値の成分を含み（例えばＲ，Ｇ，Ｂの３成分）、特殊光画像は第１〜第Ｍの画素値の成分を含む（例えばＧ２，Ｂ２の２成分）。そして補正部３４１は、第１〜第Ｍの成分の少なくとも１つの成分に基づいて特殊光明るさ情報を算出する。さらに、特殊光明るさ情報の算出に用いた成分に対応する、通常光画像の対応成分に基づいて通常光明るさ情報を算出する。対応成分とは具体的には例えば、Ｇ成分、Ｂ成分の少なくとも一方が考えられる。具体的には図３に示すように、特殊光明るさ情報の算出にＧ２信号が用いられた場合には、対応成分はＧ成分となる。

これにより、特殊光画像の画素値の成分の少なくとも１つから、特殊光明るさ情報を算出することが可能になる。また、対応する通常光画像の画素値の成分から、通常光明るさ情報を算出することが可能になる。対応成分とは、特殊光明るさ情報の算出にＧ２成分が用いられた場合は通常光画像のＧ成分であり、特殊光明るさ情報の算出にＢ２成分が用いられた場合は通常光画像のＢ成分である。

また、補正部３４１は、特殊光画像のＧ成分（Ｇ２成分）に基づいて特殊光明るさ情報を算出し、通常光画像のＧ成分に基づいて通常光明るさ情報を算出する。そして、特殊光明るさ情報と通常光明るさ情報に基づいて、補正処理を行う。具体的には、特殊光明るさ情報と通常光明るさ情報の比に応じた値を補正係数として算出し、算出した補正係数を特殊光画像のＧ成分とＢ成分に乗ずる処理を行ってもよい。さらに具体的には、例えば上述した式（３）〜（５）に対応する処理を行ってもよい。

これにより、特殊光画像の明るさを、人の目の最も比視感度が高いＧ信号を用いて、通常光画像の明るさと同等程度にすることが可能となる。そのため病変部の視認性を向上させることが可能となり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、補正部３４１は、特殊光画像のＧ成分（Ｇ２成分）に基づいて第１の特殊光明るさ情報を算出し、通常光画像のＧ成分に基づいて第１の通常光明るさ情報を算出する。それとともに特殊光画像のＢ成分（Ｂ２成分）に基づいて第２の特殊光明るさ情報を算出し、通常光画像のＢ成分に基づいて第２の通常光明るさ情報を算出する。そして、第１の特殊光明るさ情報、第１の通常光明るさ情報、第２の特殊光明るさ情報及び第２の通常光明るさ情報に基づいて、補正処理を行ってもよい。

具体的には、第１の特殊光明るさ情報と第１の通常光明るさ情報の比に応じた値を第１の補正係数として算出し、算出した第１の補正係数を特殊光画像のＧ成分に乗ずる処理を行う。また、第２の特殊光明るさ情報と第２の通常光明るさ情報の比に応じた値を第２の補正係数として算出し、算出した第２の補正係数を特殊光画像のＢ成分に乗ずる処理を行ってもよい。さらに具体的には、例えば上述した式（３）、（４）、（６）、（７）に対応する処理を行ってもよい。

これにより、Ｇ信号とＢ信号で独立に最適な明るさの補正を行うことができる。そのため従来の病変部の視認性を向上させることが可能となり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、通常光画像のＧ成分と補正後特殊光画像のＧ成分同士を合成するとともに、通常光画像のＢ成分と補正後特殊光画像のＢ成分同士を合成する処理を行う合成部３４２を含んでもよい。これは、図３におけるＣ１及び図４におけるＤ１に対応する。

これにより、明るさ補正が行われた特殊光画像と、通常光画像とを合成することが可能になる。本来非常に暗い特殊光画像に対して明るさ補正が行われているため、合成処理を行っても通常光画像が暗くなることがなく、病変部の視認性を高めることができる。

また、通常光画像取得部３２０は、白色光の波長帯域の光源からの光に基づいて通常光画像を取得してもよい。そして、特殊光画像取得部３３０は、特定の波長帯域の光源からの光に基づいて特殊光画像を取得してもよい。この場合の構成は図５の構成とは異なり、白色光源１１０の代わりに、白色光源及び特殊光光源の２つが、光源部１００に設けられることになる。

これにより、光源の構成により通常光画像と特殊光画像を取得することが可能になる。フィルタ等を適用する必要がなくなるため、挿入部２００等の構成の一部を簡略化することができる。

また、通常光画像取得部３２０は、光源からの光に対して、白色光の波長帯域の光を透過するフィルタを適用することで通常光画像を取得してもよい。また、特殊光画像取得部３３０は、光源からの光に対して、特定の波長帯域の光を透過するフィルタを適用することで特殊光画像を取得してもよい。具体的には図５に示すような構成が考えられる。撮像素子２５０は図６に示すような色フィルタから構成され、撮像素子２６０は図７に示すような色フィルタから構成される。

これにより、フィルタの構成により通常光画像と特殊光画像を取得することが可能になる。そのため、光源としては白色光の波長帯域及び特殊光の波長帯域の両方の波長帯域をカバーするような単一の光源で足りるため、光源部の構成を簡略化できる。

また、本実施形態は、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得し、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得し、特殊光画像の補正処理を行い、通常光画像と、補正後特殊光画像との合成処理として、通常光画像のＧ成分と補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、通常光画像のＢ成分と補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行う画像処理方法であってもよい。

これにより、補正部３４１により補正された補正後特殊光画像を合成することで、通常光画像に比べて、粘膜表層の毛細血管や粘膜微細模様の視認性が高い画像を得ることができ、かつ、Ｇ成分同士、Ｂ成分同士を合成しているため、自然な色味で血管等の視認性を向上させることができる画像処理方法を実現することが可能になる。

また、本実施形態は、通常画像取得部と、特殊光画像取得部３３０と、補正部３４１と、合成部３４２としてコンピュータを機能させるプログラムであってもよい。通常光画像取得部３２０は白色光の波長帯域における情報を有した被写体像を含む画像を取得し、特殊光画像取得部３３０は特定の波長帯域における情報を有した被写体像を含む画像を取得する。補正部３４１は、特殊光画像の補正処理を行い、合成部３４２は、通常光画像と特殊光画像のＧ成分同士、Ｂ成分同士の合成処理の少なくとも一方を行う。

これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。

また、本実施形態は、通常画像取得部と、特殊光画像取得部３３０と、補正部３４１としてコンピュータを機能させるプログラムであってもよい。通常光画像取得部３２０は白色光の波長帯域における情報を有した被写体像を含む画像を取得し、特殊光画像取得部３３０は特定の波長帯域における情報を有した被写体像を含む画像を取得する。補正部３４１は、特殊光明るさ情報に基づいて、特殊光画像の補正処理を行う。

また本実施形態は、本実施形態の各部（通常光画像取得部、特殊光画像取得部、補正部、合成部）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

ここでプログラムコードとは、白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記特殊光画像の補正処理を行う補正部と、前記通常光画像と前記補正部により補正された前記特殊光画像である補正後特殊光画像との合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成するとともに、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する処理を行う合成部と、を実現する。

また、コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

３．第２の実施形態

まず本実施形態の手法について図１９、図２０を用いて説明する。

図１９はＧ成分の合成を説明するための図である。特殊光画像はＧ２，Ｂ２の２成分を持っている（ここでは特殊光画像としてＮＢＩ画像を想定している）ため、そのうちのＧ２成分を抽出する。また通常光画像はＲ，Ｇ，Ｂの３成分を持っているため、Ｇ２成分に対応する成分であるＧ成分を抽出する。

そして通常光画像のＧ成分の明るさ情報であるｗｌｉＡｖｅＧと、特殊光画像のＧ２成分の明るさ情報であるｎｂｉＡｖｅＧの比から前述した式（３）を用いてｒａｔｉｏＧを求める。求めたｒａｔｉｏＧを用いて、前述した式（４）により、特殊光画像のＧ２成分の明るさ補正を行い、補正後特殊光画像（Ｇ成分）を取得する。

取得した補正後特殊光画像に対して、通常光画像のエッジ情報画像であるｅｄｇｅＹを用いてノイズ低減処理を行うことでノイズ低減画像ｗｌｉＮｒＩｍｇを取得する。また、補正後特殊光画像に対して、特殊光画像のエッジ情報画像であるｅｄｇｅＮｂｉを用いてノイズ低減処理を行うことでノイズ低減画像ｎｂｉＮｒＩｍｇを取得する。

そして、ｗｌｉＮｒＩｍｇとｎｂｉＮｒＩｍｇとを後述する式（３０）を用いて合成することでノイズ低減特殊光画像（Ｇ成分）を取得する。

ノイズ低減特殊光画像（Ｇ成分）と通常光画像（Ｇ成分）とを合成比ｂｌｅｎｄＧで合成することで出力画像（Ｇ成分）を取得することができる。なお本実施形態の処理の目的は出力画像を取得することであり、以下に説明する処理は前述したｅｄｇｅＮｂｉ、ｅｄｇｅＹ及び合成比ｂｌｅｎｄＧを求めるための処理である。

ｅｄｇｅＮｂｉを求めるためには、まず特殊光画像のＧ成分のエッジ情報画像であるｅｄｇｅＧと、特殊光画像のＢ成分のエッジ情報画像であるｅｄｇｅＢとを求める必要がある。この処理は第１の実施形態と同様に、ラプラシアンフィルタ、方向依存フィルタを適用後、コアリング処理を行えばよい。得られたｅｄｇｅＧとｅｄｇｅＢとから、後述する式（２７）もしくは式（２８）を用いてｅｄｇｅＮｂｉが求められる。また、ｅｄｇｅＧに計数Ｋ１をかけることで合成比画像ｂｌｅｎｄＧを取得できる。

また、ｅｄｇｅＹを求めるために、通常光画像のＲ，Ｇ，Ｂの３成分から、後述する式（２６）を用いて輝度画像を取得する。特殊光の場合と同様に、輝度画像に対してラプラシアンフィルタ、方向依存フィルタを適用後、コアリング処理を行うことでエッジ情報画像ｅｄｇｅＹが求められる。

Ｂ成分についても同様であり、処理の概要を示したものが図２０である。特殊光画像のＢ２成分から補正後特殊光画像（Ｂ成分）を取得後、補正後特殊光画像に対してｅｄｇｅＮｂｉ、ｅｄｇｅＹでそれぞれノイズ低減処理を行い、ノイズ低減特殊光画像（Ｂ成分）を取得する。取得したノイズ低減特殊光画像（Ｂ成分）と通常光画像（Ｂ成分）とを合成比ｂｌｅｎｄＢで合成することで出力画像（Ｂ成分）を求めることができる。

Ｒ成分については、第１の実施形態と同様に通常光画像のＲ成分をそのまま用いればよい。

このようにして得られた出力画像のＲ成分、Ｂ成分、Ｇ成分からカラー画像を生成する。生成された画像は、血管等が自然な色味で強調され、かつノイズが低減された画像となっており、診断においてドクターの負荷を軽減すること等が可能になる。

以下、システム構成及び上述した処理に関して詳細に説明する。なお第１の実施形態と同様の構成及び処理に関しては詳細な説明は省略する。

本実施形態の構成は、合成部３４２以外は第１の実施形態と同様である。

合成部３４２は、制御部３６０の制御に基づき、通常光画像に補正された特殊光画像を合成する。合成部３４２の具体的な構成について説明する。図２１は、第２の実施形態における合成部３４２の構成の一例を説明するブロック図である。図２１に示すように、第１の実施形態の合成部３４２に、ノイズ低減部３４２４を更に含んでいる。

ここで、補正部３４１は、エッジ抽出部３４２１と、ノイズ低減部３４２４に接続されている。エッジ抽出部３４２１は、合成比算出部３４２２と、ノイズ低減部３４２４に接続されている。ノイズ低減部３４２４は、合成画像作成部３４２３に接続されている。また、制御部３６０は、エッジ抽出部３４２１と、合成比算出部３４２２と、合成画像作成部３４２３と、ノイズ低減部３４２４に双方向に接続されていて、これらを制御するようになっている。

エッジ抽出部３４２１は、補正された特殊光画像内のエッジ情報と、通常光画像内のエッジ情報を抽出する。ここでは、通常光画像の輝度信号値Ｙと、特殊光画像のＧ信号値と、特殊光画像のＢ信号値に対して、方向判別エッジ抽出を行う。具体的には、まず、通常光画像はＲＧＢ信号値から輝度信号値Ｙを下式（２６）で算出する

Y(x,y) = 0.213×r(x,y) + 0.715×g(x,y) + 0.072×b(x,y) ・・・・・（２６）

ここからは、第１の実施の形態で説明した特殊光画像のＧ、Ｂ信号に対して行った処理を、通常光画像の輝度信号値Ｙにも行う。作成された通常光画像の輝度信号値Ｙのエッジ画像ｅｄｇｅＹは、ノイズ低減部３４２４に出力される。また、同様の処理により作成された、特殊光画像のＧ信号値のエッジ画像ｅｄｇｅＧと、特殊光画像のＢ信号値のエッジ画像ｅｄｇｅＢは、合成比算出部３４２２と、ノイズ低減部３４２４に出力される。

ノイズ低減部３４２４は、制御部３６０の制御に基づき、通常光画像のエッジ情報ｅｄｇｅＹ、または補正後の特殊光画像のエッジｅｄｇｅＧ及びｅｄｇｅＢに基づき補正後の特殊光画像に対しノイズ低減処理を行う。具体的には、まず特殊光画像のＧ信号値のエッジ画像ｅｄｇｅＧと、特殊光画像のＢ信号値のエッジ画像ｅｄｇｅＢを、下式を用いて合成し、特殊光画像のエッジ画像ｅｄｇｅＮｂｉを作成する。

edgeNbi(x,y) = MAX( edgeG(x,y), edgeB(x,y) ) ・・・・・（２７）
ここでMAX(a,b)はaとbの大きい方の値を返す関数である。合成方法は上記に限らず下式のようにしてもよい。

edgeNbi(x,y) = K3×edgeG(x,y) + (1 - K3)×edgeB(x,y) ・・・・・（２８）

ここでＫ３は０〜１の範囲の定数項である。Ｋ３は外部から予め入力された値を用いる。

次に、補正された特殊光画像に第１のノイズ低減処理を行う。具体的には、注目画素と近傍画素に対して、注目画素に近い値を持つ近傍画素には大きな重みを付け、注目画素から遠い値を持つ近傍画素には小さな重みをつけて重み付け加算する。さらに、特殊光画像のエッジ画像ｅｄｇｅＮｂｉ上で注目画素に近い値を持つ近傍画素には大きな重みを付け、特殊光画像のエッジ画像ｅｄｇｅＮｂｉ上で注目画素から遠い値を持つ近傍画素には小さな重みをつけて重み付け加算するようなフィルタを適応した、第１のノイズ低減画像ｎｂｉＮｒＩｍｇを作成する。

続いて、ノイズ低減前の補正された特殊光画像に第２のノイズ低減処理を行う。具体的には、ガウシアンフィルタを適用し、注目画素に対応する通常光画像のエッジ画像ｅｄｇｅＹ上の信号値が大きい場合はガウシアンでフィルタのシグマを小さく、エッジ画像ｅｄｇｅＹ上の信号値が小さい場合はガウシアンでフィルタのシグマを大きくするようなフィルタを適用した、第２のノイズ低減画像ｗｌｉＮｒＩｍｇを作成する。

ここで、第２のノイズ低減処理に比べて、第１のノイズ低減処理が複雑な処理となっているのは、第１のノイズ低減処理が特殊光画像のエッジ情報に基づいた処理だからである。特殊光画像は非常に暗くノイズも多いため、処理においてノイズの影響が出ないように、複雑な処理を採用し、慎重にノイズ低減を行っている。それに対し、第１のノイズ低減処理は明るくノイズの少ない通常光画像に基づく処理であるため、ガウシアンフィルタを適用するだけの処理となっている。

続いて、第１のノイズ低減画像ｎｂｉＮｒＩｍｇと、第２のノイズ低減画像ｗｌｉＮｒＩｍｇの合成処理を行う。

K5(x,y) = K4 × edgeNbi(x,y) ・・・・・（２９）

nrImg(x,y)=K5(x,y)×nbiNrImg(x,y)+(1-K5(x,y))×wliNrImg(x,y)・・・・（３０）

Ｋ４は定数項である。Ｋ５は０〜１の間の値である。ノイズ低減後の画像ｎｒＩｍｇは、合成画像作成部３４２３に出力される。

ここで、ｎｒＩｍｇを求めるために、ｎｂｉＮｒＩｍｇ及びｗｌｉＮｒＩｍｇの両方を用いる理由、及び合成比Ｋ５を求める際にｅｄｇｅＮｂｉを用いる理由について説明する。特殊光画像は通常光画像に比べて、血管等の構造が強調されて表示される。そのため、通常光画像のエッジ情報に比べて、特殊光画像のエッジ情報はより優先して出力画像に反映させるとよい。よって、Ｋ５を求める際にｅｄｇｅＮｂｉが用いられる。しかし、特殊光画像は前述したように非常に暗く、ノイズが多い。特殊光画像のエッジ情報のみを用いて処理を行ったのでは、ノイズにより悪影響が出るおそれがある。そこで明るくノイズの少ない通常光画像のエッジ情報も処理に用いることで、ノイズの影響を低減することができると考えられる。

また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、図１７の合成処理ステップ（Ｓ１６）以外は第１の実施形態と同様である。図２２を参照して、合成処理の詳細について説明する。

この処理を開始すると、まず、式（８）〜（２０）で上述した通り、補正された特殊光画像内と、通常光画像内のエッジ情報を抽出する（Ｓ３１）。次に、式（２９）〜（３０）で上述した通り、補正された特殊光画像に対してノイズ低減処理を行う（Ｓ３２）。続いて、式（２１）〜（２２）で上述した通り、抽出されたエッジ情報に基づき合成比を算出する（Ｓ３３）。次に、式（２３）〜（２５）で上述した通り、通常光画像のＢ、Ｇ信号に補正されたノイズ低減済みの特殊光画像のＢ、Ｇ信号を合成した合成画像を作成する（Ｓ３４）。

このような処理を行うことで、通常光画像と特殊光画像を単一の画像で表示することが可能となるため、ドクターの負荷を低減しながら病変部の見逃しを抑止する内視鏡システムを提供することが可能となる。

以上の本実施形態では、図２１に示すノイズ低減部３４２４は通常光画像のエッジ情報、または補正された特殊光画像のエッジ情報に基づき、補正された特殊光画像に対しノイズ低減処理を行う。合成部３４２は、ノイズ低減処理された特殊光画像と前記通常光画像とを合成する。具体的には図１９におけるＥ１及び図２０におけるＦ１に対応する。

これにより、補正処理によってノイズが増えた特殊光画像のノイズレベルを下げることができる。そのため、ノイズレベルの低い特殊光画像を通常光画像に合成することでき、ノイズ低減処理を行わない場合に比べ、ノイズレベルの低い合成画像を作成することで、病変部の視認性を向上させることが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、ノイズ低減部３４２４は、通常光画像のエッジ情報に基づいて、ノイズ低減処理の強度を制御する。通常光画像のエッジ情報とは、図１９及び図２０におけるｅｄｇｅＹに対応する。補正後特殊光画像に対してｅｄｇｅＹを用いてノイズ低減処理を行うことでｗｌｉＮｒＩｍｇを取得する。

ここで、ノイズ低減処理の強度とは、具体的には例えば、ガウシアンフィルタにおけるシグマの値である。

これにより、通常光画像内に含まれる血管情報を潰さずにノイズを低減することが可能になり、ノイズレベルの低い合成画像を作成することで、病変部の視認性を向上させることが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、ノイズ低減部３４２４は、補正された特殊光画像のエッジ情報に基づいて、エッジ方向判別のノイズ低減処理を行う。補正された特殊光画像のエッジ情報とは、図１９及び図２０におけるｅｄｇｅＮｂｉに対応する。補正後特殊光画像に対してｅｄｇｅＮｂｉを用いてノイズ低減処理を行うことでｎｂｉＮｒＩｍｇを取得する。

これにより、非常に暗い特殊光画像に対しても、表層の毛細血管や粘膜微細模様を潰さずにノイズを低減することが可能になり、ノイズレベルの低い合成画像を作成することで、病変部の視認性を向上させることが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、ノイズ低減部３４２４は、エッジ方向判別のノイズ低減処理として、処理対象画素に近い値を持つ画素には大きな重みを付け、前記処理対象画素から遠い値を持つ画素には小さな重みを付けて、重み付け加算する処理を行ってもよい。これは図１９及び図２０において、ｎｂｉＮｒＩｍｇを求めるための具体的な処理に対応する。

これにより、非常に暗い特殊光画像に対しても、表層の毛細血管や粘膜微細模様を潰さずに、エッジ方向に基づいたノイズ低減処理を行うことが可能になる。

以上、本発明を適用した２つの実施形態１〜２及びその変形例について説明したが、本発明は、各実施形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（例えば、特殊光）と共に記載された用語（例えば、狭帯域光）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００光源部、１１０白色光源、１２０集光レンズ、２００挿入部、
２１０ライトガイドファイバ、２２０照明レンズ、２３０対物レンズ、
２４０ハーフミラー、２５０撮像素子、２６０撮像素子、３００画像処理部、
３１０ａＡＤ変換部、３１０ｂＡＤ変換部、３２０通常光画像取得部、
３２１通常光画像生成部、３２２通常光画像記憶部、３３０特殊光画像取得部、
３３１特殊光画像生成部、３３２特殊光画像記憶部、３４０出力画像生成部、
３４１補正部、３４２合成部、３５０選択部、３６０制御部、４００表示部、
５００外部Ｉ／Ｆ部、６００コンピューターシステム、６１０本体部、
６１５ドライブ、６１６ポート、６１７インターフェース、
６１８インターフェース、６２０ディスプレイ、６２１表示画面、
６３０キーボード、６４０マウス、６５０モデム、６７０メモリ、
６８２サーバ、６８３プリンタ、３４２１エッジ抽出部、
３４２２合成比算出部、３４２３合成処理部、３４２４ノイズ低減部、
３４２５注目領域検出部

Claims

白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、
前記特殊光画像の明るさ情報と前記通常光画像の明るさ情報とに基づいて、前記特殊光画像の補正処理を行う補正部と、
前記通常光画像と、前記補正部により補正された前記特殊光画像である補正後特殊光画像とを合成処理する合成部と、
を含み、
前記合成部は、
少なくとも前記補正後特殊光画像のエッジ情報を抽出するエッジ抽出部と、
抽出された前記補正後特殊光画像のエッジ情報に基づいて、前記補正後特殊光画像内にエッジが多い場合は、エッジが少ない場合に比べて、前記補正後特殊光画像の合成比率を高くする合成比を算出する合成比算出部と、
を含み、
前記合成部は、
算出された前記合成比に基づいて、前記合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行うことを特徴とする画像処理装置。
請求項１において、
前記エッジ抽出部は、
前記補正後特殊光画像に対して、少なくとも方向依存フィルタを含むエッジ検出フィルタを適用することで、前記補正後特殊光画像内のエッジ情報を抽出することを特徴とする画像処理装置。
請求項２において、
前記エッジ抽出部は、
前記補正後特殊光画像に対してラプラシアンフィルタを適用した後に方向依存フィルタを適用することで、前記補正後特殊光画像内のエッジ情報を抽出することを特徴とする画像処理装置。
請求項３において、
前記エッジ抽出部は、
前記方向依存フィルタとして、エッジ方向に沿った画素の画素値を平滑化するフィルタを適用することを特徴とする画像処理装置。
請求項２において、
前記エッジ抽出部は、
前記通常光画像に対してラプラシアンフィルタを適用した後に方向依存フィルタを適用することで、前記通常光画像内のエッジ情報を抽出することを特徴とする画像処理装置。
請求項１において、
前記合成部は、
前記補正後特殊光画像を複数の領域に分割する分割部を含み、
前記合成比算出部は、前記複数の領域の各領域ごとに前記合成比を算出することを特徴とする画像処理装置。
請求項１において、
前記合成部は、
前記通常光画像のエッジ情報及び前記補正後特殊光画像のエッジ情報の少なくとも一方に基づいて、前記補正後特殊光画像に対しノイズ低減処理を行うノイズ低減部を含み、
前記合成部は、
ノイズ低減処理された前記補正後特殊光画像と前記通常光画像とを合成することを特徴とする画像処理装置。
請求項７において、
前記ノイズ低減部は、
前記通常光画像のエッジ情報に基づいて、ノイズ低減処理の強度を制御することを特徴とする画像処理装置。
請求項７において、
前記ノイズ低減部は、
前記補正後特殊光画像のエッジ情報に基づいて、エッジ方向判別のノイズ低減処理を行うことを特徴とする画像処理装置。
請求項９において、
前記ノイズ低減部は、
前記ノイズ低減処理として、処理対象画素に近い値を持つ画素には大きな重みを付け、前記処理対象画素から遠い値を持つ画素には小さな重みを付けて、重み付け加算する処理
を行うことを特徴とする画像処理装置。
請求項１において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
請求項１１において、
前記通常光画像及び前記特殊光画像は、
生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
請求項１２において、
前記波長帯域は、
３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
請求項１において、
前記通常光画像取得部は、
前記白色光の波長帯域の光源からの光に基づいて前記通常光画像を取得し、
前記特殊光画像取得部は、
前記特定の波長帯域の光源からの光に基づいて前記特殊光画像を取得することを特徴とする画像処理装置。
請求項１において、
前記通常光画像取得部は、
光源からの光に対し、前記白色光の波長帯域の光を透過するフィルタを適用することで、前記通常光画像を取得し、
前記特殊光画像取得部は、
光源からの光に対し、前記特定の波長帯域の光を透過するフィルタを適用することで、前記特殊光画像を取得することを特徴とする画像処理装置。
白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得し、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得し、
前記特殊光画像の明るさ情報と前記通常光画像の明るさ情報とに基づいて、前記特殊光画像の補正処理を行い、
補正された前記特殊光画像である補正後特殊光画像のエッジ情報を少なくとも抽出し、
抽出された前記補正後特殊光画像のエッジ情報に基づいて、前記補正後特殊光画像内にエッジが多い場合は、エッジが少ない場合に比べて、前記補正後特殊光画像の合成比率を高くする合成比を算出し、
算出された前記合成比に基づいて、前記通常光画像と、前記補正後特殊光画像との合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行うことを特徴とする画像処理方法。
白色光の波長帯域における情報を有した被写体像を含む通常光画像を取得する通常光画像取得部と、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部と、
前記特殊光画像の明るさ情報と前記通常光画像の明るさ情報とに基づいて、前記特殊光画像の補正処理を行う補正部と、
前記通常光画像と、前記補正部により補正された前記特殊光画像である補正後特殊光画像とを合成処理する合成部として、
コンピュータを機能させ、
前記合成部は、
少なくとも前記補正後特殊光画像のエッジ情報を抽出するエッジ抽出部と、
抽出された前記補正後特殊光画像のエッジ情報に基づいて、前記補正後特殊光画像内にエッジが多い場合は、エッジが少ない場合に比べて、前記補正後特殊光画像の合成比率を高くする合成比を算出する合成比算出部と、
を含み、
前記合成部は、
算出された前記合成比に基づいて、前記合成処理として、前記通常光画像のＧ成分と前記補正後特殊光画像のＧ成分同士を合成する第１の合成処理と、前記通常光画像のＢ成分と前記補正後特殊光画像のＢ成分同士を合成する第２の合成処理の少なくとも一方を行うことを特徴とするプログラム。