JP6522539B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、観察対象を撮像して得た画像信号を用いて、観察対象の血管を抽出する演算その他各種の演算を行う内視鏡システム及びその作動方法に関する。

医療分野においては、光源装置、内視鏡システム、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いる医療診断においては、内視鏡の挿入部を被検体内に挿入し、その先端部から観察対象に照明光を照射する。そして、照明光で照射中の観察対象を先端部の撮像センサで撮像し、得られた画像信号を用いて観察対象の画像を生成してモニタに表示する。

また、近年では、血管の走行パターンや、生体情報を用いた新しい診断が行われつつある。例えば、特許文献１では、血管の走行パターンの中でも、診断上重要な血管パターンである表層血管や中層血管など異なる深さの血管について記載されている。この特許文献１では、表層血管を抽出するための青色の狭帯域光と、中深層血管を抽出するための緑色の狭帯域光とを、異なるタイミングで観察対象に照射し、撮像を行っている。そして、特許文献１では、注目する深さの血管が強調されるように、青色の狭帯域光に基づく画像と緑色の狭帯域光に基づく画像に対して重み付けして加算する演算を行っている。

また、特許文献２では、生体情報の中でも、癌などの病変部との相関が高い酸素飽和度について記載されている。この特許文献２では、酸素飽和度を測定するための波長帯域の光を含む異なる波長帯域の光を、それぞれ異なるタイミングで観察対象に照射し、撮像を行っている。そして、異なる波長帯域の光に基づく画像を用いる演算を行うことによって、酸素飽和度を算出している。

特許第５３９３５２５号（特開２０１１−１６７３４９号公報） 特許第５３９３５５４号（特開２０１１−１９４１５１号公報）

内視鏡を用いて観察を行う場合においては、内視鏡スコープを動かすことによるブレや被写体の体動によるブレなど様々なブレによって、内視鏡の動画中の画像にはブレ画像が生ずることがある。このようなブレ画像は、内視鏡の動画の画質を低下させる要因の一つとなる。さらには、上記特許文献１、２に示すように、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて、重み付け加算演算や酸素飽和度算出演算などの各種演算を行う場合には、複数のタイミングの画像信号のうち一つでもブレの大きいブレ画像が含まれると、正確に演算を行うことができないという問題がある。

以上のように、ブレ画像が発生した場合の演算精度の改善については、特許文献１、２を含むいずれの従来技術文献に記載及び示唆はない。なお、特許文献２には、異なるタイミングで照射と撮像を行うことによる位置ズレを補正することについての記載があるが、ブレが生じたときの演算精度に関する記載や、ブレが生じたときの演算精度の改善方法に関する記載はない。

本発明は、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて各種演算を行う場合において、ブレ画像が発生した状況下でも、正確に演算を行うことができる内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、第１照明光と第２照明光とを順次発生する光源と、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち第２照明光を照明した場合に得られる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択する画像選択部と、第１タイミングＴ１のマルチフレーム画像信号のうち第１照明光を照明した場合に得られる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備え、画像選択部は、第１条件を満たす第２画像信号として、画像ブレ量が予め定めた閾値を下回り、且つ第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択する。

画像選択部は、第１条件を満たす第２画像信号として、画像ブレ量が最も小さい第２画像信号を選択することが好ましい。

画像選択部は、第１条件を満たす第２画像信号がない場合には、いずれの第２画像信号をも選択せず、演算画像信号生成部は、第１画像信号のみに基づいて、演算画像信号を生成することが好ましい。画像選択部は、演算画像信号生成部は、第１条件を満たす第２画像信号がない場合には、いずれの第２画像信号をも選択せず、演算画像信号生成部は、演算画像信号を生成しないことが好ましい。

第１条件を満たす第２画像信号がない場合に、警告表示する制御を行う警告表示制御部を備えることが好ましい。第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、第１タイミングＴ１及び特定のタイミングの第２画像信号の画像ブレ量を表示部に表示する制御を行う情報表示制御部を備え、画像選択部は、第１条件を満たす第２画像信号を自動的に選択する自動選択モードと、情報表示制御部が表示制御を行っているときには、表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、自動選択モードまたは手動選択モードのいずれかで画像選択を行うことが好ましい。

本発明の内視鏡システムは、第１照明光と第２照明光とを順次発生する光源と、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち第１照明光を照明した場合に得られる第１画像信号の画像ブレ量及び第２照明光を照明した場合に得られる第２画像信号の画像ブレ量に基づいて、第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するブレ指標値算出部と、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択する画像選択部と、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備え、ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ差分が「０」もしくは「０」に近い値の範囲にあるタイミングの第２画像信号を選択し、ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との比を示すブレ比である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ比が「１」もしくは「１」に近い値の範囲にあるタイミングの第２画像信号を選択する。

画像選択部は、いずれのタイミングのブレ指標値も第２条件を満たさない場合は、いずれの第２画像信号をも選択せず、演算画像信号生成部は、第１画像信号のみに基づいて、演算画像信号を生成することが好ましい。画像選択部は、いずれのタイミングのブレ指標値も第２条件を満たさない場合は、いずれの第２画像信号をも選択せず、演算画像信号生成部は、演算画像信号を生成しないことが好ましい。

いずれのタイミングのブレ指標値も第２条件を満たさない場合に、警告表示する制御を行う警告表示制御部を備えることが好ましい。第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、第１タイミングＴ１及び特定のタイミングのブレ指標値を表示部に表示する制御を行う情報表示制御部を備え、画像選択部は、第２条件を満たす第２画像信号を自動的に選択する自動選択モードと、情報表示制御部が表示制御を行っているときには、表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、自動選択モードまたは手動選択モードのいずれかで画像選択を行うことが好ましい

画像ブレ量は、第１画像信号または第２画像信号内の血管構造または粘膜構造に基づいて算出することが好ましい。画像ブレ量は、第１画像信号または第２画像信号内の中央領域に基づいて算出することが好ましい。特定のタイミングには、第２タイミングＴ２〜第ＮタイミングＴＮの複数のタイミングが含まれることが好ましい。第１照明光と第２照明光とはそれぞれ波長帯域が異なっていることが好ましい。

本発明の内視鏡システムの作動方法は、光源が、第１照明光と第２照明光とを順次発生するステップと、撮像センサが、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力するステップと、画像選択部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択するステップであり、画像選択部は、第１条件を満たす第２画像信号として、画像ブレ量が予め定めた閾値を下回り、且つ第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択するステップと、演算画像信号生成部が、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する。

本発明の内視鏡システムの作動方法は、光源が、第１照明光と第２照明光とを順次発生するステップと、撮像センサが、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力するステップと、ブレ指標値算出部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号における第１画像信号の画像ブレ量及び第２画像信号の画像ブレ量に基づいて、第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するステップと、画像選択部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択するステップであり、ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ差分が「０」もしくは「０」に近い値の範囲にあるタイミングの第２画像信号を選択し、ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との比を示すブレ比である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ比が「１」もしくは「１」に近い値の範囲にあるタイミングの第２画像信号を選択するステップと、演算画像信号生成部が、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択されたマルチフレーム画像信号に含まれる第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する。

本発明によれば、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて各種演算を行う場合において、ブレ画像が発生した状況下でも、正確に演算を行うことができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 観察対象の散乱係数を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 カラーフィルタの分光特性を示すグラフである。 第１実施形態の特殊画像処理部の機能を示すブロック図である。 第１タイミングＴ１〜第ＮタイミングＴＮにおいてそれぞれ紫色光Vと青色光Bの発光を行ったときに得られるＢ１画像信号及びＢ２画像信号を示す説明図である。 血管の深さと血管のコントラストの関係を模式的に表すグラフである。 特定深さ血管強調画像の生成方法を示す説明図である。 特殊観察モード時のフローチャートである。 Ｂ１画像信号の模式図である。 Ｂ２画像信号の模式図である。 演算画像信号の模式図である。 低解像度化処理後の演算画像信号の模式図である。 特定深さ血管強調画像の模式図である。 変形例の特定深さ血管強調画像の生成方法を示す説明図である。 位置合わせ処理部と低解像度化処理部の連携関係、及び画像選択部７２と低解像化処理部の連携関係を示すブロック図である。 カプセル内視鏡の概略図である。 第３実施形態の特殊画像処理部の機能を示すブロック図である。 画像ブレ量の一覧表示制御機能を備えた第５実施形態の特殊画像処理部の機能を示すブロック図である。 各タイミングのＢ２画像信号に基づく画像と、各タイミングの画像ブレ量とを一覧表示するモニタの画像図である。 ブレ指標値の一覧表示制御機能を備えた第５実施形態の特殊画像処理部の機能を示すブロック図である。

［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部が所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切り替えスイッチ１３ａ、ズーム操作部１３ｂ、静止画取得指示部（図示しない）等が設けられている。モード切り替えスイッチ１３ａは、観察モードの切り替え操作に用いられる。内視鏡システム１０は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する。特殊観察モードでは、観察対象を撮像して得た画像信号を用いて、観察対象に含まれる血管のうち、特定深さにある血管を抽出した特定深さ血管強調画像を表示する。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続しても良い。

図２に示すように、光源装置１４は、光源２０と、光源２０を制御する光源制御部２２と、を備えている。光源２０は、例えば複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象に照射する照明光を発生する。本実施形態では、光源２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２３ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２３ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２３ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２３ｄの四色のＬＥＤを有する。

図３に示すように、Ｖ−ＬＥＤ２３ａは、中心波長４０５ｎｍ、波長帯域３８０〜４２０ｎｍの紫色光Ｖを発光する紫色光源である。Ｂ−ＬＥＤ２３ｂは、中心波長４６０ｎｍ、波長帯域４２０〜５００ｎｍの青色光Ｂを発する青色半導体光源である。Ｇ−ＬＥＤ２３ｃは、波長帯域が４８０〜６００ｎｍに及ぶ緑色光Ｇを発する緑色半導体光源である。Ｒ−ＬＥＤ２３ｄは、中心波長６２０〜６３０ｎｍで、波長帯域が６００〜６５０ｎｍに及ぶ赤色光Ｒを発光する赤色半導体光源である。なお、Ｖ−ＬＥＤ２３ａとＢ−ＬＥＤ２３ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。また、各ＬＥＤ２３a〜２３ｄにおいて、中心波長とピーク波長とは異なってもよく同じであってもよい。

これらの各ＬＥＤ２３ａ〜２３ｄの点灯や消灯、点灯時の発光量等は、光源制御部２２が各々に独立した制御信号を入力するによって各々に制御することができる。通常観察モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２３ａ、Ｂ−ＬＥＤ２３ｂ、Ｇ−ＬＥＤ２３ｃ、及びＲ−ＬＥＤ２３ｄを全て点灯させる。このため、通常観察モードでは、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む白色光が照明光として用いられる。

一方、特殊観察モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２３ａだけを点灯し、Ｂ−ＬＥＤ２３ｂ等の他のＬＥＤを消灯する第１発光モードと、Ｖ−ＬＥＤ２３ａを消灯し、Ｂ−ＬＥＤ２３ｂを点灯し、Ｖ−ＬＥＤ２３ａ等の他のＬＥＤを消灯する第２発光モードとを交互に行うように、光源２０を制御する。すなわち、特殊観察モードでは、第１発光モードと第２発光モードを行うことにより、紫色光Ｖと青色光Ｂとを順次発生する。なお、紫色光Ｖが本発明の「第１照明光」に対応し、青色光Ｂが、第１照明光とは波長帯域が異なる「第２照明光」に対応する。

本実施形態では、上記のように、特殊観察モードにおいて、Ｖ−ＬＥＤ２３ａが発する紫色光Ｖと、Ｂ−ＬＥＤ２３ａが発する青色光Ｂとを、第１照明光及び第２照明光としてそのまま用いているが、光源２０に波長帯域を制限する光学フィルタ等を設けることによって、紫色光Ｖと青色光Ｂとはそれぞれさらに波長帯域を制限してから、特殊観察モードの照明光として利用することが好ましい。

これは第１照明光と第２照明光とが、観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい二つの波長帯域の光であると、特定深さの血管の抽出を特に鮮明に抽出することができるからである。例えば、各照明光の波長帯域における観察対象の散乱係数は、観察対象への深達度、すなわち、その波長帯域で観察可能な血管の粘膜下の深さに関連する。一方、ヘモグロビンの吸光係数は、各照明光で観察可能な血管のコントラストに関連する。したがって、特殊観察モード時に用いる第１照明光と第２照明光に要求する、観察対象の散乱係数が異なり、かつ、ヘモグロビンの吸光係数がほぼ等しいという条件は、観察可能な血管の粘膜下の深さがそれぞれ異なり、かつ、粘膜下での深さが異なる血管が同程度のコントラストに観察可能である二つの波長帯域の光を選択して用いるという条件である。

光源２０に用いるＬＥＤ等の特性（中心波長）等によっては、上記条件を完全には満たせない場合があるが、このような場合には、少なくとも観察対象の散乱係数が異なる範囲内で、できる限りヘモグロビンの吸光係数が近い二つの波長帯域の光を第１照明光及び第２照明光とすれば良い。なお、第１照明光が第２照明光よりも短波長帯域の光であるとすると、観察対象の散乱係数が異なるとは、第１照明光の散乱係数に対する第２照明光の散乱係数の比が０．８以下であることを言う。また、第１照明光と第２照明光の散乱係数の差は７０ｃｍ^-1以上あると良い。

特殊観察モード時に照明光として用いる紫色光Ｖと青色光Ｂとでは、図４に示すように、紫色光Ｖの散乱係数に対する青色光Ｂの散乱係数の比は０．７５あり、図５に示すように、ヘモグロビンの吸光係数（酸化ヘモグロビンの吸光係数：還元ヘモグロビンの吸光係数＝３：７）は概ね同程度である。

図２に示すように、各ＬＥＤ２３ａ〜２３ｄが発する各色の光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通されたライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド４１は、光源２０が発生した照明光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、ライトガイド４１によって伝搬された照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、撮像センサ４８を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像される。なお、ズームレンズ４７は、ズーム操作部１３ｂを操作することでテレ端とワイド端との間で自在に移動され、撮像センサ４８に結像する観察対象の反射像を拡大または縮小する。

撮像センサ４８はカラー撮像センサであり、この撮像センサ４８は、Ｒ（赤色）カラーフィルタが設けられたR画素（青色画素）、Ｇ（緑色）カラーフィルタが設けられたG画素（緑色画素）、Ｂ（青色）カラーフィルタが設けられたB画素（青色画素）を備えている。図６に示すように、Rカラーフィルタは５８０〜７７０nmの光を透過させ、Gカラーフィルタは４５０〜６３０nmの光を透過させ、Bカラーフィルタは３８０〜５６０nmの光を透過させる。

撮像センサ４８は、照明光の発光に合わせて、各色の画素から、ＲＧＢ各色の画像信号を出力する。通常観察モードでは、撮像センサ４８は、白色光で照明された観察対象を撮像することで、R画素からRｃ画像信号を出力し、G画素からGc画像信号を出力し、B画素からBｃ画像信号を出力する。特殊観察モードでは、第１発光モードにおいて紫色光Ｖを発光した場合、撮像センサ４８は、紫色光Ｖが照明された観察対象を撮像することによって、R画素からR１画像信号を出力し、G画素からG１画像信号を出力し、B画素からB１画像信号を出力する。Ｂ１画像信号（本発明の「第１画像信号」に対応する）には、紫色光Vに対応する波長成分の信号が含まれている。

また、第２発光モードにおいて青色光Bを発光した場合、撮像センサ４８は、青色光Bが照明された観察対象を撮像することによって、R画素からR２画像信号を出力し、G画素からG２画像信号を出力し、B画素からB２画像信号を出力する。Ｂ２画像信号（本発明の「第２画像信号」に対応する）には、青色光Bに対応する波長成分の信号が含まれている。以上のように第１発光モードと第２発光モードを行うことにより得られるB１画像信号とB２画像信号を含む複数の画像信号を、以下、マルチフレーム画像信号という。

撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの四色の画像信号が出力されるので、補色−原色色変換によって、ＣＭＹＧの四色の画像信号をＲＧＢの三色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

ＣＤＳ／ＡＧＣ回路５１は、撮像センサ４８から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）や自動利得制御（ＡＧＣ；Automatic Gain Control）を行う。ＣＤＳ／ＡＧＣ回路５１を経た画像信号は、Ａ／Ｄ（Analog to Digital）コンバータ５２により、デジタル画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

図２に示すように、プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理切替部６１と、通常画像処理部６６と、特殊画像処理部６７と、映像信号生成部６８と、を備えている。画像信号取得部５３は、ＣＤＳ／ＡＧＣ回路５１及びＡ／Ｄコンバータ５２を介して、撮像センサ４８からデジタルの画像信号を取得する。

ＤＳＰ５６は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。

ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理（等方化処理、または同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ除去部５８は、ＤＳＰ５６でデモザイク処理等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等による）を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部６１に送信される。モード切り替えスイッチ１３ａの操作によって通常観察モードにセットされている場合、画像処理切替部６１は、受信した画像信号を通常画像処理部６６に送信し、特殊観察モードにセットされている場合には、受信した画像信号を特殊画像処理部６７に送信する。

通常画像処理部６６は、通常観察モードに設定されている場合に作動し、受信した画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像信号を生成する。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像信号を用いたカラー画像が通常画像である。

特殊画像処理部６７は、特殊観察モードに設定されている場合に作動する画像処理部であり、B１画像信号とB２画像信号を含むマルチフレーム画像信号を用いて特定深さの血管を抽出し、他の血管に対して抽出した血管を色の違いで表す画像を生成する。特殊画像処理部６７は、図７に示すように、画像ブレ検出部７０と、画像信号記憶部７１と、画像選択部７２と、位置合わせ処理部７３と、明るさ補正処理部７４と、演算画像信号生成部７６と、低解像度化処理部７７と、画像生成部７８と、警告表示制御部７９とを備えている。画像処理切替部６１から入力されるマルチフレーム画像信号のうち、Ｂ１画像信号は位置合わせ処理部７３に入力され、Ｂ２画像信号は画像ブレ検出部７０に入力される。

画像ブレ検出部７０は、入力されたＢ２画像信号の画像ブレ量を検出する。画像ブレ量は、画像のブレの方向及び大きさを持つベクトル量であることが好ましい。検出した画像ブレ量は、Ｂ２画像信号と関連付けられて画像信号記憶部７１に記憶される。また、画像ブレ量と関連付けられたＢ２画像信号は、画像選択部７２に送信される。ここで、画像ブレ量としては、Ｂ２画像信号において注目する構造物の画像ブレ量を検出することが好ましい。例えば、注目する構造物としては血管構造や粘膜構造がある。本実施形態では、注目する構造物は血管であるので、血管構造に基づいて、画像ブレ量を求めることが好ましい。例えば、血管構造を抽出する画像フィルタによって血管位置を特定し、この特定した血管位置にある血管の画像ブレ量を、画像全体の画像ブレ量の代表値、即ち、画像ブレ検出部７０で採用する画像ブレ量とすることが好ましい。

また、画像ブレ量は、Ｂ２画像信号の画像中央領域に基づいて求めることが好ましい。画像中央領域については、「画像を縦横共に３分割した真ん中」や「画像の中心点から半径Ｒｄピクセル内の領域」など任意に決めることが好ましい。なお、このように画像中央領域の画像ブレ量を採用するのは、ユーザーは、注目する領域が画像の中心に位置するように、内視鏡１２を操作しているためである。

なお、画像ブレ量の検出方法としては、主として、画像解析に基づく方法と撮像センサ４８に基づく方法がある。画像解析に基づく方法としては、画像における複数の領域のそれぞれについて点拡がり関数（ＰＳＦ（Point Spread Function））を推定し、その点拡がり関数から画像ブレの方向及び大きさを高精度に推定する方法がある（特許５４９９０５０号公報参照）。また、画像ブレの中でも、内視鏡１２を直線的に操作したときに生ずる手ぶれ画像については、周波数空間上でシンク関数を畳み込んだパワースペクトルとして表れることが知られている。このような手ぶれ画像が多く発生するような状況下では、画像信号を周波数領域の画像に変換し、その周波数領域の画像において手ぶれ方向に表れるシンク関数の影響の度合いに基づいて画像ブレ量を検出することが好ましい（特開２００９−２３０５９８号公報参照）。また、画像信号から移動ベクトルを検出し、移動ベクトルを元に画像ブレ量を検出する方法がある（特開平３−１６４７０号公報参照）。

一方、撮像センサ４８に基づく方法としては、内視鏡１２の湾曲部１２ｃに設けた移動量検出手段により角速度と移動方向を検出し、それら角速度や移動方向から画像ブレ量を検出する方法がある（特開平５−１６４７０号公報）。

画像選択部７２は、画像ブレ検出部７０から入力されたＢ２画像信号、または、画像信号記憶部７１に記憶されたＢ２画像信号の中から、画像ブレの少ないＢ２画像信号を選択する。選択されたB２画像信号は、位置合わせ処理部７３に入力される。この画像選択部７２は、具体的には、図８に示すように、第１タイミングT１において紫色光Vと青色光Bの発光が行われたときに得られるマルチフレーム画像信号のうちのB２画像信号と、第１タイミングT１よりも前の複数の第２タイミングT２、・・・、第ｎタイミング、・・・、第NタイミングTNにおいて紫色光Vと青色光Bの発光が行われたときに得られるマルチフレーム画像信号のうちのB２画像信号の中から選択を行う。

第１タイミングT１のB２画像信号は、画像信号記憶部７１を介さずに画像選択部７２に入力される信号である。第２タイミングT２、・・・、第ｎタイミング、・・・、第NタイミングTNのB２画像信号は、画像信号記憶部７１を介して画像選択部７２に入力される信号である。なお、図８において、「B１」はB１画像信号を、「B２」はB２画像信号を示している。また、本発明では、第１タイミングＴ１よりも前の１又は複数のタイミングを総称して、「特定のタイミング」という。本実施形態では、第２タイミングT２〜第NタイミングTNが「特定のタイミング」に相当する。

ここで、ｎ、Nは２以上の自然数であり、ｎは２〜Nにおける任意の自然数である。第２タイミングT２が一番第１タイミングT１に時間的に近く、第ｎタイミングTnの「ｎ」が大きくなるほど、第１タイミングT１から時間的に離れていき、第NタイミングTNが第１タイミングT１から最も時間的に離れている。また、第１タイミングT1は、第１発光モードで紫色光Vが発光されてB１画像信号が得られたタイミングと、第２発光モードで青色光Bが発光されてB２画像信号が得られたタイミングの両方を含んでいる。第２タイミングT２〜第NタイミングTNについても、第１タイミングと同様、B１画像信号が得られたタイミングとB２画像信号が得られたタイミングの両方を含んでいる。

画像選択部７２では、まず、第１タイミングT１のB２画像信号について画像ブレ量が閾値Th1を超えているか否かを判定する。判定の結果、閾値Th1が下回っている場合には、第１タイミングT１のB２画像信号を位置合わせ処理部７３に送信する。これに対して、閾値Th１を超えている場合には、第２タイミングT２のB２画像信号について画像ブレ量がTh１を超えているか否かを判定する。判定の結果、閾値Th１を下回っている場合には、第２タイミングT２のB２画像信号を位置合わせ処理部７３に送信し、閾値Th１を超えている場合には、第３タイミングT３のB２画像信号について画像ブレ量の判定を行い、位置合わせ処理部７３に送信すべきかどうか判定する。画像選択部７２は、画像ブレ量が閾値Th１を下回るB２画像信号を検出するまで、上記と同様の判定を行う。なお、本発明の「第１条件」とは、「画像ブレ量が、予め定めた閾値Th1を下回り、且つ第１タイミングＴ１に最も近いタイミングに撮像されること」に対応している。

なお、画像選択部７２では、第１タイミングT1から時間的に離れすぎるタイミングのB２画像信号については、B1画像信号との位置ずれが大きくなることが多いことから、画像ブレ量が閾値Th1を下回り、且つ第１タイミングT１に最も時間的に近いB２画像信号を選択することが好ましい。また、画像選択部７２は、第２タイミングT２〜第NタイミングTNのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、いずれのタイミングのB２画像信号をも選択しないことが好ましい。

このように、第２タイミングT2〜第NタイミングのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、第２タイミングT２〜第NタイミングのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、警告表示制御部７９が、警告表示する制御を行うことによって、警告表示をモニタ１８上に表示するようにしてもよい。警告表示としては、警告メッセージや、警告マークなどがある。

位置合わせ処理部７３は、順次取得されたＢ１画像信号が表す観察対象とＢ２画像信号が表す観察対象との位置合わせを行う。位置合わせ処理部７３は、Ｂ１画像信号、または、Ｂ２画像信号のうち少なくとも一方を補正する。

明るさ補正処理部７４は、位置合わせ処理部７３によって位置合わせされたＢ１画像信号及びＢ２画像信号の明るさが特定比になるように、Ｂ１画像信号、または、Ｂ２画像信号のうち少なくとも一方の明るさを補正する。具体的には、第１発光モードの紫色光Ｖと第２発光モードの青色光Ｂの光量比は既知なので、これらの光量比を用いて、それぞれ同等の光量の紫色光Ｖ及び青色光Ｂを観察対象に照射して得る場合の明るさになるように、Ｂ１画像信号の明るさを、Ｂ２画像信号の明るさに一致させるようにゲイン補正をする。

なお、画像選択部７２でいずれのタイミングT１〜TNのB２画像信号も選択されなかった場合には、位置合わせ処理部７３において位置合わせは行われず、また、明るさ補正処理部７４においても明るさの補正は行われない。即ち、B１画像信号だけが演算画像信号生成部７６に送られる。

演算画像信号生成部７６は、Ｂ１画像信号とＢ２画像信号とを用いて演算をし、演算画像信号を生成する。具体的には、Ｂ１画像信号とＢ２画像信号の差または比を算出する。本実施形態では、演算画像信号生成部７６は、Ｂ１画像信号及びＢ２画像信号を対数変換し、対数変換後のＢ１画像信号とＢ２画像信号の差、より具体的にはＢ２画像信号からＢ１画像信号を減算した演算画像信号ΔＢを生成する。Ｂ１画像信号とＢ２画像信号を対数変換せずにそのまま用いる場合には、Ｂ１画像信号とＢ２画像信号の比を画素毎に演算することにより、演算画像信号を生成する。Ｂ１画像信号及びＢ２画像信号は、各画素が受光量に比例する画素値を有するが、対数変換をすると、濃度に比例する画素値を有することになるので、各画像信号を得たときの照明光の照度によらず、安定した演算結果を得ることができる。

演算画像信号ΔＢを算出することは、粘膜下の特定深さにある血管を抽出することに対応する。例えば、図９に示すように、紫色光Ｖと青色光Ｂは、これらを照明光として用いると、概ね表層血管（深さＡｓ及び深さＡｄの全範囲の血管）を観察可能であるが、紫色光Ｖは青色光Ｂと比較して波長が短いので、観察対象への深達度が小さく、青色光Ｂに対して相対的に粘膜下の浅い位置Ａｓにある血管しか写し出せない代わりに、浅い位置Ａｓにある血管のコントラスト（血管からの反射光量に対する周辺の粘膜からの反射光量の比）は青色光Ｂを用いる場合よりも大きい。

一方、青色光Ｂは紫色光Ｖと比較して波長が長いので、観察対象への深達度が大きく、紫色光Ｖに対して相対的に粘膜下の深い位置Ａｄにある血管まで写し出せる代わりに、浅い位置Ａｓにある血管のコントラストは紫色光Ｖを用いる場合よりも小さい。このため、青色光Ｂに対応するＢ２画像信号から紫色光Ｖに対応するＢ１画像信号を減算すれば、特に粘膜下の浅い位置Ａｓにある極表層血管を表す画素の画素値は強調されて、大きい値（白色）になる。逆に、極表層血管よりも深い位置Ａｄにある表層血管を表す画素の画素値は小さい値（黒色）になる。

また、演算画像信号生成部７６では、画像選択部７２で選択された画像ブレの少ないB２画像信号に基づいて演算を行っているため、観察対象上の血管をほぼ正確に抽出した演算画像信号ΔＢを生成することが可能となる。

低解像度化処理部７７は、いわゆるローパスフィルタ（以下、ＬＰＦという）であり、演算画像信号生成部７６が生成した演算画像信号ΔＢを低解像度化する。低解像度化処理部７７が演算画像信号ΔＢに施す低解像度化処理の強度は、ＬＰＦのカットオフ周波数で定まる。ＬＰＦのカットオフ周波数は予め設定され、少なくとももとの演算画像信号ΔＢの解像度よりは低解像度化する。

画像生成部７８は、特殊画像処理部６７が受信するＢ１画像信号またはＢ２画像信号のいずれかと、低解像度化された演算画像信号ΔＢとを用いて、複数の出力チャンネルを有する画像を生成する。より具体的には、画像生成部７８は、輝度チャンネルＹと色差に関する二つの色差チャンネルＣｂ，Ｃｒとを有する画像を生成する。画像生成部７８は、Ｂ１画像信号またはＢ２画像信号のいずれかを輝度チャンネルＹに割り当て、低解像度化された演算画像信号ΔＢを二つの色差チャンネルＣｂ，Ｃｒに割り当てることにより、特定深さの血管の走行パターンを色で強調した画像（以下、特定深さ血管強調画像という）を生成する。ここで、二つの色差チャンネルＣｂ，Ｃｒに割り当てる演算画像信号ΔＢは、観察対象上の血管がほぼ正確に抽出された信号であるため、血管が無い部分に、血管に相当する色が表示されるなどのアーチファクトが発生するおそれがない。

なお、本実施形態の場合、輝度チャンネルＹにＢ１画像信号を割り当てるのは、表層血管の中から極表層血管を選り分けて強調するからであり、図１０に示すように、Ｂ１画像信号とＢ２画像信号のうち、相対的に短波長帯域の光（紫色光Ｖ）に対応し、極表層血管のコントラストが高いＢ１画像信号を輝度チャンネルＹに割り当てる。そして、色差チャンネルＣｂ，Ｃｒには演算画像信号ΔＢを割り当てる。また、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数αと係数βを乗じる。これは、表層血管等を強調観察する内視鏡システムが表示する画像と色味を揃えるためである。

具体的には、表層血管を強調観察する従来の内視鏡システムでは、強調観察モードの場合に、狭帯域の青色光を照射して観察対象を撮像してＢ画像信号を取得し、かつ、狭帯域の緑色光を照射して観察対象を撮像してＧ画像信号を取得する。そして、Ｂ画像信号を表示用の画像のＢチャンネル（青色チャンネル）とＧチャンネル（緑色チャンネル）に割り当て、Ｇ画像信号をＲチャンネル（赤色チャンネル）に割り当てることにより、粘膜下の深い位置にある中深層血管を緑色系（シアン系）の色にし、粘膜下の浅い位置にある表層血管を赤色系（マゼンタ系）の色にして強調表示する。ＩＴＵ−Ｒ．６０１では、ＲＧＢ各画像信号と輝度チャンネルＹ及び色差チャンネルＣｂ，Ｃｒの関係は、下記式（１），（２），及び（３）で表される。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９−０．３３１Ｇ＋０．５Ｇ ・・・（２）
Ｃｒ＝０．５Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）

そして、色差チャンネルＣｂ，Ｃｒの式（２）及び式（３）において、ＲにＧを代入し、ＧにＢを代入すると、式（４）及び式（５）に示すように色差チャンネルＣｂ，Ｃｒを（Ｇ−Ｂ）で表すことができる。
Ｃｂ＝−０．１６９Ｇ＋０．１６９Ｂ＝０．１６９（Ｇ−Ｂ） ・・・（４）
Ｃｒ＝０．５Ｇ−０．５Ｂ＝０．５（Ｇ−Ｂ） ・・・（５）
本実施形態では、極表層血管を抽出及び表示するので、この（Ｇ−Ｂ）信号に代えて、演算画像信号ΔＢを用いる。すなわち、係数α＝０．１６９を乗じて演算画像信号ΔＢを色差信号Ｃｂに割り当て、係数β＝０．５を乗じて演算画像信号ΔＢを色差信号Ｃｒに割り当てる。これにより、内視鏡システム１０では、従来の内視鏡システムとほぼ同配色の画像を表示する。但し、極表層血管と、比較的深い位置にある表層血管との色の違いを強調するために、設定等に応じて、上記係数α及び係数βにさらに係数を乗じる場合がある。

なお、輝度チャンネルＹ及び色差チャンネルＣｂ，ＣｒからＲＧＢの特定深さ血管強調画像を生成するには、ＩＴＵ−Ｒ．６０１の逆変換にしたがって、
Ｒ＝Ｙ＋１．４０２Ｃｒ ・・・（７）
Ｇ＝Ｙ−０．３４４Ｃｂ−０．７１４Ｃｒ ・・・（８）
Ｂ＝Ｙ＋１．７７２Ｃｂ ・・・（９）
によって行う。

通常画像処理部６６が生成する通常画像、及び、特殊画像処理部６７が生成する特定深さ血管強調画像は、映像信号生成部６８に入力される。映像信号生成部６８は通常画像や特定深さ血管強調画像をモニタ１８で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ１８は、通常画像や特定深さ血管強調画像を表示する。

次に、特殊観察モードにおける画像処理の一連の流れを図１１に沿って説明する。この図１１に示す画像処理の一連の流れの最初の段階において、画像信号記憶部７１には、既に、第２タイミングT２〜第NタイミングTNのB２画像信号とそれに対応する画像ブレ量とが記憶されていることが前提となっている。

まず、第１タイミングT１において、第１発光モードと第２発光モードを行う。第１発光モードでは、光源２０が紫色光Ｖを発生し、発生した紫色光Ｖを観察対象に照射する（Ｓ１１）。撮像センサ４８は、紫色光Ｖが照射された観察対象を撮像し（Ｓ１２）、画像信号取得部５３は、紫色光Ｖに対応するＢ１画像信号を取得する（Ｓ１３）。図１２に示すように、Ｂ１画像信号１１０は、紫色光Ｖによって観察対象を撮像して得た画像信号なので、観察対象の起伏等の形状１１２の他、極表層血管１２４が観察可能である。また、極表層血管１２４よりも粘膜下の深い位置にある表層血管１２３も、Ｂ１画像信号１１０によって観察可能である。以上の第１タイミングのB１画像信号は、各種処理部を介して、位置合わせ処理部７３に送信される。

次に、第２発光モードでは、光源２０が青色光Ｂを発生し、発生した青色光Ｂを観察対象に照射し（Ｓ１４）、撮像センサ４８は青色光Ｂが照射された観察対象を撮像する（Ｓ１５）。そして、画像信号取得部５３は、青色光Ｂに対応するＢ２画像信号を取得する（Ｓ１６）。図１３に示すように、Ｂ２画像信号１２０は、青色光Ｂによって観察対象を撮像して得た画像信号なので、観察対象の形状１１２の他、比較的深い位置にある表層血管１２３が観察可能である。また、極表層血管１２４もＢ２画像信号１２０によって観察可能である。第１タイミングT1のB２画像信号は、各種の処理部を介して、画像ブレ検出部７０に送信される。

なお、Ｂ１画像信号１１０とＢ２画像信号１２０を比較すると、Ｂ１画像信号１１０の方が極表層血管１２４のコントラストが高く、Ｂ２画像信号１２０の方が極表層血管１２４に比べて比較的深い位置にある表層血管１２３のコントラストが高くなっている。

次に、画像ブレ検出部７０は、第１タイミングT1のB２画像信号について画像ブレ量を検出する（Ｓ１７）。この画像ブレ量が検出されたB２画像信号は、画像選択部７２に送信される。画像選択部７２では、演算画像信号ΔＢの生成に用いる画像ブレの少ないＢ２画像信号を選択する（Ｓ１８）。画像選択部７２では、まず、第１タイミングT1のＢ２画像信号について画像ブレ量が閾値Ｔｈ１を下回るか否かを判定する。判定の結果、閾値Ｔｈ１が下回っている場合には、画像選択部７２は、第１タイミングT1のＢ２画像信号を選択する。選択された第１タイミングT1のＢ２画像信号は、位置合わせ処理部７３に送信される。一方、閾値Ｔｈ１を上回っている場合には、画像選択部７２は、画像信号記憶部７１に記憶された第２タイミングT２〜第ＮタイミングTNのＢ２画像信号の中から、第１タイミングＴ１に最も時間的に近く、且つ画像ブレ量が閾値Ｔｈ１を下回るＢ２画像信号を選択する。選択されたＢ２画像信号は、位置合わせ処理部７３に送信される。

位置合わせ処理部７３では、Ｂ１画像信号とＢ２画像信号の位置合わせが行われる（Ｓ１９）。そして、明るさ補正処理部７４によって明るさ補正処理が施された後（Ｓ２０）、演算画像信号生成部７６に入力される。演算画像信号生成部７６では、演算画像信号ΔＢを生成する（Ｓ２１）。演算画像信号ΔＢは、元の画像信号（例えば図１２のＢ１画像信号や図１３のＢ２画像信号）に対して、比較的深い位置にある表層血管１２３の画素値は小さく、かつ、極表層血管１２４の画素値は大きくなる。このため、図１４に示すように、演算画像信号ΔＢでは、極表層血管１２４と比較的深い位置にある表層血管１２３の違いが元の画像信号よりも顕著になる。演算画像信号生成部７６では、演算画像信号ΔＢを生成すると、さらに低解像度化処理部７７によって演算画像信号ΔＢを低解像度化する（Ｓ２２）。図１５に示すように、低解像度化処理部７７を経た演算画像信号ΔＢでは、表層血管１２３や極表層血管１２４はぼやけた状態になる。

その後、特殊画像処理部６７は、画像生成部７８によって、極表層血管１２４のコントラストが高いＢ１画像信号を輝度チャンネルＹに割り当て、低解像度化された演算画像信号ΔＢを色差チャンネルＣｒ，Ｃｂを割り当てることにより、特定深さ血管強調画像を生成する（Ｓ２３）。図１６に示すように、特定深さ血管強調画像１３０では、表層血管１２３はシアン系の色に着色して表示され、極表層血管１２４がマゼンタ系に着色して表示される。このため、特定深さ血管強調画像１３０では、表層血管１２３と極表層血管１２４を色で識別可能であり、実質的に極表層血管１２４が観察しやすい強調画像として表示される。

上記のように、内視鏡システム１０は、紫色光Ｖに対応するＢ１画像信号と青色光Ｂに対応するＢ２画像信号との差（または比）によって演算画像信号ΔＢを算出し、輝度チャンネルＹに強調したい血管のコントラストが高い画像信号を割り当て、かつ、色差チャンネルＣｂ，Ｃｒに演算画像信号ΔＢを割り当てる。これにより、従来では識別が難しかった極表層血管１２４と、極表層血管１２４に対して比較的深い位置にある表層血管１２３とを、色の違いで可視化し、強調表示することができる。

また、Ｂ１画像信号とＢ２画像信号の取得タイミングの違いによって、輝度チャンネルＹに割り当てるＢ１画像信号と演算画像信号ΔＢと間に齟齬が生じ、結果として、特定深さ血管強調画像１３０に色ずれが表れることがある。このため、内視鏡システム１０では、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てるときに、低解像度化処理部７７によって低解像度化してから演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てるので色ずれは低減されている。

また、Ｂ２画像信号の画像ブレ量が大きくなりすぎると、特定深さ血管強調画像上でアーチファクトが発生することがある。このため、内視鏡システム１０では、画像選択部７２で選択した画像ブレの少ないＢ２画像信号を用いて演算画像信号ΔＢを生成し、この演算画像信号ΔＢに基づいて特定深さ血管強調画像１３０を生成している。これにより、特定深さ血管強調画像１３０においては、アーチファクトの発生が抑えられている。

なお、上記実施形態では、画像生成部７８は、Ｂ１画像信号とＢ２画像信号のうち相対的に極表層血管１２４のコントラストが高いＢ１画像信号を輝度チャンネルＹに割り当て、かつ、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てることで、極表層血管１２４を選択的に強調する特定深さ血管強調画像１３０を生成しているが、画像生成部７８は、比較的深い位置にある表層血管１２３を強調した特定深さ血管画像を生成しても良い。

この場合、演算画像信号生成部７６は、上記実施形態とは逆に、対数変換後のＢ１画像信号からＢ２画像信号を減算して演算画像信号ΔＢを生成する。そして、画像生成部７８は、Ｂ１画像信号とＢ２画像信号のうち比較的深い位置にある表層血管１２３のコントラストが高いＢ２画像信号を輝度チャンネルＹに割り当て、かつ、Ｂ１画像信号からＢ２画像信号を減算して生成された演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てて、特定深さ血管強調画像を生成する。

上記実施形態の特定深さ血管強調画像１３０が極表層血管１２４を強調することができるのは、演算画像信号ΔＢをＢ２画像信号からＢ１画像信号を減算して生成した演算画像信号を用いているからである。このため、上記実施形態では、画像生成部７８は、極表層血管１２４を強調する特定深さ血管強調画像１３０を生成するときに、Ｂ１画像信号とＢ２画像信号のうち極表層血管１２４のコントラストが高いＢ１画像信号を輝度チャンネルＹに割り当てているが、Ｂ２画像信号を輝度チャンネルＹに割り当てた場合でも、極表層血管１２４を強調する特定深さ血管強調画像を生成することができる。

画像生成部７８が、特定深さ血管強調画像を生成するときに、Ｂ１画像信号とＢ２画像信号のうちどちらを輝度チャンネルＹに割り当てるかを選択できるようにすることが好ましい。例えば、画像生成部７８の動作モードに、Ｂ１画像信号を輝度チャンネルＹに割り当てる第１割り当てモードと、Ｂ２画像信号を輝度チャンネルＹに割り当てる第２割り当てモードとを用意しておき、第１割り当てモードと第２割り当てモードうち選択されたモードで画像を生成するようにしておくことができる。

また、輝度チャンネルＹに割り当てる画像信号を選択可能にする場合には、画像生成部７８が輝度チャンネルＹに割り当てる画像信号を自動的に選択しても良い。例えば、Ｂ１画像信号とＢ２画像信号とを比較し、画像信号全体または指定された関心領域内のノイズが少ない方の画像信号を自動的に輝度チャンネルＹに自動的に割り当てても良いし、画像信号全体または指定された関心領域内のコントラストが高い方の画像信号を輝度チャンネルＹに自動的に割り当てても良い。

また、上記実施形態では、画像生成部７８は、Ｂ１画像信号を輝度チャンネルＹに割り当て、かつ、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てて、ＹＣｂＣｒ形式の特定深さ血管強調画像１３０を生成しているが、ＲチャンネルとＧチャンネルとＢチャンネルを有するＲＧＢ形式の画像を生成しても良い。この場合、画像生成部７８は、図１７に示すように、輝度に最も寄与するＧチャンネルにＢ１画像信号を割り当て、残りのＢチャンネル及びＲチャンネルに演算画像信号ΔＢを割り当てる。

上記実施形態では、低解像度化処理部７７で用いるＬＰＦのカットオフ周波数は予め設定されているが、ＬＰＦのカットオフ周波数を可変にし、ＬＰＦのカットオフ周波数を動的に設定することが好ましい。例えば、図１８に示すように、低解像度化処理部７７に、位置合わせ処理部７３からＢ１画像信号とＢ２画像信号の位置合わせ精度が入力されるようにする。そして、低解像度化処理部７７は、Ｂ１画像信号とＢ２画像信号の位置合わせ精度に応じてＬＰＦのカットオフ周波数（低解像度化処理の強度）を変更する。

具体的には、Ｂ１画像信号とＢ２画像信号の位置合わせ精度が高いほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、Ｂ１画像信号とＢ２の位置合わせ精度が低いほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。こうすると、低解像度化処理部７７による演算画像信号ΔＢの低解像度化の程度が最適化され、特定深さの血管（例えば、極表層血管１２４）を適切に強調表示することができる。

また、低解像度化処理部７７に、画像ブレ検出部７０で検出した画像ブレ量のうち画像選択部７２で選択されたB２画像信号の画像ブレ量を入力し、その入力された画像ブレ量に応じてＬＰＦのカットオフ周波数（低解像度化処理の強度）を変更するようにしてもよい。具体的には、画像ブレ量が小さいほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、画像ブレ量が大きいほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。これにより、低解像度化処理部７７による演算画像信号ΔＢの低解像度化の程度が最適化されるため、よりアーチファクトの少ない特定深さ血管強調画像を表示することができる。

なお、特定深さ血管強調画像を静止画として表示または保存する場合、ＬＦＰのカットオフ周波数は、生成する特定深さ血管強調画像の解像度を基準として、少なくともナイキスト周波数の１／８以下の周波数を残す範囲内で設定することが好ましい。

上記変形例では、位置合わせ処理部７３の位置合わせ処理の精度に応じて、低解像度化処理部７７が低解像度化処理の強度を調節しているが、これとは逆に、低解像度化処理部７７が行う低解像度化処理の強度に応じて、位置合わせ処理部７３が位置合わせ処理の精度を調節しても良い。この場合、位置合わせ処理部７３は、ＬＰＦのカットオフ周波数が大きく、低解像度化処理の強度が小さく設定されているほど、Ｂ１画像信号とＢ２画像信号の位置合わせ精度を高く設定する。

位置合わせ処理部７３が行うＢ１画像信号とＢ２画像信号との位置合わせ処理の精度は可変にし、特定深さ血管強調画像の静止画を表示または保存する場合と、特定深さ血管強調画像の動画を表示する場合とで位置合わせ処理の精度を変えることが好ましい。例えば、モニタ１８に特定深さ血管画像で構成される動画を表示する場合には、位置合わせ処理部７３は、特定深さ血管画像の静止画をモニタ１８に表示する（あるいは保存する）場合よりも低い第１精度で、Ｂ１画像信号とＢ２画像信号との位置合わせをする。これとは逆に、特定深さ血管画像の静止画をモニタ１８に表示する場合、位置合わせ処理部７３は、特定深さ血管画像の動画をモニタ１８に表示する場合よりも高い第２精度で、Ｂ１画像信号とＢ２画像信号の位置合わせをする。こうすると、動画表示時には、色ずれが目立たない範囲内で高速に特定深さ血管強調画像を生成することができ、かつ、色ずれが目立ちやすい静止画の取得時には、色ずれがない特定深さ血管強調画像を生成することができる。

また、位置合わせ処理部７３は、生成する特定深さ血管画像の大きさによって、Ｂ１画像信号とＢ２画像信号との位置合わせ精度を変更しても良い。例えば、生成する特定深さ血管画像が大きい場合には、僅かな位置ずれも目立つので、位置合わせ処理部７３は高精度にＢ１画像信号とＢ２画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には、位置ずれは目立ち難いので、低精度でＢ１画像信号とＢ２画像信号の位置合わせをする。また、これとは逆に、位置合わせ処理部７３は、生成する特定深さ血管画像が大きい場合に低精度でＢ１画像信号とＢ２画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には高精度でＢ１画像信号とＢ２画像信号の位置合わせをしても良い。こうすると、プロセッサ装置１６の処理負担を最適化することができる。

上記のように、位置合わせ処理部７３が動画表示時と静止画取得時とで位置合わせ処理の精度を変更する場合や特定深さ血管画像の大きさに応じて位置合わせ精度を変更する場合に、低解像度化処理部７７は位置合わせ精度によってＬＰＦのカットオフ周波数を変更することが好ましい。例えば、動画表示時には、位置合わせ処理部７３はＢ１画像信号とＢ２画像信号の位置合わせ精度を低下させ、その代わりに、低解像度化処理部７７ではＬＰＦのカットオフ周波数を低周波数側にシフトさせると良い。また、静止画取得時には、位置合わせ処理部７３は、Ｂ１画像信号とＢ２画像信号の位置合わせ精度を上げ、その代わりに、低解像度化処理部７７ではＬＦＰのカットオフ周波数を高周波側にシフトさせると良い。すなわち、動画表示時にはプロセッサ装置１６の処理負担が小さい低解像度化処理部７７のＬＰＦを優先し、静止画取得時には位置合わせ処理部７３による正確な位置合わせを優先すると良い。

また、位置合わせ処理部７３は、画像選択部７２で選択されたB２画像信号の画像ブレ量に応じて、Ｂ１画像信号とＢ２画像信号との位置合わせ精度を変更しても良い。例えば、画像ブレ量が大きい場合には、B１画像信号とB２画像信号を位置合わせし難くなるため、位置合わせ処理部７３は高精度にＢ１画像信号とＢ２画像信号の位置合わせを行うことが好ましい。これに対して、画像ブレ量が小さい場合には、B１画像信号とB２画像信号とを位置合わせし易いため、低精度でＢ１画像信号とＢ２画像信号の位置合わせをする。以上にようじ画像ブレ量に応じた位置合わせ精度の変更を行うことによって、プロセッサ装置１６の処理負担を最適化することができる。

なお、位置合わせ処理部７３は、動画表示時にはＢ１画像信号とＢ２画像信号との位置合わせを行わず、静止画取得時にだけＢ１画像信号とＢ２画像信号との位置合わせを行っても良い。

上記実施形態では、低解像度化処理部７７は、ＬＰＦによって演算画像信号ΔＢを低解像度化しているが、ＬＰＦの代わりに、演算画像信号ΔＢを縮小し、その後元の大きさにまで拡大することでも低解像度化することができる。このように、演算画像信号ΔＢを縮小及び拡大して低解像度課する場合、演算画像信号ΔＢの縮小時には、エリアジングの少ない縮小方法を採用することが好ましい。例えば、面積平均法によって縮小した後、キュービックスプライン補間によって拡大して、演算画像信号ΔＢを低解像度化することができる。

上記実施形態では、第１発光モードでは紫色光Ｖを照明光として用い、第２発光モードでは青色光Ｂを照明光として用いているが、特殊観察モード時に用いる互いに波長帯域が異なる二つの照明光は、他の波長帯域の光でも良い。波長帯域を変えることにより、強調する血管の深さを任意に変更した特定深さ血管画像を得ることができる。

また、撮像センサ４８のＢカラーフィルタは緑色光Ｇにも感度がある（図６参照）。そして、緑色光Ｇの反射光等のうちＢ画素で受光可能な波長帯域の光と、緑色光Ｇの反射光等のうちＧ画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、例えば、緑色光Ｇだけを照明光として使用し、緑色光Ｇが照射された観察対象をＢ画素が撮像して出力するＢ_G画像信号と、緑色光Ｇが照射された観察対象をＧ画素が撮像して出力するＧ_G画像信号とを、上記実施形態のＢ１画像信号及びＢ２画像信号の代わりに用いることができる。このように、Ｂ_G画像信号とＧ_G画像信号とを用いる場合、例えば、中深層血管のうち比較的浅い位置にある中深層血管、または、中深層血管のうち比較的深い位置にある中深層血管を、中深層血管の中から選り分けて強調表示することができる。

同様に、撮像センサ４８のＲカラーフィルタは緑色光Ｇにも感度があり（図６）、緑色光Ｇの反射光等のうちＧ画素で受光可能な波長帯域の光と、緑色光Ｇの反射光等のうちＲ画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、光源２０は特殊観察モードで使用する第１照明光と第２照明光とを含む広帯域の緑色光Ｇを照明光として使用し、緑色光Ｇが照射された観察対象をＧ画素が撮像して出力するＧ_G画像信号（第１画像信号）と、緑色光Ｇが照射された観察対象をＲ画素が撮像して出力するＲ_G画像信号（第２画像信号）とを、上記実施形態のＢ１画像信号及びＢ２画像信号の代わりに用いることができる。すなわち、光源２０が緑色光Ｇのように第１照明光と第２照明光を含む広帯域の照明光を発生する場合、画像信号取得部５３は、第１画像信号をＢ画素またはＧ画素から取得し、第２画像信号をＧ画素またはＲ画素から取得することができる。

また、撮像センサ４８のＧカラーフィルタが紫色光Ｖや青色光Ｂにも感度があることを利用して、撮像センサ４８が受光する紫色光Ｖや青色光Ｂに対応する信号を補っても良い。例えば、紫色光Ｖを照射したときに、Ｂ画素から得られる信号値に、Ｇ画素から得られる信号値を加算することで、紫色光Ｖに対応する信号値を増大させることができる。同様に、青色光Ｂを照射したときに、Ｇ画素から得られる信号値を加算することで、青色光Ｂに対応する信号値を増大させることができる。

上記実施形態のように、極表層血管１２４を表層血管１２３と峻別して強調表示する場合には、第１照明光及び第２照明光の波長帯域は、ともに波長５００ｎｍ以下の範囲内であることが好ましい。具体的には、上記実施形態の通り、４０５±１０ｎｍに中心波長を有する紫色光Ｖと、４６０±１０ｎｍに中心波長を有する青色光Ｂとを、第１照明光及び第２照明光として用いることが好ましい。４０５±１０ｎｍに中心波長を有する紫色光と４４５±１０ｎｍに中心波長を有する青色光を第１照明光及び第２照明光として用いることがさらに好ましい。４４５±１０ｎｍに中心波長を有する青色光は、例えば、Ｂ−ＬＥＤ２３ｂの長波長側をカットする光学フィルタをＢ−ＬＥＤ２３ｂの光路中に用いることで、上記青色光Ｂから生成することができる。また、Ｂ−ＬＥＤ２３ｂを４４５±１０ｎｍに中心波長を有する青色光を発する別のＬＥＤに替えても良い。

中深層血管を、比較的浅い位置にある中深層血管と比較的深い位置にある中深層血管とに分けて強調表示をする場合には、第１照明光及び第２照明光の波長帯域は、ともに５００ｎｍ以上であることが好ましい。具体的には、波長が約５００ｎｍの光と、波長が約６００ｎｍの光とを、第１照明光及び第２照明光として用いることが好ましい。

なお、上記実施形態では、演算画像信号生成部７６は、粘膜下の特定深さにある極表層血管１２４の走行パターンを表す演算画像信号ΔＢを生成しているが、代わりに、血管密度を表す演算画像信号Ｄや血管等に含まれるヘモグロビンの酸素飽和度（以下、血管の酸素飽和度という）を表す演算画像信号Ｓを生成しても良い。

血管密度を表す演算画像信号Ｄは、上記実施形態の演算画像信号ΔＢを用いて算出することができる。例えば、上記実施形態の演算画像信号ΔＢは、極表層血管１２４を抽出した画像信号になっているので（図１４参照）、演算画像信号ΔＢを用いて単位面積中の極表層血管１２４の面積の割合を各画素について算出することにより、極表層血管１２４の血管密度を表す演算画像信号Ｄを生成することができる。このように演算画像信号Ｄを生成する場合、画像生成部７８は、輝度チャンネルＹにＢ１画像信号を割り当て、かつ、演算画像信号Ｄを色差チャンネルＣｂ，Ｃｒに割り当てることにより、極表層血管１２４の血管密度を表す血管密度画像を生成する。血管密度画像は、バレット腺癌のステージ判別等の診断に直接的な示唆を与えることができる。

血管の酸素飽和度を表す演算画像信号Ｓを生成する場合は、例えば、中心波長４４５±１０ｎｍの第１青色光と緑色光Ｇと赤色光Ｒとを照射して観察対象を撮像し、かつ、中心波長４７３±１０ｎｍの第２青色光と緑色光Ｇと赤色光Ｒとを照射して観察対象を撮像する。第１青色光（第１照明光）は、上記中心波長４４５±１０ｎｍになるようにＢ−ＬＥＤ２３ｂが発する青色光Ｂの波長帯域を制限する第１光学フィルタ（例えば、青色光Ｂの長波長側をカットする光学フィルタ）を用いることで、青色光Ｂから生成することができる。同様に、第２青色光（第２照明光）は、上記中心波長４７３±１０ｎｍとなるようにＢ−ＬＥＤ２３ｂが発する青色光Ｂの波長帯域を制限する第２光学フィルタ（例えば、青色光Ｂの短波長側をカットする光学フィルタ）を用いることで、青色光Ｂから生成することができる。

上記第１青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差が殆どない波長帯域（等吸収波長）を有する。一方、上記第２青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長帯域（異吸収波長）を有する。第１青色光が照射された観察対象をＢ画素が撮像して得られる等吸収波長の画像信号（第１画像信号）と、第２青色光が照射された観察対象をＢ画素が撮像して得られる異吸収波長の画像信号（第２画像信号）との比または差は、酸素飽和度と相関がある。

したがって、等吸収波長の画像信号と異吸収波長の画像信号との比または差を、酸素飽和度に対応付ける相関関係を実験等により予め求め、演算画像信号生成部７６はこの相関関係を予め保持しておく。そして、演算画像信号生成部７６は、等吸収波長の画像信号と異吸収波長の画像信号との比または差を算出して上記相関関係と照らし合わせることで、各画素が観察対象の酸素飽和度の値を表す演算画像信号Ｓを生成する。画像生成部７８は、通常画像処理部６６と同様にして、第１青色光と緑色光Ｇと赤色光とを照射して観察対象を撮像して得た各画像信号を用いて通常画像信号を生成する。そして、輝度チャンネルＹに通常画像信号を割り当て、かつ、酸素飽和度を表す演算画像信号Ｓを色差チャンネルＣｂ，Ｃｒに割り当てることにより、観察対象の酸素飽和度を表す酸素飽和度画像を生成する。こうして生成される酸素飽和度画像は、酸素飽和度という診断に有益な情報を表示することができる。

なお、演算画像信号Ｓを用いて酸素飽和度画像を生成する場合には、等吸収波長の画像信号と異吸収波長の画像信号のうちいずれかの画像信号について画像ブレ量を検出し、画像ブレ量が閾値Ｔｈ１を下回る画像信号を選択することが好ましい。例えば、異吸収波長の画像信号の選択を行う場合には、画像ブレ検出部７０では、第１タイミングの異吸収波長の画像信号について画像ブレ量を検出する。そして、画像選択部７２では、第１タイミングT1の異吸収波長の画像信号、及び画像信号記憶部７１に記憶した第２タイミングT２〜第ＮタイミングTNの異吸収波長の画像信号の中から、閾値Ｔｈ１を下回る異吸収波長の画像信号を選択する。

そして、演算画像信号生成部７６では、等吸収波長の画像信号と選択された異吸収波長の画像信号とに基づいて、演算画像信号Ｓを生成する。この演算画像信号Ｓは、画像ブレの少ない異吸収波長の画像信号に基づく演算により得られたものであるため、酸素飽和度に関する情報を正確に表している。したがって、以上の演算画像信号Ｓに基づいて生成される酸素飽和度画像は、酸素飽和度に応じて正確に色付けされたアーチファクトの少ない画像となっている。

なお、上記実施形態では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０によって本発明を実施しているが、カプセル内視鏡システムにも本発明は好適である。例えば、図１９に示すように、カプセル内視鏡システムでは、カプセル内視鏡４００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡４００は、光源４０２と光源制御部４０３と、撮像センサ４０４と、信号処理部４０６と、送受信アンテナ４０８とを備えている。光源４０２は、上記各実施形態の光源２０と同様に構成される。光源制御部４０３は、上記各実施形態の光源制御部２２と同様にして光源４０２の駆動を制御する。また、光源制御部４０３は、送受信アンテナ４０８によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記各実施形態のプロセッサ装置１６とほぼ同様であるが、信号処理部４０６は、通常画像処理部６６及び特殊画像処理部６７の機能を有している。信号処理部４０６が生成した血管強調画像信号等は、送受信アンテナ４０８を介してプロセッサ装置に送信される。撮像センサ４０４は上記各実施形態の撮像センサ４８と同様に構成される。

［第２実施形態］
第２実施形態では、画像選択部７２における画像選択方法が第１実施形態と異なっている。それ以外については、第１実施形態とほぼ同様である。第２実施形態では、画像選択部７２において、第１タイミングＴ１のＢ２画像信号の画像ブレ量と、画像信号記憶部７１に記憶された第２タイミングＴ２のＢ２画像信号の画像ブレ量とを比較し、画像ブレ量が小さい方のＢ２画像信号を選択する。または、画像選択部７２は、第１タイミングＴ１のＢ２画像信号、第２タイミングＴ２のＢ２画像信号、・・・、第ｎタイミングのＢ２画像信号、・・・、第ＮタイミングＴＮのＢ２画像信号の中から、画像ブレ量が最も小さいＢ２画像信号を選択する。

なお、第１タイミングＴ１のＢ２画像信号〜第ＮタイミングＴＮのＢ２画像信号の中で、画像ブレ量が最も小さいＢ２画像信号であっても、その画像ブレ量が予め設定した閾値Ｔｈ２（第１実施形態のＴｈ１と同じでも異なってもよい）を超えている場合には、画像選択部７２は、いずれのタイミングのB２画像信号をも選択しないことが好ましい。この場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、警告表示制御部７９が、警告表示する制御を行うようにしてもよい。

［第３実施形態］
第３実施形態では、画像選択部７２における画像選択方法が第１及び第２実施形態と異なっている。それ以外については、第１実施形態とほぼ同様である。第３実施形態では、特殊観察モードに設定されている場合に、図２０に示すように、画像処理切替部６１から出力される画像信号のうち、Ｂ１画像信号及びＢ２画像信号が画像ブレ検出部７０に送信され、Ｂ１画像信号は位置合わせ処理部７３に送信される。

画像ブレ検出部７０において、第１タイミングＴ１から第ＮタイミングＴＮの全てのタイミングにおいて、Ｂ２画像信号の画像ブレ量Blur2だけでなく、Ｂ１画像信号の画像ブレ量Blur1も検出する。そして、ブレ指標値算出部２００は、第１タイミングＴ１から第ＮタイミングＴＮの全てのタイミングにおいて、Ｂ１画像信号の画像ブレ量Blur1とＢ２画像信号の画像ブレ量Blur2との差分（｜Blur1-Blur2｜）（以下「ブレ差分」という））又は比（Blur1/Blur2）（以下「ブレ比」という）を、ブレ指標値として算出する。なお、ブレ指標値において、ブレ差分については「０」に近いほど両者の画像ブレ量Blur1、Blur2が時間的に近いことを示している。また、ブレ比については「１」に近いほど両者の画像ブレ量Blur1、Blur2が時間的に近いことを示している。

ここで、第１タイミングＴ１のＢ２画像信号については、第１タイミングＴ１のブレ指標値と関連付けられたものが画像選択部７２に送信される。また、第２タイミングＴ２〜第ＮタイミングＴＮのＢ２画像信号は、第２タイミングＴ２〜第ＮタイミングＴＮのブレ指標値と関連付けられて画像信号記憶部７１に記憶される。そして、画像選択部７２では、第１タイミングＴ１のブレ指標値が予め定めた基準ＳＴを満たしているか否かを判定する。判定の結果、基準ＳＴを満たしている場合には、第１タイミングＴ１のＢ２画像信号を選択し、位置合わせ処理部７３に送信する。なお、本発明の「第２条件」とは、「あるタイミングのブレ指標値が基準ＳＴを満たしている場合のこと」に対応する。

ここで、基準ＳＴとしては、例えば、ブレ指標値がブレ差分である場合には「０」もしくは「０」に近い値の範囲（本発明の「第１特定範囲」に対応する）内とすることが好ましく、ブレ指標値がブレ比である場合には「１」もしくは「１」に近い値の範囲（本発明の「第２特定範囲」に対応する）内とすることが好ましい。例えば、B１画像信号とB２画像信号のうちいずれかの画像ブレ量が大きい場合には、特定深さ血管強調画像上でアーチファクトが発生し易くなる。この場合には、ブレ差分は第１特定範囲から外れ、また、ブレ比も第２特定範囲から外れることになるため、ブレ差分やブレ比からアーチファクトの発生を検出できる。一方、B１画像信号とB２画像信号の両方とも画像ブレ量が大きい場合には、ブレが発生しているにもかかわらず、特定深さ血管強調画像上ではアーチファクトになりにくい。この場合には、ブレ差分は第１特定範囲内に収まり、またブレ比も第２特定範囲に収まるため、ブレが生じたとしても、特定深さ血管強調画像では、演算に大きく影響を与えるアーチファクトの発生していないことを、ブレ差分やブレ比から検出することができる。

これに対して、第１タイミングＴ１のブレ指標値が基準STを満たしていない場合には、第２タイミングＴ２のブレ指標値が基準ＳＴを満たしているか否かを判定する。判定の結果、基準STを満たしている場合には、第２タイミングT２のB２画像信号を位置合わせ処理部７３に送信し、基準を満たしていない場合には、第３タイミングT３のB２画像信号について同様のブレ指標値に基づく判定を行い、位置合わせ処理部７３に送信すべきかどうか判定する。画像選択部７２は、ブレ指標値が基準を満たすB２画像信号を検出するまで、上記と同様の判定を行う。

なお、画像選択部７２では、第１タイミングT1から時間的に離れすぎるタイミングのB２画像信号については、B1画像信号との位置ずれが大きくなることが多いことから、ブレ指標値が基準STを満たし、且つ第１タイミングT１に最も時間的に近いB２画像信号を選択することが好ましい。また、画像選択部７２は、第２タイミングT２〜第NタイミングTNのB２画像信号の全てについて、ブレ指標値が基準STを満たさない場合には、いずれのタイミングのB２画像信号をも選択しないことが好ましい。

このように、第２タイミングT2〜第NタイミングのB２画像信号の全てについて、ブレ指標値が基準STを満たさない場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号ΔＢを生成することが好ましく、又は、演算画像信号ΔＢを生成しないことが好ましい。また、第２タイミングT２〜第NタイミングのB２画像信号の全てについて、ブレ指標値が基準STを満たさない場合には、警告表示制御部７９により警告表示する制御を行うようにしてもよい。

なお、第３実施形態では、低解像度化処理部７７において、画像選択部７２で選択されたB２画像信号に関連付けられたブレ指標値に応じて、ＬＰＦのカットオフ周波数を変更するようにしてもよい。例えば、ブレ指標値がブレ差分である場合には、ブレ差分が「０」に近いほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、ブレ差分が「０」から離れているほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。

また、位置合わせ処理部７３は、画像選択部７２で選択されたB２画像信号に関連付けられたブレ指標値に応じて、Ｂ１画像信号とＢ２画像信号との位置合わせ精度を変更しても良い。例えば、ブレ指標値がブレ差分である場合には、ブレ差分が「０」から離れている場合には、位置合わせ処理部７３は高精度にＢ１画像信号とＢ２画像信号の位置合わせを行うことが好ましい。これに対して、ブレ差分が「０」に近い場合には、低精度でＢ１画像信号とＢ２画像信号の位置合わせをすることが好ましい。

［第４実施形態］
第４実施形態では、画像選択部７２における画像選択方法が第１〜第３実施形態と異なっている。それ以外については、第３実施形態とほぼ同様である。第３実施形態では、画像選択部７２において、第１タイミングＴ１のＢ２画像信号に関連付けられたブレ指標値と、画像信号記憶部７１に記憶中の第２タイミングＴ２のＢ２画像信号に関連付けられたブレ指標値とを比較し、ブレ指標値が小さい方のＢ２画像信号を選択する。または、画像選択部７２は、第１タイミングＴ１のＢ２画像信号、第２タイミングＴ２のＢ２画像信号、・・・、第ｎタイミングのＢ２画像信号、・・・、第ＮタイミングＴＮのＢ２画像信号の中から、ブレ指標値が最も小さいＢ２画像信号を選択する。

なお、第１タイミングＴ１のＢ２画像信号〜第ＮタイミングＴＮのＢ２画像信号の中で、ブレ指標値が最も小さいＢ２画像信号であっても、そのブレ指標値が予め設定した基準ST（第３実施形態の「ST」と同じであっても異なってもよい）を満たさない場合には、画像選択部７２は、いずれのタイミングのB２画像信号をも選択しないことが好ましい。この場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、警告表示制御部７９が、警告表示する制御を行うようにしてもよい。

［第５実施形態］
第５実施形態では、画像選択部７２が、画像ブレ量に基づいてB２画像信号を自動的に選択する自動選択モードに加えて、ユーザーがモニタ１８に表示された第１タイミングT1〜第NタイミングTNのB２画像信号に基づく画像とその画像ブレ量を見て、B２画像信号を手動で選択する手動選択モードを備えており、いずれ設定された選択モードでB2画像信号の選択を行う。ここで、自動選択モードによる画像選択方法については、第１及び第２実施形態に示した画像選択方法と同様である。

一方、第５実施形態では、図２１に示すように、第１及び第２実施形態で示した特殊画像処理部６７内に、画像ブレ量に関する情報を表示する制御を行う情報表示制御部３００が設けられている。手動選択モードに設定されている場合には、情報表示制御部３００では、画像信号記憶部７１に入力された第１タイミングT1〜第NタイミングのB２画像信号と、これらに関連付けられた第１タイミングT1〜第NタイミングのB２画像信号の画像ブレ量とに基づいて、各タイミングのB２画像信号に基づく画像（図２では「B２画像」と表示）と、そのタイミングにおける画像ブレ量とを合わせてモニタ１８に一覧表示する制御を行う。

ユーザーは、図２２に示すように、モニタ１８に表示された各タイミングのB２画像信号に基づく画像と画像ブレ量を見て、特定深さ血管強調画像を生成するのに適した最適なB２画像信号を選択する。選択はコンソール１９により行うことが好ましい。選択されたB２画像信号は、第１及び第２実施形態と同様に、位置合わせ処理部７３に送信される。以上のようなユーザーによる画像選択については、ユーザーが画像ブレ量を元に画像選択を行う場合には、第１実施形態と第２実施形態で示した画像選択部７２による画像選択の考え方と同じようにして選択することになる。一方、B２画像信号に基づく画像を元に画像選択を行う場合には、ユーザーが持つ経験則に基づく主観的な画像選択が可能となる。

なお、画像選択部７２で設定される手動選択モードにおいて、モニタ１８に表示する情報として、画像ブレ量に代えて、ブレ指標値を表示するようにしてもよい。この場合には、図２３に示すように、第３及び第４実施形態で示した特殊画像処理部６７内に、ブレ指標値を表示する制御を行う情報表示制御部３００が設けられている。

そして、手動選択モードに設定されている場合には、情報表示制御部３００では、画像信号記憶部７１に入力された第１タイミングT1〜第NタイミングのB２画像信号と、これらに関連付けられた第１タイミングT1〜第Nタイミングのブレ指標値とに基づいて、各タイミングのB２画像信号に基づく画像と、そのタイミングにおけるブレ指標値とを合わせてモニタ１８に一覧表示する制御を行う。なお、ブレ指標値を含む一覧表示は、画像ブレ量を表示する一覧表示（図２２参照）と同様に表示される。また、ユーザーによる画像選択方法についても、画像ブレ量に基づく画像選択方法と同様にして行われる。

なお、上記第１〜第５実施形態では、波長帯域がそれぞれ異なる紫色光Vと青色光Bを順次照射しているが、波長帯域がそれぞれ同じ第１照明光と第２照明光を順次照射してもよい。この場合には、演算画像信号生成部７６において、第１照明光を照射した場合に得られる第１画像信号と、第２照明光を照射した場合に得られる第２画像信号のうち画像選択部７２で選択された第２画像信号とを加算平均処理する演算を行うことで、加算平均処理後の画像のノイズを低減することが可能となる。なお、加算平均処理を行う場合には、第１画像信号と第２画像信号は、それぞれ画像ブレ量が小さいものであることが好ましい。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切り替えスイッチ
１３ｂ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２２ 光源制御部
２３ａ V-LED
２３ｂ B-LED
２３ｃ G-LED
２３ｄ R-LED
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ 撮像センサ
５１ CDS／AGC回路
５２ A／Dコンバータ
５３ 画像信号取得部
５６ DSP
５８ ノイズ除去部
６１ 画像処理切替部
６６ 通常画像処理部
６７ 特殊画像処理部
６８ 映像信号生成部
７０ 画像ブレ検出部
７１ 画像信号記憶部
７２ 画像選択部
７３ 位置合わせ処理部
７４ 明るさ補正処理部
７６ 演算画像信号生成部
７７ 低解像度化処理部
７８ 画像生成部
７９ 警告表示制御部
１１０ 画像信号
２００ ブレ指標値算出部
３００ 情報表示制御部
４００ カプセル内視鏡
４０２ 光源
４０３ 光源制御部
４０４ 撮像センサ
４０６ 信号処理部
４０８ 送受信アンテナ

Claims (17)

1. 第１照明光と第２照明光とを順次発生する光源と、
   第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、
   前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号のうち前記第２照明光を照明した場合に得られる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択する画像選択部と、
   前記第１タイミングＴ１のマルチフレーム画像信号のうち前記第１照明光を照明した場合に得られる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備え、
   前記画像選択部は、前記第１条件を満たす第２画像信号として、前記画像ブレ量が予め定めた閾値を下回り、且つ前記第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択する内視鏡システム。
2. 前記画像選択部は、前記第１条件を満たす第２画像信号がない場合には、いずれの第２画像信号をも選択せず、
   前記演算画像信号生成部は、前記第１画像信号のみに基づいて、前記演算画像信号を生成する請求項１記載の内視鏡システム。
3. 前記画像選択部は、
   前記演算画像信号生成部は、前記第１条件を満たす第２画像信号がない場合には、いずれの第２画像信号をも選択せず、
   前記演算画像信号生成部は、前記演算画像信号を生成しない請求項１記載の内視鏡システム。
4. 前記第１条件を満たす第２画像信号がない場合に、警告表示する制御を行う警告表示制御部を備える請求項１ないし３いずれか１項記載の内視鏡システム。
5. 前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、前記第１タイミングＴ１及び特定のタイミングの第２画像信号の画像ブレ量を表示部に表示する制御を行う情報表示制御部を備え、
   前記画像選択部は、前記第１条件を満たす第２画像信号を自動的に選択する自動選択モードと、前記情報表示制御部が表示制御を行っているときには、前記表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、前記自動選択モードまたは前記手動選択モードのいずれかで画像選択を行う請求項１ないし４いずれか１項記載の内視鏡システム。
6. 第１照明光と第２照明光とを順次発生する光源と、
   第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、
   前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち前記第１照明光を照明した場合に得られる第１画像信号の画像ブレ量及び前記第２照明光を照明した場合に得られる第２画像信号の画像ブレ量に基づいて、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するブレ指標値算出部と、
   前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、前記ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択する画像選択部と、
   前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備え、
   前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ差分が「０」もしくは「０」に近い値の範囲にあるタイミングの第２画像信号を選択し、
   前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との比を示すブレ比である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ比が「１」もしくは「１」に近い値の範囲にあるタイミングの第２画像信号を選択する内視鏡システム。
7. 前記画像選択部は、いずれのタイミングのブレ指標値も前記第２条件を満たさない場合は、いずれの第２画像信号をも選択せず、
   前記演算画像信号生成部は、前記第１画像信号のみに基づいて、前記演算画像信号を生成する請求項６記載の内視鏡システム。
8. 前記画像選択部は、いずれのタイミングのブレ指標値も前記第２条件を満たさない場合は、いずれの第２画像信号をも選択せず、
   前記演算画像信号生成部は、前記演算画像信号を生成しない請求項６記載の内視鏡システム。
9. いずれのタイミングのブレ指標値も前記第２条件を満たさない場合に、警告表示する制御を行う警告表示制御部を備える請求項６ないし８いずれか１項記載の内視鏡システム。
10. 前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を表示部に表示する制御を行う情報表示制御部を備え、
    前記画像選択部は、前記第２条件を満たすマルチフレーム画像信号を自動的に選択する自動選択モードと、前記情報表示制御部が表示制御を行っているときには、前記表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、前記自動選択モードまたは前記手動選択モードのいずれかで画像選択を行う請求項６ないし９いずれか１項記載の内視鏡システム。
11. 前記画像ブレ量は、前記第１画像信号または第２画像信号内の血管構造または粘膜構造に基づいて算出する請求項１ないし１０いずれか１項記載の内視鏡システム。
12. 前記画像ブレ量は、前記第１画像信号または第２画像信号内の中央領域に基づいて算出する請求項１ないし１１いずれか１項記載の内視鏡システム。
13. 前記特定のタイミングには、第２タイミングＴ２〜第ＮタイミングＴＮの複数のタイミングが含まれる請求項１ないし１２いずれか１項記載の内視鏡システム。
14. 前記第１照明光と前記第２照明光とはそれぞれ波長帯域が異なっている請求項１ないし１３いずれか１項記載の内視鏡システム。
15. 光源が、第１照明光と第２照明光とを順次発生するステップと、
    撮像センサが、第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力するステップと、
    画像選択部が、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択するステップであり、前記画像選択部は、前記第１条件を満たす第２画像信号として、前記画像ブレ量が予め定めた閾値を下回り、且つ前記第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択するステップと、
    演算画像信号生成部が、前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する内視鏡システムの作動方法。
16. 光源が、第１照明光と第２照明光とを順次発生するステップと、
    撮像センサが、第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力するステップと、
    ブレ指標値算出部が、前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号における第１画像信号の画像ブレ量及び第２画像信号の画像ブレ量に基づいて、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するステップと、
    画像選択部が、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、前記ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択するステップであり、前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ差分が「０」もしくは「０」に近い値の範囲にあるタイミングの第２画像信号を選択し、前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との比を示すブレ比である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ比が「１」もしくは「１」に近い値の範囲にあるタイミングの第２画像信号を選択するステップと、
    演算画像信号生成部が、前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択されたマルチフレーム画像信号に含まれる第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する内視鏡システムの作動方法。
17. 前記第１照明光と前記第２照明光とはそれぞれ波長帯域が異なっている請求項１５または１６記載の内視鏡システムの作動方法。

Images