JP5121204B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、生体内を撮像した体腔内画像の病変部検出を行う画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来、生体内を撮像した体腔内画像に対する病変部検出処理として、画像をブロック分けし、各ブロックの持つ色情報を算出し、既知の出血などの病変の色情報、健康な組織の色情報の基準値と比較する手法が示されている（例えば、特許文献１を参照）。

また、医用画像に対する病巣陰影を検出する手法も知られている（例えば、特許文献２を参照）。ここで提示される手法では、病巣陰影候補を検出するため、画像を順に走査していき、各注目画素を中心とした小領域内における画素値平均を求める。小領域内の各画素を小領域内の画素値平均より大きいか、小さいかで２つにグループ分けし、それぞれに属する画素の座標位置の平均を求め、その距離に差が表れる箇所を抽出することで病巣陰影候補の境界を検出している。その後、検出された病巣陰影候補の領域内の画素と領域外の画素を結ぶ画素の画素値変化の仕方から、その領域が病巣による陰影であるか否かを識別する。

特許文献２では、従来技術としてQuoitフィルタによる病巣陰影検出が挙げられている。Quoitフィルタは円形フィルタとその周りを囲むリングフィルタにより構成される。Quoitフィルタを画像の各画素に対して走査していくと、局所的に輝度が盛り上がる領域において円形フィルタは高い値を示すが、リングフィルタは低い値を示す。これにより、局所的に輝度が上がっている病巣の検出が可能となる。

特表２００４-５２１６９３号公報 特開２００２-３２５７６２号公報

医療の分野では、診断に画像を用いる機会が増えており、医師の診断支援のための画像処理による病変検出の需要も増加してきている。近年は、上記特許文献１に示されるようなカプセル型の生体内器官の撮像・検査装置も現れ、多量の体腔内画像を取得することも可能になっている。これらの医用画像における病変検出処理には、画像を取得した環境の違いに対する頑強性と、多くの画像を短時間で処理できる高速性とを備えることが要求される。

ところで、上記特許文献１では、画像を分割したブロックの色情報により病変の判別をしているが、検査対象者や装置の個体差、体内器官における装置の位置などの画像撮影環境の変化を要因とする画素値の変化に対しても反応してしまう場合があり、画像を取得した環境の違いに対する頑強性に問題があった。

また、上記特許文献２による病巣陰影の検出では、画像上を走査しながら、各注目画素を中心とした小領域を設定し、その小領域内の画素値演算により、病巣陰影候補となる領域を検出するため、多くの演算量が必要になる。同様に、Quoitフィルタによる処理も、円形フィルタとリングフィルタによる多くの画素値演算が必要になる。このため、これらの技術では、処理の高速性に問題があった。

本発明は、上記に鑑みてなされたものであって、画像取得環境の違いにも対応可能な頑強性と、多くの画像を短時間で処理可能な高速性とを併せ持つ画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の発明は、生体内を撮像した体腔内画像に対して画像処理を施す画像処理装置であって、前記体腔内画像の画像情報を含む情報を記憶する記憶部と、前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出部と、前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出部と、前記変化量算出部の算出結果および前記周囲画素間変化量算出部の算出結果を基に、前記体腔内画像における病変部候補領域を検出する病変部候補領域検出部と、前記病変部候補領域検出部で検出した病変部候補領域の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出部と、を備えることを特徴とする。

請求項１に記載の発明によれば、異なる画像間では撮像環境の変化により変化しやすい画素値の色情報をそのまま用いるのでなく、同一画像内において周囲の画素からの変化量を算出し、それに加え、周囲の画素に偏りが存在するかを算出し、周囲の画素の偏りを加味した周囲からの画素値変化量を基に、周囲から画素値変化が見られた領域を病変候補として、特徴量により真の病変か否かの判定を行うことにより、環境変化に対して頑強性を備えた画像処理を実現することができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記注目画素および前記複数の周囲画素の各画素値は血液の吸収帯域に相当する色成分であることを特徴とする。

請求項２に記載の発明によれば、病変による画素値変化が比較的現れやすい傾向にある色成分における画素の画素値変化量を算出することにより、病変部を適確に検出することができる上、処理の高速化を実現することができる。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記注目画素および前記複数の周囲画素の各画素値はＧ成分であることを特徴とする。

請求項３に記載の発明によれば、病変による画素値変化が比較的現れやすい傾向にあるＧチャンネル画像の画素値変化量を算出することにより、病変部を適確に検出することができる上、処理の高速化を実現することができる。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記複数の周囲画素は、前記注目画素を中心に予め定められた方向毎に相対して設定されることを特徴とする。

請求項４に記載の発明によれば、指定された方向上の周囲画素を用いて注目画素からの画素値変化量を算出することで、周囲に存在する全画素を算出するのに比べ計算量の増大を避け、各方向における画素値変化量を算出することで、器官組織の方向に依存した画素値変化や偶発的な画素値変化に対して頑強性を備えた演算を可能にする。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記変化量算出部および前記周囲画素間変化量算出部における前記注目画素と前記周囲画素間との距離は、検出対象とする病変部のサイズに基づいて指定されることを特徴とする。

請求項５に記載の発明によれば、病変部候補領域として検出される領域は注目画素と周囲画素の画素値変化の有無により求められるため、注目画素と設定される周囲画素間の距離により抽出される病変部のサイズを指定することができる。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記周囲画素は、前記注目画素と離間していることを特徴とする。

請求項６に記載の発明によれば、注目画素に隣接せずに離間している画素を周囲画素とすることで、画素値変化の急峻なエッジ部分のみの抽出でなく、病変による変化領域自体が抽出可能となる。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記変化量算出部および前記周囲画素間変化量算出部は、画像端に位置する注目画素に対して周囲画素を設定する機能を具備することを特徴とする。

請求項７に記載の発明によれば、注目画素が画像端に存在する場合、周囲画素が画像外になる場合があっても、そのときの周囲画素を設定することで、画像端の画素についても周囲との画素値変化量を算出することが可能となる。

請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の発明において、前記病変部候補領域検出部は、前記変化量算出部において算出された周辺画素との画素値変化量と前記周囲画素間変化量算出部において算出された周囲画素値変化量とを用いて周囲画素間の平衡度合いに応じた重み付けを行うことによって重み付け画素値変化量を算出する重み付け変化量算出部を有することを特徴とする。

請求項８に記載の発明によれば、注目画素と周囲画素との間で算出された画素値変化量について、注目画素を中心に相対して存在する周囲画素の画素値の偏りを考慮して重み付けすることで、注目画素を挟み相対して存在する周囲画素の双方から画素値変化が見られる注目画素の抽出を可能とし、器官組織自体の画素値変化勾配による画素値変化の影響を軽減することができる。

請求項９に記載の発明は、請求項８に記載の発明において、前記病変部候補領域検出部は、前記重み付け画素値変化量が前記注目画素を中心に予め定められた全ての方向で所定の閾値を超える場合、前記注目画素を画素値変化画素として抽出する変化画素抽出部を有することを特徴とする。

請求項９に記載の発明によれば、注目画素において各方向で算出した周囲との画素値変化量について、全方向で所定の範囲を超える画素を抽出することで、周囲にある組織から異なる画素について病変部候補領域を構成する画素として抽出することができる。

請求項１０に記載の発明は、請求項９に記載の発明において、前記病変部候補領域検出部は、画像中の前記画素値変化画素について、前記注目画素を中心に予め定められた方向毎に求めた前記重み付け画素値変化量を用いることにより、前記注目画素に記録する画素値変化量である画素値変化記録量を算出する画素値変化記録量算出部を有することを特徴とする。

請求項１０に記載の発明によれば、画素値変化画素として抽出された画素について、方向別に算出された重み付け画素値変化量をまとめた画素値変化量を記録することで、後段の病変部検出部における真の病変か非病変かの判定の特徴量として用いることができる。

請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の発明において、前記特徴抽出部は、前記病変部候補領域の特徴として、病変部候補領域に属する画素の画素値、画素値変化量、領域形状情報、および領域輪郭部のエッジ強度の少なくともいずれか１つを抽出することを特徴とする。

請求項１１に記載の発明においては、病変部候補領域において、後段の病変部検出において領域ごとに真の病変か非病変かの判定を行う際に有効な特徴量を算出する。

請求項１２に記載の発明は、請求項１〜１１のいずれか一項に記載の発明において、前記病変部検出部は、前記病変部候補領域のうち体内器官の構造とみなし得る領域または体内器官組織と異なる物質からなる領域を除外する過検出領域除外部を有することを特徴とする。

請求項１２に記載の発明によれば、病変部を検出するにあたって、病変部候補領域から病変部に相当しない領域を除去しておくことにより、より正確に病変部を検出することができる。

請求項１３に記載の発明は、請求項１２に記載の発明において、前記過検出領域除外部は、前記病変部候補領域から器官壁間溝による陰部分を除外する溝除外部を有することを特徴とする。

請求項１３に記載の発明によれば、病変部候補領域として周囲から画素値変化が起こっている領域を検出した後、病変によらずに画素値が変化している器官壁間溝の陰部分による領域を判別することにより、病変部として検出される領域の絞込みを行うことができる。

請求項１４に記載の発明は、請求項１３に記載の発明において、前記溝除外部は、前記重み付け変化量算出部において算出された方向別の前記重み付け画素値変化量がいずれかの方向において所定の閾値を超えるとき、前記注目画素を拡張画素値変化画素として抽出し、隣接する拡張画素値変化画素同士を同一領域とする領域分けを行うことによって拡張画素値変化領域として抽出し、この抽出した拡張画素値変化領域の特徴量を算出する拡張画素値変化領域抽出部と、前記拡張画素値変化領域抽出部で算出した拡張画素値変化領域の特徴量を基に溝領域を特定する溝領域特定部と、を有することを特徴とする。

請求項１４に記載の発明によれば、器官壁間の溝部分における画素値変化は、器官壁が伸びている方向では大きな画素値変化は表れず、器官壁が伸びる方向と交わる方向に大きな画素値変化が表れるという特性に基づいて、画素値変化量がいずれかの方向で所定の閾値を超える画素値変化を示す画素を抽出することにより、溝領域に該当する領域を含む領域の抽出を行うことができ、その中から領域特徴量をもとに溝領域の特定を行うことが可能になる。

請求項１５に記載の発明は、請求項１４に記載の発明において、前記溝領域特定部は、前記病変部候補領域と前記拡張画素値変化領域の対応をとり、溝領域にあたるとされた拡張画素値変化領域と対応する病変部候補領域を器官壁間溝の陰部分として除外することを特徴とする。

請求項１５に記載の発明によれば、病変部候補領域は病変以外の要因による画素値変化領域も検出しており、病変部候補領域と拡張画素値変化領域の対応付けを行うことで、拡張画素値変化領域における溝にあたる領域と対応がとられた病変部候補領域は器官壁間溝の陰部分に発生した領域として検出することができる。

請求項１６に記載の発明は、請求項１２〜１５のいずれか一項に記載の発明において、前記過検出領域除外部は、前記病変部候補領域のうち体内器官に滞留する食物残滓によって発生した領域を領域輪郭部分のエッジ強度を基に検出し、この検出した領域を前記病変部候補領域から除外する残滓検出部を有することを特徴とする。

請求項１６に記載の発明においては、食物残滓は器官組織とは別の物質であり、奥行き位置にも違いが発生するため、病変部候補領域のうち体内器官に滞留する食物残滓により発生した画素値変化領域は、真の病変とは領域輪郭部分のエッジ強度において異なる分布を示すことを基に病変・非病変の分類・除去判定が行われる。

請求項１７に記載の発明は、請求項１〜１６のいずれか一項に記載の発明において、前記変化量算出部および前記周囲画素間変化量算出部における算出対象から除外する対象外画素を判定する対象外画素判定部を更に備えることを特徴とする。

請求項１７に記載の発明によれば、病変検出処理に入る前段に、病変検出処理をする上で誤検出の要因となる画素や病変であることが画素値から明らかな画素を検出することで、病変検出精度向上や、高速な処理を実現することができる。

請求項１８に記載の発明は、請求項１７に記載の発明において、前記対象外画素は、映像ノイズ画素、高輝度・低輝度画素、器官内に滞留する食物残滓を構成する画素、および顕著な病変由来の色調の画素であることを特徴とする。

請求項１８に記載の発明によれば、体腔内画像に外来のノイズがのっている場合、その部分に周囲から画素値変化が表れ、病変部候補領域として抽出される可能性があるため、ノイズの影響を受けている画素を変化量算出部および周囲画素間変化量算出部の算出対象外の画素とし、誤検出を抑制することができる。また、暗部や輝度のハレーションを起こしている画素、および広範囲にわたり顕著な出血や残滓が密集している部分を特定し、注目画素と周囲画素を使った画素値変化量の算出の対象外とすることで、高速な処理を実現することができる。

請求項１９に記載の発明は、請求項１７または１８に記載の発明において、前記病変部検出部は、前記体腔内画像において、前記対象外画素以外の画素の中で、前記病変部候補領域以外の画素および前記病変部候補領域のうち病変でない所定のグループに属した領域の画素が持つ値を対象画像における健常器官組織の持つ画素値として、これを基に健常画素値分布を作成する健常画素値分布作成部を有することを特徴とする。

請求項１９に記載の発明においては、体腔内画像では撮像環境の違いによる各画像間の画素値の変動は大きいが、各画像における病変部分の画素値と健常部分の画素値の分布には違いが見られることに鑑みて、ノイズなどがのった対象外画素以外の画素のうち周辺の画素値から画素値変化がない画素、および周辺の画素値から画素値変化があったが溝検出部において溝領域とされた領域および非病変領域判定部において病変でない所定のグループに属した領域に属する画素は器官の健常組織を構成する画素とみなし、これらの画素を健常画素として設定することで、該当画像における健常組織の画素値の分布を作成することができる。

請求項２０に記載の発明は、請求項１９に記載の発明において、前記病変部検出部は、残存する前記病変部候補領域について、各病変部候補領域の画素値平均をもとに前記健常画素値分布に属する確率を算出し、この算出した確率が所定の閾値より大きいとき、該当する領域を病変部候補領域から除去する健常画素値領域除去部を有することを特徴とする。

請求項２０に記載の発明によれば、該当画像における健常組織の画素値分布をもとに病変部候補領域から非病変の領域を検出することで、多くのサンプル画像から得られた教師データを基にした特徴量空間における判別のみの場合より、検出する病変部領域を絞ることができる。

請求項２１に記載の発明は、請求項１〜２０のいずれか一項に記載の発明において、画像の解像度変換を行う解像度変換部を更に備え、前記解像度変換部は、画像を低解像に変換する低解像度化処理を所定の回数繰り返し行うことによって、互いに解像度が異なる複数種類の低解像度変換画像を作製することを特徴とする。

請求項２１に記載の発明によれば、画像解像度を低解像度化することで、変化量算出部および周囲画素間変化量算出部における注目画素と周囲画素の位置が元画像における位置に比べ相対的に離れた位置を示すこととなり、より大きな病変部検出を行うことができる。さらに、画像解像度変換により様々な解像度の画像を用意し、病変部検出をかけることで様々なサイズの病変部検出を実現することができる。また、様々な種類の低解像度化画像を作成する際に、低解像度化した画像にさらに低解像度化処理をかけることを繰り返すことで、段階的に画像中に存在する構造がぼかされた低解像度画像が作成されていくことになり、元解像度の画像からその解像度に対し解像度が相当低くなる画像を直接作成する場合に比べ、元解像度の画像中の参照されない画素の発生やそれに伴う低解像度画像における画像を構成する構造の急激な変化の発生を低減することができる。

請求項２２に記載の発明は、請求項２１に記載の発明において、前記解像度変換部で作成した前記複数種類の低解像度変換画像に対して、最低解像度の画像から順次解像度が低い順に病変部検出処理を行い、低解像度変換画像の病変部検出結果を一段階高い高解像度画像における病変部検出処理に反映させる低解像度病変検出反映部を更に備えることを特徴とする。

請求項２２に記載の発明によれば、画像を構成する画素数が少ない最低解像度の画像から病変検出処理を行い、検出結果を一段上の高解像度画像の病変検出処理で利用しながら、順次解像度を上げた画像の病変検出を行うことで、高速な処理を実現することができる。

請求項２３に記載の発明は、請求項２２に記載の発明において、前記低解像度病変検出反映部は、前記病変部検出処理で検出した病変部領域にあたる画素を、その病変部領域にあたる画素を含む画像の解像度よりも一段階高い解像度の画像における前記病変部検出処理を行う際に病変検出の対象外画素とすることを特徴とする。

請求項２３に記載の発明によれば、解像度の低い画像から順に病変検出処理を行い、低解像度変換画像で検出した病変領域にあたる画素を一段階高い解像度の画像では病変検出の処理対象外画素とすることで、処理対象とする画素数を減らした高速な処理を実現することができる。

請求項２４に記載の発明は、請求項１〜２３のいずれか一項に記載の発明において、検出された病変領域の種類に応じて画素値を割り当てて表示する表示部を更に備えることを特徴とする。

請求項２４に記載の発明によれば、検出された病変部を病変部の種類に応じた画素値を割り当て表示することで、病変部の有無、位置に加えて、どのような病変が存在するかを素早く知覚することができる。

請求項２５に記載の発明は、生体内を撮像した体腔内画像に対して画像処理を施すことが可能であり、前記体腔内画像の画像情報を含む情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出ステップと、前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出ステップと、前記変化量算出ステップでの算出結果および前記周囲画素間変化量算出ステップでの算出結果を基に、体腔内画像における病変部候補領域を検出する病変部候補領域検出ステップと、前記病変部候補領域検出ステップで検出した病変部候補領域の特徴を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出ステップと、を含むことを特徴とする。

請求項２５に記載の発明によれば、異なる画像間では撮像環境の変化により変化しやすい画素値の色情報をそのまま用いるのでなく、同一画像内において周囲の画素からの変化量を算出し、それに加え、周囲の画素に偏りが存在するかを算出し、周囲の画素の偏りを加味した周囲からの画素値変化量を元に、周囲から画素値変化が見られた領域を病変候補として、特徴量により真の病変か否かの判定を行うことにより、環境変化に対して頑強性を備えた画像処理を実現することができる。

請求項２６に記載の発明は、生体内を撮像した体腔内画像に対して画像処理を施すことが可能であり、前記体腔内画像の画像情報を含む情報を記憶する記憶部を備えたコンピュータに、前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出ステップ、前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出ステップ、前記変化量算出ステップでの算出結果および前記周囲画素間変化量算出ステップでの算出結果を基に、体腔内画像における病変部候補領域を検出する病変部候補領域検出ステップ、前記病変部候補領域検出ステップで検出した病変部候補領域の特徴を抽出する特徴抽出ステップ、前記特徴抽出ステップで抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出ステップ、を実行させることを特徴とする。

請求項２６に記載の発明によれば、異なる画像間では撮像環境の変化により変化しやすい画素値の色情報をそのまま用いるのでなく、同一画像内において周囲の画素からの変化量を算出し、それに加え、周囲の画素に偏りが存在するかを算出し、周囲の画素の偏りを加味した周囲からの画素値変化量を元に、周囲から画素値変化が見られた領域を病変候補として、特徴量により真の病変か否かの判定を行うことにより、環境変化に対して頑強性を備えた画像処理を実現することができる。

本発明によれば、生体内を撮像した体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量および前記複数の周囲画素間の周囲画素値変化量をそれぞれ算出し、前記変化量算出部の算出結果および前記周囲画素間変化量算出部の算出結果を基に、前記体腔内画像における病変部候補領域を検出した後、この検出した病変部候補領域の特徴を抽出し、この抽出結果を基に前記病変部候補領域から病変部領域を検出することにより、画像取得環境の違いにも対応可能な頑強性と、多くの画像を短時間で処理可能な高速性とを併せ持つ画像処理装置、画像処理方法、および画像処理プログラムを提供することができる。

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は、生体内の器官を撮像した画像（体腔内画像）に画像処理を施すことによってその体腔内画像に含まれる病変部を検出する装置であり、所定の画像処理を行う処理部１０と、体腔内画像の画像情報や処理部１０で使用する情報などを記憶する記憶部１１とを備える。この画像処理装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成される。

処理部１０は、生体内の器官を撮像した体腔内画像を取得する画像取得部１０１と、注目画素と周囲画素との画素値変化量を算出する変化量算出部１０２と、周囲画素間の画素値変化量を算出する周囲画素間変化量算出部１０３と、変化量算出部１０２の算出結果および周囲画素間変化量算出部１０３の算出結果を基に体腔内画像における病変部候補領域を検出する病変部候補領域検出部１０４と、病変部候補領域検出部１０４で検出した病変部候補領域の特徴を抽出する特徴抽出部１０５と、特徴抽出部１０５で抽出した結果を基に病変部領域を検出する病変部検出部１０６と、病変部検出部１０６で検出された病変部を表示する表示部１０７と、を備える。

病変部候補領域検出部１０４は、図２に示すように、変化量算出部１０２において算出された周囲画素との画素値変化量および周囲画素間変化量算出部１０３において算出された周囲画素値変化量を用いて周囲画素間の平衡度合いに応じた重み付けを行うことによって重み付け画素値変化量を算出する重み付け変化量算出部１０４ａと、重み付け変化量算出部１０４ａで算出された重み付け画素値変化量が注目画素を中心に予め定められた全ての方向で所定の閾値を超える場合、その注目画素を画素値変化画素として抽出する変化画素抽出部１０４ｂと、画像中の画素値変化画素について、注目画素を中心に予め定められた方向毎に求めた重み付け画素値変化量を用いることにより、その注目画素に記録する画素値変化量である画素値変化記録量を算出する画素値変化記録量算出部１０４ｃと、を有する。

以上の構成を有する画像処理装置１が備えるＣＰＵは、本実施の形態１に係る画像処理方法（後述）を実行するための画像処理プログラムを記憶部１１から読み出すことにより、その画像処理方法に関する演算処理を実行する。

図３は、画像処理装置１が行う画像処理方法の処理の概要を示すフローチャートである。以下、図３を参照して、本実施の形態１に係る画像処理方法の処理の概要を説明する。

まず、画像取得部１０１により、体腔内を撮像した画像（体腔内画像）を記憶部１１から取得する（ステップＳ１０１）。

その後、変化量算出部１０２は、図４および図５に示すような処理対象の注目画素ＩＰと所定の画素数λ（または画素数λに相当する長さ）だけ離れた周囲に存在する周囲画素のＩＡ_dir、ＩＢ_dirを用いて画素値の変化量を算出する（ステップＳ１０２）。ここで周囲画素における添え字 dir は、注目画素ＩＰを中心に予め定められた方向を示す添え字であり、その具体的な方向については後述する。なお、周囲画素の方向は予め定めておいてもよいし、その都度ユーザが所定の入力部（図示せず）から入力することによって設定するようにしてもよい。

一般に体腔内画像において、病変部候補領域は周囲に存在する健常組織を構成する画素から画素値に変化がみられる箇所として表れていると考えられる。このような画素値変化は、血液の吸収帯域に相当する色成分を有する画素に現れやすい。一例をあげると、体腔内画像がＲＧＢ画像である場合には、病変による画素値変化はＧチャンネルにおいて表れやすい傾向がある。そこで、本実施の形態１では、ステップＳ１０１でＲＧＢ画像を取得する場合を扱うこととし、そのうちのＧチャンネル画像において画素値変化量算出を行うものとする。このようにして画素値変化量を算出することにより、病変部を適確に検出できる上、処理の高速化も実現できるのでより好ましい。

ステップＳ１０２における周囲画素との画素値変化量算出のより具体的な例について説明する。図４は、水平方向および鉛直方向の２方向について周囲画素との画素値変化（凹凸）量をそれぞれ算出するときの注目画素ＩＰと周囲画素ＩＡ_dir, ＩＢ_dirとの設定例を示す図である。同図においては、注目画素ＩＰに対して水平方向で所定の画素数λだけ離れ対称な位置に存在する周囲画素をＩＡ_hor，ＩＢ_horとし、鉛直方向で所定の画素数λだけ離れ対称な位置に存在する周囲画素をＩＡ_ver，ＩＢ_verとする。まず、水平方向の周囲画素との画素値変化量Ｖ_horは、次式（１）により算出される。

また、鉛直方向の周囲画素との画素値変化量Ｖ_verは、次式（２）により算出される。

このように水平方向および鉛直方向の２方向について周囲画素との画素値変化量をそれぞれ算出する場合には、２つの添え字horおよびverが上述した添え字dirに相当している。

次に、ステップＳ１０２において４方向の周囲画素との画素値変化を求める場合を説明する。図５は、水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向の４方向について周囲画素との画素値変化（凹凸）量をそれぞれ算出するときの注目画素ＩＰと周囲画素ＩＡ_dir, ＩＢ_dirを示す図である。図５に示す場合、周囲画素との画素値変化量としては、式（１）により算出される水平方向の周囲画素との画素値変化量Ｖ_hor、式（２）により算出される鉛直方向の周囲画素との画素値変化量Ｖ_verに加えて、右上がり斜め方向の周囲画素との画素値変化量Ｖ_sla、および右下がり斜め方向の周囲画素との画素値変化量Ｖ_bacが算出される。このうち、右上がり斜め方向の周囲画素との画素値変化量Ｖ_slaは、次式（３）により算出される。

また、右下がり斜め方向の周囲画素との画素値変化量Ｖ_bacは、次式（４）により算出される。

このように、水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向の４方向について周囲画素との画素値変化量をそれぞれ算出する場合には、４つの添え字hor, ver, sla, およびbacが上述した添え字dirに相当している。

図６Ａおよび図６Ｂは、ステップＳ１０２における所定の方向（dirとする）の周囲画素との画素値変化量算出の概要を示す図である。このうち、図６Ａに示すように、注目画素ＩＰの周囲画素ＩＡ_dirおよびＩＢ_dirからの変化が凸のとき、周囲画素との画素値変化量Ｖ_dirは正の値をとる。また、図６Ｂに示すように、注目画素ＩＰの周囲画素ＩＡ_dirおよびＩＢ_dirからの変化が凹のとき、周囲画素との画素値変化量Ｖ_dirは負の値をとる。

ここで、注目画素ＩＰが画像の端にあり、周囲画素が画像の範囲外に出てしまう場合の周囲画素との画素値変化量算出の方法を、図７を参照して説明する。図７に示すように、注目画素ＩＰに対する変化量算出対象の周囲画素ＩＡ_dirが画像Ｇの範囲外に出る場合は、画像Ｇの境界枠ＧＦを対称軸として線対称な位置に折り返しを行うことによって得られる画像Ｇの内部の画素ＩＡ_dir'を変化量算出対象の周囲画素とみなす。なお、周囲画素が画像Ｇの範囲外に出るときの折り返しは、上述した方法に限られるわけではなく、注目画素ＩＰと周囲画素を結ぶ直線と境界枠ＧＦとの交点を対称点として点対称な位置に折り返してもよい。また、図７では注目画素ＩＰに対する周囲画素ＩＡ_dirについて説明したが、周囲画素ＩＢ_dirが画像Ｇの範囲外に出た場合にも、上記同様に折り返すことによって変化量算出対象の周囲画素とみなす画素ＩＢ_dir'を求めればよい。

以上説明したステップＳ１０２の後、周囲画素間変化量算出部１０３において、注目画素ＩＰを挟んで相対する周囲画素ＩＡ_dirおよびＩＢ_dirの変化量を算出する（ステップＳ１０３）。まず、図４に示すように水平方向および鉛直方向の２方向で周囲画素との画素値変化量をそれぞれ算出している場合、周囲画素の画素値変化量も水平方向および鉛直方向でそれぞれ算出する。具体的には、水平方向の周囲画素変化量Ｂ_hor、および鉛直方向の周囲画素変化量をＢ_verは、それぞれ以下の式（５）および（６）により算出される。

ここで、ＩＭＧ_ＭＡＸは、対象画像の画像フォーマットにおける最大値を表す。

これに対して、図５に示すように水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向の４方向で周囲画素との画素値変化量をそれぞれ算出している場合、周囲画素の画素値変化量も水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向でそれぞれ算出する。具体的には、式（５）により算出される水平方向の周囲画素変化量Ｂ_hor、式（６）により算出される鉛直方向の周囲画素変化量Ｂ_verに加えて、右上がり斜め方向の周囲画素変化量Ｂ_slaおよび右下がり斜め方向の周囲画素変化量Ｂ_bacが、それぞれ以下の式（７）および（８）により算出される。

このようにして算出される周囲画素変化量Ｂ_dirは、注目画素ＩＰを中心に相対する周囲画素ＩＡ_dirおよびＩＢ_dirが同じ画素値の場合は１となり、相対する周囲画素ＩＡ_dirおよびＩＢ_dirの一方が０で他方がＩＭＧ_ＭＡＸの場合は０となるように定義されている。換言すれば、式（５）〜（８）により算出される周囲画素変化量Ｂ_dirは、相対する周囲画素ＩＡ_dirおよびＩＢ_dirの平衡度合いが最も高い場合に１をとる一方、相対する周囲画素ＩＡ_dirおよびＩＢ_dirの平衡度合いが最も低い場合に０をとるようにして、その平衡度合いを０〜１の範囲で表す。

また、注目画素ＩＰが画像の端にあり、周囲画素が画像の範囲外に出てしまう場合には、周囲画素との画素値変化量算出のときに説明した内容と同様に、画像端での折り返しにより周囲画素を設定し、周囲画素変化量を算出する。

以上説明したステップＳ１０３に続いて重み付け変化量算出部１０４ａでは、変化量算出部１０２において算出した周囲画素との画素値変化量と周囲画素間変化量算出部１０３において算出した周囲画素変化量とを基に、重み付け画素値変化量を求める（ステップＳ１０４）。まず、水平方向、鉛直方向の２方向で画素値変化量、周囲画素変化量をそれぞれ算出している場合（図４を参照）、重み付け画素値変化量も水平方向、鉛直方向でそれぞれ算出される。この場合の重み付け画素値変化量は、水平方向の重み付け画素値変化量をＶ'_hor、鉛直方向の重み付け画素値変化量をＶ'_verとすると、Ｖ'_horおよびＶ'_verは、それぞれ以下の式（９）および（１０）により算出される。

これに対して、水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向の４方向で周囲画素との画素値変化量、周囲画素変化量をそれぞれ算出している場合（図５を参照）、重み付け画素値変化量も水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向でそれぞれ算出される。この場合の重み付け画素値変化量は、式（９）により算出される水平方向の重み付け画素値変化量Ｖ'_hor、式（１０）により算出される鉛直方向の重み付け画素値変化量Ｖ'_verに加えて、右上がり斜め方向の重み付け画素値変化量Ｖ'_slaおよび右下がり斜め方向の重み付け画素値変化量をＶ'_bacが、それぞれ以下の式（１１）および（１２）によって算出される。

図８Ａおよび図８Ｂは、周囲画素変化量の重み付けの例を示す図である。図８Ａは、相対する周囲画素ＩＡ_dirおよびＩＢ_dirが平衡に近く、注目画素ＩＰが周囲画素ＩＡ_dirおよびＩＢ_dirに対して同一方向の変化を示す場合を示す図であり、この変化が凸の場合を示す図である。この図８Ａに示す場合、注目画素ＩＰの周囲画素との画素値変化量Ｖ_dirに対して、周囲画素ＩＡ_dirとＩＢ_dirとの変化量ｈ（＝|ＩＡ_dir−ＩＢ_dir|）が小さいため、Ｂ_dirは１に近い値をとる（式（５）〜（８）を参照）。したがって、重み付け画素値変化量Ｖ_dir'（＝ Ｂ_dir×Ｖ_dir）も周囲画素との画素値変化量Ｖ_dirに近い値として設定される（式（９）〜（１２）を参照）。

他方、図８Ｂは、相対する周囲画素ＩＡ_dirおよびＩＢ_dirに偏りがある場合を示している。この図８Ｂに示す場合、注目画素ＩＰの周囲画素との画素値変化量Ｖ_dirに対して、周囲画素ＩＡ_dirとＩＢ_dirとの変化量ｈ（＝|ＩＡ_dir−ＩＢ_dir|）が大きいため、Ｂ_dirは０に近い値をとる（式（５）〜（８）を参照）。したがって、重み付け画素値変化量Ｖ_dir'（＝ Ｂ_dir×Ｖ_dir）は周囲画素との画素値変化量Ｖ_dirに対して小さい値として設定される（式（９）〜（１２）を参照）。

続いて、変化画素抽出部１０４ｂにおいて、重み付け変化量算出部１０４ａで算出した重み付け画素値変化量Ｖ'_dirが所定の範囲に含まれるか否かを判定することにより、その範囲に相当する変化が見られる注目画素を画素値変化画素として抽出する（ステップＳ１０５）。具体的には、各方向で算出した重み付け画素値変化量Ｖ'_dirに対して、全方向の値が所定の凸閾値（ConvexityTh）より大きいとき、注目画素ＩＰは周囲に対して凸であると判定する。また、全方向の値が所定の凹閾値（ConcaveTh）より小さいとき、注目画素ＩＰは周囲に対して凹であると判定する。これを（１−１）２方向、および（１−２）４方向の場合にそれぞれまとめると、以下のようになる。
（１−１）２方向の場合
・Ｖ'_hor＞ConvexityThかつＶ'_ver＞ConvexityThのとき、注目画素Ｐは周囲に対して凸である。
・Ｖ'_hor＜ConcaveThかつＶ'_ver＜ConcaveThのとき、注目画素Ｐは周囲に対して凹である。
（１−２）４方向の場合
・Ｖ'_hor＞ConvexityThかつＶ'_ver＞ConvexityThかつＶ'_sla＞ConvexityThかつＶ'_bac＞ConvexityThのとき、注目画素Ｐは周囲に対して凸である。
・Ｖ'_hor＜ConcaveThかつＶ'_ver＜ConcaveThかつＶ'_sla＜ConcaveThかつＶ'_bac＜ConcaveThのとき、注目画素Ｐは周囲に対して凹である。

この後、周囲に対して凸である画素を１、周囲に対して凸でない画素を０とした２値画像で記録した凸２値画像、および周囲に対して凹である画素を１、周囲に対して凹でない画素を０とした２値画像で記録した凹２値画像を作成する。

以上説明したステップＳ１０５を行うことにより、注目画素ＩＰが病変候補として有意な値を有しているか否かを判定することができる。

次に、画素値変化記録量算出部１０４ｃにて、画素値変化画素すなわちステップＳ１０５で周囲に対して凸または凹と判定された注目画素の画素値変化量として記憶部１１へ記録する画素値変化記録量Ｖ_rを算出する（ステップＳ１０６）。水平方向および鉛直方向の２方向で画素値変化記録量Ｖ_rを算出する場合には、注目画素が周囲に対して凸または凹があると判定されたとき、次式（１３）によって画素値変化記録量Ｖ_rを算出する。

また、水平方向、鉛直方向、右上がり斜め方向、右下がり斜め方向の４方向で画素値変化記録量Ｖ_rを算出する場合には、次式（１４）によって画素値変化記録量Ｖ_rを算出する。

なお、上述したステップＳ１０５において、注目画素ＩＰが周囲に対して凸、凹ともになしと判定された注目画素ＩＰの画素値変化記録量Ｖ_rは０として記憶部１１へ記録される。

ここで説明したステップＳ１０６における画素値変化記録量Ｖ_rの算出は上述した方法に限られるわけではなく、各方向の重み付け画素値変化量Ｖ'_dirの中から最大値または最小値をとるようにしてもよい。

上述したステップＳ１０２〜Ｓ１０６の処理（図３の破線領域ＳＰに含まれる処理）は、全ての注目画素ＩＰに対して行われる。具体的には、たとえばステップＳ１０１で取得した画像に含まれるすべての画素を注目画素ＩＰとして、ステップＳ１０２〜Ｓ１０６の処理を順次行えばよい。

続いて、病変部候補領域検出部１０４では、凸のある画素、凹のある画素それぞれについて領域分けを行うことによって病変部候補領域を抽出する（ステップＳ１０７）。具体的には、変化画素抽出部１０４ｂにて作成した凸２値画像、凹２値画像それぞれを用いて、図９に示すような注目画素ＩＰに対する８近傍Ｐ₁〜Ｐ₈において、注目画素ＩＰが１であるとき、８近傍Ｐ₁〜Ｐ₈のうち１が記録されている画素が同一領域を構成する画素として領域分けを行う。ここで凸２値画像から凸領域を領域分けし各領域にラベル付けした画像を凸領域画像とし、凹２値画像から凹領域を領域分けし各領域にラベル付けした画像を凹領域画像とし、抽出された凸領域と凹領域とを合わせて病変部候補領域とする。

この後、ステップＳ１０７で得られた各病変部候補領域について、特徴抽出部１０５にて領域の特徴量を算出する（ステップＳ１０８）。ここで算出する特徴量としては、領域内画素値平均（Ｒ_{abs_m}, Ｇ_{abs_m}, Ｂ_{abs_m}）、領域内画素値変化量平均（Ｒ_{var_m}, Ｇ_{var_m}, Ｂ_{var_m}）、領域面積Ｓ_{_m}，領域周囲長Ｌ_{_m}，領域長辺の長さＬ_{l_m}，領域短辺の長さＬ_{s_m}，領域長辺・短辺比Ｌ_{r_m}，領域輪郭部のエッジ強度Ｅ_{_m}，領域円形度Ｃ_{_m}を挙げることができる。なお、添え字ｍは領域の番号を表す。以下、各特徴量について説明する。

領域内画素値平均（Ｒ_{abs_m}, Ｇ_{abs_m}, Ｂ_{abs_m}）は、同一領域に属する画素ごとにＲ,Ｇ,Ｂ各チャンネルで総和を求め、それを領域面積で割ることによって算出される。

領域内画素値変化量平均（Ｒ_{var_m}, Ｇ_{var_m}, Ｂ_{var_m}）を算出する場合、Ｇチャンネルの画素値変化記録量Ｖ_rはすでにステップＳ１０６で求めているので、ここでは残るＲ, ＢチャンネルにおいてＧチャンネルと同様に画素値変化記録量Ｖ_rを算出した後、同一領域に属する画素ごとにＲ,Ｇ,Ｂ各チャンネルにおける画素値変化記録量Ｖ_rの総和を求め、この総和を領域面積で割ることにより、領域内画素値変化量平均（Ｒ_{var_m}, Ｇ_{var_m}, Ｂ_{var_m}）を算出する。ここで、Ｒ, Ｂチャンネルにおける画素値変化記録量の算出の際には、全画素を対象とせず、Ｇチャンネルにおいて凸または凹があると抽出された画素（凸２値画像、凹２値画像で１となっている画素）のみを対象とすることにより、高速な処理が実現される。

領域面積Ｓ_{_m}は、同一領域に属する画素数をカウントすることで求められる。

領域周囲長Ｌ_{_m}は、図１０に示すような注目画素ＩＰに対する４近傍画素Ｐ₁〜Ｐ₄において、背景または異なるラベル番号がついた画素が存在する画素を領域輪郭部分画素として領域輪郭部分画素の画素数をカウントすることで求められる。

各領域で領域長辺の長さＬ_{l_m}および領域短辺の長さＬ_{s_m}は、領域を長方形で近似して考え、領域周囲長Ｌ_{_m}および領域面積Ｓ_{_m}からそれぞれ以下の式（１５）および（１６）に示されるように算出される。

領域長辺・短辺比Ｌ_{r_m}は、次式（１７）のように算出される。

領域輪郭部のエッジ強度Ｅ_{_m}の算出は、まず各病変部候補領域について背景または他の領域と接する画素を領域輪郭部分画素として抽出する。体腔内画像のＲ,Ｇ,Ｂチャンネルのいずれか、またはＲ,Ｇ,Ｂチャンネルの平均をとったグレースケール画像に図１１Ａおよび図１１Ｂのようなエッジ検出フィルタを適用し、各画素のエッジ強度を算出する。

一次微分であるソーベル（Ｓｏｂｅｌ）フィルタによるエッジ強度画像Ｅ₁（ｉ）は、図１１Ａに示す水平方向（ｘ方向）のソーベルフィルタＳＦ１の畳み込みの出力Ｓ１（ｉ）と、図１０Ｂに示す鉛直方向（ｙ方向）のソーベルフィルタＳＦ２の畳み込みの出力Ｓ２（ｉ）とを用いて次式（１８）のように表される（ｉは画像内の画素位置を表す）。

この後、各病変部候補領域の領域輪郭部分画素位置におけるエッジ強度画像の値を読み取り、病変部候補領域ごとにエッジ強度値の総和を求め、その総和を各病変部候補領域の周囲長Ｌ_{_m}で割ることで、領域輪郭部のエッジ強度Ｅ_{_m}として次式（１９）が算出される。

領域円形度Ｃ_{_m}の算出は、次式（２０）で示すように表される。

以上説明したステップＳ１０８の後、病変部検出部１０６では、病変部候補領域である凹領域と凸領域のそれぞれにおいて、病変による要因でなく発生した領域を除去する（ステップＳ１０９，Ｓ１１０）。

このうち、病変によらずに発生した凹領域の除去（ステップＳ１０９）を行う際には、各凹領域の特徴量を教師データ特徴量分布と照合して病変・非病変の判定を行う。たとえば、領域内画素値平均ｘ＝（Ｒ_{abs_m}, Ｇ_{abs_m}, Ｂ_{abs_m}）を用いて対象となる病変部候補領域の病変・非病変の判定を行う場合、教師データとして、出血などの病状種類ごとにサンプルとなる領域を蒐集し、画素値平均μ_kおよび画素値共分散Σ_kを算出する（ここでｋは教師データのグループ番号を示す）。なお、本実施の形態１では、同一の病状種類、または同一の病状種類のうち画素値平均が近いサンプルを１つのグループとして、各グループに対してグループ番号ｋを付与している。また、病変部候補領域でない凹領域のサンプルも集め、凹領域として抽出された要因毎または画素値平均が近いサンプル同士を同一グループとしてグループ分けをし、グループ内の画素値平均μ_iおよび画素値共分散Σ_iを算出する（ここでｉは、病変部候補領域でない凹領域のサンプルをグループ分けしたグループ番号を示す）。

教師データの分布を正規分布として、病変部候補領域である凹領域が各教師データグループの分布から発生している確率を次式（２１）および（２２）によって算出する。

ここで、ｎは特徴量の次元数であり、領域内画素値平均ｘの場合にはｎ＝３である。式（２１）によって算出した病変グループから発生した確率ｐ（ｋ｜ｘ）と式（２２）によって算出した病変でないグループから発生した確率ｐ（i｜ｘ）から、ある病状ａに属する確率ｐ_k=aは、以下の式（２３）により算出される。

上式（２３）は以下のことを示している。ある特徴量変数ｘをもつ病変部候補領域について、病変グループのうち病状ａであるグループの分布から発生する確率が、
ｐ（ｋ＝ａ｜ｘ）で表される。病変でないグループの分布から発生する確率の総計が
Σｐ（ｉ｜ｘ）で表され、病変グループの分布から発生する確率の総計がΣｐ（ｋ｜ｘ）で表される。これによりある特徴量変数ｘをもつ病変部候補領域について、病状ａのグループから発生した確率を全グループから発生した確率の総和で正規化することで、ある病状ａに属する確率ｐ_k=aが算出される。

上述した内容に従い、病変部候補領域について病状ごとに属する確率を算出し、最大の確率値を持つ病状での値をｐ（ｋ＝ａ_max｜ｘ）とすると、その値が所定の閾値LesionProbTh以下である場合、すなわちｐ（ｋ＝ａ_max｜ｘ）≦LesionProbThである場合には、その凹領域を病変部候補領域から除去する。

続いて、病変部候補領域として残っている凸領域について、病変によらずに発生した凸領域の除去を行う（ステップＳ１１０）。病変部候補領域として残っている凸領域について、上述した凹領域の非病変領域判定と同様に、用意した教師データ分布の各グループから発生した確率を算出し、病変・非病変を判定する。

病変部候補領域の病変・非病変の判別に用いる特徴量は、対象となる領域の領域内画素値平均（Ｒ_{abs_m}, Ｇ_{abs_m}, Ｂ_{abs_m}）だけでなく、領域内画素値変化量平均（Ｒ_{var_m}, Ｇ_{var_m}, Ｂ_{var_m}），領域面積Ｓ_{_m}，領域周囲長Ｌ_{_m}，領域長辺の長さＬ_{l_m}，領域短辺の長さＬ_{s_m}，領域長辺・短辺比Ｌ_{r_m}，領域輪郭部のエッジ強度Ｅ_{_m}，領域円形度Ｃ_{_m}のいずれかを用いても良く、またこれらを適宜組み合わせて用いても良い。

なお、凹領域に対するステップＳ１０９の処理と凸領域に対するステップＳ１１０の処理とは順序を逆にして実行してもよいし、並列に実行してもよい。

最後に、病変領域として残存した凹凸領域を病変部検出結果として表示部１０７で表示する（ステップＳ１１１）。この表示を行う際には、凹領域に属する画素に所定の画素値を割り当てるとともに、凸領域に属する画素には凹領域に対して割り当てる画素値とは別の所定の画素値を割り当て、その他の画素には背景色を与えるなどして表示する。

ところで、表示部１０７における表示方法は上述したものに限られるわけではない。たとえば、上記ステップＳ１０９およびＳ１１０では、教師データによる病変・非病変の判別の際に各凹領域、凸領域がそれぞれ所属するグループを判定したが、そのグループ（病変種類に対応）に応じた画素値を割り当てて表示するようにしてもよい。また、体腔内画像に対して、病変領域として残存した凹領域、凸領域の輪郭部分の画素位置を各領域が属するグループに応じた画素値で重畳して表示するようにしてもよい。

以上説明した本発明の実施の形態１によれば、画像内で周囲との画素値変化が表れる領域を短い処理時間で抽出することが可能となり、それにより画像取得環境の違いに対する頑強性を備えた病変部候補領域の検出を行うことが可能となる。

また、本実施の形態１によれば、領域特徴量を用いて病変部候補領域から本来正常な部分を病変部候補領域として抽出している領域の除去を行うことにより、高速で検出性能の高い病変検出を行う画像処理装置を実現することができる。

本実施の形態１に係る画像処理プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。この意味で、画像処理装置１は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備してもよい。

（実施の形態２）
図１２は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置２は、処理部２０と撮像された体腔内画像に関する情報を記憶する記憶部２１とを備える。この画像処理装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成される。

処理部２０は、上記実施の形態１に係る画像処理装置１と同様の機能を有する画像取得部１０１、変化量算出部１０２、周囲画素間変化量算出部１０３、病変部候補領域検出部１０４、特徴抽出部１０５、および表示部１０７を備える。また、処理部２０は、変化量算出部１０２および周囲画素間変化量算出部１０３における算出対象から除外する対象外画素を判定する対象外画素判定部２０８と、特徴抽出部１０５で抽出した結果を基に病変部領域を検出する病変部検出部２０６とを備える。

対象外画素判定部２０８は、図１３に示すように、対象外画素として映像ノイズ画素、高輝度または低輝度画素、食物残滓、および顕著な病変由来の色調である画素領域をそれぞれ検出する映像ノイズ画素検出部２０８ａ、高輝度・低輝度領域検出部２０８ｂ、高密度残滓検出部２０８ｃ、および色調による病変領域検出部２０８ｄを有する。

病変部検出部２０６は、図１４に示すように、病変部候補領域のうち体腔内の構造または体腔内に含まれ得る物質に起因して検出された領域を除外する過検出領域除外部２０６ａと、体腔内画像において、対象外画素以外の画素の中で、病変部候補領域以外の画素および病変部候補領域のうち病変でない所定のグループに属した領域の画素が持つ値を対象画像における健常器官組織の持つ画素値として、これを基に健常画素値分布を作成する健常画素値分布作成部２０６ｂと、残存する病変部候補領域について、各病変部候補領域の画素値平均をもとに前述した健常画素値分布に属する確率を算出し、この算出した確率が所定の閾値より大きいとき、該当する領域を病変部候補領域から除去する健常画素値領域除去部２０６ｃと、を有する。

過検出領域除外部２０６ａは、病変部候補領域から器官壁間溝による陰部分を除外する溝除外部２０６ｄと、病変部候補領域のうち体内器官に滞留する食物残滓によって発生した領域を領域輪郭部分のエッジ強度を基に検出し、この検出した領域を前記病変部候補領域から除外する残滓検出部２０６ｅと、を有する。このうち、溝除外部２０６ｄは、病変部候補領域検出部１０４内の重み付け変化量算出部１０４ａにおいて算出された方向別の重み付け画素値変化量がいずれかの方向において所定の閾値を超えるとき、注目画素を拡張画素値変化画素として抽出し、隣接する拡張画素値変化画素同士を同一領域とする領域分けを行うことによって拡張画素値変化領域として抽出し、この抽出した拡張画素値変化領域の特徴量を算出する拡張画素値変化領域抽出部２０６ｄ−１と、拡張画素値変化領域抽出部２０６ｄ−１で算出した拡張画素値変化領域の特徴量を基に溝領域を特定する溝領域特定部２０６ｄ−２と、を有する。

図１５は、画像処理装置２が行う画像処理方法の処理の概要を示すフローチャートである。以下、図１５を参照して、本実施の形態２に係る画像処理方法の処理の概要を説明する。

画像取得部１０１は、実施の形態１と同様に、体腔内を撮像した画像（体腔内画像）を記憶部２１から取得する（ステップＳ２０１）。

その後、対象外画素判定部２０８では、画像中から病変部候補領域を構成する画素の検出対象から除外する画素の検出、判定を行う（ステップＳ２０２）。このステップＳ２０２で判定する対象外画素としては、映像ノイズ画素、高輝度または低輝度画素、器官内に高密度に滞留している食物残滓を構成する画素、顕著な病変由来の色調である画素領域の４つを挙げることができる。以下、各対象外画素の検出処理の概要を説明する。

まず、映像ノイズ画素の検出について説明する。映像ノイズ画素は、生体内の器官を撮像する装置において、物理的衝撃や電気的要因、光学的要因などのノイズ発生要因により、取得した画像に発生するノイズを指す。映像ノイズ画素は、撮像された体内器官を構成する画素とは無関係な画素値を持つため、映像ノイズと近接する画素の間では急峻な画素値の変動が見られる。そこで、映像ノイズ画素検出部２０８ａでは、図１６Ａに示される水平方向のラプラシアンフィルタＬＦ１、および図１６Ｂに示される鉛直方向のラプラシアンフィルタＬＦ２を、画像のＲ,Ｇ,ＢのいずれかのチャンネルまたはＲ,Ｇ,Ｂチャンネルの平均をとったグレースケール画像に適用し、水平方向もしくは鉛直方向の出力値の最大値が所定の閾値を超える画素を映像ノイズの発生した画素として検出する。

次に、高輝度または低輝度画素の検出について説明する。高輝度・低輝度領域検出部２０８ｂでは、各画素の画素値を走査して所定の高輝度閾値を超える画素を検出する。検出された高輝度画素では輝度飽和を起こしている可能性があるため後段の処理から除外する。同様に、所定の低輝度閾値を下回る画素についても検出する。検出された低輝度画素では、病変部分などが判別可能な明るさで写っていないと判断し、後段の処理から除外する。

第３に、器官内に高密度に滞留している食物残滓を構成する画素の検出について説明する。画像中で食物残滓が高濃度に存在する箇所は、体内器官組織とは異なった特有の色を示す。そこで、高密度残滓検出部２０８ｃでは、画像を所定画素ごとの小ブロックに分割し、小ブロック内の画素の平均画素値を求め、その値が食物残滓の持つ画素値として事前に定めた画素値範囲にある小ブロックを検出し、食物残滓が存在する領域とし、後段の処理から除外する。

最後に、顕著な病変由来の色調である画素の検出について説明する。色調による病変領域検出部２０８ｄでは、器官内の出血により血が画像上の広い範囲に広がっている場合などの顕著な病変由来の色調領域を検出する。画像中で大量の出血が認められる場合、その部分は血により体内器官組織とは異なる特有の色が示される。そこで、大量の出血がある領域の検出は、画像を所定画素数ごとの小ブロックに分割し、小ブロック内の画素の平均画素値を求め、その値が血の持つ画素値として事前に定めた画素値範囲にある小ブロックを検出し、大量の出血が存在する領域し、後段の処理から除外する。なお、「顕著な病変由来の色調である領域」は、出血である場合に限られるものではなく、体内器官が顕著に変色している場合なども含まれるものとする。

以上説明したステップＳ２０２に続いて、変化量算出部１０２にて周囲画素との画素値変化量を算出し（ステップＳ２０３）、周囲画素間変化量算出部１０３にて周囲画素間の画素値変化量を算出する（ステップＳ２０４）。

その後、ステップＳ２０３で算出した周囲画素との画素値変化量およびステップＳ２０４で算出した周囲画素変化量を用いて病変部候補領域検出部１０４で周囲画素との重み付け変化量を算出し（ステップＳ２０５）、周囲から所定の変化が見られる注目画素を画素値変化画素として抽出し（ステップＳ２０６）、この抽出した画素値変化画素について画素値変化記録量を算出する（ステップＳ２０７）。

次に、周囲から所定の変化が見られた注目画素について、隣接画素同士を１領域としてまとめてラベル付けして領域分けを行うことによって病変部候補領域を抽出し（ステップＳ２０８）、この抽出された各領域の特徴量を特徴抽出部１０５にて算出する（ステップＳ２０９）。

なお、以上説明したステップＳ２０３〜Ｓ２０９の処理（図１５の破線領域ＳＰ２に含まれる処理）は、上記実施の形態１におけるステップＳ１０２〜Ｓ１０８の処理と同様、全ての注目画素ＩＰに対して行われる。

上述した実施の形態１では、病変部候補領域ごとに抽出された特徴量を教師データの特徴量分布と照合して病変・非病変の判定を行っていた。この際、教師データの特徴量分布において、病変のグループと非病変のグループで分布に重なりが存在するが、このような重なりは、教師データを様々なサンプル画像から取得した際に、各画像において画像が取得される環境に変動があり、同一の病変または非病変のグループに属する領域であっても、その特徴量が比較的広範囲に分布してしまいやすいことにより発生する。そのため、実施の形態１では、病変検出においては本来病変のところを検出せずに見逃してしまうこと（トゥルーポジティブ（ＴＰ）低下）を避けるため、ある程度は病変でないところも病変として検出する（フォールスポジティブ（ＦＰ）が発生する）ような病変領域検出を行っていた。これに対して、本実施の形態２は、フォールスポジティブを減らすための機能を有している。以下、ステップＳ２０９に続けて行う処理として、フォールスポジティブを減らすための具体的な処理について説明する。

ステップＳ２１０では、溝除外部２０６ｄにより病変部候補領域から器官壁間溝の陰部分に発生した凹領域を除去する（ステップＳ２１０）。一般に、溝は器官壁に沿う形で画像に表れることに鑑み、拡張画素値変化領域抽出部２０６ｄ−１では、各方向で算出した重み付け画素値変化量Ｖ'_dirに対して、いずれか１方向にでも画素値変化量が所定の凹閾値ConcaveThより小さくなる画素があればこの画素を抽出し、抽出された画素のうち隣接画素同士を１領域として領域分けを行うことにより、溝の部分では抽出画素が連結して１つの領域となる拡張凹領域（拡張画素値変化領域）を抽出する。拡張凹領域を記録した画像を拡張凹領域抽出画像とする。拡張凹領域を構成する画素として抽出する画素の判定は、（２−１）２方向、および（２−２）４方向の場合、それぞれ以下のように行われる。
（２−１）２方向の場合
・Ｖ'_hor＜ConcaveThまたはＶ'_ver＜ConcaveThのとき、注目画素Ｐは周囲に対して凹である。
（２−２）４方向の場合
・Ｖ'_hor＜ConcaveThまたはＶ'_ver＜ConcaveThまたはＶ'_sla＜ConcaveThまたはＶ'_bac＜ConcaveThのとき、注目画素Ｐは周囲に対して凹である。

拡張画素値変化領域抽出部２０６ｄ―１では、拡張凹領域に対して、領域面積Ｓ_{_n}，領域周囲長Ｌ_{_n}，領域長辺の長さＬ_{l_n}，領域短辺の長さＬ_{s_n}，領域長辺・短辺比Ｌ_{r_n}を算出する。ここで、添え字ｎは拡張凹領域の領域番号を表す。拡張凹領域を抽出する際には、病変部候補領域として抽出された各凹領域について拡張凹領域との重なり面積を算出し、この重なり面積が最大となる拡張凹領域を算出対象の凹領域に対応する対応拡張凹領域とする。

ここで、拡張凹領域の抽出例を説明する。図１７は、原画像である体腔内画像の表示例を示す図である。図１７に示す体腔内画像４１には、２つの器官壁間溝４２および４３の他、出血箇所４４が含まれている。図１８Ａは、図１７の体腔内画像４１に対して凹領域を抽出した凹領域抽出画像の表示例を示す図である。図１８に示す凹領域抽出画像５１では、同程度の面積を有する複数の凹領域５２、５３、５４、・・・が抽出されている。図１９は、図１７の体腔内画像４１に対して拡張凹領域を抽出した拡張凹領域抽出画像の表示例を示す図である。図１９に示す拡張凹領域抽出画像６１は、凹領域５２を含む凹領域が連結された拡張凹領域６２と、凹領域５３を含む凹領域が連結された拡張凹領域６３と、凹領域５４を含む凹領域が連結された拡張凹領域６４と、を少なくとも有する。

図１８および図１９から判るように、拡張凹領域抽出画像６１では、体腔内画像４１の器官壁間溝４２および４３にそれぞれ対応する拡張凹領域６２および６３は、凹領域抽出画像５１の凹領域５２や５３などより連結された長い領域として表れる。これに対して、体腔内画像４１の出血箇所４４に対応する拡張凹領域６４は、凹領域抽出画像５１の凹領域５４と比較して大きな変化が見られない。この点をふまえ、拡張画素値変化領域抽出部２０６ｄ−１では、拡張凹領域に対して上述した各種特徴量を算出している。

この後、溝領域特定部２０６ｄ−２では、上述した算出結果を基に、拡張凹領域の領域長辺の長さＬ_{l_n}が所定の閾値ExLenTh以上であり、かつ領域長辺・短辺比Ｌ_{r_n}が所定の閾値ExLenRateTh以上である場合、すなわちＬ_{l_n}≧ExLenThかつＬ_{r_n}≧ExLenRateThである場合、その拡張凹領域は溝領域であると特定する。この際、対応拡張凹領域が溝領域であるとき、その対応拡張凹領域に対応する凹領域を病変部候補領域から除去する。

以上説明したステップＳ２１０に続いて、病変部候補領域として残っている凹領域において、実施の形態１におけるステップＳ１０９と同様に各凹領域の特徴量を教師データ特徴量分布と照合し、病変・非病変の判定を行い、非病変に属する凹領域を除去する（ステップＳ２１１）。

この後、残滓検出部２０６ｅにおいて、病変部候補領域として検出された領域のうち、滞留する食物残滓にあたる領域を除去する（ステップＳ２１２）。食物残滓と体内器官組織とは異なる物質であり、空間的な奥行きにおいて存在する場所にも距離が発生するため、病変により粘膜の色が変色するときに比べ、領域の境界において画素値が急峻な変化となる。そのため、病変部候補領域として検出された凸領域の領域輪郭部のエッジ強度Ｅ_{_m}が所定の閾値ContourEdgeTh以上の場合すなわちＥ_{_m}≧ContourEdgeThの場合、その凸領域は食物残滓により発生したものとみなし、病変部候補領域から除去する。

続いて、病変部候補領域として残っている凸領域について、実施の形態１におけるステップＳ１１０と同様に各凸領域の特徴量を教師データ特徴量分布と照合し、病変・非病変の判定を行い、非病変に属する凸領域を除去する（ステップＳ２１３）。

なお、凹領域に対するステップＳ２１０〜Ｓ２１１の処理と、凸領域に対するステップＳ２１２〜Ｓ２１３の処理とは、順序を逆にして実行してもよいし、並列に実行してもよい。

次に、健常画素値分布作成部２０６ｂでは、対象外画素判定部２０８、病変部候補領域検出部１０４、過検出領域除外部２０６ａの結果を基に、各画像における健常な器官組織を構成する画素を抽出する（ステップＳ２１４）。具体的には、まず健常な器官組織の画素として、画像中の全画素から対象外画素判定部２０８で処理対象外とされた画素を除く。続いて、ステップＳ２０６で抽出された画素値変化画素を除く。ただし、画素値変化画素のうち、ステップＳ２１０で溝領域として検出された領域の画素は、健常器官組織を構成する画素が、撮影条件により周囲の健常器官組織を構成する画素から画素値が変化したものであるため、除去の対象から外し、健常器官組織の画素とする。なお、教師データの特徴量分布との照合により、病変でないグループに属した領域の画素も健常器官組織の画素としても良い。

ステップＳ２１４の後、健常画素値分布作成部２０６ｂは、健常器官組織の画素とされた画素のもつ画素値の分布から処理対象画像における健常器官組織画素の画素値ヒストグラムを作成する（ステップＳ２１５）。

続いて、健常画素値領域除去部２０６ｃは、ここまでのステップで病変部候補領域として残存している領域に対して健常器官組織の画素値分布に属する確率を算出する（ステップＳ２１６）。具体的には、対象の領域における領域内画素値平均の値についてステップＳ２１５で求めた健常組織画素の画素値ヒストグラムにおける確率密度を求める。

この後、健常画素値領域除去部２０６ｃでは、ステップＳ２１６で求めた病変部候補領域の領域内画素値平均の値が健常器官組織の画素値分布に属する確率が所定値以上であるとき、その領域は健常な組織に属するとして、病変部候補領域から除去する（ステップＳ２１７）。

最後に、病変部候補領域として残存した凹凸領域を病変部領域として表示部１０７において表示する（ステップＳ２１８）。この表示は、実施の形態１における表示と同様に行えばよい。

以上説明した本発明の実施の形態２によれば、画像内で周囲との画素値変化が表れる領域をもとに得られた病変部候補領域から教師データに基づく病変・非病変領域の判定による非病変領域の除去に加え、器官壁間溝や食物残滓により発生した領域の除去を行い、さらに各画像において病変でない健常器官組織の画素値分布を求め、その分布をもとに病変領域の絞込みを行うことで、病変でない箇所を病変として検出してしまう可能性を減らした検出精度の高い病変検出を実現することができる。

（実施の形態３）
図２０は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置３は、処理部３０と撮像された体腔内画像に関する情報を記憶する記憶部３１とを備える。この画像処理装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成される。

処理部３０は、上記実施の形態２に係る画像処理装置２とそれぞれ同様の機能を有する画像取得部１０１、対象外画素判定部２０８、変化量算出部１０２、周囲画素間変化量算出部１０３、病変部候補領域検出部１０４、特徴抽出部１０５、病変部検出部２０６、および表示部１０７を備える。また、処理部３０は、画像の解像度変換を行う解像度変換部３０９と、解像度変換部３０９で作成した低解像度変換画像の病変部検出結果を一段階高い高解像度画像における病変部検出処理に反映させる低解像度病変検出反映部３１０とを備える。

図２１は、画像処理装置３が行う画像処理方法の処理の概要を示すフローチャートである。以下、図２１を参照して、本実施の形態３に係る画像処理方法の処理の概要を説明する。

まず、画像取得部１０１は、実施の形態１と同様に、体腔内を撮像した画像（体腔内画像）を記憶部３１から取得する（ステップＳ３０１）。

その後、解像度変換部３０９は、体腔内画像に対して、解像度を下げた（低解像度化した）画像を作成する（ステップＳ３０２）。本実施の形態３では、解像度が変換された画像に対して解像度変換処理を所定の回数繰り返して行い、互いに異なる解像度を有する複数種類の画像を作成する。すなわち、ステップＳ３０３において解像度が所定の最低解像度に達していない場合（ステップＳ３０３でＮｏ）には、ステップＳ３０２の処理を繰り返し行い、解像度が所定の最低解像度に達した場合（ステップＳ３０３でＹｅｓ）、続くステップＳ３０４に進む。

解像度変換部３０９における解像度変換には、バイリニア補間、ニアレストネイバー、バイキュービック補間など各種の手法のいずれかを適用することができる。以下、バイリニア補間によって解像度変換を行う場合について、図２２を参照して説明する。なお、図２２に示す場合には、解像度変換後の変換後画像８１の格子点（縦線と横線の交点）の位置に、指定された解像度で標本化された画素が存在するものとしている。

原画像７１のｘ方向サイズがOrgSizeX、ｙ方向サイズがOrgSizeYであり、変換後画像８１のｘ方向サイズがConSizeX、ｙ方向サイズがConSizeYであるとき、画像のｘ方向の拡大縮小倍率ω_x、およびｙ方向の拡大縮小倍率ω_yは、それぞれ以下の式（２４）および（２５）により表される。

変換後の画像の画素（Ｘ,Ｙ）に対応する元の画像の画素(OrgX, OrgY）の成分OrgXおよびOrgYは、それぞれ以下の式（２６）および（２７）で表される。

ここで算出されるOrgX, OrgYは必ずしも整数ではないため、原画像７１中で該当する画素値を得ることができない。そこで、バイリニア補間では、(OrgX, OrgY)の近傍の４画素を用いて距離に応じた重み付け平均をとることにより、変換後画像８１の画素（Ｘ,Ｙ）の画素値I(X, Y)を求める。具体的には、原画像７１の画素（x,y）における画素値を
OrgI(x,y)とすると、変換後画像８１の画素（Ｘ,Ｙ）の画素値I(X, Y)は、次式（２８）で表される。

ここで、[ ]はガウス記号であり、[ ]内の値を超えない最大の整数値を表す。

図２３は、ステップＳ３０４以降の処理の概要を示す図であり、具体的には、異なる解像度の画像を用いた病変部検出処理の概要を示す図である。同図においては、ｋ種類（ｋは正の整数）の解像度の画像を作成したとして、第１解像度を原画像における解像度とする。また、第２解像度を第１解像度よりも一段階下の解像度、第３解像度を第２解像度よりも一段階下の解像度、・・・、第ｋ解像度を第（ｋ−１）解像度より一段階下の解像度とする。したがってこの場合、最低解像度は第ｋ解像度に他ならない。

まず、未処理の画像の中で最も解像度が低い第ｋ解像度画像９１−ｋに対して病変部検出処理を行う（ステップＳ３０４）。このステップＳ３０４における病変部検出処理は、実施の形態２で示したステップＳ２０２〜Ｓ２１７と同様である。第ｋ解像度における病変部検出によって得られた画像を第ｋ解像度病変部検出画像９２−ｋとする。

この後、解像度変換部３０９により、第ｋ解像度病変部検出画像９２−ｋを一段階上の（一段階高い）第（ｋ−１）解像度に復元し（ステップＳ３０５）、この復元した画像をpre第（ｋ−１）解像度病変部検出画像９０−（ｋ−１）とする。

次に、第ｋ解像度における病変部検出結果を一段階上の解像度を有する第（ｋ−１）解像度画像に反映する（ステップＳ３０６）。具体的には、ステップＳ３０５で得られたpre第（ｋ−１）解像度病変部検出画像９０−（ｋ−１）において病変部である画素を処理対象から除外した第（ｋ−１）解像度画像９１−（ｋ−１）を作成する。

ここで、ステップＳ３０５で復元した解像度（第（ｋ−１）解像度）が最高解像度すなわち第１解像度でない場合（ステップＳ３０７でＮｏ）にはステップＳ３０４に戻り、未処理の画像の中で最も解像度が低い第（ｋ−１）解像度画像９１−（ｋ−１）に対して病変部検出処理（ステップＳ３０４）を行う。この第（ｋ−１）解像度での病変部検出結果画像を第（ｋ−１）解像度病変部検出画像９２−（ｋ−１）とする。このように、ステップＳ３０４は、一般的には、病変部検出処理が行われていない画像（未処理画像）の中で最も解像度の低い画像が処理対象となる。

この後、解像度変換部３０９は、第（ｋ−１）解像度における病変部検出結果を一段階上の第（ｋ−２）解像度へ復元する（ステップＳ３０５）。具体的には、第（ｋ−１）解像度病変部検出画像９２−（ｋ−１）を一段階上の第（ｋ−２）解像度へ復元し、pre1第（ｋ−２）解像度病変部検出画像とする。pre第（ｋ−１）解像度病変部検出画像９０−（ｋ−１）についても一段階上の第（ｋ−２）解像度に変換し、pre2第（ｋ−２）解像度病変部検出画像とする。pre1第（ｋ−２）解像度病変部検出画像の病変部である画素とpre2第（ｋ−２）解像度病変部検出画像の病変部である画素を合わせた画像をpre第（ｋ−２）解像度病変部検出画像９０−（ｋ−２）とする。

次に、第（ｋ−１）解像度における病変部検出結果を一段階上の解像度を有する第（ｋ−２）解像度画像に反映する（ステップＳ３０６）。具体的には、pre第（ｋ−２）解像度病変部検出画像９０−（ｋ−２）において病変部である画素を処理対象から除外した第（ｋ−２）解像度画像９１−（ｋ−２）を作成する。

ステップＳ３０６の後、復元した画像の解像度（第（ｋ−２）解像度）が最高解像度であるか否かを判定し、最高解像度でない場合（ステップＳ３０７でＮｏ）、ステップＳ３０４に戻り、未処理の画像の中で最も解像度が低い第（ｋ−２）解像度画像９１−（ｋ−２）に対してステップＳ３０４〜Ｓ３０７の処理を繰り返す。

以下、復元した画像の解像度が最高解像度すなわち第１解像度である場合（ステップＳ３０７でＹｅｓ）に続いて行われる処理を説明する。この場合には、第１解像度病変部検出画像９２−１において病変部である画素とpre第１解像度病変部検出画像９０−１において病変部である画素とを合わせて病変部の画素とする病変部検出統合画像９３を作成する（ステップＳ３０８）。その後、作成された病変部検出統合画像９３を病変部検出結果として表示部１０７で表示する（ステップＳ３０９）。この表示は、実施の形態１における表示と同様に行えばよい。

このように、解像度変換によって解像度を下げた画像に対して、周囲からの画素値変化（凹凸）のある画素の抽出を行うと、注目画素と周囲画素の位置が元の解像度の画像における位置に比べて相対的に大きな距離をもつようになり、より大きな病変候補領域が抽出されることになる。本実施の形態３では、複数の解像度に順次低解像度化した画像を用意して、各画像に対して病変検出処理を行うことで、種々のサイズの病変部の抽出が行われる。上述した実施の形態１および２では、検出する病変部のサイズが、変化量算出部１０２における画素値変化（凹凸）を算出するときの注目画素ＩＰと周囲画素ＩＡ_dirおよびＩＢ_dirとの画素数λによって規定されていた。これに対して、本実施の形態３では、様々なサイズの病変部の検出に対応可能な構成を有している。

以上説明した本発明の実施の形態３によれば、様々な病変サイズに対応した病変部検出処理を高速に行える画像処理装置を実現できる。

ここまで、本発明を実施するための最良の形態を実施の形態１〜３として詳述してきたが、本発明は上述した３つの実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明に係る画像処理装置、画像処理方法、および画像処理プログラムは、医療用内視鏡によって撮像された体腔内画像から病変部を検出するための画像処理を行う場合に適用することができ、特にカプセル型内視鏡のように、体内の異なる環境下で大量に撮像された体腔内画像から病変部を検出するための画像処理を行う場合に好適である。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 病変部候補領域検出部の構成を示すブロック図である。 本発明の実施の形態１に係る画像処理方法の概要を示すフローチャートである。 注目画素に対する周囲画素の設定例（第１例）を示す図である。 注目画素に対する周囲画素の設定例（第２例）を示す図である。 画素値変化量算出の概要（変化が凸の場合）を示す図である。 画素値変化量算出の概要（変化が凹の場合）を示す図である。 周囲画素が画像の範囲外に出てしまう場合の画素値変化量算出の概要を示す図である。 周囲画素変化量の重み付けの例（第１例）を示す図である。 周囲画素変化量の重み付けの例（第２例）を示す図である。 注目画素の８近傍画素を示す図である。 注目画素の４近傍画素を示す図である。 水平方向のソーベルフィルタを示す図である。 鉛直方向のソーベルフィルタを示す図である。 本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 対象外画素判定部の構成を示すブロック図である。 病変部検出部の構成を示すブロック図である。 本発明の実施の形態２に係る画像処理方法の概要を示すフローチャートである。 水平方向のラプラシアンフィルタの構成を示す図である。 鉛直方向のラプラシアンフィルタの構成を示す図である。 体腔内画像の表示例を示す図である。 凹領域抽出画像の表示例を示す図である。 拡張凹領域抽出画像の表示例を示す図である。 本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態３に係る画像処理方法の概要を示すフローチャートである。 原画像と解像度変換後の変換後画像との画素の対応を模式的に示す図である。 解像度変換による多重解像度画像に対する病変検出処理の概要を示す図である。

符号の説明

１、２、３ 画像処理装置
１０、２０、３０ 処理部
１１、２１、３１ 記憶部
４１ 体腔内画像
４２，４３ 器官壁間溝
４４ 出血箇所
５１ 凹領域抽出画像
５２，５３，５４ 凹領域
６１ 拡張凹領域抽出画像
６２，６３，６４ 拡張凹領域
７１ 原画像
８１ 変換後画像
９０−ｋ pre第ｋ解像度病変部画像
９１−ｋ 第ｋ解像度画像
９２−ｋ 第ｋ解像度病変部検出画像
９３ 病変部検出統合画像
１０１ 画像取得部
１０２ 変化量算出部
１０３ 周囲画素間変化量算出部
１０４ 病変部候補領域検出部
１０４ａ 重み付け変化量算出部
１０４ｂ 変化画素抽出部
１０４ｃ 画素値変化記録量算出部
１０５ 特徴抽出部
１０６、２０６ 病変部検出部
１０７ 表示部
２０６ａ 過検出領域除外部
２０６ｂ 健常画素値分布作成部
２０６ｃ 健常画素値領域除去部
２０６ｄ 溝除外部
２０６ｄ−１ 拡張画素値変化領域抽出部
２０６ｄ−２ 溝領域特定部
２０６ｅ 残滓検出部
２０８ 対象外画素判定部
２０８ａ 映像ノイズ画素検出部
２０８ｂ 高輝度・低輝度領域検出部
２０８ｃ 高密度残滓検出部
２０８ｄ 病変領域検出部
３０９ 解像度変換部
３１０ 低解像度病変検出反映部
Ｇ 画像
ＧＦ 境界枠
ＬＦ１，ＬＦ２ ラプラシアンフィルタ
ＳＦ１，ＳＦ２ ソーベルフィルタ

Claims (26)

1. 生体内を撮像した体腔内画像に対して画像処理を施す画像処理装置であって、
   前記体腔内画像の画像情報を含む情報を記憶する記憶部と、
   前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出部と、
   前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出部と、
   前記変化量算出部の算出結果および前記周囲画素間変化量算出部の算出結果を基に、前記体腔内画像における病変部候補領域を検出する病変部候補領域検出部と、
   前記病変部候補領域検出部で検出した病変部候補領域の特徴を抽出する特徴抽出部と、
   前記特徴抽出部で抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記注目画素および前記複数の周囲画素の各画素値は血液の吸収帯域に相当する色成分であることを特徴とする請求項１に記載の画像処理装置。
3. 前記注目画素および前記複数の周囲画素の各画素値はＧ成分であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の周囲画素は、前記注目画素を中心に予め定められた方向毎に相対して設定されることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記変化量算出部および前記周囲画素間変化量算出部における前記注目画素と前記周囲画素間との距離は、検出対象とする病変部のサイズに基づいて指定されることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記周囲画素は、前記注目画素と離間していることを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記変化量算出部および前記周囲画素間変化量算出部は、
   画像端に位置する注目画素に対して周囲画素を設定する機能を具備することを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記病変部候補領域検出部は、
   前記変化量算出部において算出された周囲画素との画素値変化量と前記周囲画素間変化量算出部において算出された周囲画素値変化量とを用いて周囲画素間の平衡度合いに応じた重み付けを行うことによって重み付け画素値変化量を算出する重み付け変化量算出部
   を有することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記病変部候補領域検出部は、
   前記重み付け画素値変化量が前記注目画素を中心に予め定められた全ての方向で所定の閾値を超える場合、前記注目画素を画素値変化画素として抽出する変化画素抽出部
   を有することを特徴とする請求項８に記載の画像処理装置。
10. 前記病変部候補領域検出部は、
    画像中の前記画素値変化画素について、前記注目画素を中心に予め定められた方向毎に求めた前記重み付け画素値変化量を用いることにより、前記注目画素に記録する画素値変化量である画素値変化記録量を算出する画素値変化記録量算出部
    を有することを特徴とする請求項９に記載の画像処理装置。
11. 前記特徴抽出部は、
    前記病変部候補領域の特徴として、病変部候補領域に属する画素の画素値、画素値変化量、領域形状情報、および領域輪郭部のエッジ強度の少なくともいずれか１つを抽出することを特徴とする請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記病変部検出部は、
    前記病変部候補領域のうち体内器官の構造とみなし得る領域または体内器官組織と異なる物質からなる領域を除外する過検出領域除外部
    を有することを特徴とする請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 前記過検出領域除外部は、
    前記病変部候補領域から器官壁間溝による陰部分を除外する溝除外部
    を有することを特徴とする請求項１２に記載の画像処理装置。
14. 前記溝除外部は、
    前記重み付け変化量算出部において算出された方向別の前記重み付け画素値変化量がいずれかの方向において所定の閾値を超えるとき、前記注目画素を拡張画素値変化画素として抽出し、隣接する拡張画素値変化画素同士を同一領域とする領域分けを行うことによって拡張画素値変化領域として抽出し、この抽出した拡張画素値変化領域の特徴量を算出する拡張画素値変化領域抽出部と、
    前記拡張画素値変化領域抽出部で算出した拡張画素値変化領域の特徴量を基に溝領域を特定する溝領域特定部と、
    を有することを特徴とする請求項１３に記載の画像処理装置。
15. 前記溝領域特定部は、
    前記病変部候補領域と前記拡張画素値変化領域の対応をとり、溝領域にあたるとされた拡張画素値変化領域と対応する病変部候補領域を器官壁間溝の陰部分として除外することを特徴とする請求項１４に記載の画像処理装置。
16. 前記過検出領域除外部は、
    前記病変部候補領域のうち体内器官に滞留する食物残滓によって発生した領域を領域輪郭部分のエッジ強度を基に検出し、この検出した領域を前記病変部候補領域から除外する残滓検出部
    を有することを特徴とする請求項１２〜１５のいずれか一項に記載の画像処理装置。
17. 前記変化量算出部および前記周囲画素間変化量算出部における算出対象から除外する対象外画素を判定する対象外画素判定部
    を更に備えることを特徴とする請求項１〜１６のいずれか一項に記載の画像処理装置。
18. 前記対象外画素は、映像ノイズ画素、高輝度・低輝度画素、器官内に滞留する食物残滓を構成する画素、および顕著な病変由来の色調の画素であることを特徴とする請求項１７に記載の画像処理装置。
19. 前記病変部検出部は、
    前記体腔内画像において、前記対象外画素以外の画素の中で、前記病変部候補領域以外の画素および前記病変部候補領域のうち病変でない所定のグループに属した領域の画素が持つ値を対象画像における健常器官組織の持つ画素値として、これを基に健常画素値分布を作成する健常画素値分布作成部
    を有することを特徴とする請求項１７または１８に記載の画像処理装置。
20. 前記病変部検出部は、
    残存する前記病変部候補領域について、各病変部候補領域に対して前記健常画素値分布に属する確率を算出し、この算出した確率が所定の閾値より大きいとき、該当する領域を病変部候補領域から除去する健常画素値領域除去部
    を有することを特徴とする請求項１９に記載の画像処理装置。
21. 画像の解像度変換を行う解像度変換部を更に備え、
    前記解像度変換部は、
    画像を低解像に変換する低解像度化処理を所定の回数繰り返し行うことによって、互いに解像度が異なる複数種類の低解像度変換画像を作製することを特徴とする請求項１〜２０のいずれか一項に記載の画像処理装置。
22. 前記解像度変換部で作成した前記複数種類の低解像度変換画像に対して、最低解像度の画像から順次解像度が低い順に病変部検出処理を行い、低解像度変換画像の病変部検出結果を一段階高い高解像度画像における病変部検出処理に反映させる低解像度病変検出反映部
    を更に備えることを特徴とする請求項２１に記載の画像処理装置。
23. 前記低解像度病変検出反映部は、
    前記病変部検出処理で検出した病変部領域にあたる画素を、その病変部領域にあたる画素を含む画像の解像度よりも一段階高い解像度の画像における前記病変部検出処理を行う際に病変検出の対象外画素とすることを特徴とする請求項２２に記載の画像処理装置。
24. 検出された病変領域の種類に応じて画素値を割り当てて表示する表示部
    を更に備えることを特徴とする請求項１〜２３のいずれか一項に記載の画像処理装置。
25. 生体内を撮像した体腔内画像に対して画像処理を施すことが可能であり、前記体腔内画像の画像情報を含む情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、
    前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出ステップと、
    前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出ステップと、
    前記変化量算出ステップでの算出結果および前記周囲画素間変化量算出ステップでの算出結果を基に、体腔内画像における病変部候補領域を検出する病変部候補領域検出ステップと、
    前記病変部候補領域検出ステップで検出した病変部候補領域の特徴を抽出する特徴抽出ステップと、
    前記特徴抽出ステップで抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出ステップと、
    を含むことを特徴とする画像処理方法。
26. 生体内を撮像した体腔内画像に対して画像処理を施すことが可能であり、前記体腔内画像の画像情報を含む情報を記憶する記憶部を備えたコンピュータに、
    前記体腔内画像の画像情報を前記記憶部から読み出し、この読み出した前記体腔内画像に対して注目画素とその周囲に位置する複数の周囲画素との画素値変化量を算出する変化量算出ステップ、
    前記複数の周囲画素間の周囲画素値変化量を算出する周囲画素間変化量算出ステップ、
    前記変化量算出ステップでの算出結果および前記周囲画素間変化量算出ステップでの算出結果を基に、体腔内画像における病変部候補領域を検出する病変部候補領域検出ステップ、
    前記病変部候補領域検出ステップで検出した病変部候補領域の特徴を抽出する特徴抽出ステップ、
    前記特徴抽出ステップで抽出した結果を基に前記病変部候補領域から病変部領域を検出する病変部検出ステップ、
    を実行させることを特徴とする画像処理プログラム。

Images