JP6351323B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、生体の管腔内を撮像することにより取得された画像群から代表画像を抽出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を時系列順に撮像することにより取得された一連の画像群（以下、管腔内画像群ともいう）から、異常領域等の注目領域が写った画像を代表画像として抽出する技術が知られている。ユーザは、画像群から抽出された代表画像を観察することで、大量の画像を詳細に観察する負担を軽減することができ、正確且つ効率の良い診断を行うことが可能となる。

例えば特許文献１には、時系列順に取得された管腔内画像群から注目領域を検出し、注目領域の特徴量と注目領域を含む管腔内画像の時系列位置とに基づいて注目領域をグループに分類し、各グループに分類された注目領域から代表領域を選出し、選出した代表領域を含む画像を代表画像として出力する画像処理装置が開示されている。

特開２０１１−２４７２７号公報

上記特許文献１においては、時系列で隣接する管腔内画像間において類似する特徴量を有する注目領域同士を、同じグループにまとめている。しかしながら、撮像対象である生体の管腔は生体特有の多様性や個体差といった特性を含んでいると共に、管腔の動きや、医用観察装置側の動きによって、撮像方向や撮像距離等の撮像状況が変化し易いことから、注目領域等の被写体を安定した状態で撮像し続けることは困難である。そのため、同じ注目領域を含む時系列画像の間に注目領域を含まない時系列画像が挟まれる、或いは、管腔内画像に写った同じ注目領域の色や形状が変化する、といったことが生じてしまう。このような場合に、上記特許文献１と同様に、隣接する管腔内画像間における注目領域の特徴量の類似性に基づいて注目領域をグループ化すると、同一の注目領域が異なるグループに分類されてしまう可能性がある。その結果、それぞれのグループから同じ注目領域を含む管腔内画像が代表画像として抽出され、代表画像を適切に抽出することが困難となる。

本発明は、上記に鑑みて為されたものであって、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から代表画像を抽出する際に、生体の特性や撮像状況の変化により安定した状態で被写体を撮像し続けることが困難な場合であっても、代表画像を適切に抽出することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出手段と、時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定する近傍範囲設定手段と、前記時系列近傍範囲に基づいて、前記検出手段が抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、前記注目画像群から代表画像を抽出する代表画像抽出手段と、を備え、前記近傍範囲設定手段は、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする。

本発明に係る画像処理方法は、生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、前記一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出ステップと、時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定する近傍範囲設定ステップと、前記時系列近傍範囲に基づいて、前記検出手段が抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から代表画像を抽出する代表画像抽出ステップと、を含み、前記近傍範囲設定ステップは、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする。

本発明に係る画像処理プログラムは、生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出ステップと、時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定する近傍範囲設定ステップと、前記時系列近傍範囲に基づいて、前記検出手段が抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から代表画像を抽出する代表画像抽出ステップと、をコンピュータに実行させ、前記近傍範囲設定ステップは、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする。

本発明によれば、注目画像群抽出手段が同一の注目領域を含む注目画像群の抽出を行う時系列近傍範囲として、一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定するので、生体の特性や撮像状況の変化により安定した状態で被写体を撮像し続けることが困難な場合であっても、同一の注目領域を含む注目画像が同じ注目画像群として抽出され易くなり、代表画像を適切に抽出することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、時系列順に取得された一連の管腔内画像を示す模式図である。 図４は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図５は、図４に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図６は、図４に示す連続異常判定部が実行する連続性異常領域の判定処理を示すフローチャートである。 図７は、本発明の実施の形態２の変形例２−１に係る画像処理装置が備える演算部の構成を示すブロック図である。 図８は、図７に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図９は、図７に示す散発異常判定部が実行する散発性異常領域の判定処理を示すフローチャートである。 図１０は、本発明の実施の形態２の変形例２−２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１１は、図１０に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図１２は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１３は、図１２に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図１４は、図１２に示す明瞭度算出部が実行する明瞭度算出処理を示すフローチャートである。 図１５は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１６は、図１５に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図１７は、図１５に示す不要領域検出部が実行する不要領域の検出処理を示すフローチャートである。 図１８は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１９は、図１８に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図２０は、図１８に示す臓器分類部が実行する臓器情報の取得処理を示すフローチャートである。 図２１は、本発明の実施の形態６に係る画像処理装置が備える演算部の構成を示すブロック図である。 図２２は、図２１に示す近傍範囲設定部が実行する時系列近傍範囲の設定動作を示すフローチャートである。 図２３は、本発明の実施の形態７に係る画像処理装置が備える演算部の構成を示すブロック図である。 図２４は、本発明の実施の形態７に係る画像処理装置の動作を示すフローチャートである。 図２５は、本発明の実施の形態７における異常画像群の抽出処理を説明するための模式図である。 図２６は、本発明の実施の形態７における異常画像群の抽出処理を説明するための模式図である。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。実施の形態１に係る画像処理装置１は、被検体である生体の管腔内をカプセル型内視鏡等の医用画像装置により順次撮像することにより取得された一連の画像群から、検出対象として推定される注目領域を含む画像（注目画像）群を抽出し、抽出した注目画像群からさらに代表画像を抽出する装置である。生体の管腔内が写った画像（管腔内画像ともいう）は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。以下の説明においては、注目領域として出血、発赤、血管異常、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む注目画像（異常画像）群から代表画像を抽出する場合を説明するが、注目領域は上記例示した異常領域に限定されない。

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、カプセル型内視鏡等の医用観察装置により撮像された管腔内画像に対応する画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、被検体内を撮像するカプセル型内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、カプセル型内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像から出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む画像（異常画像）から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を当該画像処理装置１に実行させる画像処理プログラム５１や、異常領域を検出する際に用いられる判別基準等を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を行う。

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、一連の管腔内画像から異常領域を含む異常画像を検出する検出部１１０と、時系列順に並んだ管腔内画像における各異常画像の近傍の範囲を時系列近傍範囲として設定する近傍範囲設定部１２０と、時系列近傍範囲に基づいて、検出部１１０が検出した異常画像から同一の異常領域を含む異常画像群を抽出する異常画像群抽出部１３０と、抽出された各異常画像群から代表画像を抽出する代表画像抽出部１４０とを備える。

検出部１１０は、管腔内画像の各種特徴量に基づいて異常領域を検出する。異常領域の検出方法としては、公知の種々の方法を適用することができる。一例として、本実施の形態１においては、まず、類似した特徴量を有し、且つ空間的に近接した画素を統合することにより、画像を複数の小領域に分割し（参考ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１９６頁（近接画素の統合による領域分割処理））、各小領域の色特徴量を算出し、算出した色特徴量を予め作成しておいた異常領域の色特徴量の判別基準と比較することにより、異常領域の特徴を示す小領域を抽出する。

色特徴量としては、分割された小領域を構成する画素における各色成分（Ｒ成分、Ｇ成分、Ｂ成分）や、これらの各色成分を基に公知の変換により２次的に算出した値（例えば、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）の平均値又は中央値等の統計量が挙げられる。また、判別基準は、各種の異常領域の色特徴量を事前に収集し、これらの色特徴量の分布に基づき、サポートベクターマシン（ＳＶＭ）等の学習器を用いて異常領域の判別基準（色範囲）を予め作成し、記録部５０に記録しておく。具体的には、出血や発赤、血管異常等の異常領域は赤色調の特定色を示し、潰瘍やアフタ等の異常領域は白色調の特定色を示すため、これらの特定色を示す小領域を抽出することで、異常領域を検出することができる。

また、異常領域においては、粘膜の炎症のように構造的な特徴が見られることがある。このような異常領域については、構造的な特徴を捉えることにより検出を行っても良い。具体的には、公知のＤＯＧ（Difference Of Gaussian、参考：アドコム・メディア株式会社、「コンピュータビジョン最先端ガイド２」、第７頁〜第１２頁）により管腔内画像を周波数成分ごとの画像に変換することにより、各周波数成分の強度を構造特徴量として取得する。そして、上述した色特徴量及び構造特徴量からなる特徴量空間において、事前に作成した判別基準を用いて判別を行うことにより、異常領域を検出する。

なお、上記においては管腔内画像を小領域に分割し、小領域単位の色特徴量（又は構造特徴量）を用いて異常領域を検出する場合を説明したが、管腔内画像を構成する画素単位の色特徴量（又は構造特徴量）を用いて異常領域を検出しても良い。

近傍範囲設定部１２０は、検出部１１０により抽出された異常画像に対して時系列近傍範囲を設定する。ここで、時系列近傍範囲とは、時系列順に並んだ管腔内画像における異常画像及びその近傍の画像を含む範囲のことであり、異常画像群抽出部１３０が同一の異常領域を含む１組の異常画像群を抽出する範囲である。時系列近傍範囲としては、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲が設定される。

異常画像群抽出部１３０は、近傍範囲設定部１２０により設定されたそれぞれの時系列近傍範囲に含まれる異常画像同士を同一の異常領域を含む異常画像群として抽出する注目画像群抽出手段である。

代表画像抽出部１４０は、同一の異常領域を含む異常画像群の各々から代表画像を抽出する。代表画像の抽出方法は特に限定されず、単に異常画像群の時系列の先頭の画像や中央の画像を代表画像として抽出しても良いし、画像診断の上で重要度の高い異常領域を含む異常画像や、異常領域の視認性の良い異常画像を代表画像として抽出しても良い。異常領域の重要度や視認性は、例えば異常領域の色特徴量、形状特徴量、テクスチャ特徴量等に基づいて判別することができる。

次に、図１に示す画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置１は、時系列順に撮像された一連の管腔内画像の画像データを、画像取得部２０を介して取得し、記録部５０に記録する。

続くステップＳ１１において、検出部１１０は、記録部５０に記録された管腔内画像の画像データを順次読み出し、各管腔内画像から異常領域を検出して、異常領域を含む異常画像を抽出する。具体的には、検出部１１０は、記録部５０に予め記録されている異常領域の判別基準を読み出し、各管腔内画像を構成する各画素の色特徴量をこの判別基準と比較することにより、異常領域を検出する。

図３は、時系列順に取得された一連の管腔内画像Ｉ_iを示す模式図である。ここで、添え字ｉ（ｉ＝１、２、…）は、各管腔内画像の時系列的な並び順（撮像順序）を示し、画像番号に対応する。ステップＳ１１の処理により、異常領域Ａ_i（ｉ＝ｔ１、ｔ１＋２、ｔ１＋３、ｔ１＋４、ｔ２、ｔ２＋２、ｔ２＋４）が検出され、各異常領域Ａ_iを含む管腔内画像Ｉ_iが抽出される。以下、異常領域Ａ_iを含む管腔内画像Ｉ_iを、異常画像Ｉ_iとも記す。

続くステップＳ１２において、近傍範囲設定部１２０は、ステップＳ１１において抽出された各異常画像Ｉ_iに対し、一連の管腔内画像において時系列的に連続する管腔内画像の間隔（±１枚）よりも広い範囲を、時系列近傍範囲として設定する。具体的には、時系列順に並ぶ一連の管腔内画像において異常画像Ｉ_iを中心とする±γ枚に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。ここで、パラメータγは、時系列近傍範囲の幅を決定するためのパラメータである。本実施の形態１において、パラメータγは２以上の定数に設定される。

この際、ある異常画像に設定された時系列近傍範囲と、他の異常画像に設定された時系列近傍範囲とが重複する場合がある。この場合、近傍範囲設定部１２０は、一部が重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。例えば、図３の場合、パラメータγ＝２とすると、異常画像Ｉ_t1の時系列近傍範囲（管腔内画像Ｉ_t1-2〜Ｉ_t1+2）、異常画像Ｉ_t1+1の時系列近傍範囲（管腔内画像Ｉ_t1-1〜Ｉ_t1+3）、異常画像Ｉ_t1+3の時系列近傍範囲（管腔内画像Ｉ_t1+1〜Ｉ_t1+5）、及び異常画像Ｉ_t1+4の時系列近傍範囲（管腔内画像Ｉ_t1+2〜Ｉ_t1+6）は、隣接する時系列近傍範囲の間で一部が重複している。従って、これらの時系列近傍範囲は統合され、管腔内画像Ｉ_t1-2〜Ｉ_t1+6を含む時系列近傍範囲ΔＩ_t1が設定される。また、異常画像Ｉ_t2の時系列近傍範囲（管腔内画像Ｉ_t2-2〜Ｉ_t1+2）、異常画像Ｉ_t2+2の時系列近傍範囲（管腔内画像Ｉ_t2〜Ｉ_t2+4）、及び異常画像Ｉ_t2+4の時系列近傍範囲（管腔内画像Ｉ_t2+2〜Ｉ_t2+5）は、隣接する時系列近傍範囲の間で一部が重複している。従って、これらの時系列近傍範囲は統合され、管腔内画像Ｉ_t2-2〜Ｉ_t2+6を含む統合された時系列近傍範囲ΔＩ_t2が設定される。

続くステップＳ１３において、異常画像群抽出部１３０は、ステップＳ１２において設定された時系列近傍範囲に基づいて、同一の異常領域を含む異常画像群を抽出する。詳細には、１つの時系列近傍範囲に含まれる異常画像同士を、同一の異常領域を含む異常画像群とする。

例えば、図３の場合、統合された時系列近傍範囲ΔＩ_t1に含まれる異常画像Ｉ_t1、Ｉ_t1+1、Ｉ_t1+3、Ｉ_t1+4が、同一の異常画像群_t1として抽出され、統合された時系列近傍範囲ΔＩ_t2に含まれる異常画像Ｉ_t2、Ｉ_t2+2、Ｉ_t2+4が、同一の異常画像群Ｇ_t2として抽出される。

続くステップＳ１４において、代表画像抽出部１４０は、ステップＳ１３において抽出された各異常画像群から代表画像を抽出する。抽出される代表画像の数は、定数であっても良いし（例えば、各異常画像群から１枚）、異常画像群に含まれる異常画像の枚数に応じて決定しても良い（例えば、異常画像の枚数のｒ倍、０＜ｒ＜１）。なお、後者の場合、代表画像の枚数が１枚に満たないときには、少なくとも１枚の代表画像を抽出するものとする。或いは、抽出される代表画像の数を特定せず、所定の基準を満たす異常画像（例えば、色特徴量が所定の閾値以上の異常画像）を全て代表画像として抽出しても良い。

代表画像の抽出方法は特に限定されない。例えば、各異常画像群の時系列順での先頭の画像や中央の画像を代表画像として抽出しても良い。或いは、各異常画像群における同一の異常領域の色特徴量に基づいて抽出しても良い。具体的には、異常領域が赤色調の特定色を示す場合、異常領域の赤色が強い異常画像を代表画像として優先的に抽出し、異常領域が白色調の特定色を示す場合、異常領域の白色が強い異常画像を代表画像として優先的に抽出する。

また、代表画像として、視認性の高い異常画像を抽出しても良い。具体的には、視認性の高い異常画像としては、異常領域の面積が最も大きい異常画像や、異常領域のコントラストが最も高い異常画像が挙げられる。ここで、異常領域の面積は、異常領域の総画素数によって表される。一方、異常領域のコントラストＣは、異常領域における画素値の最大値をＬ_max、最小値をＬ_minとしたときに、次式（１）によって与えられる。
Ｃ＝（Ｌ_max−Ｌ_min）／（Ｌ_max＋Ｌ_min） …（１）
或いは、画像全体のコントラストが最も高い異常画像を、代表画像として抽出しても良い。

なお、１つの異常画像群に、異常領域の面積が最大の異常画像が複数存在する、或いは、異常領域のコントラストが最高の異常画像が複数存在するといった場合には、それらの複数の画像から代表画像をランダムに選択すれば良い。また、後者の場合には、異常領域のコントラストと画像全体のコントラストとの両方を用いて代表画像を選択しても良い。

さらには、異常領域が画像のより中央に存在する異常画像や、異常領域及び画像全体のノイズが少ない異常画像や、輝度が高い異常画像や、ボケの少ない異常画像を、視認性の高い異常画像（代表画像）として抽出しても良い。

続くステップＳ１５において、演算部１００は、ステップＳ１４において各異常画像群から抽出された代表画像を表す情報を出力する。これに応じて、記録部５０は、代表画像として抽出された管腔内画像の画像データに代表画像である旨を示す情報（フラグ）を付加する。

以上説明したように、本発明の実施の形態１によれば、一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を、時系列近傍範囲として各異常画像に設定すると共に、異なる異常画像に設定された時系列近傍範囲が重複する場合にはこれらの時系列近傍範囲を統合し、１つの時系列近傍範囲に含まれる異常画像同士を同一の異常画像群として抽出するので、生体の特性や撮像状況の変化により安定した状態で被写体を撮像し続けることができない場合であっても、同一の異常領域を含む異常画像が異なる異常画像群に分散するのを抑制することができる。従って、異常画像が適切にグルーピングされた各異常画像群から代表画像を抽出することで、検出された異常領域を網羅しつつ、抽出枚数が抑制された代表画像を取得することが可能となる。それにより、ユーザは、正確且つ効率の良い診断を行うことが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図４は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。図４に示すように、実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部２００を備える。この演算部２００は、図１に示す近傍範囲設定部１２０の代わりに、近傍範囲設定部２１０を備える。近傍範囲設定部２１０以外の演算部２００の各部の動作、及び演算部２００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

近傍範囲設定部２１０は、時系列近傍範囲を、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲で、異常領域の特性に応じて適応的に設定する。より詳細には、近傍範囲設定部２１０は、異常領域に関する情報（以下、異常領域情報という）を取得する注目領域情報取得手段としての異常領域情報取得部２１１を備え、この異常領域情報に基づいて時系列近傍範囲を設定する。

本実施の形態２において、異常領域情報取得部２１１は、異常領域の種類を分類し、この分類結果を異常領域情報とする。ここで、管腔内画像から検出される異常領域とは、具体的には、出血、血管異常、粘膜異常のように、管腔内において連続的に発生する異常領域（以下、連続性異常領域という）と、発赤、出血点、潰瘍のように、管腔内において散発的に発生する異常領域（以下、散発性異常領域という）とに分類することができる。連続性異常領域は、時系列に並ぶ複数の管腔内画像において比較的連続的に観察され易い異常領域である。一方、散発性異常領域は、時系列に並ぶ複数の管腔内画像において比較的散発的に観察され易い異常領域である。

異常領域情報取得部２１１は、各異常領域が、このような種々の異常領域のうち、出血、血管異常、及び粘膜異常等の連続性異常領域であるか否かを判定する連続異常判定部（連続性判定手段）２１１ａを備える。

次に、実施の形態２に係る画像処理装置の動作について説明する。実施の形態２に係る画像処理装置の動作は、全体として、実施の形態１において参照した図２と同様であり、図２に示すステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図５は、図２に示すステップＳ１２において、近傍範囲設定部２１０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部２１０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＡの処理を実行する。

まず、ステップＳ２０１において、連続異常判定部２１１ａは、異常画像に含まれる異常領域が、出血、粘膜異常、血管異常等の連続性異常領域であるか否かを判定する。ここで、出血とは、管腔内の粘膜から血液が流出している状態を示す。粘膜異常とは管腔内の粘膜の表面が肥大又は萎縮等の異常を来している状態を示す。血管異常とは、血管が不自然に拡張又は蛇行している状態を示す。

図６は、連続異常判定部２１１ａが実行する連続性異常領域の判定処理を示すフローチャートである。図６に示すステップＳ２１１において、連続異常判定部２１１ａは、異常画像内の異常領域をラベリングする。ラベリングとしては、公知の手法を用いることができる（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１８１頁〜第１８２頁）。

続くステップＳ２１２において、連続異常判定部２１１ａは、ラベリングされた異常領域の色特徴量、形状特徴量、及びテクスチャ特徴量を算出する。ここで、出血は、赤色系を呈し、面積は比較的大きく、楕円形状又は円形状に近い形状をなし、滑らかなテクスチャを有する。また、粘膜異常は、やや赤色又は粘膜色を呈し、形状は不定であり、激しい凹凸や、荒れたテクスチャを有する。血管異常は、赤色系を呈し、面積は比較的大きく、線形状をなし、滑らかなテクスチャを有する。このように、異常領域は、出血、粘膜異常、血管異常といった種類ごとに、特有の色や形状やテクスチャを有する。そこで、特徴量連続異常判定部２１１ａは、これらの色や形状やテクスチャを数値化した色特徴量、形状特徴量、及びテクスチャ特徴量を、各異常領域に対して算出する。

色特徴量としては、画素値の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）や、これらの各色成分を基に公知の変換により２次的に算出した値（例えば、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）の平均値又は中央値等の統計値が用いられる。或いはＨＳＩ色空間におけるヒストグラムを色特徴量として用いても良い。

形状特徴量としては、ＨＯＧ（Histograms of Oriented Gradients）、面積、円形度、周囲長、フェレ径等の形状特徴パラメータ（参考：山下隆義、他、「特定物体認識に有効な特徴量」より「３．２．２．ＨＯＧ特徴量」、情報処理学会研究報告、コンピュータビジョンとイメージメディア研究会、ＣＶＩＭ２００８ １６５−３２、第２２１〜２３６頁（２００８年１１月２７〜２８日）、ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１８３頁〜第１８４頁、東京大学出版会、「画像解析ハンドブック」、第５８０頁）が用いられる。ここで、面積は、ステップＳ２１１においてラベリングされた画素の総数である。また、周囲長は、８連結の場合の輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１７８頁〜第１７９頁）を行い、上下左右に追跡移動した画素数をＣ₁、斜めに追跡移動した画素数をＣ₂としたときに、Ｃ₁＋（√２）Ｃ₂によって与えられる。円形度は、異常領域の面積をＳ、周囲長をＬとした場合に、４πＳ／Ｌ²によって与えられる値であり、値が１に近いほど形状は真円に近くなる。なお、異常領域の形状がどの程度真円から遠いかを判定するためには、円形度の代わりに、パラメータ（１−４πＳ／Ｌ²）を用いても良い。フェレ径は、異常領域の形状が線形状であるか否か、また、線形状の場合にはどの程度の幅を有するかを判別するパラメータであり、水平フェレ径及び垂直フェレ径によって表される。

テクスチャ特徴量としては、一例として、公知技術であるLocal Binary Pattern（ＬＢＰ）が用いられる（参考：野坂龍佑、他、「Local Binary Patternの隣接関係に基づく照明変動に頑健な特徴抽出」より「２．ＬＢＰヒストグラム」、電子情報通信学会技術研究報告、パターン認識・メディア理解、ＰＲＭＵ２０１１−６９、第７５〜８０頁（２０１１年９月５〜６日））。ＬＢＰは、注目画素とその周囲８方向の画素との大小関係を、２の８乗である２５６次元のヒストグラムで表した特徴量である。ＬＢＰを本実施の形態２に適用する場合、異常領域内の各画素と周囲８方向の画素との大小関係をヒストグラムで表し、これをテクスチャ特徴量とする。

続くステップＳ２１３において、連続異常判定部２１１ａは、各特徴量をもとに、異常領域が出血、粘膜異常、又は血管異常のいずれかに当てはまるか否かを判定する。詳細には、まず、ステップＳ２１２において算出した各特徴量を正規化した上で重み付けをして統合することにより、判定対象の異常領域に関するｋ行１列の特徴ベクトルｘを作成する。特徴ベクトルｘの次元数ｋは、特徴量として例えばＲ、Ｇ、Ｂの各成分の値を用いる場合、ｋ＝３となる。

そして、事前に作成した異常領域の識別関数を利用して、異常領域の分類を行う。実際には、次式（２）に示すように、確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この分類指標Ｐ（ｘ）が閾値以上である場合に、当該異常領域を、出血、粘膜異常、又は血管異常と判定する。

式（２）によって与えられる分布指標Ｐ（ｘ）は、特徴ベクトルｘが出血、粘膜異常、血管異常のいずれかであるか否かを示す分類指標である。記号Ｚは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの分散共分散行列（ｋ行ｋ列）である。記号｜Ｚ｜は、分散共分散行列Ｚの行列式である。記号Ｚ^-1は、分散共分散行列Ｚの逆行列である。記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル（ｋ行１列）である。

異常領域が連続性異常領域であるか否かの判定後、近傍範囲設定部２１０の動作はメインルーチンに戻る。
なお、上記説明においては、確率モデルを用いた異常領域の分類方法を示したが、異常領域が連続性異常領域（出血、粘膜異常、血管異常）であるか否かを判定することができれば、他の方法を用いても良い。例えば、判定対象である異常領域の特徴ベクトルと、連続性異常領域の代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内に分類境界を設定する方法等を採用しても構わない。

ステップＳ２０１に続くステップＳ２０２において、近傍範囲設定部２１０は、ステップＳ２０１における異常領域の判定結果を異常領域情報として取得し、この異常領域情報をもとに、時系列近傍範囲を決定するパラメータγ（γ＝α＋β）における固定値αに対する拡張値βを決定する。ここで、固定値αは１以上の定数である。また、本実施の形態２において、拡張値βは、異常領域の分類結果に応じて適応的に決定される値である。固定値α及び拡張値βは、両者の和であるパラメータγが、一連の管腔内画像において時系列的に連続する管腔内画像の間隔（１枚）よりも大きい値になるように設定される（即ち、γ≧２）。

ステップＳ２０１における異常領域の判定結果が連続性異常領域であった場合、近傍範囲設定部２１０は、拡張値β＝β₁として１以上の値を設定する。ここで、連続性異常領域である血液は流れる、粘膜異常は拡がる、血管異常は局所的ではなく全体を俯瞰し判定される、といった特性を有するため、これらの連続性異常領域は、管腔内の広範囲に広がっている可能性が高い。そのため、連続性異常領域が管腔内画像群から検出された場合、同じ連続性異常領域が写った画像が広範囲にわたって存在する可能性は、異常領域が連続性異常領域でない場合と比べて高いと考えられる。従って、拡張値β₁は、比較的大きな値（例えば、β₁＝５〜２０程度）に設定される。この際、拡張値β₁を、異常領域の種類（出血、粘膜異常、血管異常）に応じて変化させても良いし、一律としても良い。

一方、ステップＳ２０１における判定の結果、異常領域が連続性異常領域でなかった場合、近傍範囲設定部２１０は、拡張値β＝β₂として、上記拡張値β₁よりも小さい値を設定する（例えば、β₂＝１〜５程度）。なお、最終的にパラメータγを２以上とすることができれば、固定値αの値によっては、拡張値β₂をゼロ又はマイナスの値としても良い。

続くステップＳ２０３において、近傍範囲設定部２１０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に含まれる異常領域の種類に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＡの処理がなされた後、続くステップＳ２０４において、近傍範囲設定部２１０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部２００の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態２によれば、異常領域が出血、粘膜異常、血管異常等の連続性異常領域である場合に、異常領域が連続性異常領域でない場合と比べて、より広い時系列近傍範囲を設定することができる。従って、同一の異常領域が一連の管腔内画像の広い範囲から検出された場合であっても、これらの異常領域を含む異常画像を同じ異常画像群にグルーピングすることができ、代表画像を適切に抽出することが可能となる。

なお、上記実施の形態２においては、パラメータγを、固定値αと拡張値βの和として算出したが、異常領域情報をもとに、拡張値βの代わりに係数β’又は乗数β”を決定し、ステップＳ２０３において、パラメータγを、γ＝α×β’又はγ＝α^β”として算出しても良い。この場合、異常領域が連続性異常領域のときには、係数β’又は乗数β”を、連続性異常領域でないときよりも大きくする。

或いは、管腔内画像において連続性異常領域を含む異常画像が連続する枚数の平均値（以下、平均連続枚数という）を事前に取得し、連続性異常領域の種類と平均連続枚数とをテーブルに格納して記録部５０に予め記録しておいても良い。この場合、近傍範囲設定部２１０は、記録部５０から該テーブルを読み出し、ステップＳ２０１における判定結果に応じた平均連続枚数を抽出して、時系列近傍範囲として設定すれば良い。

（変形例２−１）
次に、本発明の実施の形態２の変形例２−１について説明する。
図７は、本発明の実施の形態２の変形例２−１に係る画像処理装置が備える演算部の構成を示すブロック図である。図７に示すように、変形例２−１おける演算部２２０は、図４に示す近傍範囲設定部２１０の代わりに、近傍範囲設定部２３０を備える。

近傍範囲設定部２３０は、異常領域情報を取得する異常領域情報取得部２３１を備え、各異常画像に対し、異常領域情報取得部２３１が取得した異常領域情報に応じて、時系列近傍範囲を適応的に設定する。本変形例２−１において、異常領域情報取得部２３１は、各異常領域が、上述した種々の異常領域のうち、発赤、出血点、潰瘍等の散発性異常領域であるか否かを判定する散発異常判定部（散発性判定手段）２３１ａを備え、散発異常判定部２３１ａによる判定結果（異常領域が散発性異常領域であるか否か）を、異常領域情報として取得する。

次に、変形例２−１に係る画像処理装置の動作について説明する。変形例２−１に係る画像処理装置の動作は、全体として、実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図８は、図２に示すステップＳ１２において、近傍範囲設定部２３０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部２３０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＢの処理を実行する。

まず、ステップＳ２２１において、散発異常判定部２３１ａは、異常画像に含まれる異常領域が、発赤、出血点、潰瘍等の散発性異常領域であるか否かを判定する。ここで、発赤とは、粘膜が炎症を起こし、赤い斑点模様が部分的に現れている状態を示す。出血点とは、粘膜からごく少量の血液が流出しているが、血液の流出源が局所的である状態を示す。潰瘍は、粘膜が炎症を起こし、粘膜上に局所的な荒れが生じている状態を示す。潰瘍においては、粘膜上の荒れの中心に、白苔・黒苔といった炎症部位が現れることもある。なお、本変形例２−１においては、縦走潰瘍のように、粘膜上に大きく広がる潰瘍は含めないこととする。

図９は、散発異常判定部２３１ａが実行する散発性異常領域の判定処理を示すフローチャートである。図９に示すステップＳ２３１において、散発異常判定部２３１ａは、異常画像内の異常領域をラベリングする。

続くステップＳ２３２において、散発異常判定部２３１ａは、ラベリングされた異常領域の色特徴量、形状特徴量、及びテクスチャ特徴量を算出する。ここで、発赤は、赤色系を呈し、面積は比較的小さく、滑らかなテクスチャを有する。また、出血点は、赤色系を呈し、面積は比較的小さく、円形状から僅かな流血部が伸びる形状をなし、滑らかなテクスチャを有する。潰瘍は、赤色に加え、白苔の白色又は黒苔の黒色の色特性を有し、面積は比較的小さく、中心部の白苔又は黒苔を示す小さい円形状と、粘膜の炎症部を示す大きい円形状との二重円形状をなし、中心部の白苔又は黒苔は滑らかなテクスチャを有し、その周辺の炎症部は荒れたテクスチャを有する。

散発異常判定部２３１ａは、このような色や形状やテクスチャを数値化した色特徴量、形状特徴量、及びテクスチャ特徴量を、各異常領域に対して算出する。色特徴量、形状特徴量、及びテクスチャ特徴量の具体的な内容は、実施の形態２と同様である。なお、色特徴量のうち、無彩色を示す色特徴量は、白苔又は黒苔の存在を示す指標となる。また、散発性異常領域は管腔内に局所的に存在するため、面積や円形度やフェレ径等の形状特徴量を用いることは有効である。さらに、潰瘍においては、粘膜の色が炎症により変化すると共に、構造的にも、炎症の影響により正常な粘膜と比べて凹凸が顕著になるので、ＬＢＰ等のテクスチャ特徴量を用いることも有効である。

続くステップＳ２３３において、散発異常判定部２３１ａは、各特徴量をもとに、異常領域が、発赤、出血点、又は潰瘍のいずれかに当てはまるか否かを判定する。この判定方法は、実施の形態２（図６のステップＳ２１３参照）と同様である。その後、近傍範囲設定部２３０の動作は、メインルーチンに戻る。

ステップＳ２２１に続くステップＳ２２２において、近傍範囲設定部２３０は、ステップＳ２２１における異常領域の判定結果を異常領域情報として取得し、この異常領域情報をもとに、パラメータγにおける固定値αに対する拡張値βを決定する。本変形例２−１においても、固定値α及び拡張値βは、両者の和であるパラメータγが２以上となるように設定される。

ステップＳ２２１における判定の結果、異常領域が散発性異常領域でなかった場合、近傍範囲設定部２３０は、拡張値β＝β₃を設定する。なお、最終的にパラメータγを２以上とすることができれば、固定値αの値によっては、拡張値β₃をゼロとしても良い。

一方、ステップＳ２２１における異常領域の判定結果が散発性異常領域であった場合、近傍範囲設定部２３０は、拡張値β＝β₄として、上記拡張値β₃よりも小さい値を設定する。これは、散発性異常領域は、管腔内に局所的に存在しているので、散発性異常領域が管腔内画像群から検出された場合であっても、同じ散発性異常領域が写った画像が広範囲にわたって存在する可能性は、異常領域が散発性異常領域でない場合と比べて低いからである。また、この際、拡張値β₄を、異常領域の種類（発赤、出血点、潰瘍）に応じて変化させても良いし、一律としても良い。なお、最終的にパラメータγを２以上とすることができれば、固定値αの値によっては、拡張値β₄をマイナスの値としても良い。

続くステップＳ２２３において、近傍範囲設定部２３０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に含まれる異常領域の種類に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＢの処理がなされた後、続くステップＳ２２４において、近傍範囲設定部２３０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部２２０の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態２の変形例２−１によれば、異常領域が発赤、出血点、潰瘍等の散発性異常領域である場合に、異常領域が散発性異常領域でない場合と比べて、より狭い時系列近傍範囲を設定することができる。従って、管腔内画像群から異常領域が散発的に検出された場合、互いに異なる異常領域を含む異常画像を別の異常画像群にグルーピングすることができ、代表画像を適切に抽出することが可能となる。

なお、上記変形例２−１においては、パラメータγを、固定値αと拡張値βの和として算出したが、異常領域情報をもとに、拡張値βの代わりに係数β’又は乗数β”を決定し、ステップＳ２０３において、パラメータγを、γ＝α×β’又はγ＝α^β”として算出しても良い。この場合、異常領域が散発性異常領域のときには、係数β’又は乗数β”を、散発性異常領域でないときよりも小さくする。

或いは、管腔内画像において散発性異常領域を含む異常画像が連続する枚数の平均値（以下、平均連続枚数という）を事前に取得し、散発性異常領域の種類と平均連続枚数とをテーブルに格納して記録部５０に予め記録しておいても良い。この場合、近傍範囲設定部２１０は、記録部５０から該テーブルを読み出し、ステップＳ２０１における判定結果に応じた平均連続枚数を抽出して、時系列近傍範囲として設定すれば良い。

（変形例２−２）
次に、本発明の実施の形態２の変形例２−２について説明する。
図１０は、本発明の実施の形態２の変形例２−２に係る画像処理装置が備える演算部の構成を示すブロック図である。図１０に示すように、変形例２−２における演算部２４０は、図４に示す近傍範囲設定部２１０の代わりに、近傍範囲設定部２５０を備える。

近傍範囲設定部２５０は、異常領域情報を取得する異常領域情報取得部２５１を備え、各異常画像に対し、異常領域情報取得部２５１が取得した異常領域情報に応じて、時系列近傍範囲を適応的に設定する。本変形例２−２において、異常領域情報取得部２５１は、異常領域が出血、粘膜異常、血管異常等の連続性異常領域であるかを判定する連続異常判定部２１１ａと、異常領域が発赤、出血点、潰瘍等の散発性異常領域であるか否かを判定する散発異常判定部２３１ａとを備え、連続異常判定部２１１ａ及び散発異常判定部２３１ａの判定結果に基づく異常領域の分類結果を異常領域情報として取得する。なお、連続異常判定部２１１ａの動作は実施の形態２と同様であり、散発異常判定部２３１ａの動作は変形例２−１と同様である。

次に、変形例２−２に係る画像処理装置の動作について説明する。変形例２−２に係る画像処理装置の動作は、全体として実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図１１は、図２に示すステップＳ１２において、近傍範囲設定部２５０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部２５０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＣの処理を実行する。

まず、ステップＳ２４１において、異常領域情報取得部２５１は、異常画像に含まれる異常領域を、連続性異常領域と、散発性異常領域と、それ以外の異常領域とに分類する。詳細には、連続異常判定部２１１ａが、当該異常領域が連続性異常領域であるか否かを判定し、散発異常判定部２３１ａが、当該異常領域が散発性異常領域であるか否かを判定する。

続くステップＳ２４２において、近傍範囲設定部２５０は、ステップＳ２４１における分類の結果、異常領域が連続異常領域であるか否かを判定する。異常領域が連続異常領域である場合（ステップＳ２４２：Ｙｅｓ）、近傍範囲設定部２５０は、パラメータγにおける固定値αに対する拡張値β＝β₅（β₅＞０）を決定する（ステップＳ２４３）。その後、近傍範囲設定部２５０の動作は、ステップＳ２４７に移行する。

一方、異常領域が連続異常領域でなかった場合（ステップＳ２４２：Ｎｏ）、続いて、近傍範囲設定部２５０は、異常領域が散発異常領域であるか否かを判定する（ステップＳ２４４）。異常領域が散発異常領域であった場合（ステップＳ２４４：Ｙｅｓ）、近傍範囲設定部２５０は、パラメータγにおける固定値αに対する拡張値β＝β₆を決定する（ステップＳ２４５）。この際の拡張値β₆は、ステップＳ２４３において決定される拡張値β₅よりも小さい値とする。その後、近傍範囲設定部２５０の動作は、ステップＳ２４７に移行する。

一方、異常領域が散発異常領域でなかった場合（ステップＳ２４４：Ｎｏ）、近傍範囲設定部２５０は、パラメータγにおける固定値αに対する拡張値β＝β₇を決定する（ステップＳ２４６）。この際の拡張値β₇は、ステップＳ２４３において決定される拡張値β₅よりも小さく、ステップＳ２４５において決定される拡張値β₆よりも大きい値とする。

ここで、固定値α及び拡張値β（β₅、β₆、β₇）としては、後述するように、両者を足し合わせたときに、一連の管腔内画像において時系列的に連続する管腔内画像の間隔、即ち１枚よりも大きい値になるように設定する。さらに、この条件の下で、拡張値β₅、β₆、β₇は、β₅＞β₇＞β₆となるように決定される。この際、β₅＞０、β₇＝０、β₆＜０としても良いし、β₅＞β₇＞β₆＞０としても良い。

続くステップＳ２４７において、近傍範囲設定部２５０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に含まれる異常領域の種類に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＣの処理がなされた後、続くステップＳ２４８において、近傍範囲設定部２５０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部２４０の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態２の変形例２−２によれば、異常領域が連続異常領域であるか、散発異常領域であるか、或いはそのいずれでもないかの分類結果に応じて、パラメータγを適応的に決定することができる。それにより、異常領域の種類に応じて同一の異常領域を含む異常画像を適切にグルーピングすることができるので、代表画像を適切に抽出することが可能となる。

なお、変形例２−２においては、連続異常領域及び散発異常領域をそれぞれ判別する際の分類指標Ｐ（ｘ）の閾値を調整するなどして、異常領域を連続異常領域と散発異常領域とのいずれかに分類することとしても良い。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１２は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。図１２に示すように、実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部３００を備える。この演算部３００は、図１に示す近傍範囲設定部１２０の代わりに、近傍範囲設定部３１０を備える。近傍範囲設定部３１０以外の演算部３００の各部の動作、及び演算部３００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

近傍範囲設定部３１０は、異常領域情報を取得する異常領域情報取得部３１１を備え、時系列近傍範囲を、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲で、異常領域情報取得部２３１が取得した異常領域情報に応じて適応的に設定する。

本実施の形態３において、異常領域情報取得部３１１は、異常領域の明瞭度を算出する明瞭度算出部３１１ａを備え、明瞭度算出部３１１ａが算出した異常領域の明瞭度を異常領域情報として取得する。

次に、実施の形態３に係る画像処理装置の動作について説明する。実施の形態３に係る画像処理装置の動作は、全体として実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図１３は、図２に示すステップＳ１２において、近傍範囲設定部３１０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部３１０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＤの処理を実行する。

まず、ステップＳ３０１において、明瞭度算出部３１１ａは、異常画像に含まれる異常領域の明瞭度を算出する。図１４は、明瞭度算出部３１１ａが実行する明瞭度算出処理を示すフローチャートである。図１４に示すステップＳ３１１において、明瞭度算出部３１１ａは、異常画像内の異常領域をラベリングする。

続くステップＳ３１２において、明瞭度算出部３１１ａは、異常画像を１チャンネルの画像に変換する。１チャンネルの画像は任意の成分を画素値とするものであって良い。具体的には、異常画像を構成する各画素の画素値のＲ成分、Ｇ成分、又はＢ成分のいずれか、色比Ｇ／Ｒ又はＢ／Ｇ、上記Ｒ成分、Ｇ成分、及びＢ成分を特定の比率で加算した輝度等を画素値とする画像が作成される。

続くステップＳ３１３において、明瞭度算出部３１１ａは、ステップＳ３１３において作成した１チャンネルの画像に対し、画像の濃度ヒストグラムを作成し、該濃度ヒストグラムに基づき、ステップＳ３１１においてラベリングされた異常領域のコントラストを求める。異常領域のコントラストＣは、異常領域における画素値の最大値をＬ_max、最小値をＬ_minとしたときに、次式（３）によって与えられる。
Ｃ＝（Ｌ_max−Ｌ_min）／（Ｌ_max＋Ｌ_min） …（３）

続くステップＳ３１４において、明瞭度算出部３１１ａは、ステップＳ３１１においてラベリングされた異常領域のサイズ（面積）、即ち、該異常領域に含まれる総画素数を算出する。

続くステップＳ３１５において、明瞭度算出部３１１ａは、異常領域のコントラスト及びサイズをもとに、異常領域の明瞭度を算出する。異常領域の明瞭度Ｖは、異常領域のコントラストＣ、異常領域のサイズＳ、任意の係数ｋ₁、ｋ₂（ｋ₁＞０、ｋ₂＞０）を用いて、次式（４）によって与えられる。
Ｖ＝ｋ₁×Ｃ＋ｋ₂×Ｓ …（４）
その後、近傍範囲設定部３１０の動作は、メインルーチンに戻る。

ステップＳ３０１に続くステップＳ３０２において、近傍範囲設定部３１０は、ステップＳ３０１において算出された明瞭度を異常領域情報として取得し、この異常領域情報をもとに、パラメータγにおける固定値αに対する拡張値βを決定する。本実施の形態３において、この拡張値βは、異常領域の明瞭度に応じて適応的に決定される値である。また、これらの固定値α及び拡張値βは、両者の和であるパラメータγが２以上となるように設定される。

ここで、異常領域の明瞭度が低い場合、当該異常領域は、管腔内の淡い又は小さい異常部位が写った領域であると考えられる。このような異常部位は安定的に検出することが困難であるため、一連の管腔内画像においても、異常領域が途切れて検出される可能性が高い。そこで、本実施の形態３においては、明瞭度Ｖが低いほど拡張値βを大きい値に設定し、明瞭度Ｖが高いほど拡張値βを小さい値に設定する。

続くステップＳ３０３において、近傍範囲設定部３１０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に含まれる異常領域の明瞭度に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＤの処理がなされた後、続くステップＳ３０４において、近傍範囲設定部３１０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部３００の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態３によれば、異常画像内における異常領域の明瞭度に応じて時系列近傍範囲を適応的に設定するので、異常領域を安定して検出できない場合であっても、同一の異常領域を含む異常画像が異なる異常画像群に分散するのを抑制し、異常画像が適切にグルーピングすることができる。従って、複数の異常画像群から同じ異常領域を含む異常画像が代表画像として抽出されるのを抑制することができ、代表画像を適切に抽出することが可能となる。

なお、上記実施の形態３においては、異常領域のコントラストを算出したが、画像全体のコントラストが高い場合も明瞭度が良いといえるので、画像全体のコントラストを算出し、このコントラストを用いて明瞭度を算出しても良い。

また、上記実施の形態３においては、異常領域のコントラスト及び面積に基づいて明瞭度を算出したが、コントラスト又は面積のいずれかを明瞭度として用いても良い。

また、上記実施の形態３においても、パラメータγを算出する際（ステップＳ３０３参照）、固定値αに加算される拡張値βの代わりに、固定値αの係数β’又は乗数β”を決定し、γ＝α×β’又はγ＝α^β”としてパラメータγを算出しても良い。この場合、係数β’又は乗数β”を、明瞭度が低いほど大きくする。

また、本実施の形態３における時系列近傍範囲の設定方法を、上記実施の形態２又は変形例２−１、２−２における時系列近傍範囲の設定方法と組み合わせても良い。具体的には、異常領域の分類結果に応じて時系列近傍範囲を設定し、異常領域の明瞭度が高い場合には該時系列近傍範囲を縮小し、明瞭度が低い場合には該時系列近傍範囲を拡大するといった調整を行っても良い。

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１５は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。図１５に示すように、実施の形態４に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部４００を備える。この演算部４００は、図１に示す近傍範囲設定部１２０の代わりに、近傍範囲設定部４１０を備える。近傍範囲設定部４１０以外の演算部４００の各部の動作、及び演算部４００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

近傍範囲設定部４１０は、異常画像に関する画像情報を取得する画像情報取得部４１１を備え、時系列近傍範囲を、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲で、画像情報取得部４１１が取得した画像情報に基づいて適応的に設定する。

本実施の形態４において、画像情報取得部４１１は、検出対象である異常領域との関連性がない領域である不要領域を異常画像から検出する不要領域検出部４１１ａを備え、不要領域検出部４１１ａが検出した不要領域の検出結果を画像情報として取得する。不要領域とは、具体的に、検査上において不要な領域である泡や残渣等が写った領域のことを指す。

次に、実施の形態４に係る画像処理装置の動作について説明する。実施の形態４に係る画像処理装置の動作は、全体として実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図１６は、図２に示すステップＳ１２において、近傍範囲設定部４１０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部４１０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＥの処理を実行する。

まず、ステップＳ４０１において、不要領域検出部４１１ａは、異常画像内の不要領域を検出する。図１７は、不要領域検出部４１１ａが実行する不要領域の検出処理を示すフローチャートである。図１７に示すステップＳ４１１において、不要領域検出部４１１ａは、異常画像に対して領域分割を行うことにより、複数の小領域に分割する。領域分割は、公知の手法を用いることができ、一例として、類似した特徴量を有し、且つ空間的に近接した画素を統合する近接画素の統合による領域分割処理が挙げられる。

続くステップＳ４１２において、不要領域検出部４１１ａは、分割された各小領域の色特徴量、形状特徴量、及びテクスチャ特徴量を算出する。色特徴量として、具体的には、残渣特有の黄色系や白色系の色を検出するため、小領域を構成する画素における色比Ｇ／Ｒや色比Ｂ／Ｇの平均値が算出される。或いは、ＨＳＩ色空間におけるヒストグラムを色特徴量として算出しても良い。また、形状特徴量としては、小領域を構成する画素と泡モデルとの相関値が算出される。ここで、泡モデルは、泡の輪郭部及び泡の内部に存在する照明反射による弧形状の凸エッジといった泡画像の特徴に基づいて設定される（参考：特開２００７−３１３１１９号公報）。また、テクスチャ特徴量としては、残渣の模様を検出するため、照明変化に対して頑強であり、細かい構造を捉えることが可能なＬＢＰが算出される。

続くステップＳ４１３において、不要領域検出部４１１ａは、各小領域の各特徴量をもとに、異常画像内に泡や残渣等の不要領域が存在するか否かを判定する。詳細には、各特徴量を正規化した上で重み付けをして統合することにより、判定対象の小領域に関するｋ行１列の特徴ベクトルｘを作成する。そして、事前に作成した不要領域の識別関数を利用して、不要領域の分類を行う。この際には、上述した（２）に示すように、確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この分類指標Ｐ（ｘ）が閾値以上である場合に、当該小領域を、泡領域又は残差領域と判定する。その後、近傍範囲設定部４１０の動作はメインルーチンに戻る。

なお、泡領域及び残渣領域の判定（検出）方法は、上述した特徴量を用いる方法に限定されない。例えば、泡領域の判定方法としては、小領域の輝度高周波特徴量に基づいて泡領域を検出する方法（参考：特開２０１０−１１５２６０号公報）や、泡領域が有する内部構造の特徴に基づいて、泡を表す円形状領域の候補点を抽出し、該候補点が有する情報に基づいて泡領域に相当する円形状領域を抽出する方法（参考：特開２０１２−１２５４６９号公報）や、画像から円形状又は円弧形状を有する領域を泡候補領域として抽出し、該泡候補領域の周縁部に含まれる境界領域の情報を用いて泡候補領域が泡領域であるか否かを判定する方法（参考：特開２０１２−１２０７９９号公報）を用いても良い。また、残渣領域の判定方法としては、画像を構成する画素の色情報をもとに異常部の候補領域を検出し、該候補領域の境界近傍画素のうち、生体内における吸収の度合いに応じた特定波長成分に対応する画素の画素値に基づく特徴量をもとに、残渣領域と異常部領域とを識別する方法（参考：特開２０１３−１１１４２０号公報）や、異常部の候補領域の形状情報とその周囲領域の形状情報との類似性に基づいて、当該候補領域が粘膜に存在する異常部であるか、粘膜から浮遊している残渣であるかを判別する方法（参考：特開２０１３−２２３６７２号公報）を用いても良い。

ステップＳ４０１に続くステップＳ４０２において、近傍範囲設定部４１０は、ステップＳ４０１において検出された不要領域の検出結果を画像情報として取得し、この画像情報をもとに、パラメータγにおける固定値αに対する拡張値βを決定する。本実施の形態４において、この拡張値βは、不要領域の量に応じて適応的に決定される値である。また、これらの固定値α及び拡張値βは、両者の和であるパラメータγが２以上となるように設定される。

ここで、異常画像内に泡や残渣等の不要領域が多く存在する場合、異常領域がこれらの不要領域に隠されてしまうことがあり、一連の管腔内画像において、異常領域が途切れて検出される可能性が高い。また、泡や残渣等の不要領域が存在する場合、異常領域の周囲における画像の状態が大きく変化するので、異常領域の検出自体が困難になることもある。そこで、本実施の形態４においては、異常画像から検出された不要領域が多いほど拡張値βを大きい値に設定し、不要領域が少ないほど拡張値βを小さい値に設定する。不要領域の量は、例えば、異常画像の面積（画素数）に対する不要領域の面積（画素数）の占有率を閾値処理することにより判定すれば良い。或いは、異常画像から検出された不要領域の個数を閾値処理することにより、不要領域の量の多少を判定しても良い。

続くステップＳ４０３において、近傍範囲設定部４１０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に含まれる不要領域の量に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＥの処理がなされた後、続くステップＳ４０４において、近傍範囲設定部４１０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部４００の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態４によれば、異常画像から検出された不要領域の量に応じて時系列近傍範囲を適応的に設定するので、不要領域の存在により異常領域を安定して検出できない場合であっても、同一の異常領域を含む異常画像が異なる異常画像群に分散するのを抑制し、異常画像を適切にグルーピングすることができる。従って、複数の異常画像群から同じ異常領域を含む異常画像が代表画像として抽出されるのを抑制することができ、代表画像を適切に抽出することが可能となる。

なお、上記実施の形態４においても、パラメータγを算出する際（ステップＳ４０３参照）、固定値αに加算される拡張値βの代わりに、固定値αの係数β’又は乗数β”を決定し、γ＝α×β’又はγ＝α^β”としてパラメータγを算出しても良い。この場合、係数β’又は乗数β”を、不要領域の量が多いほど大きくする。

また、本実施の形態４における時系列近傍範囲の設定方法を、他の実施の形態における時系列近傍範囲の設定方法と組み合わせても良い。例えば、異常領域の分類結果に応じて設定された時系列近傍範囲に対し（実施の形態２、変形例２−１、２−２参照）、不要領域の量が多い場合には該時系列近傍範囲を拡大し、不要領域の量が少ない場合には該時系列近傍範囲を縮小するといった調整を行っても良い。また、異常領域の明瞭度に応じて設定された時系列近傍範囲に対し（実施の形態３参照）、同様に不要領域の量に応じた調整を行っても良い。

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図１８は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。図１８に示すように、実施の形態５に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部５００を備える。この演算部５００は、図１に示す近傍範囲設定部１２０及び異常画像群抽出部１３０の代わりに、近傍範囲設定部５１０及び異常画像群抽出部５２０を備える。近傍範囲設定部５１０及び異常画像群抽出部５２０以外の演算部５００の各部の動作、及び演算部５００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

近傍範囲設定部５１０は、異常画像に関する画像情報を取得する画像情報取得部５１１を備え、時系列近傍範囲を、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲で、画像情報取得部５１１が取得した画像情報に基づいて適応的に設定する。本実施の形態５において、画像情報取得部５１１は、異常画像に写った臓器の種類を分類する臓器分類部５１１ａを備え、臓器分類部５１１ａが分類した臓器の種類を表す情報（臓器情報）を画像情報として取得する。

異常画像群抽出部５２０は、近傍範囲設定部５１０が設定した時系列近傍範囲と、画像情報取得部５１１が取得した画像情報（臓器情報）とに基づいて、同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態５に係る画像処理装置の動作について説明する。実施の形態５に係る画像処理装置の動作は、全体として実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作、及びステップＳ１３における異常画像群の抽出処理が実施の形態１と異なる。

図１９は、図２に示すステップＳ１２において近傍範囲設定部５１０が実行する時系列近傍範囲の設定動作を示すフローチャートである。近傍範囲設定部５１０は、一連の管腔内画像から抽出された各異常画像（ステップＳ１１参照）について、ループＦの処理を実行する。

まず、ステップＳ５０１において、臓器分類部５１１ａは、異常画像の臓器情報を取得する。ここで、臓器情報とは、異常画像に写った臓器の種類を表す情報のことである。図２０は、臓器分類部５１１ａが実行する臓器情報の取得処理を示すフローチャートである。図２０に示すステップＳ５１１において、臓器分類部５１１ａは、異常画像内の異常領域をラベリングする。

続くステップＳ５１２において、臓器分類部５１１ａは、異常画像のうち、ラベリングされた異常領域以外の領域の色特徴量及びテクスチャ特徴量を算出する。ここで、胃の粘膜は、他の臓器の粘膜よりも赤みが強いという特徴を有する。また、小腸には絨毛の襞の模様が観察されるという特徴がある。大腸には残渣が多いため、大腸の粘膜表面の色又は模様や、残渣の量等において、他の臓器と違いが見られる。そのため、異常画像のうち、異常領域以外の領域の色特徴量やテクスチャ特徴量は、異常画像に写った臓器の種類を識別するための有効な指標となる。

異常領域以外の領域の色特徴量として、具体的には、該領域を構成する画素における色比Ｇ／Ｒや色比Ｂ／Ｇの平均値が算出される。或いは、ＨＳＩ色空間におけるヒストグラムを色特徴量として算出しても良い。また、テクスチャ特徴量としては、残渣の模様を検出するため、照明変化に対して頑強であり、細かい構造を捉えることが可能なＬＢＰが算出される。

続くステップＳ５１３において、臓器分類部５１１ａは、異常領域以外の領域の各特徴量をもとに、異常画像に写った臓器の種類を判別する。詳細には、各特徴量を正規化した上で重み付けをして統合することにより、異常領域以外の領域に関するｋ行１列の特徴ベクトルｘを作成する。そして、事前に作成した各種臓器の識別関数を利用して、当該領域に対応する臓器の判別を行う。この際には、臓器の種類ごとに、上述した式（２）に示す確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この分類指標Ｐ（ｘ）が閾値以上である場合に、当該臓器であると判別する。ここで判別された臓器の種類が、当該異常画像の臓器情報となる。その後、近傍範囲設定部５１０の動作はメインルーチンに戻る。

なお、臓器の種類の分類方法は、上述した特徴量を用いる方法に限定されない。例えば、異常画像の周波数成分情報をもとに臓器の種類を判別しても良い（参考：特開２００８−２７８９６３号公報）。或いは、臓器の種類を、ユーザが判別することとしても良い。具体的には、演算部５００における画像処理により、一連の管腔内画像の各々の平均色を算出し、これらの平均色を管腔内画像の並び順（時系列順）に配列したカラーバーを作成して表示部４０に表示させる。このカラーバー上における平均色の変わり目（境界）が、一連の管腔内画像における臓器の境界に対応する。そこで、入力部３０に対するユーザ操作に応じて、カラーバー上の特定のポイントを選択する信号が入力部３０から制御部１０に入力されると、制御部１０は、当該ポイントに対応する管腔内画像の画像番号を演算部５００に入力する。演算部５００は、入力された画像番号に対応する管腔内画像を臓器の境界として、各管腔内画像に写った臓器の種類を特定する。

続くステップＳ５０２において、近傍範囲設定部５１０は、ステップＳ５０１において取得された臓器情報を取得し、この臓器情報をもとに、パラメータγにおける固定値αに対する拡張値βを決定する。本実施の形態５において、この拡張値βは、臓器の種類に応じて適応的に決定される値である。また、これらの固定値α及び拡張値βは、両者の和であるパラメータγが２以上となるように設定される。

ここで、検査対象である臓器が決まっている場合（例えば、小腸を検査対象としている場合）、ユーザには、検査対象の臓器（例えば小腸）については代表画像を多めに抽出し、検査対象外の臓器（例えば胃又は大腸）については代表画像を少なめに抽出したいという要求がある。或いは、所定の前処置が施されることにより蠕動運動が激しくなった臓器においては、カプセル型内視鏡の通過速度が速いため、代表画像を多めに抽出したいという要求もある。

そこで、本実施の形態５においては、臓器情報に基づいて時系列近傍範囲を設定する。具体的には、近傍範囲設定部５１０は、検査対象の臓器が写った異常画像に対して設定する拡張値βを相対的に小さくし、より多くの異常画像群が抽出されるようにする一方、検査対象外の臓器が写った異常画像に対して設定する拡張値βを相対的に大きくし、抽出される異常画像群の数を抑制する。或いは、異常画像に写った臓器の蠕動運動が激しいほど、拡張値βを小さくしても良い。

続くステップＳ５０３において、近傍範囲設定部５１０は、パラメータγ＝α＋βをもとに時系列近傍範囲を設定する。即ち、処理対象の異常画像に写った臓器の種類に応じて決定された拡張値βを用いてパラメータγを算出し、当該異常画像を中心とする±γ枚の範囲に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

一連の管腔内画像から抽出された全ての異常画像に対してループＦの処理がなされた後、続くステップＳ５０４において、近傍範囲設定部５１０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部５００の動作はメインルーチンに戻る。

ステップＳ１２に続くステップＳ１３（図２参照）において、異常画像群抽出部５２０は、ステップＳ１２において設定された時系列近傍範囲と、ステップＳ５０１において取得された臓器情報とに基づいて、同一の異常領域を含む異常画像群を抽出する。詳細には、異常画像群抽出部５２０は、１つの時系列近傍範囲に含まれる異常画像同士を、同一の異常領域を含む異常画像群とする。この際、異なる臓器を跨いだ状態で時系列近傍範囲が設定されると、異なる臓器に存在する異なる異常領域を含む異常画像が同一の異常画像群として抽出され、代表画像を適切に抽出できなくなるおそれがある。そこで、本実施の形態５において、異常画像群抽出部５２０は、さらに、異常画像の臓器情報に基づいて、各異常画像の時系列近傍範囲又は統合された時系列近傍範囲を探索し、異常画像に写った臓器の種類が変化する箇所で時系列近傍範囲をカットする。それにより、１つの時系列近傍範囲内に、臓器の種類が異なる異常画像が含まれないようにする。

以上説明したように、本発明の実施の形態５によれば、異常画像に写った臓器の種類を分類し、臓器の種類に応じて時系列近傍範囲を適応的に設定すると共に、１つの時系列近傍範囲内に臓器の種類が異なる異常画像が含まれないように時系列近傍範囲を設定するので、検査の目的や臓器の状態に応じて代表画像を適切に抽出することが可能となる。

なお、上記実施の形態５においても、パラメータγを算出する際（ステップＳ５０３参照）、固定値αに加算される拡張値βの代わりに、固定値αの係数β’又は乗数β”を決定し、γ＝α×β’又はγ＝α^β”としてパラメータγを算出しても良い。この場合、係数β’又は乗数β”は、臓器の種類に応じて決定される。

また、本実施の形態５に係る時系列近傍範囲の設定方法を、他の実施の形態における時系列近傍範囲の設定方法と組み合わせても良い。例えば、異常領域の分類結果に応じて設定された時系列近傍範囲に対し（実施の形態２、変形例２−１、２−２参照）、異常画像に写った臓器の種類に応じて時系列近傍範囲の拡大又は縮小するといった調整を行っても良い。また、異常領域の明瞭度（実施の形態３参照）や不要領域の量（実施の形態４参照）に応じて設定された時系列近傍範囲に対し、同様に、臓器の種類に応じた調整を行っても良い。

（実施の形態６）
次に、本発明の実施の形態６について説明する。
図２１は、本発明の実施の形態６に係る画像処理装置が備える演算部の構成を示すブロック図である。図２１に示すように、実施の形態６に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部６００を備える。この演算部６００は、図１に示す近傍範囲設定部１２０の代わりに、近傍範囲設定部６１０を備える。近傍範囲設定部６１０以外の演算部６００の各部の動作、及び演算部６００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

近傍範囲設定部６１０は、当該画像処理装置に設定されている代表画像の表示方法（動画表示又は静止画表示）を表す表示情報を取得する表示情報取得部６１１を備え、時系列近傍範囲を、一連の管腔内画像において時系列的に連続する管腔内画像の間隔よりも広い範囲で、該表示情報取得部６１１が取得した表示情報に応じて適応的に設定する。

次に、実施の形態６に係る画像処理装置の動作について説明する。実施の形態６に係る画像処理装置の動作は、全体として実施の形態１において参照した図２と同様であり、ステップＳ１２における時系列近傍範囲の設定動作が実施の形態１と異なる。

図２２は、図２に示すステップＳ１２において近傍範囲設定部６１０が実行する時系列近傍範囲の設定動作を示すフローチャートである。
入力部３０に対するユーザ操作に応じて、代表画像の表示方法を指示する信号が入力部３０から制御部１０に入力されると、制御部１０は、該信号に従って代表画像の表示方法を設定する。ステップＳ６０１において、表示情報取得部６１１は、制御部１０が設定した表示方法を表す表示情報を取得する。

続くステップＳ６０２において、近傍範囲設定部６１０は、ステップＳ６０１において取得した表示情報をもとに、パラメータγにおける固定値αに対する拡張値βを決定する。本実施の形態６において、この拡張値βは、代表画像の表示方法に応じて適応的に決定される値である。また、これらの固定値α及び拡張値βは、両者の和であるパラメータγが２以上となるように設定される。

ここで、動画表示を行う場合、時系列近傍範囲が長すぎると、異常画像群から抽出される代表画像間でシーンの移り変わりが激しくなり、代表画像の観察が困難になるおそれがある。そのため、動画表示の場合には、時系列近傍範囲を比較的短めにすると良い。一方、静止画表示を行う場合には、ユーザは代表画像を１枚ずつ、所望の時間をかけて観察するため、類似する代表画像が多く抽出されると、観察効率が良くない。そのため、静止画表示の場合には、時系列近傍範囲を比較的長めにすると良い。そこで、近傍範囲設定部６１０は、表示情報に基づき、当該画像処理装置において動画表示が設定されている場合、拡張値βを相対的に小さくし、静止画表示が設定されている場合、拡張値βを相対的に大きくする。

続くステップＳ６０３において、近傍範囲設定部６１０は、パラメータγ＝α＋βをもとに、各異常画像に対して時系列近傍範囲を設定する。即ち、各異常画像を中心とする±γ枚に含まれる管腔内画像を、１つの時系列近傍範囲として設定する。

続くステップＳ６０４において、近傍範囲設定部６１０は、互いに異なる異常画像に設定された時系列近傍範囲の一部が重複する場合、重複する時系列近傍範囲同士を統合して１つの時系列近傍範囲とする。その後、演算部６００の動作はメインルーチンに戻る。

以上説明したように、本発明の実施の形態６によれば、代表画像の表示方法に応じて時系列近傍範囲を適応的に設定するので、ユーザは、表示方法に応じて適切に抽出された代表画像を効率良く観察することが可能となる。

なお、上記実施の形態６においても、パラメータγを算出する際（ステップＳ６０３参照）、固定値αに加算される拡張値βの代わりに、固定値αの係数β’又は乗数β”を決定し、γ＝α×β’又はγ＝α^β”としてパラメータγを算出しても良い。この場合、動画表示を行うときには、係数β’又は乗数β”を、静止画表示を行うときよりも小さくする。

また、本実施の形態６に係る時系列近傍範囲の設定方法を、他の実施の形態における時系列近傍範囲の設定方法と組み合わせても良い。例えば、異常領域の分類結果に応じて設定された時系列近傍範囲に対し（実施の形態２、変形例２−１、２−２参照）、動画表示の場合には時系列近傍範囲を縮小し、静止画表示の場合には時系列近傍範囲を拡大するといった調整を行っても良い。また、異常領域の明瞭度（実施の形態３参照）、不要領域の領域（実施の形態４参照）、臓器の種類（実施の形態５参照）に応じて設定された時系列近傍範囲に対し、同様に、表示方法に応じた調整を行っても良い。

また、上記実施の形態６においては、代表画像の表示を行うごとに、表示方法に応じて時系列近傍範囲を設定し、同一の異常領域を含む異常画像群の抽出及び各異常画像群からの代表画像の抽出を行うこととしたが、これらの処理を事前に行っておいても良い。即ち、一連の管腔内画像に対し、動画表示用として代表画像を抽出した画像データセットと、静止画表示用として代表画像を抽出した画像データセットとを、各々のフォーマットで予め作成して記録部５０に記録しておく。画像表示を行う際に、入力部３０に対するユーザ操作に応じて、代表画像の表示方法を指定する信号が入力部３０から制御部１０に入力されると、制御部１０は、指定された表示方法に応じた画像データセットを記録部５０から読み出し、表示部４０に表示させる。

（実施の形態７）
次に、本発明の実施の形態７について説明する。
図２３は、本発明の実施の形態７に係る画像処理装置が備える演算部の構成を示すブロック図である。図２３に示すように、実施の形態７に係る画像処理装置は、図１に示す演算部１００の代わりに、演算部７００を備える。この演算部７００は、図１に示す近傍範囲設定部１２０及び異常画像群抽出部１３０の代わりに、近傍範囲設定部２１０及び異常画像群抽出部７２０を備えると共に、類似度算出部７１０をさらに備える。近傍範囲設定部２１０、類似度算出部７１０、及び異常画像群抽出部７２０以外の演算部７００の各部の動作、及び演算部７００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。また、近傍範囲設定部２１０の動作は実施の形態２と同様である。

類似度算出部７１０は、近傍範囲設定部２１０により設定された各時系列近傍範囲に対し、同じ時系列近傍範囲に含まれる異常画像間における異常領域同士の類似度を算出する。類似度の算出方法は特に限定されず、例えば、各異常領域の色特徴量、形状特徴量、テクスチャ特徴量等の特徴量を算出し、特徴空間における異常領域同士の距離を類似度とする手法が挙げられる。

異常画像群抽出部７２０は、近傍範囲設定部２１０により設定された時系列近傍範囲と、類似度算出部７１０により算出された類似度とに基づいて、時系列近傍範囲から同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態７に係る画像処理装置の動作について説明する。図２４は、実施の形態７に係る画像処理装置の動作を示すフローチャートである。このうち、ステップＳ１０、Ｓ１１は、実施の形態１と同様である。また、ステップＳ１２は実施の形態２と同様である（図５及び図６参照）。

ステップＳ１２に続くステップＳ７１において、類似度算出部７１０は、ステップＳ１２において設定された時系列近傍範囲の各々に対し、時系列近傍範囲に含まれる異常領域同士の類似度を算出する。

続くステップＳ７２において、異常画像群抽出部７２０は、ステップＳ１２において設定された時系列近傍範囲と、ステップＳ７１において算出された類似度とに基づいて、同一の異常領域を含む異常画像群を抽出する。

図２５及び図２６は、異常画像群の抽出処理を説明するための模式図であり、時系列順に並んだ管腔内画像Ｍ１〜Ｍ９を示している。このうち、管腔内画像（異常画像）Ｍ１、Ｍ３、Ｍ４からは、散発性異常領域である異常領域ｍ１が検出され、管腔内画像（異常画像）Ｍ４、Ｍ５、Ｍ８、Ｍ９からは、連続性異常領域である異常領域ｍ２が検出されたものとする。そのため、図２５に示すように、異常画像Ｍ１、Ｍ３、Ｍ４には、各異常画像を中心とする±２枚の範囲（γ＝２）に時系列近傍範囲ΔＩ_a1、ΔＩ_a3、ΔＩ_a4がそれぞれ設定され、異常画像Ｍ４、Ｍ５、Ｍ８、Ｍ９には、各異常画像を中心とする±３枚の範囲（γ＝３）に時系列近傍範囲ΔＩ_b4、ΔＩ_b5、ΔＩ_b8、ΔＩ_b9がそれぞれ設定されている。

これらの時系列近傍範囲ΔＩ_a1、ΔＩ_a3、ΔＩ_a4、ΔＩ_b4、ΔＩ_b5、ΔＩ_b8、ΔＩ_b9に対し、実施の形態１〜６と同様に、一部が重複する時系列近傍範囲同士を統合すると、管腔内画像Ｍ１〜Ｍ９を含む１つの時系列近傍範囲ΔＩ_a+bが設定され、時系列近傍範囲ΔＩ_a+bに属する異常画像Ｍ１、Ｍ３、Ｍ４、Ｍ５、Ｍ８、Ｍ９が１つの異常画像群Ｇ_a+bとして抽出されてしまう。しかしながら、この異常画像群Ｇ_a+bは異なる異常領域ｍ１、ｍ２を含んでいるため、異常画像群Ｇ_a+bから代表画像を抽出すると、異常領域ｍ１、ｍ２のいずれか一方しか、代表として出力できなくなるおそれがある。

そこで、本実施の形態７においては、時系列近傍範囲及び異常領域同士の類似度に基づいて、異常画像群の抽出を行っている。詳細には、異常画像群抽出部７２０は、１つの時系列近傍範囲に含まれる異常画像のうち、異常領域同士の類似度が所定の閾値よりも高い異常画像を、同一の異常領域を含む異常画像群として抽出する。それにより、図２６に示すように、異常領域ｍ１を含む異常画像Ｍ１、Ｍ３、Ｍ４と、異常領域ｍ２を含む異常画像Ｍ４、Ｍ５、Ｍ８、Ｍ９とを、別の異常画像群Ｇ_a、Ｇ_bとしてそれぞれ抽出することができる。従って、異常画像群Ｇ_a、Ｇ_bからそれぞれ代表画像を抽出することにより、異常領域ｍ１、ｍ２を共に代表として出力することが可能となる。
ステップＳ７２に続くステップＳ１４、Ｓ１５の動作は実施の形態１と同様である。

以上説明したように、本発明の実施の形態７によれば、異常領域の種類に応じて適応的に設定された時系列近傍範囲と、異常領域間の類似度とに基づいて、同一の異常領域を含む異常画像群を抽出するので、時系列に並んだ一連の管腔内画像列において、異なる異常領域を含む異常画像の間隔が短い場合であっても、異なる異常領域を含む異常画像同士を別の異常画像群として、適切に抽出することができる。従って、一連の管腔内画像から検出された異常領域を含む異常画像を、漏れなく、且つ重複なく、代表画像として抽出することが可能となる。

（変形例７−１）
次に、本発明の実施の形態７の変形例７−１について説明する。
上記実施の形態７においては、類似度算出部７１０が、異常領域同士の類似度を算出することとした。この場合、図２６に示すように、異常領域ｍ１同士の類似度が高い異常画像Ｍ１、Ｍ３、Ｍ４を１つの異常画像群Ｇ_aとして抽出すると共に、異常領域ｍ２同士の類似度が高い異常画像Ｍ４、Ｍ５、Ｍ８）を１つの異常画像群Ｇ_bとして抽出することができる。

しかしながら、異常領域同士の類似度に加えて、異常領域以外の領域同士の類似度を算出し、これらの両方の類似度を考慮して異常画像群の抽出を行っても良い。この場合、異常画像Ｍ１、Ｍ３と、異常画像Ｍ４とでは、異常領域ｍ１以外の領域の類似度が低くなるため、同一の異常画像群にはならない。また、異常画像Ｍ４と、異常画像Ｍ５、Ｍ８、Ｍ９とでは、異常領域ｍ２以外の領域の類似度が低くなるため、同一の異常画像群にはならない。その結果、異常画像Ｍ４は、異常画像Ｍ１及びＭ３を含む異常画像群や、異常画像Ｍ５、Ｍ８、Ｍ９を含む異常画像群とは別の異常画像群として抽出される。

（変形例７−２）
次に、本発明の実施の形態７の変形例７−２について説明する。
上記実施の形態７においては、実施の形態２と同様に、異常領域が連続性異常領域であるか否かの判定結果に応じて、時系列近傍範囲のパラメータγを決定した。しかしながら、このパラメータγは、実施の形態１と同様に、２以上の固定値としても良いし、変形例２−１、２−２と同様に、異常領域の判定結果に応じて決定しても良いし、実施の形態３〜６と同様に、異常領域の明瞭度、不要領域の量、異常画像に写った臓器の種類、代表画像の表示方法等に応じて決定しても良い。これらの場合、図２３に示す近傍範囲設定部２１０の代わりに、実施の形態１、変形例２−１、２−２、及び実施の形態３〜６における近傍範囲設定部１２０、２３０、２５０、３１０、４１０、５１０、６１０を適用すれば良い。

以上説明した実施の形態１〜７においては、パラメータγに基づき、時系列近傍範囲を、異常画像を中心とする±γ枚の画像の範囲に設定したが、時系列近傍範囲は、異常画像に対して必ずしも対称に設定しなくても良い。例えば、時系列近傍範囲を、異常画像を先頭とする＋γ枚の画像の範囲としても良い。

以上説明した実施の形態１〜７及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜７及びこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１〜７及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、２４０、３００、４００、５００、６００、７００ 演算部
１１０ 検出部
１２０、２１０、２３０、２５０、３１０、４１０、５１０、６１０ 近傍範囲設定部
１３０、５２０、７２０ 異常画像群抽出部
１４０ 代表画像抽出部
２１１、２３１、２５１、３１１ 異常領域情報取得部
２１１ａ 連続異常判定部
２３１ａ 散発異常判定部
３１１ａ 明瞭度算出部
４１１、５１１ 画像情報取得部
４１１ａ 不要領域検出部
５１１ａ 臓器分類部
６１１ 表示情報取得部
７１０ 類似度算出部

Claims (18)

1. 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出手段と、
   時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定し、かつ、一部が重複する前記時系列近傍範囲同士を統合して一つの前記時系列近傍範囲として設定する近傍範囲設定手段と、
   前記近傍範囲設定手段によって統合された前記時系列近傍範囲に基づいて、前記検出手段が抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
   前記注目画像群から代表画像を抽出する代表画像抽出手段と、
   を備え、
   前記近傍範囲設定手段は、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする画像処理装置。
2. 前記近傍範囲設定手段は、
   前記注目領域に関する情報である注目領域情報を取得する注目領域情報取得手段を備え、
   前記注目領域情報をもとに、前記時系列近傍範囲を設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域情報取得手段は、前記注目領域の種類を分類し、該注目領域の種類の分類結果を前記注目領域情報として取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記注目領域情報取得手段は、前記注目領域が前記管腔内において連続的に観察される連続性注目領域であるか否かを判定する連続性判定手段を備え、
   前記近傍範囲設定手段は、前記注目領域が前記連続性注目領域である場合、前記時系列近傍範囲を、前記注目領域が前記連続性注目領域でない場合よりも広くする、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記連続性注目領域は、出血、粘膜異常、又は血管異常のいずれかに対応する領域を含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記注目領域情報取得手段は、前記注目領域が前記管腔内において散発的に観察される散発性注目領域であるか否かを判定する散発性判定手段を備え、
   前記近傍範囲設定手段は、前記注目領域が前記散発性注目領域である場合、前記時系列近傍範囲を、前記注目領域が前記散発性注目領域でない場合よりも狭くする、
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記散発性注目領域は、発赤、出血点、又は潰瘍のいずれかに対応する領域を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記注目領域情報取得手段は、前記注目領域情報として前記注目領域の明瞭度を算出する明瞭度算出手段を備え、
   前記近傍範囲設定手段は、前記明瞭度が高いほど前記時系列近傍範囲を狭くする、
   ことを特徴とする請求項２に記載の画像処理装置。
9. 前記明瞭度算出手段は、前記注目領域のコントラスト又はサイズをもとに前記明瞭度を算出することを特徴とする請求項８に記載の画像処理装置。
10. 前記近傍範囲設定手段は、
    前記検出対象との関連性がない領域である不要領域を検出する不要領域検出手段を備え、
    前記不要領域の量に応じて前記時系列近傍範囲を設定する、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記近傍範囲設定手段は、
    前記注目画像に写った臓器の種類を分類する臓器分類手段を備え、
    前記臓器の種類に応じて前記時系列近傍範囲を設定する、
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記近傍範囲設定手段は、前記注目画像に写った臓器の種類が検査対象の臓器である場合、前記注目画像に写った臓器の種類が前記検査対象の臓器でない場合よりも、前記時系列近傍範囲を狭くする、ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記近傍範囲設定手段は、前記代表画像の表示方法に応じて前記時系列近傍範囲を設定することを特徴とする請求項１に記載の画像処理装置。
14. 前記近傍範囲設定手段は、前記代表画像が静止画により表示される場合、前記代表画像が動画により表示される場合よりも、前記時系列近傍範囲を広くすることを特徴とする請求項１３に記載の画像処理装置。
15. 異なる注目領域間の類似度を算出する類似度算出手段をさらに備え、
    前記注目画像群抽出手段は、前記時系列近傍範囲に加えて、前記時系列近傍範囲に含まれる複数の前記注目領域間の類似度に基づいて、前記注目画像群を抽出することを特徴とする請求項１〜１４のいずれか１項に記載の画像処理装置。
16. 前記注目画像群抽出手段は、１つの時系列近傍範囲に含まれる注目画像のうち、前記異なる注目領域間の類似度が閾値よりも高い注目画像を、前記同一の注目領域を含む注目画像群として抽出することを特徴とする請求項１５に記載の画像処理装置。
17. 生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
    前記一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出ステップと、
    時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定し、かつ、一部が重複する前記時系列近傍範囲同士を統合して一つの前記時系列近傍範囲として設定する近傍範囲設定ステップと、
    前記近傍範囲設定ステップによって統合された前記時系列近傍範囲に基づいて、前記検出ステップが抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
    前記注目画像群から代表画像を抽出する代表画像抽出ステップと、
    を含み、
    前記近傍範囲設定ステップは、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする画像処理方法。
18. 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を検出し、該注目領域を含む注目画像を抽出する検出ステップと、
    時系列順に並んだ前記一連の画像群における前記注目画像の近傍の範囲を時系列近傍範囲として設定し、かつ、一部が重複する前記時系列近傍範囲同士を統合して一つの前記時系列近傍範囲として設定する近傍範囲設定ステップと、
    前記近傍範囲設定ステップによって統合された前記時系列近傍範囲に基づいて、前記検出ステップが抽出した前記注目画像から同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
    前記注目画像群から代表画像を抽出する代表画像抽出ステップと、
    をコンピュータに実行させ、
    前記近傍範囲設定ステップは、前記時系列近傍範囲として、前記一連の画像群において時系列的に連続する画像の間隔よりも広い範囲を設定することを特徴とする画像処理プログラム。

Images