JP6177458B2 - 画像処理装置及び内視鏡システム - Google Patents

Description

本発明は、生体内を撮像することにより取得されたデータに基づいて画像処理を行う画像処理装置、画像判別システム、及び内視鏡システムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体内を撮像することにより取得された画像群に対し、病変等の異常部のように被写体が特定の状態にある領域が写った画像を抽出したり、異常の種類を識別したりする技術が知られている。

医用観察装置を用いた１回の検査により大量の画像が取得される場合、全ての画像を観察することは医師にとって大きな負担である。また、異常の種類を画像処理により自動識別する際には、全ての画像を処理対象とすると、画像処理装置への負荷が非常に高くなる。そのため、医師が詳細な観察を行ったり、異常の種類の自動識別処理を行ったりする前に、検査により取得された各画像に対し、医師が詳細に観察すべき画像であるか否か、或いは、異常の識別処理を施すべき画像であるか否かといった判別を前処理として行う技術は非常に有用である。

例えば特許文献１には、管腔内画像の画素値の勾配変化をモデル化し、管腔内画像を構成する各画素の画素値と、モデル化された画素値の勾配変化によって定まる各画素の推定画素値との差分をもとに、管腔内画像から異常部の候補領域を検出する技術が開示されている。

特開２００９−２９７４５０号公報

上記特許文献１の場合、予め画素値の勾配変化をモデル化して用意しておかなければならず、演算処理が煩雑である。しかしながら、医師が詳細に観察すべき画像や、自動識別処理を施すべき画像を絞るための前処理としては、できるだけ簡素な演算処理で、精度良く判別できる処理が望まれる。

本発明は、上記に鑑みてなされたものであって、生体内を撮像することにより取得された画像に対し、被写体が特定の状態にある領域が画像内に含まれるか否かの判別を、簡素な演算処理で精度良く行うことができる画像処理装置、画像判別システム、及び内視鏡システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を照射する照明光を発生する照明部と、前記被写体により反射された前記照明光を集光する集光光学系と、該集光光学系により集光された前記照明光を受光し、該照明光に基づき、前記被写体の像を表す画像データを出力すると共に前記被写体までの距離を表す測距データを出力するイメージセンサと、を有する撮像部から出力された前記画像データ及び前記測距データに基づいて画像処理を行う画像処理装置であって、前記測距データに基づいて、前記集光光学系から前記被写体までの深度を算出する深度算出部と、前記画像データに基づいて、前記集光光学系と前記被写体との間の被写体距離を算出する被写体距離算出部と、前記深度算出部が算出した前記深度と、前記被写体距離算出部が算出した前記被写体距離との差分を算出する差分算出部と、前記差分算出部が算出した前記差分に基づいて、前記被写体が写った画像に、前記被写体の表面が特定の状態にある領域が含まれるか否かを判別する判別部と、を備えることを特徴とする。

上記画像処理装置において、前記深度算出部は、前記画像を構成する複数の画素に写った被写体上の複数の点までの深度を算出し、前記被写体距離算出部は、前記画像を構成する複数の画素のうち、前記深度算出部が前記深度を算出した前記被写体上の複数の点までの被写体距離を少なくとも算出し、前記差分算出部は、前記深度算出部が算出した複数の深度と前記被写体距離算出部が算出した複数の被写体距離との間で、共通する点までの距離同士の差分値を算出し、前記判別部は、前記差分算出部が算出した複数の差分値の統計値に基づいて判別を行う、ことを特徴とする。

上記画像処理装置において、前記判別部は、前記複数の差分値の頻度がピークとなる差分値を閾値と比較することにより前記判別を行う、ことを特徴とする。

上記画像処理装置は、前記判別部により前記特定の状態にある領域が含まれると判別された画像に対し、前記特定の状態の種類を識別する識別処理を施す識別部をさらに備えることを特徴とする。

上記画像処理装置において、前記被写体は、生体の粘膜であり、前記特定の状態は、前記粘膜が正常な状態から変化した異常な状態である、ことを特徴とする。

本発明に係る画像判別システムは、前記画像処理装置と、前記撮像部と、を備えることを特徴とする。

上記画像判別システムにおいて、前記イメージセンサは、前記照明光を受光して前記被写体の像を表す電気信号を出力する複数の撮像用画素と、前記照明光を受光して前記被写体までの距離に関する情報を含む電気信号を出力する複数の測距用画素と、前記複数の撮像用画素の各々から出力された前記電気信号に基づいて前記画像データを出力すると共に、前記複数の測距用画素の各々から出力された前記電気信号に基づいて前記測距データを出力する信号処理回路と、を備えることを特徴とする。

本発明に係る内視鏡システムは、前記画像処理装置と、カプセル形状をなす筐体に前記撮像部を収容したカプセル型内視鏡と、を備えることを特徴とする。

本発明に係る内視鏡システムは、前記画像処理装置と、被検体に挿入される挿入部の先端部に前記撮像部が設けられたビデオスコープと、を備えることを特徴とする。

本発明によれば、被写体表面の反射特性に依存する画像データに基づいて被写体距離を算出すると共に、被写体表面の反射特性に依存しない測距データに基づいて被写体までの深度を算出し、被写体距離と被写体との差分を算出するので、被写体表面における反射特性の変化を数値的に把握することができる。従って、生体内を撮像することにより取得された画像に対し、被写体が特定の状態にある領域が画像内に含まれるか否かの判別を、簡素な演算処理で精度良く行うことが可能となる。

図１は、本発明の実施の形態１に係る画像判別システムの構成例を示す模式図である。 図２は、図１に示すイメージセンサの受光面を示す模式図である。 図３は、図１に示す画像判別部の構成を示すブロック図である。 図４は、被写体距離の測定原理を説明するための模式図である。 図５は、画像全体が正常な粘膜領域である場合の被写体距離画像及び深度画像を示す模式図である。 図６は、図５に示す被写体距離画像と深度画像との差分値のヒストグラムである。 図７は、画像全体が異常領域である場合の被写体距離画像及び深度画像を示す模式図である。 図８は、図７に示す被写体距離画像と深度画像との差分値のヒストグラムである。 図９は、画像の一部に異常領域を含む場合の被写体距離画像及び深度画像を示す模式図である。 図１０は、図９に示す被写体距離画像と深度画像との差分値のヒストグラムである。 図１１は、本発明の実施の形態２に係る画像判別システムの構成例を示す模式図である。 図１２は、図１１に示す演算部の動作を説明するための模式図である。 図１３は、本発明の実施の形態３に係る内視鏡システムの構成例を示す模式図である。 図１４は、図１３に示すカプセル型内視鏡の内部構造の一例を示す模式図である。 図１５は、本発明の実施の形態４に係る内視鏡システムの構成例を示す模式図である。

以下に、本発明の実施の形態に係る画像処理装置、画像判別システム、及び内視鏡システムについて、図面を参照しながら説明する。以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。従って、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。なお、図面の記載において、同一部分には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像判別システムの構成例を示す模式図である。本実施の形態１に係る画像判別システム１は、生体内に導入されて撮像を行う内視鏡システム等に適用され、粘膜等の被写体を撮像することにより取得した画像に、被写体が特定の状態にある領域（以下、特定領域ともいう）が含まれるか否かを判別するシステムである。内視鏡システムとしては、挿入部の先端部に撮像部を設けたビデオスコープを備える一般的な内視鏡システムであっても良いし、撮像部及び無線通信部を内蔵するカプセル型内視鏡を生体内に導入して撮像を実行させるカプセル型内視鏡システムであっても良い。

ここで、特定領域とは、被写体である生体の粘膜が正常な状態から変化して異常な状態となった領域（異常領域）のことであり、具体的には、出血や腫瘍や潰瘍等の病変が生じている病変領域や、病変の可能性があると推定される候補領域等を含む。或いは、残渣が写った残渣領域や、泡が写った泡領域や、クリップなど生体の処置に用いた処置具が写った処置具領域など、粘膜以外の被写体が写った領域を特定領域として判別することとしても良い。さらには、正常な粘膜領域を特定領域として、処理対象の画像が正常な粘膜領域のみからなる画像か否かを判別することとしても良い。

図１に示すように、画像判別システム１は、被写体Ｓを撮像することにより画像データを生成して出力すると共に、被写体Ｓまでの距離を実測することにより測距データを生成して出力する撮像部２と、撮像部２から出力された画像データ及び測距データを取得し、画像データに基づいて被写体Ｓの画像を作成すると共に、画像データ及び測距データに基づいて、画像内に特定領域が含まれるか否かを判別する画像処理装置３とを備える。

撮像部２は、被写体Ｓを照明する照明光を発生する１つ以上の照明部２１と、集光レンズ等の集光光学系２２と、イメージセンサ２３とを備える。

照明部２１は、ＬＥＤ（Light Emitting Diode）等の発光素子及び該発光素子を駆動する駆動回路を含み、白色光あるいは特定の周波数帯域の照明光を発生して被写体Ｓに照射する。

イメージセンサ２３は、被写体Ｓの視覚的な情報を表す画像データと、被写体Ｓまでの深度を表す測距データとを取得可能なセンサであり、照明部２１から出射し、被写体Ｓにより反射され、集光光学系２２により集光された照明光（即ち、反射光）を受光する受光面２３ａを有する。本実施の形態１においては、イメージセンサ２３として、像面位相差ＡＦ用のセンサを用いている。

図２は、イメージセンサ２３の構成を説明するための模式図である。図２に示すように、イメージセンサ２３は、受光面２３ａに配列された複数の撮像用画素２３ｂ及び測距用画素２３ｃと、これらの画素から出力された電気信号を処理する信号処理回路２３ｄとを備える。受光面２３ａには、複数の撮像用画素２３ｂがマトリックス状に配置され、このマトリックスの一部を置き換えるように、複数の測距用画素２３ｃが配置されている。図２においては、測距用画素２３ｃの位置に「×」印を記して、撮像用画素２３ｂと区別している。

各撮像用画素２３ｂは、フォトダイオード等の光電変換部上に、マイクロレンズと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタとを積層した構造を有し、光電変換部に入射した光の光量に応じた電荷を発生させる。撮像用画素２３ｂは、各々が有するカラーフィルタの色に応じて、ベイヤー配列等の所定の並び順で配列されている。信号処理回路２３ｄは、各撮像用画素２３ｂが発生した電荷を電圧信号に変換し、さらにデジタル信号に変換することにより、画像データとして出力する。

各測距用画素２３ｃは、２つの光電変換部を同一平面上に並べて配置し、さらに、これらの光電変換部上に跨るように１つのマイクロレンズを配置した構造を有する。マイクロレンズに入射した光は、マイクロレンズへの入射位置に応じた配分で２つの光電変換部に入射する。２つの光電変換部の各々は入射した光の光量に応じた電荷を発生させる。信号処理回路２３ｄは、各測距用画素２３ｃの２つの光電変換部においてそれぞれ発生した電荷を電圧信号に変換し、これらの電圧信号間の位相差（距離に関する情報）をもとに、撮像部２から被写体Ｓまでの距離（深度）を表す測距データを生成して出力する。

画像処理装置３は、撮像部２から出力された画像データ及び測距データを取得するデータ取得部３１と、データ取得部３１が取得した画像データ及び測距データ並びに当該画像処理装置３において用いられる各種プログラムやパラメータ等を記憶する記憶部３２と、画像データ及び測距データをもとに各種演算処理を行う演算部３３と、被写体Ｓの画像等を表示する表示部３４と、当該画像処理装置３に対する種々の情報や命令の入力に用いられる操作入力部３５と、これらの各部を統括的に制御する制御部３６とを備える。

データ取得部３１は、当該画像判別システム１が適用される内視鏡システムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの場合、データ取得部３１は、ビデオスコープに設けられた撮像部２が生成した画像データ及び測距データを取り込むインタフェースによって構成される。また、カプセル型内視鏡システムの場合、データ取得部３１は、カプセル型内視鏡から無線送信された信号を、アンテナを介して受信する受信部によって構成される。或いは、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データ及び測距データを受け渡ししても良く、この場合、データ取得部３１は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像データ及び測距データを読み出すリーダ装置によって構成される。或いは、内視鏡システムにおいて生成された画像データ及び測距データを保存するサーバを設置する場合、データ取得部３１は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って各種データを取得する。

記憶部３２は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）といった各種ＩＣ（Integrated Circuit）メモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部３２は、画像処理装置３を動作させると共に、種々の機能を画像処理装置３に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ、例えば、データ取得部３１によって取得された画像データ及び測距データや、各種パラメータ等を格納する。

記憶部３２が記憶しているパラメータの具体例として、演算部３３が実行する演算に用いられる被写体Ｓである生体の反射特性、即ち、粘膜表面の反射率が挙げられる。記憶部３２は、胃粘膜や大腸粘膜といった観察対象の被写体の種類に応じた反射率をパラメータとして複数記憶しても良い。

演算部３３は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部３３が汎用プロセッサである場合、記憶部３２が記憶する各種演算プログラムを読み込むことにより演算処理を実行する。また、演算部３３が専用プロセッサである場合、プロセッサが単独で種々の演算処理を実行してもよいし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して演算処理を実行してもよい。

具体的には、演算部３３は、画像データに対してホワイトバランス処理、デモザイキング、ガンマ変換、平滑化（ノイズ除去等）等の所定の画像処理を施すことにより、表示用の画像を生成する画像処理部３３ａと、画像データ及び測距データをもとに、画像処理部３３ａが生成した画像に異常領域等の特定領域が含まれるか否かを判別する画像判別部３３ｂとを備える。画像判別部３３ｂの詳細な構成及び動作については後述する。

表示部３４は、液晶や有機ＥＬ（Electro Luminescence）等の各種ディスプレイを含み、画像処理部３３ａが生成した画像や、画像判別部３３ｂが算出した距離等の情報を表示する。

制御部３６は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部３６が汎用プロセッサである場合、記憶部３２が記憶する制御プログラムを読み込むことによって画像処理装置３を構成する各部への指示やデータの転送等を行い、画像処理装置３全体の動作を統括して制御する。また、制御部３６が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して種々の処理を実行してもよい。

図３は、画像判別部３３ｂの詳細な構成を示すブロック図である。図３に示すように、画像判別部３３ｂは、輝度画像作成部３３１と、像面照度算出部３３２と、物体面輝度算出部３３３と、照射照度算出部３３４と、照射距離算出部３３５と、被写体距離算出部３３６と、深度画像作成部（深度算出部）３３７と、差分算出部３３８と、判別部３３９とを備える。

輝度画像作成部３３１は、記憶部３２から読み出された画像データに基づいて、被写体Ｓの画像の輝度を各画素の画素値とする輝度画像を作成する。

像面照度算出部３３２は、輝度画像作成部３３１が作成した輝度画像に基づいて、イメージセンサ２３の像面における照度を算出する。

物体面輝度算出部３３３は、像面照度算出部３３２が算出した像面における照度に基づいて、被写体Ｓの表面における輝度を算出する。

照射照度算出部３３４は、物体面輝度算出部３３３が算出した物体面の輝度に基づいて、被写体Ｓに照射された照明光の照射照度を算出する。

照射距離算出部３３５は、照射照度算出部３３４が算出した照明光の照射照度に基づいて、集光光学系２２から被写体Ｓまでの照射距離を算出する。

被写体距離算出部３３６は、照射距離算出部３３５が算出した照射距離を集光光学系２２の光軸Ｚ_Lに投影した距離である被写体距離を算出し、算出した被写体距離を各画素の画素値とする被写体距離画像を作成する。

深度画像作成部３３７は、記憶部３２から読み出された測距データに基づいて、画像処理部３３ａが作成する画像内の各画素位置に対応する被写体Ｓ上の点と集光光学系２２との間の深度を各画素の画素値とする深度画像を生成する。なお、上述したように、測距用画素２３ｃは、受光面２３ａにまばらに配置されている。深度画像作成部３３７は、測距用画素２３ｃが配置されていない画素位置についてはヌル（Ｎｕｌｌ）値としておいても良いし、近傍に配置されている測距用画素２３ｃから出力された測距データを用いて補間演算により深度を算出しても良い。

差分算出部３３８は、被写体距離算出部３３６が作成した被写体距離画像と深度画像作成部３３７が作成した深度画像との差分を算出する。即ち、両画像間で共通する画素同士の被写体距離と深度との差分値を求める。

判別部３３９は、差分算出部３３８が算出した差分値の統計値をもとに、被写体Ｓを写した画像に特定領域が含まれるか否かを判別する。

次に、本実施の形態１における画像の判別方法を、図１〜図１０を参照しながら詳細に説明する。図４は、撮像部２内の各部と被写体Ｓとの位置及び角度の関係を示す模式図である。

まず、画像判別システム１は照明部２１を発光させることにより、被写体Ｓに照明光Ｌ１を照射する。それにより、被写体Ｓによって反射された照明光（反射光）が集光光学系２２によって集光され、イメージセンサ２３の受光面２３ａに入射する。イメージセンサ２３は、受光面２３ａに配置された撮像用画素２３ｂ及び測距用画素２３ｃ（図２参照）からの出力信号に基づき、各撮像用画素２３ｂの位置における画像データを出力すると共に、各測距用画素２３ｃの位置における測距データを出力する。画像処理装置３のデータ取得部３１は、これらの画像データ及び測距データを取り込み、記憶部３２に記憶させる。

図３に示すように、画像判別部３３ｂは、記憶部３２から画像データ及び測距データを取り込み、画像データを輝度画像作成部３３１に入力すると共に、測距データを深度画像作成部３３７に入力する。

輝度画像作成部３３１は、入力された画像データに基づいて、被写体Ｓの画像の輝度を画素値とする輝度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには測距用画素２３ｃがまばらに配置されているため、測距用画素２３ｃが配置されている画素位置においては画像データが取得されていない。そこで、輝度画像作成部３３１は、測距用画素２３ｃの近傍に位置する撮像用画素２３ｂからの出力値に基づく画像データを用いて、当該測距用画素２３ｃの位置における輝度を補間により算出する。

続いて、像面照度算出部３３２は、輝度画像作成部３３１が作成した輝度画像に基づいて、集光光学系２２の像面である受光面２３ａ上の注目画素Ａにおける照度（像面照度）Ｅ_f［ｌｘ］を算出する。ここで、像面照度とは、集光光学系２２を照明系と捉えた時、この集光光学系２２を通過した反射光Ｌ２がイメージセンサ２３に入射する際の照度のことである。

像面照度Ｅ_fは、受光面２３ａ上の注目画素Ａの位置における撮像用画素２３ｂ（図２参照）からの出力値Ｖ_outと、係数Ｋと、露光時間ｔとを用いて、次式（１）により与えられる。係数Ｋは、各撮像用画素２３ｂにおける光の吸収係数、電荷から電圧への変換係数、ＡＤ変換や増幅器等の回路におけるゲインや損失等を考慮したトータルの係数であり、イメージセンサ２３のスペックによって予め設定されている。なお、各測距用画素２３ｃの位置における像面照度Ｅ_fについては、当該測距用画素２３ｃの近傍の撮像用画素２３ｂからの出力値Ｖ_outを用いた補間により算出する。

続いて、物体面輝度算出部３３３は、像面照度Ｅ_fに基づいて、被写体Ｓの表面における輝度である物体面輝度Ｌ_S［ｃｄ／ｍ²］を算出する。物体面輝度Ｌ_Sは、像面照度Ｅ_fと、集光光学系２２の口径Ｄ、焦点距離ｂ、及び強度透過率Ｔ（ｈ）とを用いて、次式（２）により与えられる。

続いて、照射照度算出部３３４は、物体面輝度Ｌ_Sに基づいて、被写体Ｓを照射した照明光Ｌ１の照射照度Ｅ₀［ｌｘ］を算出する。照明光Ｌ１は、被写体Ｓの注目点Ｐにおいて反射されることにより、被写体Ｓの表面における反射率Ｒ₀の分だけ減衰する。従って、照射照度Ｅ₀は、物体面輝度Ｌ_Sと、被写体Ｓの反射率Ｒ₀を用いて、次式（３）により逆算することができる。

ここで、反射率Ｒ₀は、被写体Ｓの表面性状に応じて決まる値であり、記憶部３２に予め記憶されている。記憶部３２が、被写体の種類に応じて複数の反射率Ｒ₀を記憶している場合には、照射照度算出部３３４は、操作入力部３５（図１参照）から入力される信号に応じた反射率Ｒ₀を選択して用いる。

このようにして算出された照射照度Ｅ₀は、照明部２１から出射した照明光Ｌ１が被写体Ｓの注目点Ｐに到達して生じたものである。この間、照明部２１から出射した照明光Ｌ１は、注目点Ｐまでの照射距離ｄ_Lの分だけ減衰する。従って、照明部２１の輝度Ｌ_LEDと注目点Ｐにおける照射照度Ｅ₀との間には、次式（４）の関係が成り立つ。

式（４）において、符号Ｓ_LEDは、照明部２１から照明光Ｌ１が放射される領域の表面積を示す。また、符号Ｅｍ_SPEは、照明光Ｌ１の分光特性係数である。

従って、照射距離ｄ_L［ｍ］は次式（５）によって与えられる。

続いて、被写体距離算出部３３６は、画角φを用いて、次式（６）により照射距離ｄ_Lを光軸Ｚ_Lに投影した被写体距離ｄ_Sを算出する。
ｄ_S＝ｄ_L・ｃｏｓφ …（６）

ここで、照明部２１の光軸Ｚ_Eに対する照明光Ｌ１の放射方向のなす角度を放射角θ_Eとすると、厳密には、被写体距離ｄ_Sは照射距離ｄ_Lのｃｏｓθ_Eとなる。しかしながら、被写体距離ｄ_Sと比べて、撮像部２が備える照明部２１と集光光学系２２との間の距離が短い場合、放射角θ_Eを画角φと近似させることができる。

画角φは次のようにして算出される。輝度画像作成部３３１が作成した輝度画像内の注目画素に対応する受光面２３ａ上の画素Ａ（図４参照）を抽出し、イメージセンサ２３の画素数（ピクセル）及びセンササイズｄ_sen（ｍｍ）を用いて、この画素Ａの座標値をピクセルから距離（ｍｍ）に換算する。そして、距離に換算された画素Ａの座標値を用いて、集光光学系２２の光軸Ｚ_Lから画素Ａまでの距離、即ち像高ｄ_Aを算出する。そして、集光光学系２２と受光面２３ａまでの距離（設計値）ｄ₀と像高ｄ_Aとから、次式（７）により、画角φを算出する。
φ＝ｔａｎ^-1（ｄ_A／ｄ₀） …（７）

像面照度算出部３３２〜被写体距離算出部３３６は、このような被写体距離ｄ_sの算出処理を受光面２３ａ上の各画素について行い、被写体距離ｄ_sを各画素の画素値とする被写体距離画像を作成する。

一方、深度画像作成部３３７は、入力された測距データに基づいて、集光光学系２２から被写体Ｓまでの深度ｄ_S’（図４参照）を各画素の画素値とし、受光面２３ａ全体に対応するサイズの深度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには、測距用画素２３ｃがまばらにしか配置されていない。そのため、深度画像作成部３３７は、測距用画素２３ｃの位置に対応する深度画像内の画素については、測距用画素２３ｃからの出力値に基づく測距データを用いて画素値を決定する。また、それ以外の画素の画素値については、Ｎｕｌｌ値としておいても良いし、周辺画素の値を用いて、補間演算により決定しても良い。

差分算出部３３８は、被写体距離算出部３３６が作成した被写体距離画像と深度画像作成部３３７が作成した深度画像とを取得し、これらの画像間で位置が対応する画素間の画素値、即ち、被写体距離ｄ_sと深度ｄ_s’との差分値を算出する。この際、深度画像において画素値がＮｕｌｌ値となっている画素については、差分演算を行わなくても良い。

判別部３３９は、差分算出部３３８が算出した差分値の頻度を基に、画像判別部３３ｂに入力された画像データに基づいて作成される画像に異常領域等の特定領域が含まれるか否かを判別する。具体的には、差分値のヒストグラムを作成し、差分値の最頻値を閾値と比較することにより、上記判別を行う。以下、この判別方法を詳しく説明する。

図５は、画像全体が正常な粘膜領域である場合の被写体距離画像及び深度画像を示す模式図である。また、図６は、図５に示す被写体距離画像と深度画像との差分値のヒストグラムである。

この場合、被写体距離画像Ｍ１を構成する各画素の位置における被写体距離ｄ_s（ｘ，ｙ）と、深度画像Ｍ２を構成する各画素の位置における深度ｄ_s’（ｘ，ｙ）との差分値は、図６に示すように、概ね一様になる。これは、被写体距離ｄ_s（ｘ，ｙ）の算出結果に影響を与える被写体Ｓ表面における反射率が画像全体で概ね均一であることを示している。

図７は、画像全体が異常領域である場合の被写体距離画像及び深度画像を示す模式図である。また、図８は、図７に示す被写体距離画像と深度画像との差分値のヒストグラムである。

この場合、被写体距離画像Ｍ３を構成する各画素の位置における被写体距離ｄ_s（ｘ，ｙ）と、深度画像Ｍ４を構成する各画素の位置における深度ｄ_s’（ｘ，ｙ）との差分値は、図８に示すように、概ね一様になる。これは、被写体Ｓ表面における反射率が概ね均一であることを示している。しかし、ヒストグラムのピークにおける差分値（最頻値）は、正常な粘膜領域の場合（図６参照）と異なる値となる。これは、被写体Ｓ表面の粘膜が正常である場合と異常である場合とで、反射率が変化するからである。

そこで、被写体距離ｄ_s（ｘ，ｙ）と深度ｄ_s’（ｘ，ｙ）との差分値のヒストグラムにおいてピークとなる差分値を閾値Ｔｈと比較することにより、当該画像が正常な粘膜領域であるのか異常領域であるのかを判別することができる。例えば、図６及び図８の場合には、ピークにおける差分値が閾値Ｔｈよりも小さい場合には正常な粘膜領域、ピークにおける差分値が閾値Ｔｈ以上である場合には異常領域と判別することができる。

図９は、画像の一部に異常領域を含む場合の被写体距離画像及び深度画像を示す模式図である。また、図１０は、図９に示す被写体距離画像と深度画像との差分値のヒストグラムである。

この場合、被写体距離画像Ｍ５を構成する各画素の位置における被写体距離ｄ_s（ｘ，ｙ）と、深度画像Ｍ６を構成する各画素の位置における深度ｄ_s’（ｘ，ｙ）との差分値は、図１０に示すように、ばらつきが大きくなる。これは、被写体距離ｄ_s（ｘ，ｙ）の算出結果に影響を与える被写体Ｓ表面における反射率が均一でないことを示している。つまり、反射率が異なる複数の部分が被写体Ｓに存在することを意味する。

詳細には、被写体距離画像Ｍ５内の正常な粘膜領域ａ１と深度画像Ｍ６内の正常な粘膜領域ａ２との間においては、差分値のピークが図６に示すピークと近い位置に現れる。一方、被写体距離画像Ｍ５内の異常領域ｂ１と深度画像Ｍ６内の異常領域ｂ２との間においては、差分値のピークが図８のピークと近い位置に現れる。

判別部３３９は、このようにヒストグラムのピークにおける差分値を閾値と比較することにより、判別対象の画像が正常な粘膜領域からなる画像であるか、異常領域からなる画像であるか、或いは、一部に異常領域を含む画像であるかを判別する。この判別に用いられる閾値は、サンプルの画像を用いて算出し、予め記憶部３２に格納して呼び出せば良い。

なお、差分値のヒストグラムに基づく判別方法は上述した方法に限定されず、例えば、差分値の分散、平均、標準偏差、中央値、ピークの半値幅等の統計値に基づいて判別を行っても良い。また、複数の閾値を段階的に設定することにより、異常領域の種類を分類しても良い。

画像判別部３３ｂは、判別部３３９による判別結果を出力し、画像処理部３３ａが作成した表示用の画像と関連付けて記憶部３２に記憶させる。具体的には、表示用の画像に対して、全体が正常な粘膜領域である画像、全体が異常領域である画像、又は一部に異常領域を含む画像である旨を示すフラグを付加する。或いは、正常な粘膜領域からなる画像と、少なくとも一部に異常領域を含む画像とを、互いに異なる記憶領域に記憶させても良い。少なくとも一部に異常領域を含む画像のみを別途、バックアップ用として保存しても良い。

また、表示用の画像を表示部３４に表示する際には、少なくとも一部に異常領域を含む画像に対して警告を表示するなど、正常な粘膜領域の画像と異なる方法で表示しても良い。その後、撮像部２から取得されたデータに対する処理が終了する。

以上説明したように、本実施の形態１によれば、被写体Ｓの表面における反射特性に依存する画像データに基づいて被写体距離を算出すると共に、被写体Ｓの表面の反射特性に依存しない測距データに基づいて被写体Ｓまでの深度を算出し、両者の差分値を算出するので、被写体Ｓの表面性状の変化を数値的に把握することができる。従って、この差分値の統計値を閾値と比較することにより、煩雑な処理を行うことなく、画像が特定領域を含むか否かの判別を精度良く行うことが可能となる。

なお、本実施の形態１に係る画像判別システムにおいては、撮像部２の撮像方向を管腔が延びる方向に向けて撮像した場合、被写体距離画像及び深度画像の作成処理においてエラーが生じてしまうことがある。管腔が延びる方向からは反射光がほとんど戻ってこないからである。そのため、管腔が延びる方向を撮像した画像については、予め処理対象から除外することが好ましい。管腔が延びる方向を撮像した画像であるか否かは、公知の技術によって判断することができる。一例として、輝度画像作成部３３１が作成した輝度画像において、輝度値が所定値以下である領域が、画像全体の所定の割合以上を占める場合に、管腔が延びる方向を撮像した画像と判断することができる。

（変形例１）
上記実施の形態１においては、照射照度算出部３３４が照射照度を算出する際に用いる被写体Ｓの反射率Ｒ₀として、生体の正常な粘膜の反射率を用いたが、特定の病変部（例えば、出血が生じている部分）における反射率を用いても良い。この場合、判別部３３９において、処理対象の画像が特定の病変領域を含むか否かを判別することが可能になる。

（変形例２）
上記実施の形態１においては、判別部３３９が用いる閾値を固定値としたが、差分算出部３３８が算出した差分値のヒストグラムに基づいて閾値を適応的に変化させても良い。例えば、図１０に示すように、差分値のヒストグラムに２つのピークが現れる場合、２つのピークの間の値を閾値に設定する。

ここで、内視鏡により生体の検査を行う場合、生体の粘膜における反射率は、厳密には個々の生体に応じて異なる。また、照明光の波長等の条件に応じて、粘膜において反射される照明光への影響は異なる場合もある。そこで、閾値を適応的に設定することで、１回の内視鏡検査で取得された複数の画像に対する判別精度を向上させることが可能となる。

（変形例３）
上記実施の形態１においては、イメージセンサ２３として、複数の撮像用画素２３ｂと複数の測距用画素２３ｃとが同一の受光面２３ａ上に配置された像面位相差ＡＦ用のセンサを用いたが、イメージセンサ２３の構成はこれに限定されない。例えば、ＣＭＯＳ又はＣＣＤ等の一般的な撮像素子と、ＴＯＦ方式の測距用センサとを組み合わせて使用しても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１１は、本発明の実施の形態２に係る画像判別システムの構成例を示す模式図である。図１１に示すように、本実施の形態２に係る画像判別システム４は、図１に示す画像処理装置３の代わりに画像処理装置５を備える。なお、撮像部２の構成及び動作は、実施の形態１と同様である。

画像処理装置５は、図１に示す演算部３３に対し、識別部５１ａをさらに備える演算部５１を備える。演算部５１以外の画像処理装置５の各部の構成及び動作、並びに、演算部５１が備える画像処理部３３ａ及び画像判別部３３ｂの動作は、実施の形態１と同様である。

識別部５１ａは、画像判別部３３ｂにより少なくとも一部に異常領域を含む画像と判別された画像から異常領域を抽出し、抽出した異常領域の種類を識別する識別処理を施す。識別部５１ａが実行する異常領域の抽出処理及び識別処理としては、公知の種々の処理を適用することができる。例えば、画像処理部３３ａが作成した表示用の画像に対し、画像を構成する各画素の色特徴量を算出したり、画像からエッジを抽出して形状特徴量を算出したり、フーリエスペクトルからテクスチャ特徴量を算出したりして各種特徴量を算出し、予め作成された識別基準によりこれらの特徴量を分類する。

次に、演算部５１の動作を説明する。図１２は、演算部５１の動作を説明するための模式図である。演算部５１が記憶部３２から画像データ及び測距データを取得すると、画像処理部３３ａは、画像データを用いて表示用の画像ｍ１〜ｍ５を順次作成する。

続いて、画像判別部３３ｂは、画像ｍ１〜ｍ５の各々が、正常な粘膜領域からなる画像であるか、又は少なくとも一部に異常領域を含む画像であるかを判別する。この画像判別処理の詳細は実施の形態１と同様である。

上記画像判別処理により、例えば画像ｍ１及びｍ２が正常な粘膜領域からなる画像と判別された場合、演算部５１は、画像ｍ１及びｍ２に正常な粘膜領域からなる画像である旨を示すフラグを付加し、記憶部３２の所定の記憶領域に記憶させる。

また、上記画像判別処理により、例えば画像ｍ３〜ｍ５が少なくとも一部に異常領域を含む画像と判別された場合、識別部５１ａは、これらの画像ｍ３〜ｍ５の各々から異常領域を抽出し、抽出した異常領域の種類を識別する識別処理を実行する。

この識別処理により、画像ｍ３に含まれる異常領域の種類（例えば異常Ａ）と、画像ｍ４及びｍ５に含まれる異常領域の種類（例えば異常Ｂ）とが異なると識別された場合、演算部５１は、これらの画像ｍ３〜ｍ５に対し、識別された異常領域の種類を示すフラグを付加し、それぞれの種類に応じた所定の記憶領域に記憶させる。

以上説明したように、本実施の形態２によれば、異常領域を含む画像であると判別された画像に対してのみ、異常領域を抽出して異常領域の種類を識別するという高度な画像処理を施すので、画像処理装置に対する負荷を抑制しつつ、必要な画像に対する識別結果を効率良く得ることが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１３は、本発明の実施の形態３に係る内視鏡システムの構成を示す模式図である。図１３に示すように、本実施の形態３に係る内視鏡システム６は、患者等の被検体６０内に導入されて撮像を行い、画像信号を生成して無線送信するカプセル型内視鏡６１と、カプセル型内視鏡６１から無線送信された画像信号を、被検体６０に装着された受信アンテナユニット６２を介して受信する受信装置６３と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、受信装置６３から画像データを取得して所定の画像処理を施し、被検体６０内の画像を表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。

図１４は、カプセル型内視鏡６１の構成例を示す模式図である。カプセル型内視鏡６１は、経口摂取等によって被検体６０内に導入された後、消化管内部を移動し、最終的に被検体６０の外部に排出される。その間、カプセル型内視鏡６１は、臓器（消化管）内部を蠕動運動によって移動しつつ、被検体６０内を撮像して画像信号を順次生成し、無線送信する。

図１４に示すように、カプセル型内視鏡６１は、照明部２１、集光光学系２２、及びイメージセンサ２３を含む撮像部２を収容するカプセル型筐体６１１を備える。カプセル型筐体６１１は、被検体６０の臓器内部に導入し易い大きさに形成された外装ケースである。また、カプセル型筐体６１１内には、カプセル型内視鏡６１の各構成部を制御する制御部６１５と、制御部６１５によって処理された信号をカプセル型内視鏡６１の外部に無線送信する無線通信部６１６と、カプセル型内視鏡６１の各構成部に電力を供給する電源部６１７とが設けられている。

カプセル型筐体６１１は、筒状筐体６１２とドーム状筐体６１３、６１４とから成り、この筒状筐体６１２の両側開口端をドーム状筐体６１３、６１４によって塞ぐことによって実現される。筒状筐体６１２及びドーム状筐体６１４は、可視光に対して略不透明な有色の筐体である。一方、ドーム状筐体６１３は、可視光等の所定波長帯域の光に対して透明な、ドーム形状をなす光学部材である。このようなカプセル型筐体６１１は、撮像部２と、制御部６１５と、無線通信部６１６と、電源部６１７とを液密に内包する。

制御部６１５は、カプセル型内視鏡６１内の各構成部の動作を制御すると共に、これらの構成部間における信号の入出力を制御する。詳細には、制御部６１５は、撮像部２が備えるイメージセンサ２３の撮像フレームレートを制御すると共に、この撮像フレームレートと同期して照明部２１を発光させる。また、制御部６１５は、イメージセンサ２３から出力された画像信号に所定の信号処理を施し、無線通信部６１６から無線送信させる。

無線通信部６１６は、制御部６１５から画像信号を取得し、該画像信号に対して変調処理等を施して無線信号を生成し、受信装置６３に送信する。

電源部６１７は、ボタン型電池やキャパシタ等の蓄電部であり、カプセル型内視鏡６１の各構成部（撮像部２、制御部６１５、及び無線通信部６１６）に電力を供給する。

再び図１３を参照すると、受信アンテナユニット６２は、複数（図１３においては８個）の受信アンテナ６２ａを有する。各受信アンテナ６２ａは、例えばループアンテナを用いて実現され、被検体６０の体外表面上の所定位置（例えば、カプセル型内視鏡６１の通過領域である被検体６０内の各臓器に対応した位置）に配置される。

受信装置６３は、これらの受信アンテナ６２ａを介して、カプセル型内視鏡６１から無線送信された画像信号を受信し、受信した画像信号に所定の処理を施した上で、内蔵するメモリに画像信号及びその関連情報を記憶する。受信装置６３には、カプセル型内視鏡６１から無線送信された画像信号の受信状態を表示する表示部や、受信装置６３を操作するための操作ボタン等の入力部を設けても良い。受信装置６３に記憶された画像信号は、画像処理装置３に接続されたクレードル６４に受信装置６３をセットすることにより、画像処理装置３に転送される。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図１５は、本発明の実施の形態４に係る内視鏡システムの構成を示す模式図である。図１５に示すように、本実施の形態４に係る内視鏡システム７は、被検体の体内に挿入されて撮像を行い、画像を生成して出力する内視鏡７１と、内視鏡７１の先端から出射する照明光を発生する光源装置７２と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、内視鏡７１が生成した画像データを取得して各種画像処理を施し、被検体内の画像を表示部３４に表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。

内視鏡７１は、可撓性を有する細長形状をなす挿入部７３と、挿入部７３の基端側に接続され、各種の操作信号の入力を受け付ける操作部７４と、操作部７４から挿入部７３が延びる方向と異なる方向に延び、画像処理装置３及び光源装置７２と接続する各種ケーブルを内蔵するユニバーサルコード７５とを備える。

挿入部７３は、先端部７３１と、複数の湾曲駒によって構成された湾曲自在な湾曲部７３２と、湾曲部７３２の基端側に接続され、可撓性を有する長尺状の可撓針管７３３とを有する。この挿入部７３の先端部７３１に、光源装置７２が発生した照明光により被検体内を照射する照明部２１と、被検体内において反射された照明光を集光する集光光学系２２と、イメージセンサ２３とを備える撮像部２（図１参照）が設けられる。

操作部７４と先端部７３１との間には、画像処理装置３との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルと、光を伝送するライトガイドとが接続されている。複数の信号線には、撮像素子が出力した画像信号を画像処理装置３に伝送する信号線及び画像処理装置３が出力する制御信号を撮像素子に伝送する信号線等が含まれる。

操作部７４は、湾曲部７３２を上下方向及び左右方向に湾曲させる湾曲ノブや、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部と、画像処理装置３及び光源装置７２等の周辺機器に操作指示信号を入力するための複数のスイッチが設けられている。

ユニバーサルコード７５は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード７５の操作部７４に連なる側と異なる側の端部には、光源装置７２に着脱自在なコネクタ部７６と、コイル状をなすコイルケーブル７７を介してコネクタ部７６と電気的に接続され、画像処理装置３と着脱自在な電気コネクタ部７８とが設けられている。撮像素子から出力された画像信号は、コイルケーブル７７及び電気コネクタ部７８を介して画像処理装置３に入力される。

以上説明した本発明の実施の形態１〜４は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではない。また、本発明は、上記実施の形態１〜４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を生成することができる。本発明は、仕様等に応じて種々変形することが可能であり、さらに本発明の範囲内において、他の様々な実施の形態が可能であることは、上記記載から自明である。

１、４ 画像判別システム
２ 撮像部
３、５ 画像処理装置
６、７ 内視鏡システム
２１ 照明部
２２ 集光光学系
２３ イメージセンサ
２３ａ 受光面
２３ｂ 撮像用画素
２３ｃ 測距用画素
２３ｄ 信号処理回路
３１ データ取得部
３２ 記憶部
３３、５１ 演算部
３３ａ 画像処理部
３３ｂ 画像判別部
３４ 表示部
３５ 操作入力部
３６ 制御部
５１ａ 識別部
６０ 被検体
６１ カプセル型内視鏡
６２ 受信アンテナユニット
６２ａ 受信アンテナ
６３ 受信装置
６４ クレードル
７１ 内視鏡
７２ 光源装置
７３ 挿入部
７４ 操作部
７５ ユニバーサルコード
７６ コネクタ部
７７ コイルケーブル
７８ 電気コネクタ部
３３１ 輝度画像作成部
３３２ 像面照度算出部
３３３ 物体面輝度算出部
３３４ 照射照度算出部
３３５ 照射距離算出部
３３６ 被写体距離算出部
３３７ 深度画像作成部
３３８ 差分算出部
３３９ 判別部
６１１ カプセル型筐体
６１２ 筒状筐体
６１３、６１４ ドーム状筐体
６１５ 制御部
６１６ 無線通信部
６１７ 電源部
７３１ 先端部
７３２ 湾曲部
７３３ 可撓針管

Claims (9)

1. 被写体から反射された照明光の反射光をイメージセンサが受光することにより前記イメージセンサから出力された画像データ及び前記被写体までの距離を表す測距データに基づいて画像処理を行う画像処理装置であって、
   前記測距データに基づいて、前記イメージセンサから前記被写体までの深度を算出する深度算出部と、
   前記画像データに基づいて、前記イメージセンサと前記被写体との間の被写体距離を算出する被写体距離算出部と、
   前記深度算出部が算出した前記深度と、前記被写体距離算出部が算出した前記被写体距離との差分を算出する差分算出部と、
   前記差分算出部が算出した前記差分に基づいて、前記画像データに、前記被写体の表面が特定の状態にある領域が含まれるか否かを判別する判別部と、
   を備えることを特徴とする画像処理装置。
2. 前記深度算出部は、前記画像データを構成する複数の画素に写った被写体上の複数の点までの深度を算出し、
   前記被写体距離算出部は、前記画像データを構成する複数の画素のうち、前記深度算出部が前記深度を算出した前記被写体上の複数の点までの被写体距離を少なくとも算出し、
   前記差分算出部は、前記深度算出部が算出した複数の深度と前記被写体距離算出部が算出した複数の被写体距離との間で、共通する点までの距離同士の差分値を算出し、
   前記判別部は、前記差分算出部が算出した複数の差分値の統計値に基づいて判別する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判別部は、前記複数の差分値の頻度がピークとなる差分値を閾値と比較することにより、前記画像データに、前記被写体の表面が特定の状態にある領域が含まれるか否かを判別する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判別部は、前記複数の差分値の頻度がピークとなる差分値が閾値以上である場合に、前記画像データにおいて前記被写体の表面に正常な粘膜から変化した異常な粘膜である領域が含まれていると判別する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記被写体の反射特性と前記画像データから求まる物体面輝度とに基づいて照射照度を算出する照射照度算出部と、
   前記照射照度に基づいて照射距離を算出する照射距離算出部と、
   をさらに備え、
   前記被写体距離算出部は、前記照射距離に基づいて前記被写体距離を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記判別部により前記特定の状態にある領域が含まれると判別された画像に対し、前記特定の状態の種類を識別する識別処理を施す識別部
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記被写体は、生体の粘膜であり、
   前記特定の状態は、前記粘膜が正常な状態から変化した異常な状態である、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 請求項１に記載の画像処理装置と、
   被検体内に導入されるカプセル型内視鏡と、
   を備えることを特徴とする内視鏡システム。
9. 請求項１に記載の画像処理装置と、
   被検体に挿入される内視鏡と、
   を備えることを特徴とする内視鏡システム。

Images