[go: up one dir, main page]

JP5396121B2 - 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 - Google Patents

画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 Download PDF

Info

Publication number
JP5396121B2
JP5396121B2 JP2009077564A JP2009077564A JP5396121B2 JP 5396121 B2 JP5396121 B2 JP 5396121B2 JP 2009077564 A JP2009077564 A JP 2009077564A JP 2009077564 A JP2009077564 A JP 2009077564A JP 5396121 B2 JP5396121 B2 JP 5396121B2
Authority
JP
Japan
Prior art keywords
image
white light
reflected light
unit
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009077564A
Other languages
English (en)
Other versions
JP2010227255A (ja
Inventor
圭司 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009077564A priority Critical patent/JP5396121B2/ja
Priority to US12/732,774 priority patent/US9101288B2/en
Publication of JP2010227255A publication Critical patent/JP2010227255A/ja
Application granted granted Critical
Publication of JP5396121B2 publication Critical patent/JP5396121B2/ja
Priority to US14/790,308 priority patent/US9872610B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法に関し、特に、被写体からの蛍光に基づく蛍光画像を処理する画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法に関するものである。
従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を可撓性挿入部内の撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。
一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位を蛍光観察することが可能な内視鏡装置が登場している。この蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、この励起光の照射に基づいて生体組織から発生する自家蛍光または薬剤蛍光を可撓性挿入部内の撮像部によって受光して、この生体組織の蛍光画像を撮像する。医師等のユーザは、このように撮像された生体組織の蛍光画像をこの内視鏡装置の表示部によって視認し、この表示部に表示された蛍光画像を通して観察部位を蛍光観察する。なお、かかる生体組織等の観察部位に光を照射することによって観察部位から発せられた光に基づいた規格化用画像を取得し、この規格化用画像によって観察部位の蛍光画像を除算して規格化蛍光画像を生成する装置がある(特許文献1参照)。
特開2002−336187号公報
ところで、上述した従来の蛍光観察においては、一般に、生体組織等の観察部位の蛍光画像の輝度を規格化処理によって補正する際、この観察部位の白色光画像を規格化用画像として用い、この白色光画像の輝度値によって観察部位の蛍光画像の輝度値を除算していた。しかしながら、かかる観察部位の白色光画像には、生体組織の血管または凹凸部等の輪郭を有する構造体(以下、輪郭体という)の像が含まれる場合が多く、この場合、かかる輪郭体の像に対応して周辺画素との輝度差が大きくなる画素部分、すなわちエッジが白色光画像内に存在する。かかるエッジを含む白色光画像によって観察部位の蛍光画像を除算した場合、この白色光画像内のエッジに対応する各画素の輝度値が蛍光画像の規格化処理に反映されてしまい、これに起因して、観察部位の蛍光画像の輝度を高精度に補正することが困難であった。なお、かかる蛍光画像の規格化処理においては、エッジを含まない均一な画像によって処理対象の蛍光画像を除算することが望ましい。
本発明は、上記事情に鑑みてなされたものであって、観察部位内の輪郭体に影響されることなく、観察部位の蛍光画像の輝度を高精度に補正することができる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、撮像系によって撮像された観察部位の反射光画像および蛍光画像を取得する画像取得部と、前記画像取得部が取得した前記反射光画像の特徴量を算出する特徴量算出部と、前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定部と、前記ぼかし度に対応して前記撮像系の焦点を制御する制御部と、前記焦点の制御後に前記画像取得部が取得した前記観察部位の焦点制御後の反射光画像によって前記蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成部と、を備えるものである。
この態様にかかる画像処理装置によれば、観察部位の反射光画像に血管等の輪郭体の像が含まれる場合であっても、この反射光画像を適度にぼかすことによって、かかる輪郭体の像に起因する反射光画像内の輝度のコントラストを軽減して、エッジに起因する輝度のコントラストを含まない均一な画像に近似する観察部位の調整画像を取得できる。かかる調整画像によって観察部位の蛍光画像の輝度値を規格化処理することができ、この結果、観察部位内の輪郭体に影響されることなく、観察部位の蛍光画像の輝度を高精度に補正することができる。
また、本発明の別の態様にかかる撮像装置は、観察部位に照明光および励起光を照射する光源部と、前記観察部位から反射した前記照明光に基づいた前記観察部位の反射光画像と、前記励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを撮像する撮像系と、前記撮像系が撮像した前記反射光画像の特徴量を算出する特徴量算出部と、前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定部と、前記ぼかし度に対応して前記撮像系の焦点を制御する制御部と、前記焦点の制御後に前記撮像系が撮像した前記観察部位の焦点制御後の反射光画像によって前記蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成部と、を備えるものである。
また、本発明の別の態様にかかる画像処理プログラムは、観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する画像取得手順と、前記反射光画像の特徴量を算出する特徴量算出手順と、前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定手順と、前記ぼかし度に対応して前記反射光画像の撮像系の焦点を制御する焦点制御手順と、前記焦点の制御後に前記観察部位の焦点制御後の反射光画像を取得する調整画像取得手順と、前記焦点制御後の反射光画像によって前記観察部位の蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成手順と、をコンピュータに実行させるものである。
また、本発明の別の態様にかかる画像処理方法は、観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する画像取得ステップと、前記反射光画像の特徴量を算出する特徴量算出ステップと、前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定ステップと、前記ぼかし度に対応して前記反射光画像の撮像系の焦点を制御する焦点制御ステップと、前記焦点の制御後に前記観察部位の焦点制御後の反射光画像を取得する調整画像取得ステップと、前記焦点制御後の反射光画像によって前記観察部位の蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成ステップと、を含むものである。
本発明にかかる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法によれば、観察部位内の輪郭体に影響されることなく、観察部位の蛍光画像の輝度を高精度に補正することができるという効果を奏する。
以下、図面を参照して、本発明を実施するための最良の形態である画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法の実施の形態について説明する。なお、以下では、本発明にかかる撮像装置の一例として、患者等の被検体の体腔内の画像を撮像する内視鏡装置を説明し、この内視鏡装置に用いられる画像処理装置、画像処理プログラムおよび画像処理方法を説明するが、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。この実施の形態1にかかる内視鏡装置1は、本発明にかかる撮像装置の一例であり、図1に示すように、患者等の被検体内部の観察部位100に光を照射する光源装置10と、被検体の体腔内に挿入する細長形状の挿入部20と、観察部位100の画像を処理する画像処理装置30と、を備える。
光源装置10は、蛍光薬剤を励起する励起光と被写体を照明する照明光の一例である白色光とを観察部位100に照射する光源部として機能する。具体的には、光源装置10は、白色光源11と、白色光源11からの射出光を略平行光にするコリメートレンズ12と、平行光を集光する集光レンズ13と、観察部位100への照射光を励起光または白色光に切り替える回転フィルタ14と、回転フィルタ14の駆動源であるモータ15と、を備え、観察部位100に励起光および白色光を交互に切り替えて照射する機能を有する。
白色光源11は、蛍光薬剤を励起する励起光の波長帯域を含む広帯域な白色光を発光可能な光源を用いて実現される。具体的には、白色光源11は、光源装置10のスイッチ(図示せず)の操作によって電源のオンオフ状態が切り替えられ、後述する画像処理装置30の制御部39によって発光タイミングを制御される。かかる白色光源11が発光する白色光には、青色成分(B)、緑色成分(G)および赤色成分(R)の各色光が含まれ、さらに、例えば腫瘍等の病変部101に集積する薬剤蛍光を励起する励起光が含まれる。なお、かかる白色光源11からの励起光は、可視光の波長帯域以下(例えば紫外光域の波長帯域)の光であり、病変部101に集積した薬剤蛍光を励起して、可視光域内の波長帯域、例えば400〜740nmの波長帯域内の蛍光を発光させる特性を有する。
コリメートレンズ12は、白色光源11から射出される白色光の光路上に配置され、白色光源11からの白色光を略平行光にする。このコリメートレンズ12による平行光は、回転フィルタ14を透過した後、集光レンズ13によって集光される。この集光レンズ13によって集光された光は、挿入部20を介して被検体内部の観察部位100に照射される。
回転フィルタ14は、白色光源11によって発光された白色光から所定の波長帯域の光を抽出する。図2は、回転フィルタの一構成例を示す模式図である。図3は、回転フィルタの透過率特性の一例を示す模式図である。なお、図3には、この回転フィルタ14が抽出した励起光によって発生する蛍光の分光特性を例示する波長対強度の相関線C3が図示されている。回転フィルタ14は、図2に示すように、互いに分光特性の異なる白色光フィルタ14aおよび励起光フィルタ14bを備える。
白色光フィルタ14aは、白色光源11によって発光された白色光のうちの所定の波長帯域の白色光を透過させる。具体的には、白色光フィルタ14aは、図3に示す波長対強度の相関線C1のように、400〜740nmの波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有する白色光フィルタ14aは、白色光源11による射出光から400〜740nmの波長帯域の白色光を抽出し、この抽出した白色光を観察部位100の照明光として透過させる。
励起光フィルタ14bは、白色光源11によって発光された白色光のうちの所定の波長帯域の励起光を透過させる。具体的には、励起光フィルタ14bは、図3に示す波長対強度の相関線C2のように、400nm以下、例えば紫外光域の波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有する励起光フィルタ14bは、白色光源11が発光した白色光から相関線C2に例示される波長帯域の励起光を抽出し、この抽出した励起光を透過させる。なお、かかる励起光フィルタ14bによって抽出された励起光は、例えば観察部位100に存在する腫瘍等の病変部101に特異的に集積する蛍光薬剤を励起して、可視光域内、例えば図3に示す相関線C3に例示されるように400〜740nmの波長帯域内の蛍光を発生させる特性を有する。
このような白色光フィルタ14aおよび励起光フィルタ14bを有する回転フィルタ14は、モータ15の駆動によって周方向に回転し、これによって、白色光源11からの白色光の光路(図1に示す光源装置10内の破線参照)内に、白色光フィルタ14aおよび励起光フィルタ14bを順次切り替えて位置させる。かかる回転フィルタ14は、この光路内に白色光フィルタ14aを位置させた状態において400〜740nmの白色光を透過させ、この光路内に励起光フィルタ14bを位置させた状態において、この白色光の波長帯域内の励起光を透過させる。すなわち、回転フィルタ14は、かかる白色光と励起光とを交互に透過させる。
挿入部20は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置1の操作部(図示せず)の操作に基づいて所望の方向に湾曲可能である。また、図1に示すように、挿入部20は、その基端部側が光源装置10と画像処理装置30とに接続され、この光源装置10からの射出光を先端部側に導くライトガイドファイバ21と、ライトガイドファイバ21によって導かれた光を拡散するレンズ22とを備える。また、挿入部20は、観察部位100の反射光画像および蛍光画像を撮像する撮像系26を備える。
ライトガイドファイバ21は、光ファイバ等を用いて実現され、上述した光源装置10によって交互に射出される白色光および励起光を挿入部20の先端部側に順次伝搬する。かかるライトガイドファイバ21によって順次導かれた光源装置10からの白色光および励起光は、レンズ22によって順次拡散され、その後、被検体内部の観察部位100に交互に照射される。
ここで、このように観察部位100に照射された光源装置10からの白色光は、観察部位100を照明するとともに、この観察部位100において反射する。一方、この白色光と異なるタイミングに観察部位100に照射された励起光は、予め蛍光薬剤を集積した病変部101が観察部位100内に存在する場合、この病変部101の蛍光薬剤を励起して、例えば、この白色光の波長帯域内の蛍光を発生させる。
撮像系26は、観察部位100の反射光画像および蛍光画像を撮像するためのものであり、観察部位100からの反射光または蛍光を集光する対物レンズ23と、この観察部位100から集光した光のうちの励起光を遮断するバリアフィルタ24と、観察部位100の白色光画像および蛍光画像を撮像する撮像部25とを備える。
対物レンズ23は、観察部位100からの反射光および蛍光を集光する。具体的には、対物レンズ23は、光源装置10からの白色光が観察部位100に照射された場合、この観察部位100から反射した白色光を集光する。一方、対物レンズ23は、光源装置10からの励起光が観察部位100に照射された場合、この観察部位100(詳細には病変部101)から発生した蛍光と観察部位100から反射した励起光とを集光する。
バリアフィルタ24は、観察部位100からの光に含まれる励起光を遮断するためのものである。具体的には、バリアフィルタ24は、上述した白色光フィルタ14aと同様に、図3の相関線C1に示したような400〜740nmの波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有するバリアフィルタ24は、光源装置10からの励起光が観察部位100に照射された場合、対物レンズ23によって集光された観察部位100からの光のうち、観察部位100から反射した励起光を遮断するとともに、観察部位100からの蛍光を撮像部25側に透過させる。一方、バリアフィルタ24は、光源装置10からの白色光が観察部位100に照射された場合、対物レンズ23によって集光された観察部位100からの反射光、すなわち、観察部位100から反射した400〜740nmの白色光を撮像部25側に透過させる。
撮像部25は、照明光の照射によって観察部位100から反射した照明光に基づいた観察部位100の反射光画像と、励起光の照射によって観察部位100から発生した蛍光に基づいた観察部位100の蛍光画像とを撮像する。具体的には、撮像部25は、CCDまたはCMOSイメージセンサ等の撮像素子25aと、この撮像素子25aの受光部に被写体の光学像を結像するレンズ等の可動光学系25bとを備え、後述する画像処理装置30の制御部39の制御に基づいて焦点を調整しつつ観察部位100の反射光画像および蛍光画像を撮像する。
撮像素子25aは、分光特性の異なるカラーフィルタ群を受光部に備えたベイヤ型のカラー撮像素子である。撮像素子25aは、可動光学系25bによって結像された観察部位100からの光をこのカラーフィルタ群を介して受光し、この受光した光を各色成分の画素毎に光電変換処理して、観察部位100の映像信号を生成する。かかる撮像素子25aは、光源装置10からの白色光が観察部位100に照射された場合、可動光学系25bによって結像された観察部位100からの白色光をこのカラーフィルタ群を介して受光して、この観察部位100の反射光画像の一例である白色光画像を撮像する。撮像素子25aは、このように観察部位100の白色光画像を撮像する都度、この観察部位100の白色光画像を構成する各色成分の映像信号を画像処理装置30に順次送信する。
また、撮像素子25aは、被写体からの蛍光に基づいた蛍光画像の撮像機能を有する。すなわち、撮像素子25aは、光源装置10からの励起光が観察部位100に照射された場合、可動光学系25bによって結像された観察部位100からの蛍光をこのカラーフィルタ群を介して受光して、この観察部位100の蛍光画像を撮像する。撮像素子25aは、このように観察部位100の蛍光画像を撮像する都度、この観察部位100の蛍光画像の各映像信号を画像処理装置30に順次送信する。
ここで、かかる撮像素子25aの受光部に配置されたカラーフィルタ群は、互いに異なる分光特性を有する複数のカラーフィルタ、例えば、青色光を透過する青色光フィルタと、緑色光を透過する緑色光フィルタと、赤色光を透過する赤色光フィルタとを各々複数含むモザイク状の原色カラーフィルタである。かかるカラーフィルタ群は、撮像素子25aの画素毎に観察部位100からの白色光または蛍光を各色成分のカラーフィルタによって分光するとともに、この分光した各色成分の光を撮像素子25aの各画素に向けて透過させる。なお、かかるカラーフィルタ群に含まれる各カラーフィルタの色成分は、上述した青色、緑色および赤色に限定されず、例えば、イエロー、シアンおよびマゼンダ等であってもよい。
可動光学系25bは、レンズ等の光学系および可動式のレンズ枠等を用いて実現され、画像処理装置30の制御部39によって駆動制御される。具体的には、可動光学系25bは、制御部39の制御に基づいて駆動し、これによって、撮像素子25aとレンズとの相対距離を変更可能である。かかる可動光学系25bは、制御部39によって焦点を制御され、この結果、観察部位100に焦点を合わせることができる。可動光学系25bは、このように観察部位100に焦点を合わせた状態において、バリアフィルタ24を透過した観察部位100からの白色光または蛍光を撮像素子25aの受光部に結像する。この場合、上述した撮像素子25aは、焦点の合った観察部位100の白色光画像または蛍光画像を撮像する。
また、可動光学系25bは、制御部39の制御に基づいて、観察部位100から所望の程度に焦点をずらすことができる。可動光学系25bは、このように制御部39の制御に応じて観察部位100から焦点をずらした状態において、バリアフィルタ24を透過した観察部位100からの白色光を撮像素子25aの受光部に結像する。この場合、上述した撮像素子25aは、かかる焦点の制御後に観察部位100の焦点制御後の白色光画像(以下、調整画像という)を撮像する。その後、可動光学系25bは、制御部39の制御に基づいて、観察部位100に焦点を合わせた状態に復帰する。なお、この観察部位100の調整画像は、観察部位100からの白色光に基づいた白色光画像の一種であり、かかる調整画像のぼかし度は、制御部39の制御に基づいた可動光学系25bの焦点調整結果に応じて変化する。
画像処理装置30は、上述した撮像系26によって撮像された観察部位100の画像情報を処理して、観察部位100の白色光画像および蛍光画像を出力する。具体的には、図1に示すように、画像処理装置30は、撮像系26の撮像部25による観察部位100の画像情報を取得する画像取得部31と、画像取得部31が取得した観察部位100の画像情報を記憶する記憶部32とを備える。また、画像処理装置30は、観察部位100の反射光画像の特徴量を算出する特徴量算出部33と、観察部位100の反射光画像のぼかし度を設定するぼかし度設定部34と、を備える。さらに、画像処理装置30は、観察部位100の蛍光画像の輝度値を補正した補正蛍光画像を生成する補正蛍光画像生成部35と、観察部位100の白色光画像を生成する白色光画像生成部36と、観察部位100の白色光画像および補正蛍光画像を出力する画像出力部37と、入力部38と、制御部39とを備える。
なお、かかる画像処理装置30において、画像取得部31は、上述した撮像部25、記憶部32、特徴量算出部33および補正蛍光画像生成部35と接続される。記憶部32は、補正蛍光画像生成部35および白色光画像生成部36と接続される。特徴量算出部33は、ぼかし度設定部34と接続される。補正蛍光画像生成部35および白色光画像生成部36は、画像出力部37と接続される。制御部39は、画像取得部31、特徴量算出部33、ぼかし度設定部34、補正蛍光画像生成部35、白色光画像生成部36、画像出力部37および入力部38と双方向に接続される。また、制御部39は、上述した光源装置10および撮像部25と双方向に接続される。
画像取得部31は、撮像系26によって撮像された観察部位100の画像情報を取得する。具体的には、画像取得部31は、撮像部25が観察部位100に焦点を合わせた状態で観察部位100の白色光画像を撮像した場合、その都度、撮像部25から観察部位100の白色光画像の各映像信号を取得する。なお、かかる白色光画像の各映像信号は、アナログ信号であり、撮像部25から画像取得部31に所定時間間隔で連続的に出力される。画像取得部31は、かかる撮像部25から取得した白色光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換後の各映像信号に対してノイズ低減処理等の信号処理を行う。画像取得部31は、かかる処理後の白色光画像の各映像信号を記憶部32および特徴量算出部33に順次送信する。
また、画像取得部31は、撮像部25が観察部位100に焦点を合わせた状態で観察部位100の蛍光画像を撮像した場合、その都度、撮像部25から観察部位100の蛍光画像の各映像信号を取得する。なお、かかる蛍光画像の各映像信号は、アナログ信号であり、撮像部25から画像取得部31に所定時間間隔で連続的に出力される。画像取得部31は、かかる撮像部25から取得した蛍光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換後の各映像信号に対してノイズ低減処理等の信号処理を行う。画像取得部31は、かかる処理後の蛍光画像の各映像信号を記憶部32に順次送信する。
一方、画像取得部31は、制御部39による撮像系26の焦点制御後に、焦点がずれた観察部位100の画像情報を取得する。具体的には、画像取得部31は、撮像部25が制御部39の制御に基づいて観察部位100から焦点をずらした状態で観察部位100の白色光画像を撮像した場合、その都度、かかる焦点制御後の白色光画像である観察部位100の調整画像の各映像信号を撮像部25から取得する。なお、かかる調整画像の各映像信号は、上述した白色光画像の場合と同様に、撮像部25から画像取得部31に所定時間間隔で連続的に出力され、画像取得部31によってデジタル信号に変換される。画像取得部31は、かかるデジタル変換後の調整画像の各映像信号に対してノイズ低減処理等の信号処理を行い、かかる処理後の調整画像の各映像信号を補正蛍光画像生成部35に順次送信する。
記憶部32は、画像取得部31が取得した画像情報を記憶する。具体的には、記憶部32は、画像取得部31によって処理された観察部位100の白色光画像の各映像信号を順次取得し、この取得した白色光画像の各映像信号を記憶する。また、記憶部32は、画像取得部31によって処理された観察部位100の蛍光画像の各映像信号を順次取得し、この取得した蛍光画像の各映像信号を記憶する。記憶部32は、かかる画像取得部31からの画像情報を取得する都度、既存の画像情報をこの取得画像情報に順次更新する。なお、この記憶部32に記憶される観察部位100の白色光画像および蛍光画像は、観察部位100に焦点が合った状態において撮像された画像情報である。かかる記憶部32内の白色光画像の各映像信号は、白色光画像生成部36によって適宜読み出される。また、かかる記憶部32内の蛍光画像の各映像信号は、補正蛍光画像生成部35によって適宜読み出される。
特徴量算出部33は、画像取得部31が取得した観察部位100の反射光画像の特徴量を算出する。具体的には、特徴量算出部33は、ラプラシアンフィルタ等を用いて実現される。特徴量算出部33は、画像取得部31から観察部位100の白色光画像の各映像信号を取得し、この取得した各映像信号をもとに、この白色光画像に含まれるエッジを検出する。なお、かかる白色光画像内のエッジは、画像内における輝度の境界部分であり、具体的には、この白色光画像に含まれる血管等の輪郭体の像に対応して周辺画素との輝度差が大きくなる画素部分である。特徴量算出部33は、ラプラシアンフィルタを用いて、この観察部位100の白色光画像に含まれる全エッジを検出するエッジ検出処理を行う。特徴量算出部33は、かかるエッジ検出処理後の白色光画像をもとに、この白色光画像の特徴量の一例であるエッジ情報を算出する。ここで、かかる特徴量算出部33が算出する白色光画像のエッジ情報は、この白色光画像内のエッジに関する情報であり、例えば、この白色光画像に含まれる全エッジの輝度値の総和である。特徴量算出部33は、かかる観察部位100の白色光画像の特徴量として算出したエッジ情報をぼかし度設定部34に送信する。
なお、特徴量算出部33は、上述したように、ラプラシアンフィルタを用いてエッジ検出処理を行っていたが、かかるエッジ検出処理に用いるフィルタはラプラシアンフィルタに限定されない。すなわち、特徴量算出部33は、ラプラシアンフィルタ処理以外の手法によって、観察部位100の白色光画像内のエッジを検出してもよい。
ぼかし度設定部34は、観察部位100の反射光画像のぼかし度を設定する。具体的には、ぼかし度設定部34は、反射光画像のぼかし度の設定に用いるルックアップテーブル等のデータテーブル34aを有する。データテーブル34aは、反射光画像の特徴量の一例である観察部位100の白色光画像のエッジ情報の各範囲と、このエッジ情報の範囲毎に異なるぼかし度とを含む。なお、このデータテーブル34a内の各ぼかし度は、かかるエッジ情報の増加方向の範囲移動に伴って増加し、かかるエッジ情報の減少方向の範囲移動に伴って減少する。ぼかし度設定部34は、上述した特徴量算出部33から観察部位100の白色光画像のエッジ情報を取得し、かかるデータテーブル34aを参照して、この取得したエッジ情報に対応するぼかし度を選択する。ぼかし度設定部34は、観察部位100の白色光画像のぼかし度として、この選択したぼかし度を設定する。この場合、ぼかし度設定部34は、かかる特徴量算出部33から取得したエッジ情報の増加に伴って白色光画像のぼかし度を増加させ、かかる特徴量算出部33から取得したエッジ情報の減少に伴って白色光画像のぼかし度を減少させる。ぼかし度設定部34は、かかるぼかし度の設定結果を制御部39に送信する。
なお、かかるぼかし度設定部34のデータテーブル34aは、ぼかし度設定部34に予め保持されてもよいし、入力部38によって入力され、制御部39の制御に基づいてぼかし度設定部34に保存または更新されてもよい。
補正蛍光画像生成部35は、上述した撮像部25によって撮像された観察部位100の蛍光画像の輝度値を補正した補正蛍光画像を生成する。具体的には、補正蛍光画像生成部35は、記憶部32から観察部位100の蛍光画像の各映像信号を読み出す。補正蛍光画像生成部35は、この読み出した蛍光画像の各映像信号に対して補間処理およびホワイトバランス処理等の信号処理を行い、これによって、観察部位100の蛍光画像を生成する。一方、補正蛍光画像生成部35は、画像取得部31から観察部位100の調整画像の各映像信号を取得する。補正蛍光画像生成部35は、この取得した調整画像の各映像信号に対して補間処理およびホワイトバランス処理等の信号処理を行い、これによって、観察部位100の調整画像を生成する。
ここで、この観察部位100の調整画像は、上述したぼかし度設定部34が設定したぼかし度に応じたボケ具合の白色光画像であり、この白色光画像に元来含まれる輪郭体の像に対応するエッジを軽減した白色光画像である。かかる調整画像は、エッジを含まない均一な画像に近似する。補正蛍光画像生成部35は、かかる均一画像に近似する調整画像によって観察部位100の蛍光画像を除算して、この観察部位100の補正蛍光画像を生成する。この場合、補正蛍光画像生成部35は、観察部位100の調整画像および蛍光画像の対応画素毎に、この調整画像の輝度値によって補正対象の蛍光画像の輝度値を除算し、これによって、この補正対象の蛍光画像の各画素の輝度値を規格化処理する。この規格化処理によって、補正蛍光画像生成部35は、被写体に含まれる輪郭体の影響を受けることなく、被写体である観察部位100と撮像系26(例えば撮像部25)との撮像距離に応じて変化する蛍光画像内の蛍光の明暗(輝度値)を正確に補正する。補正蛍光画像生成部35は、上述したように生成した観察部位100の補正蛍光画像の各映像信号を画像出力部37に順次送信する。
なお、かかる補正蛍光画像生成部35によって生成された観察部位100の補正蛍光画像において、励起光照射による蛍光発生源である病変部101は、観察部位100と撮像系26との撮像距離に関わらず、比較的高い輝度の画素によって描画される。
白色光画像生成部36は、上述した撮像部25によって撮像された観察部位100の白色光画像を生成する。具体的には、白色光画像生成部36は、記憶部32から観察部位100の白色光画像の各色成分の映像信号を読み出す。白色光画像生成部36は、この読み出した各色成分の映像信号に対して補間処理を行い、これによって、撮像部25の受光部内の単位画素集合体毎に、各色成分を合成した3板状態の映像信号を生成する。白色光画像生成部36は、このように生成した3板状態の各映像信号に対して色変換処理および階調変換処理等を行って、観察部位100の白色光画像を生成する。白色光画像生成部36は、この生成した観察部位100の白色光画像の各映像信号を画像出力部37に順次送信する。
画像出力部37は、観察部位100の白色光画像および補正蛍光画像を出力する。具体的には、画像出力部37は、CRTディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。画像出力部37は、補正蛍光画像生成部35から観察部位100の補正蛍光画像の各映像信号を取得し、白色光画像生成部36から観察部位100の白色光画像の各映像信号を取得する。画像出力部37は、かかる補正蛍光画像生成部35から取得した各映像信号をもとに観察部位100の補正蛍光画像を表示出力するとともに、かかる白色光画像生成部36から取得した各映像信号をもとに観察部位100の白色光画像を表示出力する。この場合、画像出力部37は、かかる観察部位100の白色光画像と補正蛍光画像とを並べて表示してもよいし、かかる観察部位100の白色光画像に補正蛍光画像を重畳表示してもよい。
入力部38は、画像表示装置30の外部インターフェース部として機能するものであり、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力部38は、医師または看護師等のユーザによる入力操作に対応して制御部39に各種情報を入力する。かかる入力部38によって制御部39に入力される各種情報として、例えば、光源装置10または画像処理装置30の動作制御等を制御部39に対して指示する指示情報、観察部位100の白色光画像または蛍光画像の撮像モードの設定情報、上述したぼかし度設定部34に格納するデータテーブル34aの情報等が挙げられる。
なお、入力部38は、画像処理装置30の電源オンオフを切り替える電源スイッチを備えてもよいし、撮像操作を開始するためのシャッターボタンを備えてもよいし、撮像モード等の各種モードを切り替えるためのモード切替スイッチを備えてもよい。この場合、制御部39は、入力部38のシャッターボタンの入力操作に対応して、光源装置10の動作および撮像部25の動作を制御してもよい。
制御部39は、画像処理装置30の構成部である画像取得部31、特徴量算出部33、ぼかし度設定部34、補正蛍光画像生成部35、白色光画像生成部36、画像出力部37、および入力部38の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。また、制御部39は、上述した光源装置10および撮像系26を制御する。
具体的には、制御部39は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部39は、入力部38によって入力された設定情報をもとに、観察部位100の白色光画像または蛍光画像の撮像モード等の各種撮像条件またはゲイン等を設定する。また、制御部39は、入力部38によって入力された指示情報に基づいて、観察部位100に焦点を合わせるように撮像部25の可動光学系25bを駆動制御し、この合焦状態において観察部位100の白色光画像および蛍光画像を交互に撮像するように撮像素子25aを制御する。一方、制御部39は、ぼかし度設定部34によって設定されたぼかし度を取得し、この取得したぼかし度をもとに可動光学系25bを駆動制御し、これによって、このぼかし度に応じたずれ量だけ観察部位100から焦点がずれるように撮像部25の焦点を制御する。制御部39は、かかる非合焦状態において観察部位100の調整画像を撮像するように撮像素子25aを制御する。その後、制御部39は、観察部位100に焦点を合わせた状態に復帰するように可動光学系25bを駆動制御する。
また、制御部39は、入力部38によって入力された指示情報に基づいて、上述した画像処理装置30の各構成部の動作開始、動作終了、動作タイミング等を制御する。具体的には、制御部39は、撮像部25による白色光画像の各映像信号をデジタル変換後に記憶部32および特徴量算出部33に順次出力し、撮像部25による調整画像の各映像信号をデジタル変換後に補正蛍光画像生成部35に順次出力するように画像取得部31を制御する。また、制御部39は、撮像部25による蛍光画像の各映像信号をデジタル変換後に記憶部32に順次出力するように画像取得部31を制御する。一方、制御部39は、上述した特徴量算出部33による白色光画像の特徴量算出処理と、ぼかし度設定部34による白色光画像のぼかし度設定処理と、補正蛍光画像生成部36による補正蛍光画像の生成処理と、白色光画像生成部36による白色光画像の生成処理とを制御する。また、制御部39は、補正蛍光画像生成部35による観察部位100の補正蛍光画像と白色光画像生成部36による観察部位100の白色光画像とを表示出力するように画像出力部37を制御する。
一方、制御部39は、入力部38によって入力された指示情報に基づいて、光学装置10の白色光源11の発光動作および回転フィルタ14のフィルタ切替動作を制御する。具体的には、制御部39は、白色光源11に白色光を発光させるとともに、回転軸を介して回転フィルタ14と接続されたモータ15の回転駆動を制御し、このモータ15の駆動制御を通して回転フィルタ14の回転駆動を制御する。これによって、制御部39は、白色光源11からの白色光の光路内に白色光フィルタ14aと励起光フィルタ14bとを所定の時間間隔で交互に位置させる。このようにして、制御部39は、かかる光路内における回転フィルタ14のフィルタ切替を制御する。また、制御部39は、かかるモータ15の回転数等の回転駆動状態をもとに、白色光フィルタ14aおよび励起光フィルタ14bのいずれが光路内に位置しているかを把握する。制御部39は、かかる光路内に白色光フィルタ14aが位置する場合、観察部位100の白色光画像または調整画像を撮像するように撮像部25を制御し、かかる光路内に励起光フィルタ14bが位置する場合、観察部位100の蛍光画像を撮像するように撮像部25を制御する。
つぎに、本発明の実施の形態1にかかる画像処理装置30の動作について説明する。図4は、本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態1にかかる画像処理装置30は、図4に示される処理手順を実行して、観察部位100の白色光画像および補正蛍光画像を表示出力する。
すなわち、図4に示すように、画像処理装置30は、まず、観察部位100の白色光画像を取得する(ステップS101)。このステップS101において、制御部39は、焦点が合った状態の観察部位100の白色光画像を取得するように光源装置10と撮像系26と画像取得装置31とを制御する。
かかる制御部39の制御に基づいて、光源装置10は、白色光源11によって白色光を発光するとともに、回転フィルタ14の白色光フィルタ14aをこの白色光の光路内に位置させ、これによって、上述した400〜740nmの白色光を観察部位100に照射する。撮像系26の撮像部25は、制御部39による可動光学系25bの駆動制御によって観察部位100に焦点を合わせ、この合焦状態において観察部位100から反射した白色光を受光して観察部位100の白色光画像を撮像する。画像取得部31は、かかる制御部39の制御に基づいて、撮像部25から観察部位100の白色光画像の各映像信号を取得し、この取得した各映像信号を上述した信号処理後に記憶部32および特徴量算出部33に各々送信する。記憶部32は、かかる画像取得部31から取得した観察部位100の白色光画像の各映像信号を記憶する。
つぎに、画像処理装置30は、補正対象となる観察部位100の蛍光画像を取得する(ステップS102)。このステップS102において、制御部39は、焦点が合った状態の観察部位100の蛍光画像を取得するように光源装置10と撮像系26と画像取得装置31とを制御する。
かかる制御部39の制御に基づいて、光源装置10は、白色光源11によって白色光を発光するとともに、回転フィルタ14の励起光フィルタ14bをこの白色光の光路内に位置させ、これによって、ステップS101における観察部位100への照射白色光の波長帯域内(具体的には400〜740nmの波長帯域内)の蛍光を励起可能な励起光を観察部位100に照射する。撮像系26の撮像部25は、観察部位100に焦点を合わせた状態において、この励起光の照射によって観察部位100から発生した蛍光を受光して観察部位100の蛍光画像を撮像する。画像取得部31は、かかる制御部39の制御に基づいて、撮像部25から観察部位100の蛍光画像の各映像信号を取得し、この取得した各映像信号を上述した信号処理後に記憶部32に送信する。記憶部32は、かかる画像取得部31から取得した観察部位100の蛍光画像の各映像信号を記憶する。
つぎに、画像処理装置30は、観察部位100の白色光画像の特徴量算出処理を実行する(ステップS103)。このステップS103において、制御部39は、上述したステップS101において取得した観察部位100の白色光画像の特徴量を算出するように特徴量算出部33を制御する。
かかる制御部39の制御に基づいて、特徴量算出部33は、画像取得部31から取得した観察部位100の白色光画像の各映像信号をもとに、この白色光画像内の全エッジを検出し、このエッジ検出処理後の白色光画像をもとに、この白色光画像のエッジ情報、例えば、この白色光画像内の全エッジの輝度値の総和を算出する。特徴量算出部33は、この算出した観察部位100の白色光画像のエッジ情報をぼかし度設定部34に送信する。
続いて、画像処理装置30は、このステップS103における算出特徴量に基づいた観察部位100の白色光画像のぼかし度設定処理を実行する(ステップS104)。このステップS104において、制御部39は、上述したステップS103における算出特徴量に基づいて観察部位100の白色光画像のぼかし度を設定するようにぼかし度設定部34を制御する。
かかる制御部39の制御に基づいて、ぼかし度設定部34は、ステップS103において特徴量算出部33が算出したエッジ情報を取得し、データテーブル34aを参照して、この取得したエッジ情報に対応する観察部位100の白色光画像のぼかし度を設定する。ぼかし度設定部34は、この設定した観察部位100の白色光画像のぼかし度を制御部39に送信する。
つぎに、画像処理装置30は、このステップS104における設定ぼかし度に基づいた観察部位100の白色光画像の焦点調整処理を実行する(ステップS105)。このステップS105において、制御部39は、ぼかし度設定部34によって設定された観察部位100の白色光画像のぼかし度を取得し、この取得したぼかし度をもとに、観察部位100からの焦点のずれ量を算出する。制御部39は、この算出したずれ量だけ観察部位100から焦点がずれるように撮像系26の焦点を制御する。
かかる制御部39の制御に基づいて、撮像系26の撮像部25は、撮像素子25aと可動光学系25bのレンズとの相対距離を変化させて、上述したぼかし度設定部34による設定ぼかし度に応じたずれ量分、観察部位100から焦点をずらす。
続いて、画像処理装置30は、この設定ぼかし度に応じた観察部位100の焦点制御後の白色光画像である調整画像を取得する(ステップS106)。このステップS106において、制御部39は、かかる設定ぼかし度に応じた非合焦状態の観察部位100の調整画像を取得するように光源装置10と撮像系26と画像取得装置31とを制御する。
かかる制御部39の制御に基づいて、光源装置10は、白色光源11によって白色光を発光するとともに、回転フィルタ14の白色光フィルタ14aをこの白色光の光路内に再度位置させ、これによって、上述した400〜740nmの白色光を観察部位100に照射する。撮像系26の撮像部25は、上述したステップS105のように焦点が調整された状態において観察部位100から反射した白色光を受光して観察部位100の調整画像を撮像する。画像取得部31は、かかる制御部39の制御に基づいて、撮像部25から観察部位100の調整画像の各映像信号を取得し、この取得した各映像信号を上述した信号処理後に補正蛍光画像生成部35に送信する。
つぎに、画像処理装置30は、ステップS106において取得した観察部位100の調整画像を用いて観察部位100の補正蛍光画像の生成処理を実行する(ステップS107)。このステップS107において、制御部39は、上述したステップS102において取得した観察部位100の蛍光画像の輝度値を補正した補正蛍光画像を生成するように補正蛍光画像生成部35を制御する。
かかる制御部39の制御に基づいて、補正蛍光画像生成部35は、ステップS106における観察部位100の調整画像によって補正対象である観察部位100の蛍光画像を規格化処理し、これによって、観察部位100の補正蛍光画像を生成する。詳細には、補正蛍光画像生成部35は、記憶部32から読み出した観察部位100の蛍光画像の各映像信号に対して上述した信号処理を行って、観察部位100の蛍光画像を生成する。また、補正蛍光画像生成部35は、画像取得部31から取得した観察部位100の調整画像の各映像信号に対して上述した信号処理を行って、観察部位100の調整画像を生成する。補正蛍光画像生成部35は、かかる観察部位100の調整画像および蛍光画像の対応画素毎に、この調整画像の輝度値によって補正対象の蛍光画像の輝度値を除算し、これによって、この補正対象の蛍光画像の各画素の輝度値を規格化処理する。この結果、補正蛍光画像生成部35は、この補正対象の蛍光画像の輝度値を補正した観察部位100の補正蛍光画像を生成する。補正蛍光画像生成部35は、この生成した観察部位100の補正蛍光画像の各映像信号を画像出力部37に送信する。
つぎに、画像処理装置30は、観察部位100の画像情報の出力処理を実行する(ステップS108)。このステップS108において、制御部39は、観察部位100の白色光画像を生成するように白色光画像生成部36を制御するとともに、出力対象である観察部位100の白色光画像および補正蛍光画像を表示するように画像出力部37を制御する。
かかる制御部39の制御に基づいて、白色光画像生成部36は、記憶部32から観察部位100の白色光画像の各色成分の映像信号を読み出し、この読み出した各色成分の映像信号に対して上述した各種信号処理を行って観察部位100の白色光画像を生成する。白色光画像生成部36は、この生成した観察部位100の白色光画像の各映像信号を画像出力部37に送信する。一方、画像出力部37は、かかる制御部39の制御に基づいて、補正蛍光画像生成部35から取得した観察部位100の補正蛍光画像と、白色光画像生成部36から取得した観察部位100の白色光画像とを表示出力する。
その後、画像処理装置30は、所定のオフ操作等の処理終了操作が行われた場合(ステップS109,Yes)、本処理を終了する。この場合、制御部39は、入力装置40によって処理終了の指示情報を入力され、この入力された指示情報に基づいて、光源装置10、撮像系26および画像処理装置30の各構成部の動作を終了させる。一方、画像処理装置30は、かかる処理終了操作が行われていない場合(ステップS109,No)、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。この場合、制御部39は、上述したS101〜S109の処理手順を行って、光源装置10、撮像系26および画像処理装置30の各構成部を適宜制御する。
つぎに、観察部位100の白色光画像に含まれる輪郭体の像が血管の像である場合を例示して、上述したステップS101〜S109の処理手順に基づく画像処理装置30の動作を具体的に説明する。図5は、実施の形態1にかかる画像処理装置の動作を具体的に説明するための模式図である。
画像処理装置30は、上述したステップS101において観察部位100の白色光画像Pwを取得し、上述したステップS102において観察部位100の蛍光画像Pfを取得する。ここで、この白色光画像Pwは、観察部位100に焦点があった状態において撮像された画像であり、図5に示すように、観察部位100内の病変部101および輪郭体である血管の各像を含んでいる。すなわち、この白色光画像Pwは、かかる血管の像に対応して輝度のコントラストを形成するエッジを含んでいる。一方、この蛍光画像Pfは、観察部位100に焦点があった状態において撮像された画像であり、観察部位100内の病変部101から発生した蛍光に基づく像を含んでいる。
かかる観察部位100の白色光画像Pwおよび蛍光画像Pfを取得した画像処理装置30は、この白色光画像Pwの特徴量を算出し、この算出した特徴量をもとに白色光画像Pwのぼかし度を設定する。具体的には、上述したステップS103において、特徴量算出部33は、この白色光画像Pwに含まれるエッジ、すなわち血管の像に対応して周辺画素との輝度差が大きい画素部分であるエッジを検出し、この検出した白色光画像Pw内の全エッジの輝度値の総和をエッジ情報として算出する。一方、ぼかし度設定部34は、特徴量算出部33が算出した白色光画像Pwのエッジ情報を取得し、上述したデータテーブル34aを参照して、このエッジ情報に対応する白色光画像Pwのぼかし度を設定する。なお、ぼかし度設定部34は、かかるエッジ情報である白色光画像Pw内の全エッジの輝度値の総和の増加に伴って設定ぼかし度を増加させ、この全エッジ輝度値の総和の減少に伴って設定ぼかし度を減少させる。
このように白色光画像Pwのぼかし度を設定した後、画像処理装置30は、このぼかし度に対応してぼけた状態の観察部位100の白色光画像である調整画像Prを取得する。具体的には、上述したステップS105,S106において、制御部39は、この白色光画像Pwのぼかし度に応じた焦点のずれ量を算出し、この算出したずれ量だけ観察部位100から焦点をずらすように撮像部25を制御し、さらに、この非合焦状態において観察部位100の白色光画像を撮像するように光源装置10および撮像部25を制御する。かかる制御部39の制御に基づいて、光源装置10は、観察部位100に白色光源を照射し、撮像部25は、このぼかし度に応じた非合焦状態において観察部位100の焦点制御後の白色光画像すなわち調整画像Prを撮像する。画像処理装置30は、かかる撮像部25によって撮像された観察部位100の調整画像Prを取得する。
かかる観察部位100の調整画像Prを取得した画像処理装置30は、この調整画像Prを用いて観察部位100の蛍光画像Pfの輝度値を補正する。具体的には、上述したステップS107において、補正蛍光画像生成部35は、図5に示すように、観察部位100の調整画像Prによって観察部位100の蛍光画像Pfを規格化処理して、観察部位100の補正蛍光画像Pcを生成する。この規格化処理において、補正蛍光画像生成部35は、かかる調整画像Prおよび蛍光画像Pfの対応画素毎に、この調整画像Prの輝度値によって蛍光画像Pfの輝度値を除算し、これによって、この蛍光画像Pfの各画素の輝度値を規格化処理する。
ここで、この観察部位100の調整画像Prは、上述したぼかし度設定部34が設定したぼかし度に応じたボケ具合の白色光画像であり、観察部位100の白色光画像Pw内の輪郭体である血管の像に対応するエッジによる輝度のコントラストが軽減されている。この結果、調整画像Prは、エッジを含まない(すなわち輝度のコントラストがない)均一な画像に近似する。補正蛍光画像生成部35は、かかる調整画像Prによって蛍光画像Pfの各画素の輝度値を規格化処理する。これによって、補正蛍光画像生成部35は、輪郭体である血管の像に応じたエッジ(輝度のコントラスト)の影響を受けることなく、観察部位100と撮像系26との撮像距離に応じて変化する蛍光画像Pf内の蛍光の明暗(輝度値)を正確に補正した補正蛍光画像Pcを生成する。
その後、画像処理装置30は、図5に示すように、この観察部位100の白色光画像Pwおよび補正蛍光画像Pcを画像出力部37に表示する。なお、かかる画像出力部37に表示された補正蛍光画像Pcにおいて、励起光照射による蛍光発生源である病変部101は、観察部位100と撮像系26との撮像距離に関わらず、比較的高い輝度の画素によって描画される。この結果、観察対象100の蛍光観察による被検体内の病変部101の検出能および診断能を高めることができる。
以上、説明したように、本発明の実施の形態1では、白色光の照射によって観察部位から反射した白色光に基づく観察部位の白色光画像と、励起光の照射によってこの観察部位から発生した蛍光に基づく観察部位の蛍光画像とを取得し、この取得した白色光画像のエッジに関する特徴量を算出し、この算出した特徴量をもとに白色光画像のぼかし度を設定し、この設定したぼかし度に対応して観察部位から焦点をずらす焦点制御を行って、観察部位の焦点制御後の白色光画像である調整画像を取得し、この取得した調整画像によって観察部位の蛍光画像を除算して、この蛍光画像の輝度値を補正した補正蛍光画像を生成するように構成した。このため、この観察部位の白色光画像に血管等の輪郭体の像が含まれる場合であっても、この白色光画像を適度にぼかすことによって、かかる輪郭体の像に起因する白色光画像内の輝度のコントラストを軽減することができる。これによって、エッジに起因する輝度のコントラストを含まない均一な画像に近似する観察部位の調整画像によって観察部位の蛍光画像の輝度値を規格化処理することができ、この結果、観察部位内の輪郭体に影響されることなく、観察部位の蛍光画像の輝度を高精度に補正することができる。
この実施の形態1にかかる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法を用いることによって、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、この結果、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、特徴量算出部33は、観察部位100の白色光画像の特徴量として白色光画像のエッジ情報を算出していたが、この実施の形態2では、観察部位100の白色光画像の特徴量として白色光画像の色分布情報を算出している。
図6は、本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図6に示すように、この実施の形態2にかかる内視鏡装置2は、上述した実施の形態1にかかる内視鏡装置1の画像処理装置30に代えて画像処理装置230を備える。この画像処理装置230は、上述した実施の形態1にかかる画像処理装置30の特徴量算出部33に代えて特徴量算出部233を備え、ぼかし度設定部34に代えてぼかし度設定部234を備え、制御部39に代えて制御部239を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
画像処理装置230は、上述したように特徴量算出部233、ぼかし度設定部234および制御部239を備え、観察部位100の白色光画像の特徴量として白色光画像の色分布情報を算出し、この算出した色分布情報をもとに白色光画像のぼかし度を設定する。なお、画像処理装置230は、かかる特徴量算出部233、ぼかし度設定部234および制御部239の機能以外、上述した実施の形態1にかかる画像処理装置30と同様の機能を有する。
特徴量算出部233は、観察部位100の反射光画像の特徴量として、上述した撮像部25が撮像した観察部位100の白色光画像の色分布情報を算出する。具体的には、特徴量算出部233は、画像取得部31から観察部位100の白色光画像の各映像信号を取得し、この取得した各映像信号をもとに、この白色光画像に含まれる所定の色成分を検出する。特徴量算出部233は、この白色光画像内における検出色成分の散らばり度合いを示す分散を算出する。ここで、かかる特徴量算出部233が算出する所定の色成分の分散は、観察部位100の白色光画像の特徴量としての色分布情報の一例であり、この白色光画像内における所定の色成分の散らばり度合いの増加(すなわち偏り度合いの減少)に伴って増加し、この白色光画像内における所定の色成分の散らばり度合いの減少(すなわち偏り度合いの増加)に伴って減少する。特徴量算出部233は、この算出した観察部位100の白色光画像の色分布情報をぼかし度設定部234に送信する。
なお、かかる特徴量算出部233が算出する色分布情報の色成分は、画像取得部31から取得する観察部位100の白色光画像に含まれる色成分のうちの最も占有率または含有率の高い色成分であってもよいし、この白色光画像に含まれる血管等の輪郭体の像に対応する画素部分(すなわちエッジ)の色成分であってもよい。
ぼかし度設定部234は、上述した実施の形態1におけるデータテーブル34aに代えてデータテーブル234aを有し、このデータテーブル234aを参照して観察部位100の反射光画像のぼかし度を設定する。データテーブル234aは、観察部位100の白色光画像の色分布情報の一例である所定色の分散(散らばり度合い)の各範囲と、この白色画像内における所定色の分散の範囲毎に異なるぼかし度とを含む。このデータテーブル234a内の各ぼかし度は、かかる白色画像内における所定色の分散の増加方向の範囲移動に伴って減少し、かかる白色画像内における所定色の分散の減少方向の範囲移動に伴って増加する。ぼかし度設定部234は、上述した特徴量算出部233から観察部位100の白色光画像の色分布情報を取得し、かかるデータテーブル234aを参照して、この取得した色分布情報に対応するぼかし度を選択する。ぼかし度設定部234は、観察部位100の白色光画像のぼかし度として、この選択したぼかし度を設定する。この場合、ぼかし度設定部234は、上述した特徴量算出部233から取得した色分布情報の減少、すなわち、観察部位100の白色光画像内における所定色の分散の減少に伴って、白色光画像のぼかし度を増加させる。一方、ぼかし度設定部234は、上述した特徴量算出部233から取得した色分布情報の増加、すなわち観察部位100の白色光画像内における所定色の分散の増加に伴って、白色光画像のぼかし度を減少させる。ぼかし度設定部234は、かかるぼかし度の設定結果を制御部239に送信する。
なお、かかるぼかし度設定部234のデータテーブル234aは、ぼかし度設定部234に予め保持されてもよいし、入力部38によって入力され、制御部239の制御に基づいてぼかし度設定部234に保存または更新されてもよい。
制御部239は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部239は、観察部位100の白色光画像の特徴量として白色光画像の色分布情報、例えば、この白色光画像内の所定の色成分の分散を算出するように特徴量算出部233を制御し、この算出した白色光画像の色分布情報を用いて白色光画像のぼかし度を設定するようにぼかし度設定部234を制御する。なお、制御部239は、かかる特徴量算出部233およびぼかし度設定部234の制御機能以外、上述した実施の形態1にかかる画像処理装置30の制御部39と同様の機能を有する。
つぎに、本発明の実施の形態2にかかる画像処理装置230の動作について説明する。図7は、本発明の実施の形態2における白色光画像の特徴量算出処理およびぼかし度設定処理を具体的に説明する模式図である。この実施の形態2にかかる画像処理装置230は、観察部位100の白色光画像の特徴量算出処理およびぼかし度設定処理以外、上述した実施の形態1にかかる画像処理装置30と同様に動作する。すなわち、画像処理装置230は、図4に示したステップS101〜S109のうち、ステップS103およびS104の処理手順以外、実施の形態1にかかる画像処理装置30と同様の処理手順を実行する。
以下では、観察部位100の白色光画像が青色成分の各画素と緑色成分の各画素と赤色成分の各画素とによって構成される画像情報であり、この白色光画像に含まれる輪郭体である血管の色成分(すなわち赤色成分)を検出する場合を例示して、図7を参照しつつ、画像処理装置230による観察部位100の白色光画像の特徴量算出処理およびぼかし度設定処理を具体的に説明する。
まず、図7に示すように画像内において血管構造が比較的集中している白色光画像Pw1を画像処理装置230が取得した場合の特徴量算出処理およびぼかし度設定処理を説明する。上述したステップS103において、特徴量算出部233は、画像取得部31から観察部位100の白色光画像Pw1の各映像信号を取得し、この取得した各映像信号をもとに、この白色光画像Pw1内の血管の色成分である赤色成分を検出する。特徴量算出部233は、この検出した白色光画像Pw1内の赤色成分の画素の散らばり度合いを白色光画像Pw1内における赤色成分の分散として算出する。特徴量算出部233は、このように算出した白色光画像Pw1内の赤色成分の分散をぼかし度設定部234に送信する。
ここで、この白色光画像Pw1内の輪郭体である血管の像は、図7に示すように比較的偏って画像内に存在する。この場合、特徴量算出部233が算出する赤色成分の分散は、かかる白色光画像Pw1内における血管の偏り度合いに対応して比較的小さい値になる。
一方、上述したステップS104において、ぼかし度設定部234は、上述した特徴量算出部233から白色光画像Pw1内の赤色成分の分散算出結果を取得する。ぼかし度設定部234は、データテーブル234aを参照して、この取得した白色光画像Pw1内の赤色成分の分散に対応するぼかし度を白色光画像Pw1のぼかし度として設定する。ここで、かかる白色光画像Pw1内における赤色成分の分散は、上述したように比較的小さい、すなわち白色光画像Pw1内における赤色成分の偏り度合いが比較的大きい。この場合、ぼかし度設定部234は、かかる白色光画像Pw1内における赤色成分の分散小に対応して、白色光画像Pw1のぼかし度を比較的大きくする。この結果、画像処理装置230は、上述したステップS106において、この白色光画像Pw1のぼかし度に応じて焦点がずれた状態の観察部位100の調整画像Prを取得する。
ここで、この観察部位100の調整画像Prは、この白色光画像Pw1のぼかし度(大)に応じてぼけ具合の大きい白色光画像であり、画像内に含まれる輪郭体である血管の像が十分にぼかされている。これによって、かかる調整画像Pr内の血管に対応する全エッジが軽減され、この結果、調整画像Prは、かかる血管の像に対応するエッジによるコントラストが十分に軽減され、エッジに起因するコントラストを含まない均一な画像に近似する。なお、画像処理装置230の補正蛍光画像生成部35は、かかる調整画像Prによって観察部位100の蛍光画像を規格化処理することによって、実施の形態1の場合と同様に観察部位100の補正蛍光画像を生成する。
つぎに、図7に示すように画像内において血管構造が画像全体に分散している白色光画像Pw2を画像処理装置230が取得した場合の特徴量算出処理およびぼかし度設定処理を説明する。上述したステップS103において、特徴量算出部233は、画像取得部31から観察部位100の白色光画像Pw2の各映像信号を取得し、この取得した各映像信号をもとに、この白色光画像Pw2内の血管の色成分である赤色成分を検出する。特徴量算出部233は、この検出した白色光画像Pw2内の赤色成分の画素の散らばり度合いを白色光画像Pw2内における赤色成分の分散として算出する。特徴量算出部233は、このように算出した白色光画像Pw2内の赤色成分の分散をぼかし度設定部234に送信する。
ここで、この白色光画像Pw2内の輪郭体である血管の像は、図7に示すように比較的画像全体に分散して存在する。この場合、特徴量算出部233が算出する赤色成分の分散は、かかる白色光画像Pw2内における血管の散らばり度合いに対応して、上述した白色光画像Pw1の場合よりも大きい値になる。
一方、上述したステップS104において、ぼかし度設定部234は、上述した特徴量算出部233から白色光画像Pw2内の赤色成分の分散算出結果を取得する。ぼかし度設定部234は、データテーブル234aを参照して、この取得した白色光画像Pw2内の赤色成分の分散に対応するぼかし度を白色光画像Pw2のぼかし度として設定する。ここで、かかる白色光画像Pw2内における赤色成分の分散は、上述したように比較的大きい(例えば上述した白色光画像Pw1の場合に比して大きい)、すなわち白色光画像Pw2内における赤色成分の偏り度合いが比較的小さい。この場合、ぼかし度設定部234は、かかる白色光画像Pw2内における赤色成分の分散大に対応して、白色光画像Pw2のぼかし度を比較的小さく(例えば上述した白色光画像Pw1の場合に比して小さく)する。この結果、画像処理装置230は、上述したステップS106において、この白色光画像Pw2のぼかし度に応じて焦点がずれた状態の観察部位100の調整画像Prを取得する。
ここで、この観察部位100の調整画像Prは、この白色光画像Pw2のぼかし度(小)に応じてぼけ具合の小さい白色光画像であり、画像内に含まれる輪郭体である血管の像が適度にぼかされている。これによって、かかる調整画像Pr内の血管に対応するエッジが必要十分に軽減され、この結果、調整画像Prは、かかる血管の像に対応するエッジによるコントラストが必要十分に軽減され、エッジに起因するコントラストを含まない均一な画像に近似する。なお、画像処理装置230の補正蛍光画像生成部35は、かかる調整画像Prによって観察部位100の蛍光画像を規格化処理することによって、実施の形態1の場合と同様に観察部位100の補正蛍光画像を生成する。
以上、説明したように、本発明の実施の形態2では、取得した観察部位の白色光画像部位の色分布に関する特徴量を算出し、この算出した特徴量をもとに白色光画像のぼかし度を設定するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、特に、輪郭体として複雑な血管構造を含む人体内の蛍光観察に好適な補正蛍光画像を生成出力することができる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。上述した実施の形態1では、観察部位100の蛍光画像と調整画像とを異なるタイミングに撮像していたが、この実施の形態3では、観察部位100の蛍光画像と調整画像とを同じタイミングに撮像している。
図8は、本発明の実施の形態3にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図8に示すように、この実施の形態3にかかる内視鏡装置3は、上述した実施の形態1にかかる内視鏡装置1の光源装置10に代えて光源装置310を備え、撮像系26に代えて撮像系328を備え、画像処理装置30に代えて画像処理装置330を備える。また、この実施の形態3において、光源装置310は、上述した実施の形態1にかかる光源装置10の白色光源11に代えて白色光源311を備え、回転フィルタ14およびモータ15に代えて固定型のフィルタ314を備える。撮像系328は、上述した実施の形態1における撮像系26のバリアフィルタ24に代えてバリアフィルタ324を備え、単一の撮像部25に代えて複合型の撮像部325を備え、さらに、観察部位100からの光を分岐する光分岐部323を備える。画像処理装置330は、上述した実施の形態1にかかる画像処理装置30の制御部39に代えて制御部339を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
光源装置310は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを観察部位100に照射する光源部として機能する。具体的には、光源装置310は、上述したコリメートレンズ12および集光レンズ13と、所定の励起光の波長帯域を含む広帯域な白色光を発光可能な白色光源311と、所定の波長帯域の光を透過させるフィルタ314とを備え、観察部位100に励起光および白色光を同時に照射する機能を有する。
白色光源311は、蛍光薬剤を励起する励起光の波長帯域を含む広帯域な白色光を発光可能な光源を用いて実現される。白色光源311は、光源装置310のスイッチ(図示せず)の操作によって電源のオンオフ状態が切り替えられ、画像処理装置330の制御部339によって発光タイミングを制御される。白色光源311は、例えば400〜740nmの波長帯域という広帯域の白色光を発光する。かかる白色光源311が発光する白色光には、青色成分(B)、緑色成分(G)および赤色成分(R)の各色光が含まれ、さらに、例えばCy7に例示されるような腫瘍等の病変部101に集積する薬剤蛍光を励起する680〜740nmの波長帯域の励起光が含まれる。なお、かかる白色光源311からの励起光は、この病変部101に集積した薬剤蛍光を励起して、可視光域外の波長帯域、例えば760〜850nmの波長帯域の蛍光を発光させる特性を有する。
フィルタ314は、白色光源311によって発光された白色光から所定の波長帯域の光を抽出する。図9は、本発明の実施の形態3における光源装置のフィルタの一透過率特性例を示す模式図である。なお、図9には、光源装置310のフィルタ314によって抽出された励起光によって発生する蛍光の強度特性も図示されている。フィルタ314は、図9に示す波長対透過率の相関線C1のように、400〜740nmの波長帯域の白色光を透過させる透過率特性を有する。かかるフィルタ314は、白色光源311による射出光から400〜740nmの波長帯域の白色光を抽出し、この抽出した白色光を観察部位100の照明光として透過させる。
ここで、かかるフィルタ314によって抽出された白色光には、観察部位100内の病変部101に集積する薬剤蛍光(例えばCy7)を励起する680〜740nmの波長帯域の励起光が含まれる。すなわち、フィルタ314は、かかる励起光の波長帯域を含む広帯域の白色光を透過させる。なお、かかるフィルタ314を透過する680〜740nmの波長帯域の励起光は、図9における波長対強度の相関線C4に示されるように、760〜850nmの波長帯域の蛍光を発生させる。なお、かかる構成を有する光源装置310によって射出される白色光および励起光は、挿入部20のライトガイドファイバ21等を介して観察部位100に同時に照射される。
一方、この実施の形態3において、挿入部20は、図8に示すように、上述したライトガイドファイバ21およびレンズ22を備え、さらに、観察部位100の反射光画像および蛍光画像を撮像する撮像系328を備える。撮像系328は、上述した対物レンズ23と、光分岐部323と、バリアフィルタ324と、複合型の撮像部325とを備える。この複合型の撮像部325は、観察部位100の白色光画像および調整画像を撮像する白色光撮像部326と、観察部位100の蛍光画像を撮像する蛍光撮像部327とを備える。
なお、この挿入部20のライトガイドファイバ21およびレンズ22を介して観察部位100に照射された光源装置310からの白色光は、観察部位100を照明するとともに観察部位100において反射し、これと同時に、この白色光に含まれる励起光は、観察部位100において反射するとともに、病変部101の蛍光薬剤を励起して、例えば760〜850nmの波長帯域の蛍光を発生させる。対物レンズ23は、かかる観察部位100から反射した白色光および励起光と観察部位100(詳細には病変部101)から発生した蛍光とを集光する。
光分岐部323は、対物レンズ23を透過した観察部位100からの光を撮像部325の白色光撮像部326側と蛍光撮像部327側とに分岐する。具体的には、光分岐部323は、ダイクロイックミラーまたはハーフミラー等を用いて実現される。光分岐部323は、対物レンズ23によって集光された観察部位100からの光のうち、少なくとも観察部位100からの反射白色光を含む光を白色光撮像部326側の光路に分岐し、少なくとも観察部位100からの蛍光を含む光を蛍光撮像部327側の光路に分岐する。例えば、光分岐部323がダイクロイックミラーである場合、光分岐部323は、かかる観察部位100からの光のうち、所定の波長帯域未満(例えば680nm未満)の白色光を白色光撮像部326側の光路に分岐し、所定の波長帯域以上(例えば680nm以上)の蛍光および励起光を蛍光撮像部327側の光路に分岐する。なお、この所定の波長帯域未満の白色光として、例えば、観察部位100から反射した400〜680nmの白色光が挙げられる。また、この所定の波長帯域以上の励起光および蛍光として、例えば、観察部位100から反射した680〜740nmの励起光と観察部位100から発生した760〜850nmの蛍光とが挙げられる。一方、光分岐部323がハーフミラーである場合、光分岐部323は、かかる観察部位100からの光を白色光撮像部326側と蛍光撮像部327側とに同様に分岐する。
バリアフィルタ324は、観察部位100からの蛍光を透過させるとともに、この蛍光の波長帯域以外の光を遮断する。具体的には、バリアフィルタ324は、光分岐部323によって蛍光撮像部327側の光路に分岐された観察部位100からの光のうち、観察部位100からの反射光(例えば680〜740nmの波長帯域の励起光)を遮断するとともに、観察部位100からの蛍光(例えば760〜850nmの蛍光)を蛍光撮像部327側に透過させる。
撮像部325は、上述したように白色光撮像部326および蛍光撮像部327を備え、観察部位100に焦点を合わせた状態(合焦状態)において観察部位100の白色光画像を撮像する機能と、合焦状態における観察部位100の蛍光画像と非合焦状態における観察部位100の調整画像とを同じタイミングに撮像する機能とを有する。
白色光撮像部326は、画像処理装置330の制御部339によって焦点制御可能であり、観察部位100に焦点を合わせた状態において観察部位100の白色光画像を撮像し、制御部339による焦点制御後に観察部位100の調整画像を撮像する。具体的には、白色光撮像部326は、CCDまたはCMOSイメージセンサ等の撮像素子326aと、この撮像素子326aの受光部に被写体の光学像を結像するレンズ等の可動光学系326bとを備える。
撮像素子326aは、上述した実施の形態1における撮像素子25aと同様に、分光特性の異なるカラーフィルタ群を受光部に備えたベイヤ型のカラー撮像素子である。撮像素子326aは、可動光学系326bによって結像された観察部位100からの反射光をこのカラーフィルタ群を介して受光し、この受光した反射光を各色成分の画素毎に光電変換処理して、観察部位100の各色成分の映像信号を生成する。かかる撮像素子326aは、光源装置310からの白色光が観察部位100に照射された場合、可動光学系326bによって結像された観察部位100からの白色光をこのカラーフィルタ群を介して受光して、この観察部位100の白色光画像または調整画像を撮像する。撮像素子326aは、このように観察部位100の白色光画像または調整画像を撮像する都度、この観察部位100の白色光画像または調整画像を構成する各色成分の映像信号を画像処理装置330の画像取得部31に順次送信する。
可動光学系326bは、レンズ等の光学系および可動式のレンズ枠等を用いて実現され、画像処理装置330の制御部339によって駆動制御される。具体的には、可動光学系326bは、制御部339の制御に基づいて駆動し、これによって、撮像素子326aとレンズとの相対距離を変更可能である。かかる可動光学系326bは、制御部339によって焦点を制御され、この結果、観察部位100に焦点を合わせることができる。可動光学系326bは、このように観察部位100に焦点を合わせた状態において、光分岐部323によって白色光撮像部326側の光路に分岐された観察部位100からの白色光を撮像素子326aの受光部に結像する。この場合、上述した撮像素子326aは、合焦状態における観察部位100の白色光画像を撮像する。
また、可動光学系326bは、制御部339の制御に基づいて、観察部位100から所望の程度に焦点をずらすことができる。可動光学系326bは、このように制御部339の制御に応じて観察部位100から焦点をずらした状態において、光分岐部323によって白色光撮像部326側の光路に分岐された観察部位100からの白色光を撮像素子326aの受光部に結像する。この場合、上述した撮像素子326aは、この観察部位100の焦点制御後の白色光画像である調整画像を撮像する。その後、可動光学系326bは、制御部339の制御に基づいて、観察部位100に焦点を合わせた状態に復帰する。なお、かかる観察部位100の調整画像のぼかし度は、上述した実施の形態1の場合と同様に、制御部339の制御に基づいた可動光学系326bの焦点調整結果に応じて変化する。
蛍光撮像部327は、焦点が固定された撮像部であり、観察部位100に焦点を合わせた状態において観察部位100の蛍光画像を撮像する。具体的には、蛍光撮像部327は、CCDまたはCMOSイメージセンサ等の撮像素子327aと、この撮像素子327aの受光部に被写体の蛍光像を結像するレンズ等の光学系327bとを備える。
撮像素子327aは、例えば白色光撮像部326の撮像素子326aに比して高い感度特性を有するモノクロ撮像素子を用いて実現され、観察部位100の蛍光画像を撮像する。撮像素子327aは、光学系327bによって結像された観察部位100からの蛍光を受光する。なお、光学系327bは、観察部位100に焦点を合わせた状態において、光分岐部323によって蛍光撮像部327側の光路に分岐され且つバリアフィルタ324を通過した観察部位100からの蛍光を撮像素子327aの受光部に結像する。撮像素子327aは、この受光した蛍光を画素毎に光電変換処理して、観察部位100の映像信号を生成する。かかる撮像素子327aは、光源装置310からの白色光が観察部位100に照射された場合、光学系327bによって結像された観察部位100からの蛍光を受光して、この観察部位100の蛍光画像を撮像する。撮像素子327aは、このように観察部位100の蛍光画像を撮像する都度、この観察部位100の蛍光画像を構成する各映像信号を画像処理装置330の画像取得部31に順次送信する。
ここで、この実施の形態3において、上述した白色光撮像部326および蛍光撮像部327は、制御部339の制御に基づいて、同じタイミングに観察部位100の画像情報を撮像する。具体的には、蛍光撮像部327は、白色光撮像部326が観察部位100の白色光画像または調整画像を撮像するタイミングと同じタイミングに観察部位100の蛍光画像を撮像する。すなわち、かかる白色光撮像部326による観察部位100の調整画像および蛍光撮像部327による観察部位100の蛍光画像の両画像間において被写体の位置は一致する。
画像処理装置330は、上述したように制御部339を備え、上述した白色光撮像部326および蛍光撮像部327の各撮像動作を同じタイミングに行わせる制御機能を有する。なお、画像処理装置330は、かかる制御部339の機能以外、上述した実施の形態1にかかる画像処理装置30と同様の機能を有する。
制御部339は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部339は、入力部38によって入力された指示情報に基づいて、観察部位100に焦点を合わせるように白色光撮像部326の可動光学系326bを駆動制御し、この合焦状態において観察部位100の白色光画像を撮像するように白色光撮像部326の撮像素子326aを制御する。一方、制御部339は、ぼかし度設定部34による設定ぼかし度に応じたずれ量だけ観察部位100から焦点をずらすように可動光学系326bを駆動制御して白色光撮像部326の焦点を制御する。制御部339は、かかる非合焦状態において観察部位100の調整画像を撮像するように白色光撮像部326の撮像素子326aを制御するとともに、この調整画像と同じタイミングに合焦状態の観察部位100の蛍光画像を撮像するように蛍光撮像部327の撮像素子327aを制御する。その後、制御部339は、観察部位100に焦点を合わせた状態に復帰するように可動光学系326bを駆動制御する。なお、制御部339は、かかる白色光撮像部326および蛍光撮像部327の制御機能以外、上述した実施の形態1にかかる画像処理装置30の制御部39と同様の機能を有する。
なお、制御部339は、白色光撮像部326が合焦状態の観察部位100の白色光画像を撮像するタイミングに観察部位100の蛍光画像を撮像しないように蛍光撮像部327の撮像素子327aを制御してもよいし、このタイミングに観察部位100の蛍光画像を撮像するように蛍光撮像部327の撮像素子327aを制御してもよい。また、制御部339は、かかる合焦状態の観察部位100の白色光画像と同じタイミングの蛍光画像を蛍光撮像部327に撮像させる場合、このタイミングの蛍光画像の各映像信号を削除するように画像取得部31を制御してもよい。
つぎに、本発明の実施の形態3にかかる画像処理装置330の動作について説明する。図10は、本発明の実施の形態3にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態3にかかる画像処理装置330は、図10に示される処理手順を実行して、観察部位100の白色光画像および補正蛍光画像を表示出力する。
すなわち、図10に示すように、画像処理装置330は、まず、観察部位100の白色光画像を取得する(ステップS201)。このステップS201において、制御部339は、焦点が合った状態の観察部位100の白色光画像を取得するように光源装置310と撮像系328と画像取得装置31とを制御する。
かかる制御部339の制御に基づいて、光源装置310は、白色光源311およびフィルタ314の作用によって、励起光を含む波長帯域(例えば400〜740nm)の白色光を観察部位100に照射する。撮像系328の白色光撮像部326は、制御部339による可動光学系326bの駆動制御によって観察部位100に焦点を合わせ、この合焦状態において観察部位100から反射した白色光を受光して観察部位100の白色光画像を撮像する。画像取得部31は、かかる制御部339の制御に基づいて、白色光撮像部326から観察部位100の白色光画像の各映像信号を取得し、この取得した各映像信号を上述した信号処理後に記憶部32および特徴量算出部33に各々送信する。記憶部32は、かかる画像取得部31から取得した観察部位100の白色光画像の各映像信号を記憶する。
なお、このステップS201において、制御部339は、観察部位100の蛍光画像を撮像しないように蛍光撮像部327を制御してもよいし、観察部位100の蛍光画像を撮像するように蛍光撮像部327を制御してもよい。制御部339は、ステップS201において観察部位100の蛍光画像を蛍光撮像部327に撮像させた場合、この蛍光画像の各映像信号を削除するように画像取得部31を制御してもよいし、この蛍光画像を画像出力部37に表示出力させてもよい。
つぎに、画像処理装置330は、図4に示した実施の形態1におけるステップS103と同様に、ステップS201において取得した観察部位100の白色光画像の特徴量算出処理を実行し(ステップS202)、続いて、図4に示した実施の形態1におけるステップS104と同様に、このステップS202における算出特徴量に基づいた観察部位100の白色光画像のぼかし度設定処理を実行する(ステップS203)。
このステップS202,S203において、制御部339は、実施の形態1の場合と同様に、ステップS201において取得した観察部位100の白色光画像の特徴量を算出するように特徴量算出部33を制御し、次いで、ステップS202における算出特徴量に基づいて観察部位100の白色光画像のぼかし度を設定するようにぼかし度設定部34を制御する。
続いて、画像処理装置330は、このステップS203における設定ぼかし度に基づいた観察部位100の白色光画像の焦点調整処理を実行する(ステップS204)。このステップS204において、制御部339は、実施の形態1の場合と同様に、ぼかし度設定部34によって設定された観察部位100の白色光画像のぼかし度をもとに、観察部位100からの焦点のずれ量を算出する。制御部339は、この算出したずれ量だけ観察部位100から焦点がずれるように撮像系328の焦点を制御する。
かかる制御部339の制御に基づいて、撮像系328の白色光撮像部326は、撮像素子326aと可動光学系326bのレンズとの相対距離を変化させて、上述したぼかし度設定部34による設定ぼかし度に応じたずれ量分、観察部位100から焦点をずらす。なお、このステップS204において、蛍光撮像部327は、観察部位100に焦点を合わせた状態を維持している。
つぎに、画像処理装置330は、補正対象となる観察部位100の蛍光画像と、この設定ぼかし度に応じた観察部位100の焦点制御後の白色光画像である調整画像とを取得する(ステップS205)。このステップS205において、制御部339は、焦点が合った状態の観察部位100の蛍光画像を取得するとともに、ステップS203における設定ぼかし度に応じた非合焦状態の観察部位100の調整画像を取得するように、光源装置310、撮像系328および画像取得装置31を制御する。
かかる制御部339の制御に基づいて、光源装置310は、白色光源311およびフィルタ314の作用によって、励起光を含む波長帯域(例えば400〜740nm)の白色光を観察部位100に再度照射する。撮像系328の蛍光撮像部327は、観察部位100に焦点を合わせた状態において、この白色光内の励起光によって観察部位100から発生した蛍光を受光して観察部位100の蛍光画像を撮像する。これと同時に、撮像系328の白色光撮像部326は、上述したステップS204のように焦点が調整された状態において観察部位100から反射した白色光を受光して観察部位100の調整画像を撮像する。画像取得部31は、かかる制御部339の制御に基づいて、蛍光撮像部327が撮像した観察部位100の蛍光画像の各映像信号と、この蛍光画像と同じタイミングに白色光撮像部326が撮像した観察部位100の調整画像の各映像信号とを取得する。画像取得部31は、かかる蛍光撮像部327から取得した各映像信号を上述した信号処理後に記憶部32に送信する。記憶部32は、かかる画像取得部31から取得した観察部位100の蛍光画像の各映像信号を記憶する。一方、画像取得部31は、かかる白色光撮像部326から取得した観察部位100の調整画像の各映像信号を上述した信号処理後に補正蛍光画像生成部35に送信する。
続いて、画像処理装置330は、図4に示した実施の形態1におけるステップS107と同様に、観察部位100の補正蛍光画像の生成処理を実行し(ステップS206)、その後、図4に示した実施の形態1におけるステップS108と同様に、観察部位100の画像情報の出力処理を実行する(ステップS207)。
このステップS206において、制御部339は、実施の形態1の場合と同様に、観察部位100の蛍光画像の輝度値を補正した補正蛍光画像を生成するように補正蛍光画像生成部35を制御する。次いで、このステップS207において、制御部339は、実施の形態1の場合と同様に、観察部位100の白色光画像を生成するように白色光画像生成部36を制御するとともに、出力対象である観察部位100の白色光画像および補正蛍光画像を表示するように画像出力部37を制御する。
その後、画像処理装置330は、図4に示した実施の形態1におけるステップS109と同様に、所定のオフ操作等の処理終了操作が行われた場合(ステップS208,Yes)、本処理を終了する。一方、画像処理装置330は、かかる処理終了操作が行われていない場合(ステップS208,No)、上述したステップS201に戻り、このステップS201以降の処理手順を繰り返す。この場合、制御部339は、上述したS201〜S208の処理手順を行って、光源装置310、撮像系328および画像処理装置330の各構成部を適宜制御する。
ここで、上述したステップS205において取得した観察部位100の調整画像および蛍光画像は、白色光撮像部326および蛍光撮像部327によって同じタイミングに撮像された観察部位100の画像情報である。このため、かかる調整画像および蛍光画像の間において病変部101等の被写体の位置は一致する。補正蛍光画像生成部35は、このように被写体の位置が一致する調整画像の輝度値によって観察部位100の蛍光画像の輝度値を対応画素毎に除算し、これによって、これら両画像間における被写体の位置ずれの影響を受けることなく、より高精度に観察部位100の蛍光画像の輝度値を補正することができる。この結果、補正蛍光画像生成部35は、上述した実施の形態1の場合に比して一層高精度に輝度値を補正した観察部位100の補正蛍光画像を生成することができる。
以上、説明したように、本発明の実施の形態3では、補正対象である観察部位の蛍光画像と、この蛍光画像と同じタイミングに撮像された観察部位の焦点制御後の白色光画像である調整画像とを取得し、この取得した調整画像によって観察部位の蛍光画像を除算して、この蛍光画像の輝度値を補正した補正蛍光画像を生成するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、補正蛍光画像の生成処理に用いる蛍光画像および調整画像の間において被写体の位置を一致させることができ、このように補正対象の蛍光画像と被写体の位置が一致する調整画像を用いることによって、これら両画像間における被写体の位置ずれの影響を受けることなく、より高精度に観察部位の蛍光画像の輝度値を補正することができる。
この実施の形態3にかかる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法を用いることによって、観察部位内の病変部等の異常組織を蛍光画像内に明確且つ高精度に描画でき、この結果、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を一層高めることができる。
なお、上述した実施の形態1では、特徴量算出部33は、観察部位100の白色光画像の特徴量の一例であるエッジ情報として、この白色光画像に含まれる全エッジの輝度の総和を算出していたが、これに限らず、特徴量算出部33は、観察部位100の白色光画像のエッジ情報として、この白色光画像に含まれる全エッジの画素数を算出してもよい。または、特徴量算出部33は、画素の輝度値に関する閾値を予め有し、観察部位100の白色光画像内に含まれる全エッジの各輝度値と閾値をと比較して、この閾値以上の輝度値を有するエッジの画素数をこの白色光画像のエッジ情報として算出してもよい。この場合、上述したデータテーブル34aは、かかるエッジ情報としての画素数の各範囲と、この画素数の範囲毎に異なるぼかし度とを含む。ぼかし度設定部34は、かかるデータテーブル34aを参照して、このエッジ情報としての画素数の増加に伴って白色光画像のぼかし度を増加させ、このエッジ情報としての画素数の減少に伴って白色光画像のぼかし度を減少させる。
また、上述した実施の形態2では、特徴量算出部233は、観察部位100の白色光画像の特徴量の一例である色分布情報として、この白色光画像内における検出色成分(例えば赤色成分)の散らばり度合いを示す分散を算出していたが、これに限らず、特徴量算出部233は、観察部位100の白色光画像の色分布情報として、この白色光画像内の色分布のピーク差を算出してもよい。図11は、観察部位の白色光画像内の色分布のピーク差の一例を示す模式図である。具体的には、特徴量算出部233は、観察部位100の白色光画像の各映像信号をもとに、この白色光画像内における所定の色成分(例えば赤色成分)とその他の色成分(例えば青色成分および緑色成分)との色分布を検出する。特徴量算出部233は、この白色光画像の色分布情報として、かかる検出色分布のピーク差△P(図11参照)を算出する。この場合、上述したデータテーブル234aは、かかる色分布情報としてのピーク差△Pの各範囲と、このピーク差△Pの範囲毎に異なるぼかし度とを含む。ぼかし度設定部234は、かかるデータテーブル234aを参照して、この色分布情報としてのピーク差△Pの増加に伴って白色光画像のぼかし度を減少させ、この色分布情報としてのピーク差△Pの減少に伴って白色光画像のぼかし度を増加させる。
なお、かかる検出色分布のピーク差△Pは、観察部位100の白色光画像内における所定の色の偏り度合いを示す。このピーク差△Pの増加に伴って白色光画像内における所定の色の散らばり度合い(分散)が増加し、このピーク差△Pの減少に伴って白色光画像内における所定の色の偏り度合いが増加する。
さらに、上述した実施の形態2では、観察部位100の白色光画像の色分布情報として赤色成分を検出する場合を例示していたが、これに限らず、観察部位100の白色光画像の色分布情報として検出される色成分は、赤色成分以外、例えば、青色成分または緑色成分であってもよいし、あるいは、イエロー、シアン、マゼンダ等の色成分であってもよい。
また、上述した実施の形態1,2では、図4に示したステップS102において観察部位100の蛍光画像を取得していたが、これに限らず、補正対象である観察部位100の蛍光画像は、上述したステップS105の処理手順以前、すなわち撮像部25の焦点を観察部位100からずらす以前であれば、所望のタイミングに取得してもよい。
さらに、上述した実施の形態1〜3では、ぼかし度設定部は、白色光画像の特徴量とぼかし度との対応関係を示すデータテーブルを有し、このデータテーブルを参照して白色光画像のぼかし度を設定していたが、これに限らず、特徴量算出部によって算出される特徴量(例えば白色光画像のエッジ情報または色分布情報)と白色光画像のぼかし度との関係を示すぼかし度計算式を予め有し、このぼかし度計算式と特徴量算出部から取得した白色光画像の特徴量とをもとに、白色光画像のぼかし度を算出してもよい。
また、上述した実施の形態1〜3では、制御部は、ぼかし度設定部によって設定された白色光画像のぼかし度をもとに、観察部位からの焦点のずれ量を算出していたが、かかる制御部による焦点のずれ量の算出処理は、制御部に予め設定された計算式に基づくものであってもよいし、制御部に予め設定されたルックアップテーブルに基づくものであってもよい。
さらに、上述した実施の形態1〜3では、図4に示したステップS108または図10に示したステップS207の処理手順、すなわち観察部位の画像情報の出力処理において観察部位の白色光画像を生成していた、これに限らず、観察部位の白色光画像は、この白色光画像が撮像されてから表示出力されるまでの所望の処理手順において生成してもよい。
また、上述した実施の形態1〜3では、可動光学系の駆動制御することによって観察部位に対する焦点を制御していたが、これに限らず、撮像素子とレンズとの相対距離を制御することによって観察部位に対する焦点を制御すればよく、例えば、レンズ等の光学系を固定し且つ撮像素子を平行移動することによって、観察部位に対する焦点を制御してもよいし、可動光学系および撮像素子の双方を移動することによって観察部位に対する焦点を制御してもよい。
さらに、上述した実施の形態1,2では、単一の撮像部25によって観察部位100の白色光画像と蛍光画像とを交互に撮像していたが、これに限らず、挿入部20内に、実施の形態3に例示されるような白色光撮像部と蛍光撮像部と光分岐部とを配置し、かかる白色光撮像部および蛍光撮像部によって観察部位100の白色光画像および蛍光画像を交互に撮像してもよい。この場合、観察部位100に照射する励起光の波長帯域は、上述した可視光域以下に限らず、可視光域内であってもよいし、可視光域以上であってもよい。
また、上述した実施の形態3では、実施の形態1の場合と同様に白色光画像の特徴量としてエッジ情報を算出していたが、これに限らず、実施の形態2の場合と同様に白色光画像の特徴量として色分布情報を算出してもよい。この場合、実施の形態3にかかる画像処理装置330は、上述した特徴量算出部33に代えて実施の形態2における特徴量算出部233を備え、上述したぼかし度設定部34に代えて実施の形態2におけるぼかし度設定部234を備えればよい。
さらに、上述した実施の形態1〜3では、照明光の一例として白色光を観察部位に照射していたが、これに限らず、観察部位に照射する照明光は、赤色または緑色等の所望の色成分の光であってもよい。
また、上述した実施の形態1〜3では、画像出力部37に観察部位の白色光画像および補正蛍光画像を表示していたが、これに限らず、画像出力部37は、紙等の印刷媒体に観察部位の白色光画像および補正蛍光画像を印刷するプリンタ等であってもよいし、ハードディスク等の内蔵型の記憶メディアまたはメモリカード等の可搬型の記憶メディアを備え、かかる記憶メディアに観察部位の白色光画像および補正蛍光画像を記憶する記憶装置であってもよい。
さらに、上述した実施の形態1〜3では、生体組織等の被検体を観察するための内視鏡装置を本発明にかかる撮像装置の一例として説明したが、これに限らず、本発明にかかる撮像装置は、医療分野以外に用いる内視鏡装置または顕微鏡装置であってもよいし、内視鏡装置または顕微鏡装置以外の撮像装置、例えば、デジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能付の携帯電話等の携帯型情報端末であってもよい。また、本発明にかかる画像処理装置は、上述した医療用の内視鏡装置に具備されるものに限らず、医療分野以外に用いる内視鏡装置または顕微鏡装置、デジタルカメラまたはデジタルビデオカメラ等の内視鏡装置または顕微鏡装置以外の撮像装置、あるいは撮像機能付の携帯電話等の携帯型情報端末のいずれかに具備されるものであってもよい。
また、上述した実施の形態1〜3では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。
本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。 回転フィルタの一構成例を示す模式図である。 回転フィルタの透過率特性の一例を示す模式図である。 本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。 実施の形態1にかかる画像処理装置の動作を具体的に説明するための模式図である。 本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態2における白色光画像の特徴量算出処理およびぼかし度設定処理を具体的に説明する模式図である。 本発明の実施の形態3にかかる内視鏡装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態3における光源装置のフィルタの一透過率特性例を示す模式図である。 本発明の実施の形態3にかかる画像処理装置の処理手順を例示するフローチャートである。 観察部位の白色光画像内の色分布のピーク差の一例を示す模式図である。
1,2,3 内視鏡装置
10,310 光源装置
11,311 白色光源
12 コリメートレンズ
13 集光レンズ
14 回転フィルタ
14a 白色光フィルタ
14b 励起光フィルタ
15 モータ
20 挿入部
21 ライトガイドファイバ
22 レンズ
23 対物レンズ
24,324 バリアフィルタ
25,325 撮像部
25a 撮像素子
25b 可動光学系
26,328 撮像系
30,230,330 画像処理装置
31 画像取得部
32 記憶部
33,233 特徴量算出部
34,234 ぼかし度設定部
34a,234a データテーブル
35 補正蛍光画像生成部
36 白色光画像生成部
37 画像出力部
38 入力部
39,239,339 制御部
100 観察部位
101 病変部
314 フィルタ
323 光分岐部
326 白色光撮像部
326a,327a 撮像素子
326b 可動光学系
327 蛍光撮像部
327b 光学系
Pc 補正蛍光画像
Pf 蛍光画像
Pr 調整画像
Pw,Pw1,Pw2 白色光画像

Claims (11)

  1. 撮像系によって撮像された観察部位の反射光画像および蛍光画像を取得する画像取得部と、
    前記画像取得部が取得した前記反射光画像の特徴量を算出する特徴量算出部と、
    前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定部と、
    前記ぼかし度に対応して前記撮像系の焦点を制御する制御部と、
    前記ぼかし度に対応して前記撮像系の焦点制御した後に前記画像取得部が取得した前記観察部位の焦点制御後の反射光画像によって前記蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成部と、
    を備え
    前記特徴量は、前記反射光画像のエッジ情報、前記反射光画像に含まれる所定色成分の分散、および前記反射光画像の色分布のピーク差のうちの少なくとも一つであることを特徴とする画像処理装置。
  2. 前記補正蛍光画像生成部は、前記観察部位の焦点制御後の反射光画像によって前記蛍光画像を除算して、前記蛍光画像の輝度値を補正した前記補正蛍光画像を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記特徴量は、前記反射光画像のエッジ情報を含み、
    前記ぼかし度設定部は、前記エッジ情報の増加に伴って前記反射光画像のぼかし度を増加させ、前記エッジ情報の減少に伴って前記反射光画像のぼかし度を減少させることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記特徴量は、前記反射光画像に含まれる所定色成分の分散を含み、
    前記ぼかし度設定部は、前記所定色成分の分散の増加に伴って前記反射光画像のぼかし度を増加させ、前記所定色成分の分散の減少に伴って前記反射光画像のぼかし度を減少させることを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記特徴量は、前記反射光画像の色分布のピーク差を含み、
    前記ぼかし度設定部は、前記色分布のピーク差の増加に伴って前記反射光画像のぼかし度を増加させ、前記色分布のピーク差の減少に伴って前記反射光画像のぼかし度を減少させることを特徴とする請求項1または2に記載の画像処理装置。
  6. 前記撮像系は、前記観察部位に焦点を合わせた状態で前記反射光画像および前記蛍光画像を順次撮像し、前記ぼかし度に対応して焦点を制御された後に前記焦点制御後の反射光画像を撮像することを特徴とする請求項1〜のいずれか一つに記載の画像処理装置。
  7. 前記撮像系は、
    前記観察部位に焦点を合わせた状態で前記反射光画像を撮像する反射光撮像部と、
    前記観察部位に焦点を合わせた状態で前記蛍光画像を撮像する蛍光撮像部と、
    を備え、
    前記反射光撮像部は、前記ぼかし度に対応して焦点を制御された後に前記焦点制御後の反射光画像を撮像することを特徴とする請求項1〜のいずれか一つに記載の画像処理装置。
  8. 前記蛍光撮像部は、前記焦点制御後の反射光画像と同じ撮像タイミングに前記蛍光画像を撮像することを特徴とする請求項に記載の画像処理装置。
  9. 観察部位に照明光および励起光を照射する光源部と、
    前記観察部位から反射した前記照明光に基づいた前記観察部位の反射光画像と、前記励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを撮像する撮像系と、
    前記撮像系が撮像した前記反射光画像の特徴量を算出する特徴量算出部と、
    前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定部と、
    前記ぼかし度に対応して前記撮像系の焦点を制御する制御部と、
    前記ぼかし度に対応して前記撮像系の焦点制御した後に前記撮像系が撮像した前記観察部位の焦点制御後の反射光画像によって前記蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成部と、
    を備え
    前記特徴量は、前記反射光画像のエッジ情報、前記反射光画像に含まれる所定色成分の分散、および前記反射光画像の色分布のピーク差のうちの少なくとも一つであることを特徴とする撮像装置。
  10. 観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する画像取得手順と、
    前記反射光画像のエッジ情報、前記反射光画像に含まれる所定色成分の分散、および前記反射光画像の色分布のピーク差のうちの少なくとも一つを前記反射光画像の特徴量として算出する特徴量算出手順と、
    前記特徴量をもとに前記反射光画像のぼかし度を設定するぼかし度設定手順と、
    前記ぼかし度に対応して前記反射光画像の撮像系の焦点を制御する焦点制御手順と、
    前記ぼかし度に対応して前記撮像系の焦点制御した後に前記観察部位の焦点制御後の反射光画像を取得する調整画像取得手順と、
    前記焦点制御後の反射光画像によって前記観察部位の蛍光画像を補正した補正蛍光画像を生成する補正蛍光画像生成手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  11. 観察部位からの反射光に基づいた前記観察部位の反射光画像を画像取得部が取得する画像取得ステップと、
    前記反射光画像のエッジ情報、前記反射光画像に含まれる所定色成分の分散、および前記反射光画像の色分布のピーク差のうちの少なくとも一つを前記反射光画像の特徴量として特徴量算出部が算出する特徴量算出ステップと、
    前記特徴量をもとに前記反射光画像のぼかし度をぼかし度設定部が設定するぼかし度設定ステップと、
    前記ぼかし度に対応して前記反射光画像の撮像系の焦点を制御部が制御する焦点制御ステップと、
    前記ぼかし度に対応して前記撮像系の焦点制御した後に前記観察部位の焦点制御後の反射光画像を前記画像取得部が取得する調整画像取得ステップと、
    前記焦点制御後の反射光画像によって前記観察部位の蛍光画像を補正した補正蛍光画像を補正蛍光画像生成部が生成する補正蛍光画像生成ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
JP2009077564A 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 Active JP5396121B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009077564A JP5396121B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
US12/732,774 US9101288B2 (en) 2009-03-26 2010-03-26 Image processing device, imaging device, computer-readable storage medium, and image processing method
US14/790,308 US9872610B2 (en) 2009-03-26 2015-07-02 Image processing device, imaging device, computer-readable storage medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009077564A JP5396121B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JP2010227255A JP2010227255A (ja) 2010-10-14
JP5396121B2 true JP5396121B2 (ja) 2014-01-22

Family

ID=42783684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009077564A Active JP5396121B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法

Country Status (2)

Country Link
US (2) US9101288B2 (ja)
JP (1) JP5396121B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5346635B2 (ja) * 2009-03-24 2013-11-20 オリンパス株式会社 蛍光観察装置
JP5396121B2 (ja) * 2009-03-26 2014-01-22 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP2012090889A (ja) * 2010-10-28 2012-05-17 Olympus Corp 蛍光観察装置
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
WO2013015120A1 (ja) * 2011-07-22 2013-01-31 オリンパス株式会社 蛍光内視鏡装置
JP6005918B2 (ja) * 2011-09-08 2016-10-12 オリンパス株式会社 蛍光観察装置
JP5904750B2 (ja) * 2011-10-14 2016-04-20 オリンパス株式会社 立体内視鏡装置
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103732117B (zh) * 2011-12-07 2016-03-09 奥林巴斯株式会社 内窥镜装置
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP5735477B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
CN105007798A (zh) * 2013-02-13 2015-10-28 奥林巴斯株式会社 荧光观察装置
US9544582B2 (en) * 2013-03-01 2017-01-10 Boston Scientific Scimed, Inc. Image sensor calibration
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
US9407838B2 (en) 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
JP2015031649A (ja) 2013-08-06 2015-02-16 セイコーエプソン株式会社 測色装置
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
WO2015156153A1 (ja) * 2014-04-08 2015-10-15 オリンパス株式会社 蛍光観察内視鏡システム
US10690904B2 (en) 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
JP6804022B2 (ja) * 2016-05-02 2020-12-23 富士ゼロックス株式会社 変化度合い導出装置、変化度合い導出方法及びプログラム
JP6368870B2 (ja) * 2016-05-18 2018-08-01 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US20180140375A1 (en) * 2016-11-23 2018-05-24 Roger de la Torre Videoscopic surgery and endoscopic surgery procedures employing oscillating images
JP6710151B2 (ja) * 2016-12-02 2020-06-17 富士フイルム株式会社 内視鏡装置及び内視鏡装置の作動方法
CN110974142B (zh) * 2019-12-20 2020-08-18 山东大学齐鲁医院 共聚焦激光显微内镜实时同步内镜病变定位系统
WO2022044903A1 (ja) * 2020-08-27 2022-03-03 株式会社島津製作所 治療支援システムおよび治療支援用撮像装置
WO2022056642A1 (en) 2020-09-18 2022-03-24 Stryker European Operations Limited Systems and methods for fluorescence visualization
US12239409B2 (en) 2022-02-28 2025-03-04 Visionsense Ltd. Fluorescence imaging camera assembly for open surgery
DE102023200671B3 (de) 2023-01-27 2024-08-01 Carl Zeiss Meditec Ag Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3596653A (en) * 1967-10-17 1971-08-03 Hotchkiss Instr Inc Endoscope with coincident illumination and viewing
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
US6468204B2 (en) * 2000-05-25 2002-10-22 Fuji Photo Film Co., Ltd. Fluorescent endoscope apparatus
JP3731814B2 (ja) * 2001-05-07 2006-01-05 富士写真フイルム株式会社 蛍光画像表示装置
JP2002336187A (ja) * 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd 規格化蛍光画像生成方法および装置
JP4147033B2 (ja) * 2002-01-18 2008-09-10 オリンパス株式会社 内視鏡装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP2005137401A (ja) * 2003-11-04 2005-06-02 Pentax Corp 内視鏡プロセッサ
JP2006175052A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP5022580B2 (ja) * 2005-08-09 2012-09-12 Hoya株式会社 内視鏡装置
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2009021905A (ja) * 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
JP5043595B2 (ja) * 2007-10-23 2012-10-10 富士フイルム株式会社 撮影装置および内視鏡システム
JP5244455B2 (ja) * 2008-05-21 2013-07-24 Hoya株式会社 内視鏡プロセッサおよび内視鏡システム
JP5292118B2 (ja) * 2009-01-30 2013-09-18 富士フイルム株式会社 蛍光内視鏡システム及び蛍光内視鏡システムの作動方法
JP5396121B2 (ja) * 2009-03-26 2014-01-22 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法

Also Published As

Publication number Publication date
US9101288B2 (en) 2015-08-11
US20150297068A1 (en) 2015-10-22
US9872610B2 (en) 2018-01-23
US20100245552A1 (en) 2010-09-30
JP2010227255A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
JP5396121B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
JP5572326B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5449816B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
US9498153B2 (en) Endoscope apparatus and shake correction processing method
JP5127639B2 (ja) 内視鏡システム、およびその作動方法
JP5074044B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5274591B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2018211885A1 (ja) 画像取得システム、制御装置及び画像取得方法
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP2010063590A (ja) 内視鏡システム、およびその駆動制御方法
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5948203B2 (ja) 内視鏡システム及びその作動方法
JP5539841B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5525991B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5467970B2 (ja) 電子内視鏡システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP4526322B2 (ja) 内視鏡装置
JP5856943B2 (ja) 撮像システム
WO2016059906A1 (ja) 内視鏡装置
JP5467972B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムの作動方法
JP2006340855A (ja) 画像処理装置
JP2006346196A (ja) 内視鏡撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R151 Written notification of patent or utility model registration

Ref document number: 5396121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250