[go: up one dir, main page]

JP5993184B2 - 蛍光観察装置および蛍光観察装置の作動方法 - Google Patents

蛍光観察装置および蛍光観察装置の作動方法 Download PDF

Info

Publication number
JP5993184B2
JP5993184B2 JP2012085258A JP2012085258A JP5993184B2 JP 5993184 B2 JP5993184 B2 JP 5993184B2 JP 2012085258 A JP2012085258 A JP 2012085258A JP 2012085258 A JP2012085258 A JP 2012085258A JP 5993184 B2 JP5993184 B2 JP 5993184B2
Authority
JP
Japan
Prior art keywords
image
unit
fluorescence
sensitivity
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012085258A
Other languages
English (en)
Other versions
JP2013212323A (ja
Inventor
圭 久保
圭 久保
康成 石原
康成 石原
裕美 志田
裕美 志田
竹腰 聡
聡 竹腰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012085258A priority Critical patent/JP5993184B2/ja
Priority to CN201380014542.8A priority patent/CN104168813B/zh
Priority to EP13772945.5A priority patent/EP2835092A4/en
Priority to PCT/JP2013/059251 priority patent/WO2013150954A1/ja
Publication of JP2013212323A publication Critical patent/JP2013212323A/ja
Priority to US14/499,813 priority patent/US9518924B2/en
Application granted granted Critical
Publication of JP5993184B2 publication Critical patent/JP5993184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04CROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; ROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT PUMPS
    • F04C2270/00Control; Monitoring or safety arrangements
    • F04C2270/04Force
    • F04C2270/041Controlled or regulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/124Sensitivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、蛍光観察装置および蛍光観察装置の作動方法に関するものである。
従来、被写体に含まれる蛍光物質を励起する励起光を被写体に照射し、被写体からの蛍光を撮影し、蛍光画像から病変部を抽出する内視鏡が知られている(例えば、特許文献1参照)。蛍光画像は被写体内の特定の構造が強調された画像であるため、病変部の識別が容易である。
特開2010−172673号公報
しかしながら、特許文献1の場合、被写体を離れた位置から撮影しているときなど撮像素子への蛍光の入射光量が不十分である場合には、蛍光画像において病変部の像が不鮮明となり、病変部を確実に抽出できないという問題がある。一方、撮像素子の画素のビニングや露光時間の延長、ゲインの増幅により撮像素子の蛍光に対する撮影感度を高めることができる。しかし、このような手段により撮像素子の撮影感度を高めた場合には、蛍光画像の解像度の低下や、像のぶれ、ノイズの増大などが生じ、蛍光画像の画質が低下する。低画質の蛍光画像においては病変部を確実に抽出することが困難となる。また、低画質の蛍光画像を白色光画像に重畳した場合には白色光画像も不明瞭となり観察し難くなるという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、観察視野内の病変部の存在を操作者に確実にかつ明確に認識させることができる蛍光観察装置および蛍光観察装置の作動方法を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被検体に励起光を照射する励起光源と、該励起光源から前記励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、前記撮像素子により取得された蛍光画像の階調値に基づいて前記撮像素子の蛍光に対する感度を設定する感度調節部と、該感度調節部によって設定された感度で前記撮像素子により取得された前記蛍光画像から所定の階調閾値より大きい階調値を有する領域を抽出する抽出部と、該抽出部により抽出された前記領域の存在を示す情報を操作者に提示する報知部と、前記撮像素子により取得された前記蛍光画像を表示する表示部と、前記感度調節部により前記撮像素子に設定された前記感度が所定の感度閾値以下である場合に前記撮像素子により取得された前記蛍光画像を前記表示部に表示させ、前記感度が前記所定の感度閾値より大きい場合に前記報知部により前記情報を提示させる表示切替部とを備える蛍光観察装置を提供する。
本発明によれば、励起光源から被写体に励起光が照射されることにより、被写体において蛍光物質が励起され、発生した蛍光が蛍光画像取得部の撮像素子により撮影されて蛍光画像が取得される。取得された蛍光画像において、病変部は、高い階調値を有する領域として表示される。
ここで、撮像素子への蛍光の入射光量が十分に多い場合、感度調節部により撮像素子の感度が十分に低く設定され、撮像素子により取得された蛍光画像が表示切替部の作動により表示部に表示される。このときに表示部に表示される蛍光画像は、撮像素子により低い感度で取得された高画質の画像であるので、操作者は蛍光画像において病変部の存在を確実にかつ明確に認識することができる。
一方、撮像素子への蛍光の入射光量が不十分な場合、感度調節部により撮像素子の感度が十分に高く設定される。これにより、撮影視野内の病変部が撮像素子によって確実に検出される。高い感度で撮像素子により取得された蛍光画像は低画質の画像となる。そこで、表示切替部は、抽出部により蛍光画像から抽出された病変部の存在を、低画質の蛍光画像に代えて報知部により操作者に報知させる。これにより、操作者は、観察視野内の病変部の存在を確実にかつ明確に認識することができる。
上記発明においては、前記被写体に照明光を照射する照明光源と、該照明光源から前記被写体に照射された前記照明光の前記被写体からの反射光を撮影して参照画像を取得する参照画像取得部とを備え、前記報知部が、前記情報として前記領域の位置を示すマーカを作成し、前記表示切替部は、前記感度が前記所定の感度閾値以下である場合に前記参照画像取得部により取得された前記参照画像に前記蛍光画像を重畳して前記表示部に表示させ、前記感度が前記所定の感度閾値より大きい場合に前記参照画像に前記報知部により作成された前記マーカを重畳して前記表示部に表示させることとしてもよい。
このようにすることで、蛍光画像取得部の撮像素子により取得された蛍光画像が高画質であるときは蛍光画像が参照画像に重畳され、蛍光画像が低画質であるときは病変部の位置を示すマーカが参照画像に重畳される。これにより、操作者に対して、病変部の位置を明確に提示することができるとともに明瞭な参照画像を提示することができる。
また、上記発明においては、前記蛍光画像を前記参照画像を用いて除算することにより前記蛍光画像を補正した補正蛍光画像を生成する画像補正部を備え、前記抽出部が、前記画像補正部により生成された補正蛍光画像から前記領域を抽出することとしてもよい。
このようにすることで、蛍光画像を参照画像により除算して得られた補正蛍光画像の階調値は、観察距離および観察角度に依存した蛍光強度の変化が除去され、被写体において発生した蛍光の強度をより正確に反映したものとなる。これにより、抽出部による病変部の抽出精度を向上することができる。
また、本発明は、撮像素子によって取得された被写体の蛍光画像の階調値に基づいて前記撮像素子の蛍光に対する感度を調節する蛍光観察装置の作動方法であって、表示部が、前記蛍光画像を表示する表示ステップと、報知部が、前記蛍光画像のうち所定の階調閾値より大きい階調値を有する領域の存在および位置を示すマーカを前記表示部に出力する提示ステップと、表示切替部が、前記表示ステップと前記提示ステップとを択一的に切り替える切替ステップとを含み、該切替ステップは、前記蛍光画像が取得されたときの前記撮像素子の感度が、所定の感度閾値以下であった場合に前記表示ステップを選択し、前記所定の感度閾値より大きい場合に前記提示ステップを選択する蛍光観察装置の作動方法を提供する。
本発明によれば、観察視野内の病変部の存在を操作者に確実にかつ明確に認識させることができるという効果を奏する。
本発明の一実施形態に係る蛍光観察装置を示す全体構成図である。 図1の蛍光観察装置により(a)通常モードおよび(b)警告モードにおいて作成される重畳画像を示す図である。 図1の蛍光観察装置の動作を示すフローチャートである。
以下、本発明の一実施形態に係る蛍光観察装置1について図面を参照して説明する。
本実施形態に係る蛍光観察装置1は、図1に示されるように、体内に挿入される細長い挿入部2と、光源(励起光源、照明光源)3と、該光源3からの励起光および照明光を挿入部2の先端から被写体Aに向けて照射する照明ユニット4と、挿入部2の先端に設けられ、被写体Aである生体組織の画像情報を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する画像処理部6と、該画像処理部6により処理された画像を表示する表示部7とを備えている。
光源3は、キセノンランプ9と、該キセノンランプ9から発せられた光から、励起光および照明光(例えば、波長帯域400〜740nm)を切り出すフィルタ10と、フィルタ10により切り出された励起光および照明光を集光するカップリングレンズ11を備えている。
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置され、カップリングレンズ11によって集光された励起光および照明光を導光するライトガイドファイバ12と、挿入部2の先端に設けられ、ライトガイドファイバ12によって導光されてきた励起光および照明光を拡散させて、挿入部2の先端面に対向する被写体Aに照射する照明光学系13とを備えている。
撮像ユニット5は、被写体Aの所定の観察範囲からの光を集光する対物レンズ14と、該対物レンズ14によって集光された光のうち、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の白色光を透過するダイクロイックミラー15と、該ダイクロイックミラー15により反射された蛍光およびダイクロイックミラー15を透過した白色光をそれぞれ集光する2つの集光レンズ16,17と、集光レンズ16,17によって集光された白色光および蛍光を撮影するCMOSのような2個の撮像素子(参照画像取得部、蛍光画像取得部)18,19とを備えている。図中、符号20は、ダイクロイックミラー15によって反射された光のうち励起光を遮断する(例えば、波長帯域760〜850nmの光だけを透過する)励起光カットフィルタである。
画像処理部6は、撮像素子18により取得された白色光画像情報S1から白色光画像(参照画像)G1を生成する白色光画像生成部21と、撮像素子19により取得された蛍光画像情報S2から蛍光画像G2を生成する蛍光画像生成部22と、撮像素子19の蛍光に対する感度を調節する感度調節部23と、感度調節部23により撮像素子19に設定された感度に応じて表示モードを択一的に切り替える表示切替部24と、蛍光画像G2から病変部を抽出して該病変部の位置を示すマーカMを作成する抽出部25と、白色光画像G1と蛍光画像G2または抽出部25により作成されたマーカMとを重畳した重畳画像Gを生成する重畳画像生成部26とを備えている。
感度調節部23は、蛍光画像生成部22により生成された蛍光画像G2の階調値に基づいて撮像素子19のビニング画素数Nを設定することにより、撮像素子19の蛍光に対する撮影感度を調節する。具体的には、感度調節部23は、蛍光画像G2の階調値の代表値を算出する。代表値としては、蛍光画像G2の全画素の階調値の平均値または中央値が用いられる。感度調節部23は、算出された代表値が階調閾値としての所定の第1の閾値より小さい場合は、撮像素子19のビニング画素数Nを、例えば、2×2、4×4、8×8、…と段階的に増加させる。一方、感度調節部23は、算出された代表値が、第1の閾値より大きい階調閾値としての所定の第2の閾値より大きい場合は、撮像素子19のビニング画素数Nを、例えば、4×4、2×2、1×1と段階的に減少させる。
以上のようにして感度調節部23は、蛍光画像G2の階調値の代表値が第1の閾値以上第2の閾値以下の範囲となるように、撮像素子19へのビニング画素数Nの設定を蛍光画像G2が生成される度に繰り返す。感度調節部23は、ビニング画素数Nの増加を繰り返した結果、ビニング画素数Nが所定の上限値に達した場合には、該上限値を撮像素子19に設定する。
表示切替部24は、感度調節部23により撮像素子19に設定されたビニング画素数Nの情報を一時的に保持し、当該ビニング画素数Nに応じて表示モードとして「通常モード」と「警告モード」とのいずれかを選択する。そして、表示切替部24は、選択した表示モードに応じて、当該ビニング画素数Nで撮像素子19により撮影されて蛍光画像生成部22から送られてきた蛍光画像G2を重畳画像生成部26または抽出部25に振り分ける。
すなわち、表示切替部24は、ビニング画素数Nが感度閾値としての所定の閾値以下であるときは、「通常モード」を選択し、当該ビニング画素数Nで撮影された蛍光画像G2を重畳画像生成部26に送る。一方、表示切替部24は、ビニング画素数Nが所定の閾値より大きいときは、「警告モード」を選択し、当該ビニング画素数Nで撮影された蛍光画像G2を抽出部25に送る。
ビニング画素数Nの感度閾値は、例えば8×8に設定される。すなわち、ビニング画素数Nが8×8以下(例えば4×4)であるときは「通常モード」が選択され、一方、ビニング画素数Nが8×8より大きいときは「警告モード」が選択される。
また、当該ビニング画素数Nで撮影された蛍光画像G2は、感度調節部23に送られる。感度調節部23は、送られてきた当該蛍光画像G2の階調値に基づいてビニング画素数Nを新たに設定し、撮像素子19と表示切替部24に当該ビニング画素数Nの情報を送る。
抽出部(報知部)25は、表示切替部24から送られてきた蛍光画像G2から所定の閾値以上の階調値を有する領域を病変部として抽出し、抽出した病変部の位置を示すマーカMを作成する。マーカMとしては、例えば、病変部を指し示す矢印や、病変部を囲む円などが用いられる。
重畳画像生成部26は、白色光画像G1に、表示切替部24から送られてきた蛍光画像G2または抽出部25から送られてきたマーカMを重畳することにより、図2(a),(b)に示されるように、重畳画像Gを生成し、生成した重畳画像Gを表示部7に出力する。重畳画像Gには、「通常モード」が選択されているときは、図2(a)に示されるように、蛍光画像G2内の蛍光領域Fが表示され、「警告モード」が選択されているときは、図2(b)に示されるように、マーカMが表示される。図2(b)には、マーカMとして病変部を囲む円が例示されている。図2(a)の蛍光領域F内の異なるハッチングは蛍光強度の違いを示しており、ハッチング内はハッチング外より蛍光強度が高い領域である。
なお、「通常モード」が選択されているときに重畳画像Gに表示される蛍光画像G2としては、表示切替部24においてバックグラウンド信号を除去するための閾値処理が施された蛍光画像を用いてもよい。
次に、このように構成された本実施形態に係る蛍光観察装置1の作用について図3を参照して説明する。
本実施形態に係る蛍光観察装置1を用いて蛍光観察を行うには、光源3から射出させた照明光および励起光をライトガイドファイバ11を介して挿入部2の先端まで導光し、照明光学系12によって拡散させて被写体Aに照射する。病変部に特異的に集積する蛍光物質を被写体Aに予め投与しておくことにより、被写体A内の病変部において蛍光が発生する。また、被写体Aの表面において照明光が反射される。
被写体A内で発生した蛍光および被写体A表面において反射された照明光の反射光は、単一の対物レンズ13により集光された後、ダイクロイックミラー14によって2つに分岐されて2つの撮像素子18,19により撮影される。撮像素子18によって反射光が撮影されることにより取得された白色光画像情報S1は、画像処理部6の白色光画像生成部21に送られて白色光画像G1が生成される。一方、撮像素子19によって蛍光が撮影されることにより取得された蛍光画像情報S2は、画像処理部6の蛍光画像生成部22に送られて蛍光画像G2が生成される(ステップS1)。
生成された蛍光画像G2は感度調節部23に送られる。感度調節部23は、蛍光画像G2の階調値の代表値を算出し、算出された代表値が所定の範囲内となるようなビニング画素数Nを算出し(ステップS2)、算出したビニング画素数Nを撮像素子19に設定する(ステップS3)。これにより、撮像素子19への蛍光の入射光量に応じて撮像素子19の撮影感度が調節され、被写体Aにおいて発生した蛍光が確実に撮像素子19によって撮影される。
感度調節部23により撮像素子19に設定されたビニング画素数Nは表示切替部24に送られる。表示切替部24は、撮像素子19のビニング画素数Nが所定の閾値以下である場合には(ステップS4のYES、切替ステップ)、「通常モード」を選択する(ステップS5)。そして、重畳画像生成部26は、白色光画像G1に表示切替部24から送られてきた蛍光画像G2を重畳した重畳画像Gを生成し(ステップS6)、表示部7に出力する(ステップS10、表示ステップ)。
一方、表示切替部24は、撮像素子19のビニング画素数Nが所定の閾値より大きい場合には(ステップS4のNO)、「警告モード」を選択する(ステップS7)。そして、抽出部25は、表示切替部24から送られてきた蛍光画像G2から病変部を抽出し、抽出した病変部の位置を示すマーカMを作成し(ステップS8)、作成したマーカMを重畳画像生成部26に送る。重畳画像生成部26は、白色光画像G1にマーカMを重畳した重畳画像Gを生成し(ステップS9)、表示部7に出力する(ステップS10、提示ステップ)。蛍光画像G2に所定の閾値以上の階調値を有する領域が存在しない場合には、重畳画像生成部26は、白色光画像G1をそのまま重畳画像Gとして表示部7に出力する(ステップS10)。
ここで、体内に挿入した挿入部2を病変部まで誘導している間は、観察視野に病変部が存在しないため蛍光画像G2の階調値は全体として十分に低くなり、撮像素子19のビニング画素数Nは上限値に設定される。したがって、低解像度の蛍光画像G2が生成される。表示部7には、この低解像度の蛍光画像G2は表示されず、明瞭な白色光画像G1が重畳画像Gとして表示される。
観察視野に病変部が出現すると、蛍光画像G2の階調値の代表値が上昇する。病変部を十分に離れた位置から俯瞰している間は、撮像素子19への入射光量が十分に少ないので、感度調節部23により設定される撮像素子19のビニング画素数Nは十分に多いままであり、表示切替部24により「警告モード」が選択され続ける。ただし、抽出部25により病変部が抽出されるので、該病変部を示すマーカMが表示部7に表示されている重畳画像Gに出現する。
操作者がマーカMによって示されている位置に挿入部2の先端を近づけていくと、撮像素子19への蛍光の入射光量が増大し、感度調節部23により設定される撮像素子19のビニング画素数Nが低下する。そして、挿入部2の先端が病変部に十分に接近したときに、ビニング画素数Nが所定の閾値以下となり、表示切替部24が「警告モード」から「通常モード」に切り替える。これにより、重畳画像Gにおいて、マーカMが消失し、蛍光画像G2が表示される。このときに表示される蛍光画像G2は、十分に少ないビニング画素数Nで撮像素子19により取得された高解像度の画像であるので、操作者は重畳画像Gにおいて病変部を確実にかつ明確に認識することができる。
このように、本実施形態に係る蛍光観察装置1によれば、撮像素子19への蛍光の入射光量が少ないときは撮像素子19のビニング画素数Nを増加させられることにより、観察視野内に存在する病変部を確実に検出することができる。また、検出された病変部の存在および位置は、ビニング画素数Nの増加に伴い画質が低下した不明瞭な蛍光画像G2に代えて、マーカMによって示される。これにより、操作者は病変部の存在およびその位置を明確に認識することができるとともに、低解像度の蛍光画像が白色光画像G1に重畳されることがないため、重畳画像Gにおいて明瞭な白色光画像G1を観察することができる。
なお、本実施形態においては、感度調節部23が、撮像素子19のビニング画素数Nを調節することにより撮像素子19の蛍光に対する撮影感度を調節することとしたが、これに代えて、撮像素子19の露光時間または各画素からの信号の増幅率を調節することとしてもよい。この場合、感度調節部23は、ビニング画素数Nに代えて露光時間または増幅率を表示切替部24に送り、該表示切替部24は露光時間または増幅率に応じて表示モードを切り替える。
露光時間の感度閾値は、例えば、100ミリ秒に設定され、露光時間が100ミリ秒以下(10フレーム以上)である場合には「通常モード」が選択され、露光時間が100ミリ秒より大きい(10フレームより小さい)場合には「警告モード」が選択される。増幅率の感度閾値は、例えば、20dBに設定され、増幅率が20dB以下(増幅率が10倍以下)である場合には「通常モード」、20dBより大きい(増幅率が10倍より大きい)場合には「警告モード」が選択される。
撮像素子19の蛍光に対する感度を高めるために、撮像素子19の露光時間を長くした場合には蛍光画像G2において像のブレが生じ、撮像素子19の増幅率を増大した場合には蛍光画像G2においてノイズが増大する。このような低画質の蛍光画像G2に代えてマーカMを表示することにより、操作者に対して病変部の存在および位置を明確に提示し、また、明瞭な白色光画像G1を提示することができる。
また、本実施形態においては、重畳画像生成部26により白色光画像G1と蛍光画像G2またはマーカMとを重畳した重畳画像Gを表示部7に表示することとしたが、これに代えて、白色光画像G1と蛍光画像G2またはマーカMとを並列に表示部7に表示することとしてもよい。また、「通常モード」においては白色光画像G1と蛍光画像G2とを並列に表示し、「警告モード」においてはマーカMを白色光画像G1に重畳して表示することとしてもよい。
また、本実施形態においては、蛍光画像生成部22により生成された蛍光画像G2を白色光画像生成部21により生成された白色光画像G1で除算することにより補正蛍光画像を生成する画像補正部(図示略)を備え、感度調節部23、抽出部25および重畳画像生成部26が、蛍光画像G2に代えて画像補正部により生成された補正蛍光画像を処理に用いることとしてもよい。
撮像素子18,19により撮影される蛍光または反射光の強度は、観察距離や観察角度に依存して変化する。補正蛍光画像においてはこの観察距離や観察角度に依存した蛍光強度の変化が除去され、補正蛍光画像の階調値は被写体Aにおける蛍光の実際の強度分布を忠実に反映したものとなる。したがって、補正蛍光画像を用いることにより、感度調節部23によるビニング画素数Nの設定および抽出部25による病変部の抽出をより正確に行うことができる。
また、本実施形態においては、「警告モード」において蛍光画像G2内の病変部の存在を操作者に報知する手段として、重畳画像Gに表示されるマーカMを用いることとしたが、これに代えて、音を出力することとしてもよい。このようにしても、操作者は、現在観察している視野内に病変部が存在していることを明確に認識することができる。
また、本実施形態においては、蛍光観察装置として内視鏡を例示したが、蛍光観察装置の形態はこれに限定されるものではなく、例えば、光学顕微鏡の構成であってもよい。
なお、上述した実施形態から以下の観察方法に係る発明が導かれる。
本発明のもう1つの態様は、被検体に励起光を照射する励起光源と、該励起光源から励起光が照射されることにより被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、撮像素子により取得された蛍光画像の階調値に基づいて撮像素子の蛍光に対する感度を設定する感度調節部と、撮像素子により取得された蛍光画像から所定の閾値より大きい階調値を有する領域を抽出する抽出部と、該抽出部により抽出された領域の存在を示す情報を操作者に提示する報知部と、撮像素子により取得された蛍光画像を表示する表示部と、感度調節部により撮像素子に設定された感度が所定の閾値以下である場合に撮像素子により取得された蛍光画像を表示部に表示させ、感度が所定の閾値より大きい場合に報知部により情報を提示させる表示切替部とを備える蛍光観察装置を用いた観察方法であって、被写体を俯瞰するステップと、該俯瞰するステップにおいて報知部により情報が提示された場合に俯瞰ステップにおける観察視野に撮像素子を近接させるステップとを含む観察方法である。
この観察方法によれば、被写体を俯瞰することにより病変部を含む観察視野を探し、病変部を含む観察視野が見つかった場合に当該観察視野を近接拡大観察する。ここで、病変部を俯瞰しているときは撮像素子の感度が高められることにより病変部が確実に検出され、病変部の存在が報知部による情報により操作者に報知される。そして、病変部に撮像素子が接近して撮像素子への蛍光の入射光量が十分に多くなり、低感度で高画質の蛍光画像が撮像素子により取得されるようになったときに表示切替部の作動により表示部に蛍光画像が提示される。これにより、観察視野内の病変部の存在を操作者に確実にかつ明確に認識させることができる。
1 蛍光観察装置
2 挿入部
3 光源(励起光源、照明光源)
4 照明ユニット
5 撮像ユニット
6 画像処理部
7 表示部
18 撮像素子(蛍光画像取得部)
19 撮像素子(参照画像取得部)
21 白色光画像生成部
22 蛍光画像生成部
23 感度調節部
24 表示切替部
25 抽出部(報知部)
26 重畳画像生成部
A 被写体
M マーカ
G 重畳画像

Claims (4)

  1. 被検体に励起光を照射する励起光源と、
    該励起光源から前記励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、
    前記撮像素子により取得された蛍光画像の階調値に基づいて前記撮像素子の蛍光に対する感度を設定する感度調節部と、
    該感度調節部によって設定された感度で前記撮像素子により取得された前記蛍光画像から所定の階調閾値より大きい階調値を有する領域を抽出する抽出部と、
    該抽出部により抽出された前記領域の存在を示す情報を操作者に提示する報知部と、
    前記撮像素子により取得された前記蛍光画像を表示する表示部と、
    前記感度調節部により前記撮像素子に設定された前記感度が所定の感度閾値以下である場合に前記撮像素子により取得された前記蛍光画像を前記表示部に表示させ、前記感度が前記所定の感度閾値より大きい場合に前記報知部により前記情報を提示させる表示切替部とを備える蛍光観察装置。
  2. 前記被写体に照明光を照射する照明光源と、
    該照明光源から前記被写体に照射された前記照明光の前記被写体からの反射光を撮影して参照画像を取得する参照画像取得部とを備え、
    前記報知部が、前記情報として前記領域の位置を示すマーカを作成し、
    前記表示切替部は、前記感度が前記所定の感度閾値以下である場合に前記参照画像取得部により取得された前記参照画像に前記蛍光画像を重畳して前記表示部に表示させ、前記感度が前記所定の感度閾値より大きい場合に前記参照画像に前記報知部により作成された前記マーカを重畳して前記表示部に表示させる請求項1に記載の蛍光観察装置。
  3. 前記蛍光画像を前記参照画像を用いて除算することにより前記蛍光画像を補正した補正蛍光画像を生成する画像補正部を備え、
    前記抽出部が、前記画像補正部により生成された補正蛍光画像から前記領域を抽出する請求項2に記載の蛍光観察装置。
  4. 撮像素子によって取得された被写体の蛍光画像の階調値に基づいて前記撮像素子の蛍光に対する感度を調節する蛍光観察装置の作動方法であって、
    表示部が、前記蛍光画像を表示する表示ステップと、
    報知部が、前記蛍光画像のうち所定の階調閾値より大きい階調値を有する領域の存在および位置を示すマーカを前記表示部に出力する提示ステップと、
    表示切替部が、前記表示ステップと前記提示ステップとを択一的に切り替える切替ステップとを含み、
    該切替ステップは、前記蛍光画像が取得されたときの前記撮像素子の感度が、所定の感度閾値以下であった場合に前記表示ステップを選択し、前記所定の感度閾値より大きい場合に前記提示ステップを選択する蛍光観察装置の作動方法。
JP2012085258A 2012-04-04 2012-04-04 蛍光観察装置および蛍光観察装置の作動方法 Active JP5993184B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012085258A JP5993184B2 (ja) 2012-04-04 2012-04-04 蛍光観察装置および蛍光観察装置の作動方法
CN201380014542.8A CN104168813B (zh) 2012-04-04 2013-03-28 荧光观察装置和荧光观察装置的工作方法
EP13772945.5A EP2835092A4 (en) 2012-04-04 2013-03-28 FLUORESCENT OBSERVATION DEVICE AND METHOD FOR OPERATING THE FLUORESCENT OBSERVATION DEVICE
PCT/JP2013/059251 WO2013150954A1 (ja) 2012-04-04 2013-03-28 蛍光観察装置および蛍光観察装置の作動方法
US14/499,813 US9518924B2 (en) 2012-04-04 2014-09-29 Fluoroscopy apparatus and fluoroscopy apparatus operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012085258A JP5993184B2 (ja) 2012-04-04 2012-04-04 蛍光観察装置および蛍光観察装置の作動方法

Publications (2)

Publication Number Publication Date
JP2013212323A JP2013212323A (ja) 2013-10-17
JP5993184B2 true JP5993184B2 (ja) 2016-09-14

Family

ID=49300444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012085258A Active JP5993184B2 (ja) 2012-04-04 2012-04-04 蛍光観察装置および蛍光観察装置の作動方法

Country Status (5)

Country Link
US (1) US9518924B2 (ja)
EP (1) EP2835092A4 (ja)
JP (1) JP5993184B2 (ja)
CN (1) CN104168813B (ja)
WO (1) WO2013150954A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
EP3037030A4 (en) * 2013-08-23 2017-04-19 Olympus Corporation Fluorescence observation apparatus
JP6357377B2 (ja) * 2014-07-24 2018-07-11 オリンパス株式会社 観察装置
JP6833310B2 (ja) * 2015-07-27 2021-02-24 オリンパス株式会社 内視鏡システム
CN109219385B (zh) * 2016-06-21 2021-03-30 奥林巴斯株式会社 内窥镜系统、图像处理装置、图像处理方法以及介质
CN108603642A (zh) * 2016-11-25 2018-09-28 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其光源装置
JP7127637B2 (ja) 2017-02-28 2022-08-30 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7059297B2 (ja) * 2017-10-20 2022-04-25 富士フイルム株式会社 医療画像処理装置
JP7272670B2 (ja) * 2018-05-31 2023-05-12 i-PRO株式会社 カメラ装置、画像処理方法およびカメラシステム
JP7257829B2 (ja) * 2019-03-15 2023-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
WO2021020419A1 (ja) * 2019-07-29 2021-02-04 株式会社ニデック 医療画像処理装置および医療画像処理プログラム
CN114298980A (zh) * 2021-12-09 2022-04-08 杭州海康慧影科技有限公司 一种图像处理方法、装置及设备
US12239409B2 (en) 2022-02-28 2025-03-04 Visionsense Ltd. Fluorescence imaging camera assembly for open surgery

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56128138A (en) * 1980-03-14 1981-10-07 Olympus Optical Co Phtographing apparatus for endoscope
JPS60179713A (ja) * 1984-02-28 1985-09-13 Olympus Optical Co Ltd 内視鏡装置
JPS6464619A (en) * 1987-09-03 1989-03-10 Olympus Optical Co Control apparatus for endoscope
US5799099A (en) * 1993-02-12 1998-08-25 George S. Allen Automatic technique for localizing externally attached fiducial markers in volume images of the head
US6333971B2 (en) * 1995-06-07 2001-12-25 George S. Allen Fiducial marker
US6537211B1 (en) * 1998-01-26 2003-03-25 Massachusetts Institute Of Technology Flourescence imaging endoscope
US6396938B1 (en) * 1998-02-27 2002-05-28 University Of Arkansas, N.A. Automatic feather sexing of poultry chicks using ultraviolet imaging
DE60031349T2 (de) * 1999-11-18 2007-05-24 Fuji Photo Film Co., Ltd., Minami-Ashigara Verfahren und Vorrichtung zur Erzeugung von Fluoreszenzbildern
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2006153460A (ja) * 2004-11-25 2006-06-15 Hitachi High-Technologies Corp 蛍光検出方法、検出装置及び蛍光検出プログラム
JP4587811B2 (ja) * 2005-01-11 2010-11-24 オリンパス株式会社 蛍光観察内視鏡装置
EP2149328B1 (en) * 2007-05-22 2016-07-20 Olympus Corporation Capsule medical device and capsule medical system
JP5389380B2 (ja) * 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
CN102170817B (zh) * 2008-10-17 2014-03-19 奥林巴斯医疗株式会社 内窥镜系统和内窥镜图像处理装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
WO2010098214A1 (ja) * 2009-02-26 2010-09-02 国立大学法人北海道大学 ターゲット追跡装置および放射線治療装置
JP5393216B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察システムおよび蛍光観察システムの作動方法
WO2011111619A1 (ja) * 2010-03-09 2011-09-15 オリンパス株式会社 蛍光内視鏡装置
JP5669416B2 (ja) * 2010-03-23 2015-02-12 オリンパス株式会社 蛍光観察装置
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
CN103327880B (zh) * 2011-01-31 2015-08-26 奥林巴斯株式会社 荧光观察装置
WO2012114934A1 (ja) * 2011-02-21 2012-08-30 オリンパス株式会社 蛍光観察装置
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP6017219B2 (ja) * 2012-08-01 2016-10-26 オリンパス株式会社 蛍光観察装置および蛍光観察システム

Also Published As

Publication number Publication date
CN104168813A (zh) 2014-11-26
JP2013212323A (ja) 2013-10-17
EP2835092A4 (en) 2015-12-09
US20150016705A1 (en) 2015-01-15
CN104168813B (zh) 2016-06-22
EP2835092A1 (en) 2015-02-11
US9518924B2 (en) 2016-12-13
WO2013150954A1 (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
JP5993184B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5984681B2 (ja) 蛍光観察装置
JP6057890B2 (ja) 蛍光観察装置
JP6461797B2 (ja) 蛍光観察装置
JP5714875B2 (ja) 蛍光内視鏡装置
JP6017219B2 (ja) 蛍光観察装置および蛍光観察システム
JP5444377B2 (ja) 蛍光内視鏡装置
JP6188721B2 (ja) 蛍光観察装置
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
WO2018211885A1 (ja) 画像取得システム、制御装置及び画像取得方法
WO2012056970A1 (ja) 蛍光観察装置
JP5346635B2 (ja) 蛍光観察装置
JP2010220894A (ja) 蛍光観察システム、蛍光観察装置および蛍光観察方法
CN103764009A (zh) 荧光观察装置
JP5714997B2 (ja) 蛍光顕微鏡装置
JPWO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6355961B2 (ja) 標本観察装置
JP6257294B2 (ja) 顕微鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150210

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160819

R151 Written notification of patent or utility model registration

Ref document number: 5993184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250