JP5815426B2 - 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 - Google Patents
内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP5815426B2 JP5815426B2 JP2012013317A JP2012013317A JP5815426B2 JP 5815426 B2 JP5815426 B2 JP 5815426B2 JP 2012013317 A JP2012013317 A JP 2012013317A JP 2012013317 A JP2012013317 A JP 2012013317A JP 5815426 B2 JP5815426 B2 JP 5815426B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- light
- image
- layer blood
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 210000004204 blood vessel Anatomy 0.000 claims description 237
- 238000005286 illumination Methods 0.000 claims description 72
- 238000000605 extraction Methods 0.000 claims description 70
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000005284 excitation Effects 0.000 claims description 27
- 230000001629 suppression Effects 0.000 claims description 24
- 210000004400 mucous membrane Anatomy 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 210000004877 mucosa Anatomy 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 33
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 16
- 239000004065 semiconductor Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 239000002344 surface layer Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000295 emission spectrum Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
Description
本発明は、被検体内における表層血管、中深層血管などの血管を抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法に関する。
近年の医療においては、内視鏡装置を用いた診断等が広く行われている。内視鏡装置による被検体内の観察としては、被検体内を全体的に観察する通常観察の他、被検体上の特定の部位など強調させて観察を行う特殊観察も行われるようになってきている。
この特殊観察においては、強調表示させた血管の形状パターンから、ガンか否かを鑑別することが行われている。血管の種類としては、主に、生体組織表層に分布する表層血管とその下方に位置する中深層血管とがあり、診断の目的に応じて、いずれかの血管に着目して診断が行われることがある。この場合、着目しない血管が内視鏡画像上に混じっていると、診断の妨げになるおそれがあるため、画像上から表層血管、中深層血管のいずれかを判別し、着目するほうの血管のみを抽出した画像をモニタに表示することが求められていた。
この血管の深さ判別方法に関しては、特許文献１に、特定波長域（４１５nm、５４０nm）の狭帯域光に基づいて生成される狭帯域画像の色相が５〜３５の場合には表層血管と判別し、色相Ｈが１７０〜２００の場合に中深層血管と判別する方法が示されている。
近年においては、通常観察及び特殊観察に用いる照明光源として、レーザー光源などの半導体光源が用いられつつある。例えば、通常観察においては、中心波長４０５ｎｍの第１青色レーザー光に加えて、中心波長４４５ｎｍの第２青色レーザー光を蛍光体に照射することで励起発光する蛍光（緑色〜赤色）を、被検体に照明することが行われている。また、特殊観察においては、第１及び第２青色レーザ光の光量比を調整することによって、照明光の各色の成分の比率を変化させることも行われている。生体組織への照明光の深達度は波長依存性を有するため、明瞭化する部位を変更することができる。例えば、光量比の調整によって照明光の青色成分を緑色成分よりも大きくした場合には、表層血管が明瞭化し、反対に緑色成分を青色成分よりも大きくした場合には、中深層血管を明瞭化することができる。
このように光量比の調整により、着目する血管を明瞭化することができるが、着目しない血管であっても、目立ちはしないものの、わずかに表示されている。このように僅かに表示される血管は、着目する血管の視認性を低下させることとなる。したがって、上記のように、着目する血管のみを判別して抽出する必要がある。しかしながら、光量比を調整した場合には、画像上の色相が変化してしまう。そのため、特許文献１のような色相に基づく血管判別方法では、着目する血管を確実に抽出することはできない。
本発明は、上記背景に鑑みてなされたもので、被検体に照明する照明光の青色成分と緑色成分の割合が変化したとしても、深さが異なる複数種類の血管を確実に抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡システムは、互いに波長域が異なる第１及び第２照明光を含む２つ以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２つ以上の色信号を取得する画像信号取得手段と、前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。
前記光量比設定部は、予め定められた複数の光量比の中からいずれかの光量比を設定し、前記血管抽出画像生成手段は、前記複数の光量比ごとに設けられ、前記被検体上の粘膜、前記第１層血管、及び前記第２層血管と演算値との相関関係を記憶した複数の演算値テーブルと、前記光量比設定部で設定された光量比に対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第１層血管抽出画像、または前記第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備えることが好ましい。
各演算値テーブルには、前記粘膜と前記第１層血管との境界を示す演算値が第１境界値として記憶され、前記粘膜と前記第２層血管との境界を示す演算値が第２境界値として記憶され、前記第１及び第２境界値は、各演算値テーブル毎に異なっていることが好ましい。
前記第１層血管抽出画像を用いて、前記第１層血管が強調または抑制された第１層血管強調・抑制画像を生成し、または前記第２層血管抽出画像を用いて、前記第２層血管が強調または抑制された第２層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備えることが好ましい。前記第１層血管強調・抑制画像または前記第２層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備えることが好ましい。
前記照明手段は、青色の励起光とこの青色励起光により波長変換部材で波長変換される蛍光を含む第１照明光と、中心波長が前記励起光よりも短波長側に波長域を有する第２照明光を前記被検体に向けて同時照射し、前記画像信号取得手段は、前記第１照明光及び第２照明光が同時照射された被検体を、カラーの撮像素子で撮像することが好ましい。
前記波長変換部材は、前記第１及び第２照明光を被検体に向けて照射する内視鏡とは別体の光源装置の内部に設けられることが好ましい。前記波長変換部材は、前記第１及び第２照明光を被検体に向けて照射する内視鏡の先端部に設けられることが好ましい。前記励起光の中心波長は４４５nmであり、前記第２照明光の中心波長は４０５nmであることが好ましい。前記第１照明光は４２０ｎｍ付近を中心とする照明光であり、前記第２照明光は５３０ｎｍ付近を中心とする照明光であることが好ましい。前記色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、前記多色画像は、各画素毎に青色信号を緑色信号で除することで得られるＢ／Ｇ比から構成されるＢ／Ｇ画像であることが好ましい。
本発明は、互いに波長域が異なる第１及び第２照明光を含む２以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２以上の色信号を取得する電子内視鏡とを有する内視鏡システムのプロセッサ装置において、前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。
本発明は、互いに波長域が異なる第１及び第２照明光を含む２以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２以上の色信号を取得する電子内視鏡とを有する内視鏡システム内で行われる画像処理方法において、前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成することを特徴とする。
本発明によれば、被検体に照明する第１及び第２照明光の光量比によって異なる血管抽出処理を行っているため、光量比が変化したとしても、深さが異なる複数種類の血管を確実に抽出することができる。
図１に示すように、電子内視鏡システム１０は、被検体内を撮像する電子内視鏡１１と、撮像により得られた信号に基づいて内視鏡画像を生成するプロセッサ装置１２と、被検体を照明する光を発生する光源装置１３と、内視鏡画像を表示するモニタ１４とを備えている。電子内視鏡１１は、体腔内に挿入される可撓性の挿入部１６と、挿入部１６の基端部分に設けられた操作部１７と、操作部１７とプロセッサ装置１２及び光源装置１３との間を連結するユニバーサルコード１８とを備えている。
この電子内視鏡システム１０は、被検体上の表層血管を強調・抑制した表層血管強調・抑制画像と中深層血管を強調・抑制した中深層血管強調・抑制画像を生成する機能を備えている。いずれの血管強調・抑制画像を生成するかは、表層・中深層選択SW２８（図２参照）の操作によって決められる。また、電子内視鏡システム１０は、青色成分と緑色成分が略同じ照明光で被検体内の観察を行う第１観察モード、青色成分が緑色成分よりも大きい照明光で被検体内の観察を行う第２観察モード、緑色成分が青色成分よりも大きい照明光で被検体内の観察を行う第３観察モードの３つの観察モードを備えている。これら第１〜第３観察モードは、観察モード選択ＳＷ２９（図２参照）により切り替えられる。
挿入部１６の先端には、複数の湾曲駒を連結した湾曲部１９が形成されている。湾曲部１９は、操作部のアングルノブ２１を操作することにより、上下左右方向に湾曲動作する。湾曲部１９の先端には、体腔内撮影用の光学系等を内蔵した先端部１６ａが設けられている。先端部１６ａは、湾曲部１９の湾曲動作によって体腔内の所望の方向に向けられる。
ユニバーサルコード１８には、プロセッサ装置１２および光源装置１３側にコネクタ２４が取り付けられている。コネクタ２４は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡１１は、このコネクタ２４を介して、プロセッサ装置１２および光源装置１３に着脱自在に接続される。
図２に示すように、光源装置１３は、広帯域光源３０と、青色狭帯域光源３３と、カプラー３６と、光源制御部３７とを備えている。広帯域光源３０は、中心波長４４５ｎｍの励起光を発する励起光光源３０ａと、この励起光光源３０ａからの励起光によって緑色〜赤色の蛍光を励起発光する蛍光体３０ｂとを備えている。励起光光源３０ａは、ＬＥＤ（light Emitting Diode）やＬＤ（Laser Diode）などの半導体光源で構成される。なお、励起光光源３０ａは、ブロードエリア型のＩｎＧａＮ系レーザダイオードが使用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオード等を用いることもできる。
蛍光体３０ｂは、励起光の一部を吸収して緑色〜赤色に励起発光する複数種の蛍光物質（例えばＹＡＧ系蛍光物質、或いはＢＡＭ（ＢａＭｇＡｌ１０Ｏ１７）等の蛍光物質）を含んで構成される。したがって、蛍光体３０ｂから発せられる緑色〜赤色の励起発光光（蛍光）と、蛍光体３０ｂにより吸収されず透過した励起光とが合波することにより、図３に示すような発光スペクトルを有する白色光ＢＢ（疑似白色光）が生成される。生成された白色光ＢＢは、広帯域用光ファイバ３５に入射する。
なお、蛍光体３０ｂは略直方体形状を有していることが好ましい。この場合、蛍光体３０ｂは、蛍光体物質をバインダで略直方体状に固めて形成してもよく、また、無機ガラスなどの樹脂に蛍光体物質を混合したものを略直方体状に形成してもよい。この蛍光体３０ｂは、商品名としてマイクロホワイト（登録商標）（Micro White（ＭＷ））とも呼ばれている。
青色狭帯域光源３３はＬＥＤ（light Emitting Diode）やＬＤ（Laser Diode）などであり、図３に示すように、波長が４００±１０ｎｍ（中心波長４０５ｎｍ）に制限された青色狭帯域光ＢＮを発生する。青色狭帯域光源３３から発せられた青色狭帯域光ＢＮは、この狭帯域用光ファイバ３５に入射する。
カプラー３６は、電子内視鏡１１内のライトガイド４３と、広帯域用光ファイバ３４及び狭帯域用光ファイバ３５とを連結する。これにより、白色光ＢＢ及び青色狭帯域ＢＮの両方が、ライトガイド４３に同時に入射する。
光源制御部３７は、励起光光源３０ａ及び青色狭帯域光源３３の光量を制御することにより、白色光ＢＢと青色狭帯域光ＢＮの光量比を一定に保持する。光量比は光量比設定部３７ａで設定される。光量比設定部３７ａにおいては、第１〜第３観察モード毎に予め設定されており、観察モード選択ＳＷ２９で選択された観察モードに対応する光量比に設定する。第１観察モード時の第１光量比は、被検体内に照射される照明光のうち青色成分と緑色成分が略同じとなるように、設定されている。この第１光量比で被検体内を照明した場合には、被検体内を全体的に明るくできるとともに、表層血管などの表層に分布する部位を明瞭化することができる。
第２観察モード時の第２光量比は、照明光のうち青色成分が緑色成分よりも大きくなるように、設定されている。この第２光量比で被検体内を照明した場合には、表層血管と中深層血管の両方を明瞭化することができる。また、第３観察モード時の第３光量比は、照明光のうち緑色成分が青色成分よりも大きくなるように、設定されている。この第３光量比で被検体内を照明した場合には、被検体内を全体的に明るくすることができる。なお、第３光量比に設定する場合には、青色狭帯域光ＢＮの光量は、最大光量の１０％程度にすることが好ましい。
電子内視鏡１１は、ライトガイド４３、ＣＣＤ４４、アナログ処理回路４５（ＡＦＥ：Analog Front End）、撮像制御部４６を備えている。ライトガイド４３は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー３６に挿入されており、出射端が先端部１６ａに設けられた照射レンズ４８に向けられている。ライトガイド４３内で導光された白色光ＢＢ及び青色狭帯域光ＢＮは、照射レンズ４８及び先端部１６ａの端面に取り付けられた照明窓４９を通して、被検体内に照射される。被検体内で反射した白色光ＢＢ及び青色狭帯域光ＢＮは、先端部１６ａの端面に取り付けられた観察窓５０を通して、集光レンズ５１に入射する。
ＣＣＤ４４は、集光レンズ５１からの光を撮像面４４ａで受光し、受光した光を光電変換して信号電荷を蓄積し、蓄積した信号電荷を撮像信号として読み出す。読み出された撮像信号は、ＡＦＥ４５に送られる。また、ＣＣＤ４４はカラーＣＣＤであり、撮像面４４ａには、Ｂ色、Ｇ色、Ｒ色のいずれかのカラーフィルターが設けられたＢ画素、Ｇ画素、Ｒ画素の３色の画素が配列されている。なお、ＣＣＤ４４は、Ｂ画素、Ｇ画素、Ｒ画素の比率が１：２：１のベイヤー配列にすることが好ましい。
Ｂ色、Ｇ色、Ｒ色のカラーフィルターは、図５に示すような透過分布５２，５３，５４を有している。波長領域が約４００〜７００ｎｍである白色光ＢＢのみがＣＣＤ４４に入射した場合には、Ｂ色、Ｇ色、Ｒ色のカラーフィルターは、白色光ＢＢのうちそれぞれの透過分布５２，５３，５４に応じた波長の光を透過する。ここで、Ｒ画素で光電変換された信号を赤色信号Ｒ、Ｇ画素で光電変換された信号を緑色信号Ｇ、Ｂ画素で光電変換された信号を青色信号Ｂとする。
ＡＦＥ４５は、相関二重サンプリング回路（ＣＤＳ）、自動ゲイン制御回路（ＡＧＣ）、及びアナログ／デジタル変換器（Ａ／Ｄ）（いずれも図示省略）から構成されている。ＣＤＳは、ＣＣＤ４４からの撮像信号に対して相関二重サンプリング処理を施し、ＣＣＤ４４の駆動により生じたノイズを除去する。ＡＧＣは、ＣＤＳによりノイズが除去された撮像信号を増幅する。Ａ／Ｄは、ＡＧＣで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置１２に入力する。
撮像制御部４６は、プロセッサ装置１２内のコントローラー５９に接続されており、コントローラー５９から指示がなされたときにＣＣＤ４４に対して駆動信号を送る。ＣＣＤ４４は、撮像制御部４６からの駆動信号に基づいて、所定のフレームレートで撮像信号をＡＦＥ４５に出力する。
図２に示すように、プロセッサ装置１２は、ベース画像生成部５５と、フレームメモリ５６と、画像処理部５７と、表示制御回路５８を備えており、コントローラー５９が各部を制御している。ベース画像生成部５５は、電子内視鏡のＡＦＥ４５から出力される青色信号Ｂ、緑色信号Ｇ、赤色信号Ｒに各種信号処理を施すことによって、ベース画像を作成する。作成されたベース画像はフレームメモリ５６に一時的に記憶される。また、ＡＦＥ４５から出力される青色信号Ｂ、緑色信号Ｇ、赤色信号Ｒも、フレームメモリ５６に記憶される。なお、ベース画像は、酸素飽和度などの血管機能情報を疑似カラー化した疑似カラー画像などであってもよい。
画像処理部５７は、Ｂ／Ｇ画像生成部６１と、血管抽出画像生成部６３と、血管強調・抑制画像生成部６５とを備えている。Ｂ／Ｇ画像生成部６１は、青色信号Ｂ及び緑色信号Ｇ間の輝度比Ｂ／Ｇ（Ｂ／Ｇ比）から構成されるＢ／Ｇ画像を生成する。ここで、Ｂ／Ｇ比は、青色信号Ｂ及び緑色信号Ｇ間で、同じ位置にある画素の輝度比を示している。
血管抽出画像生成部６３は、Ｂ／Ｇ画像に基づいて、表層血管を抽出した表層血管抽出画像又は中深層血管を抽出した中深層血管抽出画像を生成する。これら血管抽出画像の生成方法は、第１〜第３観察モードのいずれに設定されているかによって、異なっている。第１観察モードに設定されている場合には、この第１観察モード時の第１光量比に適した第１光量比用テーブル６３aを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第１光量比用テーブル６３aには、図５に示すような、輝度比Ｂ／Ｇと血管深さとの相関関係が記憶されている。この相関関係は、血管深さが大きくなるほど輝度比Ｂ／Ｇ（Ｂ／Ｇ比）も大きくなる比例関係となっている。
第１観察モードにおいては、照明光のうち青色成分（Ｂ成分）と緑色成分（Ｇ成分）とが略同じである。そのため、図６に示すように、血管が無い粘膜に照明光が照射された場合、その戻り光のＢ成分、Ｇ成分の比率は略同じである。これは、粘膜では大きな光の吸収がないためである。このときの平均的なＢ／Ｇ比をＰとすると、粘膜が示すＢ／Ｇ比は、Ｌｓ〜Ｐ〜Ｌｄの一定範囲に収まっている。ここで、Ｌｓは、第１観察モードにおける粘膜のＢ／Ｇ比の下限値であり、Ｌｄは第１観察モードにおける粘膜のＢ／Ｇ比の上限値である。
また、照明光が表層血管に照射された場合には、照明光のＢ成分が表層血管で大きく吸収される一方で、Ｇ成分はほとんど吸収されない。そのため、Ｂ／Ｇ比は、ほとんどがＬｓ以下となる。したがって、Ｂ／Ｇ比がＬｓ以下の画素には、表層血管が写し出されていることが分かる（即ちＬｓは粘膜と表層血管の境界値）。一方、照明光が中深層血管に照射された場合には、照明光のＧ成分が中深層血管で大きく吸収される一方で、Ｂ成分はほとんど吸収されない。そのため、Ｂ／Ｇ比は、ほとんどがＬｄ以上となる。したがって、Ｂ／Ｇ比がＬｄ以上の画素に、中深層血管が写し出されていることが分かる（即ちＬｄは粘膜と中深層血管の境界値）。
したがって、第１観察モードにおいて、表層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｓ以下の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｄ以上の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。
また、第２観察モードに設定されている場合には、この第２観察モード時の第２光量比に適した第２光量比用テーブル６３ｂを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第２光量比用テーブル６３ｂは、上記第１光量比用テーブル６３aと同様、図７に示すように、血管深さが大きくなるほど輝度比Ｂ／Ｇ（Ｂ／Ｇ比）も大きくなる比例関係となっている。第２観察モードにおいては、図８に示すように、照明光のうち青色波長成分（Ｂ成分）が緑色波長成分（Ｇ成分）よりも大きいため、Ｂ／Ｇ比は全体的に高くなる。これに伴って、粘膜と表層血管の境界値Ｌｓ´は、第１観察モード時の境界値Ｌｓよりも大きくなり、粘膜と中深層血管の境界値Ｌｄ´は、第１観察モード時の境界値Ｌｄよりも高くなる。
したがって、第２観察モードにおいて、表層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｓ´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｄ´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。
また、第３観察モードに設定されている場合には、この第３観察モード時の第３光量比に適した第３光量比用テーブル６３ｃを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第３光量比用テーブル６３ｃは、上記第１光量比用テーブル６３aと同様、図９に示すように、血管深さが大きくなるほど輝度比Ｂ／Ｇ（Ｂ／Ｇ比）も大きくなる比例関係となっている。第３観察モードにおいては、図１０に示すように、照明光のうち緑色波長成分（Ｇ成分）は青色波長成分（Ｂ成分）よりも大きいため、Ｂ／Ｇ比は全体的に低くなる。これに伴って、粘膜と表層血管の境界値Ｌｓ´´は、第１観察モード時の境界値Ｌｓよりも小さくなり、粘膜と中深層血管の境界値Ｌｄ´´は、第１観察モード時の境界値Ｌｄよりも小さくなる。
したがって、第３観察モードにおいて、表層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｓ´´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、Ｂ／Ｇ画像において、Ｂ／Ｇ比がＬｄ´´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を０とする二値化処理を行う。
血管強調・抑制画像生成部６５は、表層血管抽出画像とベース画像とを合成することによって、表層血管が強調（または抑制）された表層血管強調・抑制画像を生成し、また、中深層血管抽出画像とベース画像とを合成することによって、中深層血管が強調（または抑制）された中深層血管強調・抑制画像を生成する。ここで、血管を強調する場合には、表層血管抽出画像（又は中深層血管抽出画像）における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値に足し合わせる。また、血管を抑制する場合には、表層血管抽出画像（又は中深層血管抽出画像）における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値から減算する。
表示制御回路５８は、血管強調・抑制画像をモニタ１４に表示する。例えば、図１１に示すように、Ｂ／Ｇ画像から抽出した表層血管７１を血管強調・抑制画像上で強調している場合には、表層血管７１は中深層血管７２よりも目立つため、表層血管７１のみに着目した診断が可能となる。反対に、図１２に示すように、Ｂ／Ｇ画像から抽出した中深層血管７２を血管強調・抑制画像上で強調している場合には、中深層血管７２は表層血管７１よりも目立つため、中深層血管７２のみに着目した診断が可能となる。
以上のように、Ｂ／Ｇ画像から着目する血管の画像のみを抽出し、その抽出した血管画像を用いて血管強調・抑制画像を生成することによって、血管以外の部分、例えば観察部位の凹凸などの情報を消すことなく、着目する血管部分のみを確実に強調・抑制処理することができる。これにより、血管に加え観察部位の凹凸など診断に役立つ情報を数多くユーザーに提供することができるため、診断能を向上させることができる。また、血管を表層と中深層に分けて別々に抽出し、それぞれを個別に強調・抑制していることから、表層血管に着目した診断や中深層血管に着目した診断が可能となる。
次に、本発明の作用について、図１３に示すフローチャートを用いて説明する。まず、第１〜第３観察モードの中から、所定の観察モードに設定する。これにより、その所定の観察モードに対応する光量比（白色光ＢＢと青色狭帯域光ＢＮの光量比）が設定される。光源装置１３から発せられる白色光ＢＢ及び青色狭帯域光ＢＮは、ライトガイド４３を介して、被検体内に同時に照射される白色光ＢＢ及び青色狭帯域光ＢＮは、設定された光量比となるように、光量制御されている。被検体からの反射光は、カラーのＣＣＤ４４により撮像される。この撮像により得られる青色信号Ｂ、緑色信号Ｇ、赤色信号Ｒから、ベース画像を生成する。生成されたベース画像と青色信号Ｂ、緑色信号Ｇ、赤色信号Ｒは、フレームメモリ５６に一時的に記憶される。
次に、Ｂ／Ｇ画像生成部６１において、青色信号Ｂ及び緑色信号Ｇ間の輝度比Ｂ／ＧからなるＢ／Ｇ画像を生成する。このＢ／Ｇ画像から表層血管を抽出した表層血管抽出画像が生成され、また、Ｂ／Ｇ画像から中深層血管を抽出した中深層血管抽出画像が生成される。これら血管抽出には、設定した光量比に対応する光量比用テーブルが用いられる。血管抽出画像が生成されたら、表層血管抽出画像（または中深層血管抽出画像）のとベース画像とから、表層血管（または中深層血管）が強調・抑制された血管強調・抑制画像が生成される。生成された血管強調・抑制画像は、表示制御回路５８でモニタ表示可能な信号に変換された後、図１１または図１２に示すように、モニタ１４に画像表示される。
なお、青色成分が緑色成分よりも大きい照明光で被検体内の観察を行う第２観察モードに設定されている場合には、モニタ表示用の画像を生成する際、撮像によって得られる画像信号のうち、青色信号Ｂについては、映像信号のＢチャンネル及びＧチャンネルに割り当て、緑色信号Ｇには映像信号のＲチャンネルに割り当てることが好ましい。この場合、モニタ１４には、表層血管と中深層血管とが異なる色で表された疑似カラー画像が表示される。
なお、上記実施形態においては、光源装置１３内の広帯域光源３０から白色光ＢＢを発光したが、これに代えて、図１４に示すように、電子内視鏡１１の先端部１６ａに蛍光体１００を設置し、その蛍光体３０ｂを、光源装置１３に設置した励起光光源１０１の励起光で励起することによって、蛍光を発光させてもよい。この場合、蛍光と、蛍光体１００に吸収されなかった励起光とが合波した光が、白色光ＢＢとして被検体内に照射される。なお、蛍光体１００は上記実施形態の蛍光体３０ｂと同様であり、励起光光源１０１は上記実施形態の励起光光源３０ａと同様である。
なお、上記実施形態においては、蛍光体からの白色光を被検体内に照射したが、これに代えて、被検体内を照明する複数の照明光のうちの一部を、半導体光源からの光とし、その他を、キセノンランプ等の白色光から波長分離した光としてもよい。この場合、例えば、図１５に示す電子内視鏡システム１００が使用される。
電子内視鏡システム１００は、電子内視鏡システム１０と比較すると、光源装置１１３全体が光源装置１３異なっており、また、電子内視鏡１１１のＣＣＤ１０１は、モノクロのＣＣＤとなっている。また、電子内視鏡システム１００は、観察モードとして、青色光、緑色光、赤色光の３色の照明光で被検体内を観察する通常観察モードと、青色狭帯域光及び緑色光の２色の照明光で被検体内を観察する第１〜第３特殊観察モードとを備えている。
第１〜第３特殊観察モードは青色狭帯域光及び緑色光の光量が異なっており、第１特殊観察モードでは青色狭帯域光と緑色光の光量は同じであり、第２特殊観察モードでは青色狭帯域光の光量は緑色光の光量よりも大きく、第３特殊観察モードでは緑色光の光量が青色狭帯域光の光量よりも大きい。即ち、第１〜第３特殊観察モードは、上記実施形態の第１〜第３観察モードに略対応している。したがって、第１〜第３特殊観察モードにおける血管抽出方法は、第１〜第３観察モードの場合と同様に行う。なお、それ以外については、上記実施形態とほぼ同様であるので、詳細な説明は省略する。
光源装置１１３は、白色光源ユニット１３０と、半導体光源ユニット１３１と、これらを駆動制御する光源制御部１３２とを備えている。白色光源ユニット１３０は、白色光ＢＢを放射するランプ本体１３０ａと、このランプ本体１３０の光路上に設けられた絞り１３０ｂとを備えている。
ランプ本体１３０ａは、キセノンランプ、ハロゲンランプ、メタルハライドランプなど、赤色領域から青色領域（約４００〜７００ｎｍ）にわたる広い波長域において発光スペクトルが連続する広帯域光（白色光）ＢＢを発生する。このランプ本体１３０ａは、光源装置１１３の電源がＯＮの間、常時点灯する。絞り１３０ｂは、光源制御部１３２の駆動制御によって、開度が調整される。この開度の調整に伴って、白色光ＢＢの光量が調整される。
白色光ＢＢの光路には、ロータリフイルタ１３４が配置されている。図１６に示すように、ロータリフイルタ１３４は、円板形状をしており、円周方向に３分割されて中心角が１２０°の扇形の領域に、それぞれＢ、Ｇ、Ｒの光を透過するＢフイルタ部１３４ａ、Ｇフイルタ部１３４ｂ、Ｒフイルタ部１３４ｃの三色のカラーフイルタが設けられている。
これらＢフイルタ部１３４ａ、Ｇフイルタ部１３４ｂ、Ｒフイルタ部１３４ｃは、図１７に示すような分光透過率を有している。Ｂフィルタ部１３４ａは白色光ＢＢのうち青色光（Ｂ色光）を透過させ、Ｇフィルタ部１３４ｂは白色光ＢＢのうち緑色光（Ｇ色光）を透過させ、Ｒフィルタ部１３４ｃは白色光ＢＢのうち赤色光（Ｒ色光）を透過させる。ここで、Ｇフィルタ部１３４ｂの透過帯域は、Ｇ色光の中心波長が５３０nmとなるように設定することが好ましい。波長５３０nm付近はヘモグロビンの吸光係数が高くなる領域であるため、この波長範囲の光を血管に照射することで、血管とそれ以外とのコントラストを高めることができる。
また、ロータリフイルタ１３４は、Ｂフイルタ部１３４ａ、Ｇフイルタ部１３４ｂ、Ｒフイルタ部１３４ｃが選択的に白色光ＢＢの光路に挿入されるように回転自在に設けられている。ロータリフイルタ１３４が回転すると、Ｂフイルタ部１３４ａ、Ｇフイルタ部１３４ｂ、Ｒフイルタ部１３４ｃが順次白色光ＢＢの光路に挿入される。
半導体光源ユニット１３１は、ＬＤ（Laser Diode）またはＬＥＤ（Light Emitting Diode
）からなる青色半導体光源１３１ａと、この青色半導体光源１３１ａを駆動する駆動部１３１ｂを有する。青色半導体光源１３１ａは、中心波長４２０nmの青色狭帯域光ＢＮを発光する（図１７参照）。波長４２０nm付近はヘモグロビンの吸光係数が高くなる領域であるため、この波長範囲の光を血管に照射することで、血管とそれ以外とのコントラストを高めることができる。
）からなる青色半導体光源１３１ａと、この青色半導体光源１３１ａを駆動する駆動部１３１ｂを有する。青色半導体光源１３１ａは、中心波長４２０nmの青色狭帯域光ＢＮを発光する（図１７参照）。波長４２０nm付近はヘモグロビンの吸光係数が高くなる領域であるため、この波長範囲の光を血管に照射することで、血管とそれ以外とのコントラストを高めることができる。
また、駆動部１３１ｂは光源制御部１３２に接続されている。光源制御部１３２は駆動部１３１ｂを制御することによって、青色半導体光源１３１ａの点灯及び消灯と光量調整を行う。なお、青色半導体光源１３１ａに用いるレーザダイオードとしては、ブロードエリア型のＩｎＧａＮ系、ＩｎＧａＮＡｓ系、ＧａＮＡｓ系のレーザダイオードを用いることができる。
ロータリフィルタ１３４からのＢ色光、Ｇ色光、Ｒ色光と、青色半導体光源１３１ａからの青色狭帯域光ＢＮは、光合流部１３９で合流する。光合流部１３９はダイクロイックミラーで構成され、Ｂ色光、Ｇ色光、Ｒ色光をそのまま透過させるとともに、青色狭帯域光ＢＮをを９０°屈曲させて、Ｂ色光、Ｇ色光、Ｒ色光の光路に合流させる。光合流部１３９を経た光は、集光レンズ１３６を通して、ライトガイド４３に入射する。
図１５に示すように、白色光源ユニット１３０とロータリフイルタ１３４の間には、シャッタ板１４０が配置されている。シャッタ板４０は、青色狭帯域光ＢＮを電子内視鏡１１に供給するときに、白色光ＢＢを遮光するものである。図１８に示すように、シャッタ板１４０は、白色光ＢＢに対する遮光性を有する部材からなり、平面形状は、円形の一部を切り欠いた形状をしている。
具体的には、シャッタ板１４０は、２４０°の中心角を持つ遮光部１４０ａを有しており、残りの１２０°の部分が切り欠かれて白色光ＢＢを透過する透過部１４０ｂとなっている。シャッタ板１４０は、回転自在に設けられており、回転により、遮光部１４０ａと透過部１４０ｂが交互に選択的に白色光ＢＢの光路に挿入されるようになっている。
シャッタ板１４０は、ロータリフイルタ１３４とほぼ同じ半径を有しており、回転軸が一致している。シャッタ板１４０の透過部１４０ｂの中心角は、ロータリフイルタ３４のＢ、Ｇ、Ｒの各フイルタ部１３４ａ、１３４ｂ、１３４ｃの中心角とほぼ一致している。なお、本例においては、透過部１４０ｂを切り欠きで形成しているが、白色光ＢＢを透過する透明板で透過部１４０ｂを構成してもよい。
また、シャッタ板１４０は、光源制御部１３２によって、回転が制御される。この回転制御は、各観察モードによって異なる。通常観察モードにおいては、シャッタ板１４０は、遮光部１４０ａが白色光ＢＢの光路から退避し、透過部１４０ｂが光路に挿入された状態で停止している。したがって、白色光ＢＢは常時ロータリフィルタ１３４に入射する。これに伴って、ロータリフィルタ１３４からは、Ｂ色、Ｇ色、Ｒ色の三色の光が順次出射する。なお、通常観察モード時には、青色半導体光源１３は常時消灯している。
これに対して、第１〜第３特殊観察モードにおいては、シャッタ板１４０は、透過部１４０ｂとＧフイルタ部１３４ｂの回転位相が一致するように、ロータリフイルタ１３４と同じ速度で回転する。これにより、透過部１４０ｂが白色光ＢＢの光路に挿入されて、遮光部１４０ａが光路から退避している間、白色光ＢＢはＧフイルタ部３４ｂを透過してＧ色光が生成される。Ｇ色光は、集光レンズ１３６を通過して電子内視鏡１１に供給される。
一方、遮光部１４０ａが白色光ＢＢの光路に挿入されて、透過部１４０ｂが光路から退避している間、白色光ＢＢが遮光される。白色光ＢＢが遮光されている間に、青色半導体光源１３１ａが点灯して、青色狭帯域光ＢＮが電子内視鏡１１に供給される。ＣＣＤ１０１はモノクロの撮像素子であるため、シャッタ板１４０を設けることにより、青色狭帯域光ＢＮと白色光ＢＢの混色が防止される。
光源制御部１３２は、上記したように、白色光源ユニット１３０の絞り１３０ｂの開度、半導体光源ユニット１３１の駆動部１３１ｂを制御する。この制御によって、ロータリフィルタ１３４からのＢ色光、Ｇ色光、Ｒ色光の光量と青色狭帯域光ＢＮの光量も調整される。ここで、第１〜第３特殊観察モード時に使用するＧ色光と青色狭帯域光ＢＮの光量比は、各特殊観察モード毎に予め定められている。光量比の設定は、上記実施形態と同様に、光量比設定部１３２ａで行われる。この光量比設定部１３２ａは、観察モード選択ＳＷ２９で選択された観察モードに対応する光量比に設定する。
ここで、第１特殊観察モード時の第１光量比は、Ｇ色光と青色狭帯域光ＢＮの光量と同じに設定される。第２特殊観察モード時の第２光量比は、青色狭帯域光ＢＮの光量がＧ色光よりも大きくなるように、設定されている。第３観察モード時の第３光量比は、Ｇ色光の光量が青色狭帯域光ＢＮの光量よりも大きくなるように、設定されている。
電子内視鏡システム１００では、モノクロのＣＣＤ１０１とロータリフィルタ１３４を使用しているため、ＣＣＤ１０１の撮像制御方法とベース画像５５でのベース画像生成方法が、上記実施形態のＣＣＤ４４の場合と異なっている。通常観察モード時には、図１９（Ａ）に示すように、ＣＣＤ１０１は、１フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。通常観察モードにおいては、Ｂ、Ｇ、Ｒの三色の像光を順次撮像して、青色信号Ｂ、緑色信号Ｇ、赤色信号Ｒを順次出力する。そして、これら３色分の信号Ｂ、Ｇ、Ｒに基づいて、ベース画像が生成される。以上の動作は、通常観察モードに設定されている間、繰り返し行われる。
これに対して、第１〜第３特殊観察モードにおいては、図１９（Ｂ）に示すように、青色狭帯域光ＢＮが被検体内に照射されている２フレームの期間のうち、１フレームの期間分だけ青色狭帯域光ＢＮの像光を撮像して、青色信号Ｂを順次出力する。一方、Ｇ色光が被検体内に照射されている１フレームの照射期間は、Ｇ色光の像光を撮像して、緑色信号Ｂを順次出力する。そして、これら２色分の信号Ｂ、Ｇに基づいて、ベース画像を生成する。以上の動作は、第１〜第３特殊観察モードに設定されている間、繰り返し行われる。
なお、第１〜第３特殊観察モード時において、ベース画像を生成する際には、青色信号Ｂをモニタ表示用のＢチャンネル、Ｇチャンネルに割り当て、緑色信号Ｇをモニタ表示用のＲチャンネルに割り当てることが好ましい。
なお、第１〜第３特殊観察モード時において、ベース画像を生成する際には、青色信号Ｂをモニタ表示用のＢチャンネル、Ｇチャンネルに割り当て、緑色信号Ｇをモニタ表示用のＲチャンネルに割り当てることが好ましい。
なお、電子内視鏡システム１００では、第１〜第３特殊観察モード時において、青色光については半導体光源の光を使用し、緑色光については、白色光ＢＢを波長分離した光を使用したが、反対に、緑色光については半導体光源の光を使用し、青色光については、白色光を波長分離した光を使用してもよい。
なお、上記実施形態においては、Ｂ／Ｇ比を使って表層血管と中深層血管の分離を行ったが、これに代えて、Ｇ／Ｂ比、Ｂ−Ｇ差、Ｇ−Ｂ差、Ｂ／（Ｂ＋Ｇ）比、Ｇ／（Ｂ＋Ｇ）比、Ｂ／Ｒ比、Ｒ／Ｂ比、Ｂ−Ｒ差、Ｒ−Ｂ差、Ｂ／Ｙ比など、互いに異なる色情報を持つ２以上の色信号を用いた演算により得られる演算値によっても、それぞれの血管を分離することができる。
この演算値と血管深さとの関係は、上記実施形態と同様に、第１〜第３観察モード（第１〜第３光量比）に対応した複数のテーブルに記憶されており、また、粘膜と表層血管との境界を示す演算値の境界値及び粘膜と中深層血管の境界を示す演算値の境界値は、各テーブル毎に異なっている。例えば、Ｂ−Ｇ差（青色信号の画素値から緑色信号の画素値を引いた値）の場合であれば、第１観察モード時に使用するテーブルには、図２０Ａに示すようなＢ−Ｇ差と血管深さとの関係が記憶されている。ここで、Ｌｓは粘膜と表層血管の境界を示すＢ−Ｇ差を示しており、Ｌｄは粘膜と中深層血管の境界を示すＢ−Ｇ差を示している。
一方、第２観察モード時に使用するテーブルには、図２０Ｂに示すようなＢ−Ｇ差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のＢ−Ｇ差Ｌｓ´はＬｓよりも大きく、また、粘膜と中深層血管の境界部分のＢ−Ｇ差Ｌｄ´はＬｄよりも大きく設定されている。また、第２観察モード時に使用するテーブルには、図２０Ｃに示すようなＢ−Ｇ差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のＢ−Ｇ差Ｌｓ´´はＬｓよりも小さく、また、粘膜と中深層血管の境界部分のＢ−Ｇ差Ｌｄ´´はＬｄよりも小さく設定されている。
なお、Ｇ／Ｂ比は緑色信号を青色信号で除した値であり、Ｂ−Ｇ差は青色信号から緑色信号を引いた値であり、Ｇ−Ｂ差は緑色信号から青色信号を引いた値であり、Ｂ／（Ｂ＋Ｇ）比は青色信号を、青色信号と緑色信号の加算値で除した値であり、Ｇ／（Ｂ＋Ｇ）比は緑色信号を、青色信号と緑色信号の加算値で除した値であり、Ｂ／Ｒ比は青色信号を赤色信号で除した値であり、Ｒ／Ｂ比は赤色信号を青色信号で除した値であり、Ｂ−Ｒ差は青色信号から赤色信号を引いた値であり、Ｒ−Ｂ差は赤色信号から青色信号を引いた値であり、Ｂ／Ｙ比は緑色信号を黄色信号で除した値である（黄色信号は５００〜７００nmの波長情報を持つ信号）。
１０ 電子内視鏡システム
１４ モニタ
３０ 広帯域光源
３３ 狭帯域光源
５７ 画像処理部
６１ Ｂ／Ｇ画像生成部
６３ 血管抽出画像生成部
６３ａ 第１光量比用テーブル
６３ｂ 第２光量比用テーブル
６３ｃ 第３光量比用テーブル
６５ 血管強調・抑制画像生成部
７１ 表層血管
７２ 中深層血管
１４ モニタ
３０ 広帯域光源
３３ 狭帯域光源
５７ 画像処理部
６１ Ｂ／Ｇ画像生成部
６３ 血管抽出画像生成部
６３ａ 第１光量比用テーブル
６３ｂ 第２光量比用テーブル
６３ｃ 第３光量比用テーブル
６５ 血管強調・抑制画像生成部
７１ 表層血管
７２ 中深層血管
Claims (13)
- 互いに波長域が異なる第１及び第２照明光を含む２つ以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、
前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２つ以上の色信号を取得する画像信号取得手段と、
前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする内視鏡システム。 - 前記光量比設定部は、予め定められた複数の光量比の中からいずれかの光量比を設定し、
前記血管抽出画像生成手段は、
前記複数の光量比ごとに設けられ、前記被検体上の粘膜、前記第１層血管、及び前記第２層血管と演算値との相関関係を記憶した複数の演算値テーブルと、
前記光量比設定部で設定された光量比に対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第１層血管抽出画像、または前記第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備えることを特徴とする請求項１記載の内視鏡システム。 - 各演算値テーブルには、前記粘膜と前記第１層血管との境界を示す演算値が第１境界値として記憶され、前記粘膜と前記第２層血管との境界を示す演算値が第２境界値として記憶され、前記第１及び第２境界値は、各演算値テーブル毎に異なっていることを特徴とする請求項２記載の内視鏡システム。
- 前記第１層血管抽出画像を用いて、前記第１層血管が強調または抑制された第１層血管強調・抑制画像を生成し、または前記第２層血管抽出画像を用いて、前記第２層血管が強調または抑制された第２層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備えることを特徴とする請求項１ないし３いずれか１記載の内視鏡システム。
- 前記第１層血管強調・抑制画像または前記第２層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備えることを特徴とする請求項４記載の内視鏡システム。
- 前記照明手段は、青色の励起光とこの青色励起光により波長変換部材で波長変換される蛍光を含む第１照明光と、中心波長が前記励起光よりも短波長側に波長域を有する第２照明光を前記被検体に向けて同時照射し、
前記画像信号取得手段は、前記第１照明光及び第２照明光が同時照射された被検体を、カラーの撮像素子で撮像することを特徴とする請求項１ないし５いずれか１項記載の内視鏡システム。 - 前記波長変換部材は、前記第１及び第２照明光を被検体に向けて照射する内視鏡とは別体の光源装置の内部に設けられることを特徴とする請求項６記載の内視鏡システム。
- 前記波長変換部材は、前記第１及び第２照明光を被検体に向けて照射する内視鏡の先端部に設けられることを特徴とする請求項６記載の内視鏡システム。
- 前記励起光の中心波長は４４５nmであり、前記第２照明光の中心波長は４０５nmであることを特徴とする請求項６ないし８いずれか１項記載の内視鏡システム。
- 前記第１照明光は４２０ｎｍ付近を中心とする照明光であり、前記第２照明光は５３０ｎｍ付近を中心とする照明光であることを特徴とする請求項１ないし５いずれか１項記載の内視鏡システム。
- 前記色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、
前記多色画像は、各画素毎に青色信号を緑色信号で除することで得られるＢ／Ｇ比から構成されるＢ／Ｇ画像であることを特徴とする請求項１ないし１０いずれか１項記載の内視鏡システム。 - 互いに波長域が異なる第１及び第２照明光を含む２以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２以上の色信号を取得する電子内視鏡とを有する内視鏡システムのプロセッサ装置において、
前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする内視鏡システムのプロセッサ装置。 - 互いに波長域が異なる第１及び第２照明光を含む２以上の照明光を発する発光部と、前記第１及び第２照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第１及び第２照明光を被検体に照射する照明手段と、前記被検体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ２以上の色信号を取得する電子内視鏡とを有する内視鏡システム内で行われる画像処理方法において、
前記２以上の色信号を用いて各画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、
前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、前記多色画像から特定深さにある第１層血管が抽出された第１層血管抽出画像、または前記多色画像から前記第１層血管よりも深い位置にある第２層血管が抽出された第２層血管抽出画像の少なくともいずれか一方を生成することを特徴とする画像処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012013317A JP5815426B2 (ja) | 2012-01-25 | 2012-01-25 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| PCT/JP2013/050361 WO2013111623A1 (ja) | 2012-01-25 | 2013-01-11 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| EP13741638.4A EP2807973B1 (en) | 2012-01-25 | 2013-01-11 | Endoscope system, processor device for endoscope system, and image processing method |
| CN201380004495.9A CN104023618B (zh) | 2012-01-25 | 2013-01-11 | 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法 |
| US14/321,116 US9943230B2 (en) | 2012-01-25 | 2014-07-01 | Endoscope system, processor device of endoscope system, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012013317A JP5815426B2 (ja) | 2012-01-25 | 2012-01-25 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015187036A Division JP2015231576A (ja) | 2015-09-24 | 2015-09-24 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013150713A JP2013150713A (ja) | 2013-08-08 |
| JP5815426B2 true JP5815426B2 (ja) | 2015-11-17 |
Family
ID=48873345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012013317A Active JP5815426B2 (ja) | 2012-01-25 | 2012-01-25 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9943230B2 (ja) |
| EP (1) | EP2807973B1 (ja) |
| JP (1) | JP5815426B2 (ja) |
| CN (1) | CN104023618B (ja) |
| WO (1) | WO2013111623A1 (ja) |
Families Citing this family (153)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
| JP5869541B2 (ja) * | 2013-09-13 | 2016-02-24 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法 |
| CN106163372B (zh) * | 2014-03-31 | 2018-11-20 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
| WO2016059906A1 (ja) * | 2014-10-16 | 2016-04-21 | オリンパス株式会社 | 内視鏡装置 |
| US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| JP6432770B2 (ja) | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
| JP6072374B2 (ja) * | 2014-11-20 | 2017-02-01 | オリンパス株式会社 | 観察装置 |
| JP6076568B1 (ja) * | 2015-03-25 | 2017-02-08 | オリンパス株式会社 | 観察システム |
| EP3357404A4 (en) * | 2015-09-29 | 2018-10-31 | FUJIFILM Corporation | Image processing device, endoscopic system, and image processing method |
| EP3360462A4 (en) * | 2015-10-08 | 2019-04-24 | Olympus Corporation | ENDOSCOPE DEVICE |
| WO2017119239A1 (ja) * | 2016-01-08 | 2017-07-13 | Hoya株式会社 | 内視鏡装置 |
| WO2017141417A1 (ja) * | 2016-02-19 | 2017-08-24 | Hoya株式会社 | 内視鏡用光源装置 |
| JP6488249B2 (ja) * | 2016-03-08 | 2019-03-20 | 富士フイルム株式会社 | 血管情報取得装置、内視鏡システム及び血管情報取得方法 |
| US10321816B2 (en) * | 2016-06-17 | 2019-06-18 | Fujifilm Corporation | Light source device and endoscope system |
| JP6706339B2 (ja) * | 2016-10-27 | 2020-06-03 | 富士フイルム株式会社 | 内視鏡システム |
| JP6320592B2 (ja) * | 2017-03-21 | 2018-05-09 | 富士フイルム株式会社 | 内視鏡システム |
| CN110573056B (zh) * | 2017-05-02 | 2021-11-30 | 奥林巴斯株式会社 | 内窥镜系统 |
| WO2018229833A1 (ja) * | 2017-06-12 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム |
| WO2019039354A1 (ja) * | 2017-08-23 | 2019-02-28 | 富士フイルム株式会社 | 光源装置及び内視鏡システム |
| US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11317919B2 (en) | 2017-10-30 | 2022-05-03 | Cilag Gmbh International | Clip applier comprising a clip crimping system |
| US11406390B2 (en) | 2017-10-30 | 2022-08-09 | Cilag Gmbh International | Clip applier comprising interchangeable clip reloads |
| US11696778B2 (en) | 2017-10-30 | 2023-07-11 | Cilag Gmbh International | Surgical dissectors configured to apply mechanical and electrical energy |
| US11229436B2 (en) | 2017-10-30 | 2022-01-25 | Cilag Gmbh International | Surgical system comprising a surgical tool and a surgical hub |
| US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
| US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
| US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
| WO2019133143A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical hub and modular device response adjustment based on situational awareness |
| US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
| US11278281B2 (en) | 2017-12-28 | 2022-03-22 | Cilag Gmbh International | Interactive surgical system |
| US11464535B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Detection of end effector emersion in liquid |
| US20190201090A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Capacitive coupled return path pad with separable array elements |
| US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
| US11096693B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing |
| US11051876B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Surgical evacuation flow paths |
| US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
| US11234756B2 (en) | 2017-12-28 | 2022-02-01 | Cilag Gmbh International | Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter |
| US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
| US20190201039A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Situational awareness of electrosurgical systems |
| US11311306B2 (en) | 2017-12-28 | 2022-04-26 | Cilag Gmbh International | Surgical systems for detecting end effector tissue distribution irregularities |
| US10987178B2 (en) | 2017-12-28 | 2021-04-27 | Ethicon Llc | Surgical hub control arrangements |
| US10966791B2 (en) | 2017-12-28 | 2021-04-06 | Ethicon Llc | Cloud-based medical analytics for medical facility segmented individualization of instrument function |
| US11056244B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
| US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
| US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
| US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
| US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
| US11213359B2 (en) | 2017-12-28 | 2022-01-04 | Cilag Gmbh International | Controllers for robot-assisted surgical platforms |
| US11672605B2 (en) | 2017-12-28 | 2023-06-13 | Cilag Gmbh International | Sterile field interactive control displays |
| US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US10898622B2 (en) | 2017-12-28 | 2021-01-26 | Ethicon Llc | Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device |
| US20190201113A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Controls for robot-assisted surgical platforms |
| US11304763B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
| US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
| US11364075B2 (en) | 2017-12-28 | 2022-06-21 | Cilag Gmbh International | Radio frequency energy device for delivering combined electrical signals |
| US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
| US11160605B2 (en) | 2017-12-28 | 2021-11-02 | Cilag Gmbh International | Surgical evacuation sensing and motor control |
| US11317937B2 (en) | 2018-03-08 | 2022-05-03 | Cilag Gmbh International | Determining the state of an ultrasonic end effector |
| US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
| US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
| US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
| US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
| US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
| US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
| US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
| US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
| US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
| US11423007B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
| US11069012B2 (en) | 2017-12-28 | 2021-07-20 | Cilag Gmbh International | Interactive surgical systems with condition handling of devices and data capabilities |
| US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
| US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
| US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
| US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
| US11147607B2 (en) | 2017-12-28 | 2021-10-19 | Cilag Gmbh International | Bipolar combination device that automatically adjusts pressure based on energy modality |
| US11253315B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Increasing radio frequency to create pad-less monopolar loop |
| US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
| US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
| US11612408B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Determining tissue composition via an ultrasonic system |
| US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
| US11446052B2 (en) | 2017-12-28 | 2022-09-20 | Cilag Gmbh International | Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue |
| US11304745B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical evacuation sensing and display |
| US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
| US10595887B2 (en) | 2017-12-28 | 2020-03-24 | Ethicon Llc | Systems for adjusting end effector parameters based on perioperative information |
| US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
| US11179208B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Cloud-based medical analytics for security and authentication trends and reactive measures |
| US11419630B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Surgical system distributed processing |
| US10943454B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
| US11308075B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity |
| US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US11324557B2 (en) | 2017-12-28 | 2022-05-10 | Cilag Gmbh International | Surgical instrument with a sensing array |
| US11304720B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Activation of energy devices |
| US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
| US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11273001B2 (en) | 2017-12-28 | 2022-03-15 | Cilag Gmbh International | Surgical hub and modular device response adjustment based on situational awareness |
| US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
| US11291495B2 (en) | 2017-12-28 | 2022-04-05 | Cilag Gmbh International | Interruption of energy due to inadvertent capacitive coupling |
| US12127729B2 (en) | 2017-12-28 | 2024-10-29 | Cilag Gmbh International | Method for smoke evacuation for surgical hub |
| US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
| US12096916B2 (en) | 2017-12-28 | 2024-09-24 | Cilag Gmbh International | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
| US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
| US11284936B2 (en) | 2017-12-28 | 2022-03-29 | Cilag Gmbh International | Surgical instrument having a flexible electrode |
| US11100631B2 (en) * | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
| US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
| US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
| US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
| US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
| US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
| US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
| US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
| JP6995889B2 (ja) * | 2018-01-30 | 2022-01-17 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
| US11298148B2 (en) | 2018-03-08 | 2022-04-12 | Cilag Gmbh International | Live time tissue classification using electrical parameters |
| US11337746B2 (en) | 2018-03-08 | 2022-05-24 | Cilag Gmbh International | Smart blade and power pulsing |
| US10973520B2 (en) | 2018-03-28 | 2021-04-13 | Ethicon Llc | Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature |
| US11219453B2 (en) | 2018-03-28 | 2022-01-11 | Cilag Gmbh International | Surgical stapling devices with cartridge compatible closure and firing lockout arrangements |
| US11096688B2 (en) | 2018-03-28 | 2021-08-24 | Cilag Gmbh International | Rotary driven firing members with different anvil and channel engagement features |
| US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
| US11278280B2 (en) | 2018-03-28 | 2022-03-22 | Cilag Gmbh International | Surgical instrument comprising a jaw closure lockout |
| US11207067B2 (en) | 2018-03-28 | 2021-12-28 | Cilag Gmbh International | Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing |
| US11406382B2 (en) | 2018-03-28 | 2022-08-09 | Cilag Gmbh International | Staple cartridge comprising a lockout key configured to lift a firing member |
| US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
| US11471156B2 (en) | 2018-03-28 | 2022-10-18 | Cilag Gmbh International | Surgical stapling devices with improved rotary driven closure systems |
| EP3795058B1 (en) * | 2018-05-14 | 2022-06-15 | FUJIFILM Corporation | Image processing device, endoscope system, and image processing method |
| JP7093409B2 (ja) | 2018-06-05 | 2022-06-29 | オリンパス株式会社 | 内視鏡システム |
| JP7118147B2 (ja) | 2018-06-05 | 2022-08-15 | オリンパス株式会社 | 内視鏡システム |
| JP7123135B2 (ja) * | 2018-06-19 | 2022-08-22 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
| JP2021191313A (ja) * | 2018-06-19 | 2021-12-16 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
| EP3620098B1 (en) * | 2018-09-07 | 2021-11-03 | Ambu A/S | Enhancing the visibility of blood vessels in colour images |
| CN109199312A (zh) * | 2018-09-10 | 2019-01-15 | 苏州新光维医疗科技有限公司 | 光源的调节方法、装置、设备及内窥镜 |
| US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
| US11369377B2 (en) | 2019-02-19 | 2022-06-28 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout |
| US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
| US11272931B2 (en) | 2019-02-19 | 2022-03-15 | Cilag Gmbh International | Dual cam cartridge based feature for unlocking a surgical stapler lockout |
| US11317915B2 (en) | 2019-02-19 | 2022-05-03 | Cilag Gmbh International | Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers |
| JP2019122865A (ja) * | 2019-05-10 | 2019-07-25 | 富士フイルム株式会社 | 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法 |
| USD952144S1 (en) | 2019-06-25 | 2022-05-17 | Cilag Gmbh International | Surgical staple cartridge retainer with firing system authentication key |
| USD950728S1 (en) | 2019-06-25 | 2022-05-03 | Cilag Gmbh International | Surgical staple cartridge |
| USD964564S1 (en) | 2019-06-25 | 2022-09-20 | Cilag Gmbh International | Surgical staple cartridge retainer with a closure system authentication key |
| WO2021070688A1 (ja) | 2019-10-10 | 2021-04-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| US10980397B1 (en) * | 2020-02-21 | 2021-04-20 | Ambu A/S | Video processing device |
| US11109741B1 (en) | 2020-02-21 | 2021-09-07 | Ambu A/S | Video processing apparatus |
| US10835106B1 (en) | 2020-02-21 | 2020-11-17 | Ambu A/S | Portable monitor |
| US11166622B2 (en) | 2020-02-21 | 2021-11-09 | Ambu A/S | Video processing apparatus |
| US11328390B2 (en) | 2020-05-13 | 2022-05-10 | Ambu A/S | Method for adaptive denoising and sharpening and visualization systems implementing the method |
| CN114391792B (zh) * | 2021-09-13 | 2023-02-24 | 南京诺源医疗器械有限公司 | 基于窄带成像的肿瘤预测方法、装置及成像内镜 |
| CN115736791B (zh) * | 2022-11-28 | 2024-05-07 | 北京大学 | 内窥镜成像装置及方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3583731B2 (ja) * | 2000-07-21 | 2004-11-04 | オリンパス株式会社 | 内視鏡装置および光源装置 |
| EP1302152B1 (en) * | 2000-07-21 | 2013-03-20 | Olympus Corporation | Endoscope apparatus |
| JP2010094152A (ja) * | 2008-10-14 | 2010-04-30 | Fujifilm Corp | 電子内視鏡システム |
| WO2010143692A1 (ja) * | 2009-06-10 | 2010-12-16 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡装置 |
| JP5767775B2 (ja) * | 2009-07-06 | 2015-08-19 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5401205B2 (ja) * | 2009-08-10 | 2014-01-29 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5460507B2 (ja) * | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
| JP5389742B2 (ja) * | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
| US8668636B2 (en) * | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
| JP5389612B2 (ja) * | 2009-11-06 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
| JP5541914B2 (ja) | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
| JP2011156339A (ja) * | 2010-01-08 | 2011-08-18 | Fujifilm Corp | 医療機器及び内視鏡装置 |
| JP5457247B2 (ja) * | 2010-03-26 | 2014-04-02 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
| JP5395725B2 (ja) * | 2010-04-05 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
| JP2012000160A (ja) * | 2010-06-14 | 2012-01-05 | Fujifilm Corp | 内視鏡装置 |
| JP5496075B2 (ja) * | 2010-12-27 | 2014-05-21 | 富士フイルム株式会社 | 内視鏡診断装置 |
-
2012
- 2012-01-25 JP JP2012013317A patent/JP5815426B2/ja active Active
-
2013
- 2013-01-11 WO PCT/JP2013/050361 patent/WO2013111623A1/ja active Application Filing
- 2013-01-11 EP EP13741638.4A patent/EP2807973B1/en active Active
- 2013-01-11 CN CN201380004495.9A patent/CN104023618B/zh active Active
-
2014
- 2014-07-01 US US14/321,116 patent/US9943230B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013150713A (ja) | 2013-08-08 |
| US20140316283A1 (en) | 2014-10-23 |
| EP2807973B1 (en) | 2019-09-11 |
| CN104023618A (zh) | 2014-09-03 |
| WO2013111623A1 (ja) | 2013-08-01 |
| EP2807973A1 (en) | 2014-12-03 |
| EP2807973A4 (en) | 2016-04-20 |
| CN104023618B (zh) | 2016-04-20 |
| US9943230B2 (en) | 2018-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5815426B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 | |
| US9629527B2 (en) | Endoscope system, processor device of endoscope system, and image processing method | |
| JP5911496B2 (ja) | 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法 | |
| JP5457247B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 | |
| JP5616304B2 (ja) | 電子内視鏡システム及び電子内視鏡システムの作動方法 | |
| JP5303012B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法 | |
| JP5274591B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
| JP5496075B2 (ja) | 内視鏡診断装置 | |
| JP5460507B2 (ja) | 内視鏡装置の作動方法及び内視鏡装置 | |
| JP5887350B2 (ja) | 内視鏡システム及びその作動方法 | |
| JP5331904B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| JP5159904B2 (ja) | 内視鏡診断装置 | |
| JP5485191B2 (ja) | 内視鏡装置 | |
| JP5667917B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
| JP2012090725A (ja) | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び画像処理方法 | |
| JP2014014438A (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム | |
| US9788709B2 (en) | Endoscope system and image generation method to generate images associated with irregularities of a subject | |
| JP2014221168A (ja) | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 | |
| JP2013099464A (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法 | |
| US20140221744A1 (en) | Endoscope system and image generation method | |
| JP5677555B2 (ja) | 内視鏡装置 | |
| JP6277068B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
| JP2015231576A (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150826 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150924 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5815426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |