KR101978838B1 - Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same - Google Patents
Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same Download PDFInfo
- Publication number
- KR101978838B1 KR101978838B1 KR1020160135305A KR20160135305A KR101978838B1 KR 101978838 B1 KR101978838 B1 KR 101978838B1 KR 1020160135305 A KR1020160135305 A KR 1020160135305A KR 20160135305 A KR20160135305 A KR 20160135305A KR 101978838 B1 KR101978838 B1 KR 101978838B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- light
- fluorescent
- wavelength
- fluorescence spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 13
- 239000000463 material Substances 0.000 claims abstract description 42
- 239000000126 substance Substances 0.000 claims abstract description 31
- 238000002189 fluorescence spectrum Methods 0.000 claims abstract description 28
- 230000003595 spectral effect Effects 0.000 claims abstract description 26
- 239000003086 colorant Substances 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 7
- 238000001839 endoscopy Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract description 10
- 239000000523 sample Substances 0.000 description 58
- 210000001519 tissue Anatomy 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 12
- 239000003550 marker Substances 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 9
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 206010009944 Colon cancer Diseases 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 208000029742 colonic neoplasm Diseases 0.000 description 5
- 239000007850 fluorescent dye Substances 0.000 description 5
- 102000001301 EGF receptor Human genes 0.000 description 4
- 108060006698 EGF receptor Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 229960005395 cetuximab Drugs 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 229940022353 herceptin Drugs 0.000 description 3
- 101710107035 Gamma-glutamyltranspeptidase Proteins 0.000 description 2
- 101710173228 Glutathione hydrolase proenzyme Proteins 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102000006640 gamma-Glutamyltransferase Human genes 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PYWVYCXTNDRMGF-UHFFFAOYSA-N rhodamine B Chemical compound [Cl-].C=12C=CC(=[N+](CC)CC)C=C2OC2=CC(N(CC)CC)=CC=C2C=1C1=CC=CC=C1C(O)=O PYWVYCXTNDRMGF-UHFFFAOYSA-N 0.000 description 2
- 230000000699 topical effect Effects 0.000 description 2
- PFWFFEYVRFHDBS-JINQPTGOSA-N (2s)-2-amino-5-[(6'-aminospiro[1h-2-benzofuran-3,9'-xanthene]-3'-yl)amino]-5-oxopentanoic acid Chemical compound O1CC2=CC=CC=C2C21C1=CC=C(N)C=C1OC1=CC(NC(=O)CC[C@H](N)C(O)=O)=CC=C21 PFWFFEYVRFHDBS-JINQPTGOSA-N 0.000 description 1
- 101100314454 Caenorhabditis elegans tra-1 gene Proteins 0.000 description 1
- 102000004225 Cathepsin B Human genes 0.000 description 1
- 108090000712 Cathepsin B Proteins 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 102000016942 Elastin Human genes 0.000 description 1
- 108010014258 Elastin Proteins 0.000 description 1
- 206010017993 Gastrointestinal neoplasms Diseases 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 102000011782 Keratins Human genes 0.000 description 1
- 108010076876 Keratins Proteins 0.000 description 1
- 108090000279 Peptidyltransferases Proteins 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- AUNGANRZJHBGPY-SCRDCRAPSA-N Riboflavin Chemical compound OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O AUNGANRZJHBGPY-SCRDCRAPSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 210000004953 colonic tissue Anatomy 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229920002549 elastin Polymers 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010172 mouse model Methods 0.000 description 1
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 1
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
- A61B5/0036—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6421—Measuring at two or more wavelengths
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Endoscopes (AREA)
Abstract
본 발명은 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와, 상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질 만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. The present invention relates to a multi-wavelength endoscopic system for photographing an observation site marked with a plurality of fluorescent materials having different colors, the system comprising: polarizing incident light reflected at a viewing site in a first direction and a second direction perpendicular to the first direction An image pickup unit for dividing a spectral region of the incident light polarized in the first direction and the second direction into a plurality of spectral channels and measuring image intensity of each of the plurality of spectral channels, Storing a single fluorescence spectrum extracted from the sample image data obtained by singly processing the observation region with each of the fluorescent materials, and storing the image data photographed by the photographing unit in the single fluorescent spectrum using one of the plurality of fluorescent substances And the fluorescence material of the fluorescent material is displayed separately.
Description
본 발명은 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.The present invention relates to a multi-wavelength endoscopic system and an image processing method using the same.
여전히 암 발생률은 높은 비율로 지속되고 있으며, 내시경을 통해 진단이 이루어지는 경우 육안으로 종양을 검출해야 하기 때문에 오진의 가능성이 있다.Still, the incidence of cancer continues at a high rate, and if a diagnosis is made through an endoscope, there is a possibility of misdiagnosis because the tumor must be detected visually.
특히, 용종의 모양이 혹 모양이 아니라 평평한 모양이면, 검출될 확률이 더욱 낮아진다. In particular, if the shape of the polyp is flat rather than lumpy, the probability of detection is lower.
최근 분자 영상 기술이 발전하면서, 이 기술을 이용하여 소화기암을 진단하거나, 암의 분자적 특성을 이미징하려는 연구가 지속되고 있다. Cathepsin B를 표적으로 하는 분자 영상을 내시경에 응용할 수 있다고 소개한 것이 첫 번째 시도라고 할 수 있지만 그 당시의 영상은 매우 단순하고, 임상에 응용할 만한 수준에 미치지 못했다.Recently, with the development of molecular imaging technology, there have been ongoing studies to diagnose gastrointestinal cancer using this technique, or to image the molecular characteristics of cancer. The first attempt to introduce a molecular image targeting Cathepsin B to endoscopy was simple, but the images at that time were very simple and did not reach clinically applicable levels.
다양한 기관에서 관련 연구를 지속하고 있으며 최근까지 특정 종양 조직에 펩타이드(peptide)를 프로브로 이용하여 영상화하는 기술, 고속 3차원 내시경 촬영이 가능한 초소형 영상 기술, 소형 현미경 기술이 개발되고 있으며, 초민감 분자 영상이 가능한 라만 증폭 프로브, 압타머 바탕 소형 형광 프로브 개발을 통해 좀 더 진보한 표지자 물질이 개발되고 있다.Recently, various studies have been carried out by various organizations. Until recently, techniques for imaging a specific tumor tissue using a peptide as a probe, ultra-small imaging technology capable of high-speed 3-dimensional endoscope imaging, and small microscope technology have been developed. A more advanced marker material is being developed through the development of image-capable Raman amplification probes and compact-probe-based compact fluorescent probes.
독일의 Mainz 대학의 Dr. Goetz group에서는 표피성장인자수용체(Epidermal Growth Factor Receptor, EGFR)를 확인할 수 있는 프로브를 개발하여, 이를 공초점 현미경 내시경(Confocal Endomicroscopy)이라는 특수 내시경을 이용하여 이미징을 시도하고 있다.Dr. of the University of Mainz in Germany. The Goetz group has developed a probe that can identify the Epidermal Growth Factor Receptor (EGFR), and has attempted to image it using a special endoscope called Confocal Endomicroscopy.
다만, 최근까지 분자 영상을 이용하여 내시경을 가능하게 하기 위한 연구가 지속되고 있으나, 실제 내시경에 응용 가능한 수준의 영상을 얻은 연구는 드문 상태이며, 분자 영상에서 매우 중요한 프로브의 경우에도 단일 표적에 대한 프로브를 확인하여 검증하는 수준의 기술을 보여주고 있을 뿐이다. However, until now, research has been continuing to make endoscopy possible using molecular imaging, but researches that have obtained a level of image applicable to actual endoscopes are rare, and even in the case of a probe which is very important in molecular imaging, It only shows the level of technology that verifies and verifies the probe.
본 발명이 해결하고자 하는 과제는 복합 표적에 대한 다수의 프로브를 이용하여 표지한 관찰 부위를 촬영한 영상 데이터를 가공하여 질병 진단에 제공할 수 있는 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides a multi-wavelength endoscopic system capable of processing image data of a marked observation region using a plurality of probes for a complex target and diagnosing diseases, and an image processing method using the same will be.
본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템은 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광 시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부, 그리고 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. A multi-wavelength endoscope system for photographing an observation region marked with a plurality of fluorescent materials having different colors according to an embodiment of the present invention includes a first wavelength selective member for selectively irradiating incident light reflected at an observation site in a first direction and a second An image pickup unit for dividing a spectral region polarized in the first direction and the second direction into a plurality of spectral channels and measuring intensity of each of the plurality of spectral channels to obtain image data; Storing a single fluorescence spectrum extracted from the sample image data obtained by photographing the observed region where each of the plurality of fluorescent substances has been treated as a single one and storing the image data photographed by the photographing unit using the single fluorescent spectrum among the plurality of fluorescent substances And a computing unit for separating and outputting only one fluorescent substance so as to be displayed respectively.
상기 촬영부는 상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 그리고 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함할 수 있다.Wherein the photographing unit comprises: a beam splitter for polarizing the incident light in the first direction and the second direction perpendicular to the first direction; a first beam splitter disposed in a path of light separated in the first direction, A first area camera located on the path of the light separated in the second direction and passing through the set range of light, a first area camera measuring the intensity of the light passing through the first area filter, And a second area camera that measures the intensity of light passing through the two-region filter.
삭제delete
상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다. The computing unit may store the unprocessed fluorescence spectrum extracted from the raw image data obtained by photographing the observation region not treated with the fluorescent material.
상기 컴퓨팅부는 상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행할 수 있다. The computing unit may perform correction to remove the self fluorescent component included in the image data photographed by the photographing unit using the unprocessed fluorescence spectrum.
본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라, 그리고 상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. A multi-wavelength endoscope system for photographing an observation site marked with a plurality of fluorescent substances having different colors according to an embodiment of the present invention, the system comprising: A first area filter positioned in a path of light separated in the first direction and passing light in a set range, a second area filter positioned in a path of light separated in the second direction, A first area camera for measuring the intensity of light passing through the first area filter, a second area camera for measuring the intensity of light passing through the second area filter, The image data obtained by using the intensity of the light having passed through the area filter and the intensity of the light having passed through the second area filter, And a computing unit for separating and outputting only the substance to be displayed.
상기 컴퓨팅부는 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다. Wherein the computing unit stores a single fluorescence spectrum extracted from the sample image data obtained by photographing the observation region obtained by singly processing the plurality of fluorescent materials and transmits the image data photographed by the photographing unit to the plurality of Only one fluorescent substance of the fluorescent substance can be separated so as to be respectively displayed.
삭제delete
상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다. The computing unit may store the unprocessed fluorescence spectrum extracted from the raw image data obtained by photographing the observation region not treated with the fluorescent material.
본 발명의 한 실시예에 따른 다중 파장 내시경 시스템이 영상을 처리하는 방법으로써, 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계, 상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계, 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계, 그리고 상기 파장 대역에 따라 분리된 상기 영상 데이터를 출력하는 단계를 포함한다.A method for processing an image in a multi-wavelength endoscopic system according to an embodiment of the present invention includes the steps of irradiating a light source to an observation site marked with a plurality of fluorescent materials having different colors, Separating the image data so that only one fluorescent substance of the plurality of fluorescent substances is displayed, and outputting the separated image data according to the wavelength band.
상기 영상 처리 방법은 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다. The image processing method may further include a step of extracting a single fluorescence spectrum from the image data obtained by photographing the observation region where each of the plurality of fluorescent substances has been uniquely processed.
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계는 상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다. Separating the image data so that only one fluorescent substance of the plurality of fluorescent substances is displayed, the image data is separated using only the single fluorescent spectrum so that only one fluorescent substance of the plurality of fluorescent substances is displayed .
상기 영상 처리 방법은 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다. The image processing method may further include extracting an untreated fluorescence spectrum from unprocessed image data obtained by photographing an observation site not treated with the fluorescent material.
상기 영상 처리 방법은 상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 더 포함할 수 있다.The image processing method may further include performing correction to remove the self fluorescent component included in the image data using the unprocessed fluorescence spectrum.
본 발명의 실시예에 따른 다중 파장 내시경 시스템은 복수의 프로브를 이용하여 표지한 관찰 부위를 소정의 파장 대역에 따라 분리하여 출력함으로써, 정확하게 질병 발생 부위를 파악할 수 있도록 한다. In the multi-wavelength endoscopic system according to the embodiment of the present invention, the labeled observation sites are separated and output according to a predetermined wavelength band using a plurality of probes, so that the disease occurrence site can be precisely identified.
본 발명의 실시예에 따른 다중 파장 내시경 시스템은 관찰 부위를 촬영한 영상 데이터에 포함된 자가 형광 성분을 제거하여 출력함으로써, 거짓 양성 오류를 줄일 수 있어 오진의 가능성을 낮출 수 있다. In the multi-wavelength endoscopic system according to the embodiment of the present invention, the self-fluorescence component included in the image data of the observed region is removed, and the false positive error can be reduced, thereby reducing the possibility of misdiagnosis.
도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 가변적 액정 필터의 구동 결과를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법의 흐름을 나타내는 도면이다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. 1 is a block diagram of an automatic multi-wavelength analyzing system according to an embodiment of the present invention.
2 is a diagram illustrating an exemplary structure of a photographing unit according to an embodiment of the present invention.
3 is a view illustrating an example of a photographing unit according to an embodiment of the present invention.
4 is a diagram illustrating a result of driving a variable liquid crystal filter according to an embodiment of the present invention.
5 is a flowchart illustrating an image processing method using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
6A to 6D are graphs illustrating a simulation apparatus for evaluating the performance of the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention, and simulation results thereof.
FIG. 7 is a diagram showing image results obtained from an untreated tissue sample and a single fluorescence-treated tissue sample by the multi-wavelength automated endoscopic system according to an embodiment of the present invention.
FIG. 8 is a view showing a result of an endoscopic imaging of a tissue sample treated with a plurality of fluorescent materials using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
9 is a view showing an endoscopic imaging result of a living colon cancer model mouse using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
FIG. 10 is a view showing an endoscopic imaging result of a live colon cancer model pig using a multi-wavelength autoanalysis endoscopic system according to an embodiment of the present invention.
아래에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and like parts are denoted by similar reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, " " module, " and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.
이하, 본 발명의 실시예에 따른 다중 파장 자동 분석 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다. Hereinafter, an automatic multi-wavelength analyzing system according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이며, 도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다. FIG. 1 is a configuration diagram of an automatic multi-wavelength automatic analysis system according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a structure of a photographing unit according to an exemplary embodiment of the present invention. 1 is a diagram illustrating an example of a photographing unit according to an embodiment.
도 1을 참고하면, 다중 파장 내시경 시스템(100)은 탐지 대상을 육안으로 관찰 가능하도록 하는 카메라와 다중 형광 이미징이 가능하도록 하는 필터를 적용한 카메라를 이용한 시스템으로서, 가시광선 영역을 연속적으로 촬영하여 각 채널의 초분광 복사 휘도를 획득한다. Referring to FIG. 1, the multi-wavelength
여기서, 채널은 파장을 측정하는 단위 대역으로서, 필터를 조정하여 각 채널의 분광 이미지를 획득할 수 있다.
본 명세서에 있어서, 내시경은 신체 내부를 관찰하는 기계를 통틀어 이르는 말로서, 기관지경, 위내시경, 보강경 및 항문보개 등을 포함한다.Here, the channel is a unit band for measuring wavelength, and the spectral image of each channel can be obtained by adjusting the filter.
In the present specification, an endoscope is a word that goes through a machine that observes the inside of the body, and includes a bronchoscope, a gastroscope, a hard shaft, and an anus.
다중 파장 내시경 시스템(100)은 촬영부(200)와 컴퓨팅부(300)를 포함한다. The
촬영부(200)는 대물렌즈(210), 중계렌즈(220), 빔 스플리터(230), 제 1 영역 렌즈(240), 제 1 영역 필터(242), 제 1 영역 카메라(244), 제 2 영역 렌즈(250), 제 2 영역 필터(252)와 제 2 영역 카메라(254)를 포함한다. The photographing
다중 파장 내시경 시스템(100) 외부에 위치하는 도 2에 도시된 광원(400)은 촬영 부위를 여기(excitation)하도록 빛을 조사한다. 광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다. The
본 실시예에서 관찰 대상은 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 프로브로 제작하여 서로 다른 형광 염료를 이용하여 표지할 수 있다. In this embodiment, the subject to be observed is a marker that is expressed in cancer. In this embodiment, the marker can be made into a probe having various wavelength ranges and labeled using different fluorescent dyes.
대물렌즈(210)는 입사광이 들어오는 렌즈이다. 대물렌즈(210)는 다중 파장 내시경 시스템(100)의 스펙트럼 영역에서 파장에 관계없이 초점이 맞춰진 이미지를 제공할 수 있다. The
중계렌즈(220)는 광 축을 따라 입사광을 진행시키기 위한 렌즈로서, 빛을 평행하게 출력한다. 중계렌즈(220)는 소정의 초점 거리를 갖는 트리플렛(triplet) 렌즈일 수 있다. The
도 2를 참고하면, 본 실시예에 따른 중계렌즈(220)는 촬영 부위를 여기하기 위한 빛을 조사하는 광원(400)과 연결될 수 있다. 그리고, 중계렌즈(220)는 진찰 대상을 촬영하기 위하여 신체 내부에 삽입되는 내시경의 내부에 위치할 수 있다. Referring to FIG. 2, the
빔 스플리터(230)는 평행광을 두 방향으로 분리한다. 빔 스플리터(230)는 광대역 스펙트럼의 입사광을 처리하는 편광 기반의 빔 스플리터이다. 빔 스플리터(230)는 가시광선 영역 이내의 스펙트럼을 커버할 수 있다. The
다양한 방향의 전기장으로 이루어져 있는 빛은 p-편광(p-polarization)과 s-편광(s-polarization)이라 불리는 두 방향으로 편광된다. 여기서, p-편광은 편광판의 슬릿 방향에 평행한 것을 의미하고, s-편광은 편광판의 슬릿 방향에 수직인 것을 의미한다.Light composed of electric fields in various directions is polarized in two directions called p-polarization and s-polarization. Here, the p-polarized light means parallel to the slit direction of the polarizing plate, and the s-polarized light means perpendicular to the slit direction of the polarizing plate.
제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛의 경로에 각각 위치한다. 이때, 빔 스플리터(230)로부터 분할된 빛을 소정의 배율로 조절하기 위하여, 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 서로 수직하게 배치되어 빔 스플리터(230)로부터 분리된 빛을 획득할 수 있다. The
제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛을 적절한 배율로 조절하고, 조절된 빛을 제 1 영역 필터(242)와 제 2 영역 필터(252)로 전달할 수 있다. The
제 1 영역 필터(242)와 제 2 영역 필터(252)는 각각 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)를 통과한 빛 중에서 지정된 스펙트럼 영역의 빛을 통과시킬 수 있다. The
제 1 영역 필터(242)와 제 2 영역 필터(252)는, 예를 들어, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터(Liquid Crystal Tunable Filter, LCTF)일 수 있다. The
삭제delete
본 시스템의 필터로서, 스펙트럼 영역(예를 들면, 440nm-720nm)에서 특정 파장 대역인 채널을 통과시키는 가변적 액정 필터를 사용하는 경우, 예를 들면, 10nm 간격으로 빛을 통과시키도록 제어될 수 있다. As a filter of the present system, when a variable liquid crystal filter that passes a channel in a specific wavelength band in a spectral range (for example, 440 nm to 720 nm) is used, it can be controlled to pass light at 10 nm intervals, for example .
가변적 액정 필터는 전자적으로 파장 변환이 가능하기 때문에 빠른 속도로 파장 선택이 가능하다. Since the variable liquid crystal filter can electronically change the wavelength, wavelength selection is possible at a high speed.
도 4를 참고하면, 가변적 액정 필터(www.perkinelmer.co.kr)는 소정의 간격마다 빛을 통과시키도록 제어될 수 있어, 수십-수백 개의 필터를 하나의 필터에 넣은 효과를 가지며, 이로 인하여 선명하고 다양한 컬러로 다중 파장 이미징을 구현할 수 있다.Referring to FIG. 4, the variable liquid crystal filter (www.perkinelmer.co.kr) can be controlled to pass light at predetermined intervals, and has the effect of putting several tens to several hundreds of filters into one filter, Multi-wavelength imaging can be implemented in sharp, diverse colors.
다시, 도 1을 참고하면, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 광 경로의 끝에 배치되고, 제 1 영역 필터(242)와 제 2 영역 필터(252)를 통과한 빛의 세기를 측정한다. 1, the
제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 흑백 카메라(monochrome camera)일 수 있다. 이때, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 소정의 초점 거리를 갖는 양(positive)의 삼중 렌즈를 통해 초점이 맞춰진 이미지의 세기를 획득할 수 있다. The
컴퓨팅부(300)는 촬영부(200)에서 획득한 각 채널의 분광 이미지를 정렬하고, 파장에 따른 복사 휘도를 출력할 수 있다. 다분광 이미지는 복수의 채널별로 촬영된 분광 이미지들의 조합으로 구성될 수 있다. The
컴퓨팅부(300)는 촬영부(200)에서 촬영된 다분광 이미지를 파장 대역에 따라 분리하여 출력한다. The
본 실시예에서 촬영될 부위에 질병과 관련되는 다양한 표지자를 정확히 검출하여 질병을 정확하게 진단하기 위하여, 촬영될 부위를 서로 다른 파장의 형광 물질에 의해 표지할 수 있다. In this embodiment, in order to accurately detect various markers related to the disease at the site to be photographed and accurately diagnose the disease, the site to be photographed can be labeled with fluorescent materials of different wavelengths.
하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 복합 프로브를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다. In the case of labeling a single marker with a single fluorescent material, it is difficult to accurately determine the disease site. In this embodiment, the complex probe is labeled with fluorescent materials of different wavelengths, Can be imaged.
촬영부(200)가 서로 다른 파장을 가지는 형광 물질로 표지한 촬영 부위를 촬영한 분광 이미지는 서로 다른 파장 영역을 갖는 형광 신호가 표시될 수 있다. The spectroscopic image obtained by photographing the photographed region marked with the fluorescent material having different wavelengths by the photographing
서로 다른 파장의 형광 물질로 표지한 복수의 표지자를 이용하여 관찰 부위를 촬영하는 경우, 영상 이미지에 복수의 형광 물질이 간섭을 발생시켜 각각의 형광 물질을 구분하기 어려울 수 있다. When a plurality of markers labeled with fluorescent materials having different wavelengths are used to photograph a region to be observed, a plurality of fluorescent materials may interfere with the image, and it may be difficult to distinguish each fluorescent material.
또한, 촬영 부위에 형광 물질로 표지한 표지자 이외의 물질이 광원(400)에서 조사된 여기광을 받아 고유의 빛을 발할 수 있다. In addition, a substance other than a marker labeled with a fluorescent substance may be irradiated with the excitation light irradiated from the
예를 들어, 관찰 부위인 생물 조직에 포함된 콜라겐, 엘라스틴, 케라틴(Keratin), NADH, 플라빈(Flavin), 포르피린(porphyrin) 등이 여기광에 의해 빛을 반사하는 자가 형광(autofluorescence) 현상이 발생할 수 있다. For example, the autofluorescence phenomenon in which collagen, elastin, keratin, NADH, flavin, porphyrin, etc. contained in the biological tissue to be observed is reflected by excitation light Lt; / RTI >
이러한 자가 형광 현상으로 인하여 검출하고자 하는 표지 물질이 아닌 일반적으로 신체 내부에 분포되어 있는 자가 형광 물질이 표지자로 오인된 촬영 결과를 이용하여 질병을 진단할 때, 오진의 가능성이 있다. There is a possibility of misdiagnosis when diagnosing the disease by using the result of photographing in which the autofluorescent material, which is generally distributed in the body rather than the labeling substance to be detected due to the self fluorescence phenomenon, is mistaken for the marker.
따라서, 본 발명의 한 실시예에 따른 다중 파장 내시경 시스템의 컴퓨팅부(300)는 사용자가 촬영 결과인 다분광 이미지를 이용하여 정확한 진단을 할 수 있도록 촬영부(200)에서 획득한 촬영 결과를 소정의 각 형광 물질의 파장 대역에 따라 분리하여 출력할 수 있도록 구성된다. Accordingly, the
이때 컴퓨팅부(300)는 미리 형광 물질을 처리하지 않은(non-treat) 조직 샘플을 촬영한 자가 형광 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼 결과를 추출할 수 있다. At this time, the
또한, 컴퓨팅부(300)는 형광 물질을 각각 단일 처리한(Single Treated) 조직 샘플을 촬영한 복수의 단일 처리 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출할 수 있다. Also, the
먼저, 컴퓨팅부(300)는 촬영부(200)에서 촬영한 영상 데이터에서 파장 대역에 따른 빛의 세기를 나타내는 영상 스펙트럼 결과를 추출하고, 자가 형광 이미지의 스펙트럼에 따라 각 파장 대역에 따른 빛의 세기만큼 감쇄시켜 자가 형광 부분을 삭제하는 보정을 행한다. First, the
그리고, 컴퓨팅부(300)는 단일 형광 스펙트럼으로부터 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 계산할 수 있다. 예를 들어, 전파장 대역에 따른 빛의 세기를 100으로 두고, 각 파장 대역에 따른 빛의 세기의 비율을 계산할 수 있다. The
그 다음, 컴퓨팅부(300)는 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)함으로써 복수 개의 형광 물질로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다. Next, the
이에 따라 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 수행하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다.Accordingly, the
또한, 복수의 표지자로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 표지자 만이 표시되도록 분리함으로써, 서로 다른 표지자를 보완하여 암의 구획을 정확하게 진단할 수 있도록 할 수 있다. In addition, by separating the image of the observed region marked with a plurality of markers so that only the respective markers are displayed, it is possible to accurately diagnose the division of the cancer by complementing different markers.
도 5는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법을 나타내는 흐름도이다. 5 is a flowchart illustrating an image processing method using the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
도 5를 참고하면, 먼저 촬영될 부위를 다양한 파장 영역의 형광 물질로 표지한다(S110). 본 실험예에서 촬영될 부위는 암 검진을 위한 신체 내부 조직들일 수 있으며, 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 형광 물질로 표지한 프로브를 이용하여 표지할 수 있다. Referring to FIG. 5, a region to be photographed is labeled with a fluorescent material in various wavelength regions (S110). In this experiment, the site to be photographed may be internal tissues for cancer screening, and is a marker that is expressed in cancer. In this embodiment, the marker can be labeled using a probe labeled with a fluorescent material in various wavelength ranges .
표 1은 다중 파장 검출을 위한 다양한 영역 대의 프로브를 나타낸다. Table 1 shows the various area probes for multiple wavelength detection.
프로브는 항체 프로브 일 수 있다. 본 실시예에서 항체 프로브는 종양 및 대장암 세포에서 많은 발현을 보이고 있는 EGFR과 HER2에 대한 표적 항체인 Cetuximab과 Herceptin일 수 있다. 본 실시예에서 Cetuximab과 Herceptin에 각각 Flamma-553과 Flamma-675의 형광 물질로 표지를 하였다. The probe may be an antibody probe. Antibody probes in this example can be EctR and Cetuximab and Herceptin, which are targeted antibodies to EGFR and HER2, which are highly expressed in tumor and colorectal cancer cells. In this example, Cetuximab and Herceptin were labeled with Flamma-553 and Flamma-675 fluorescent materials, respectively.
또한, 프로브는 활성형 프로브 일 수 있다. 본 실시예에서 활성형 프로브는 종양 세포, 그리고 대장암 세포에서 많은 발현을 보이고 있는 GGT (γ-glutamyltranspeptidase)와 만나서 형광 활성을 나타내는 gGlu-HMRG일 수 있다. 본 실시예에서 HMRG에 로다민(Rhodamine)으로 표지할 수 있다. Further, the probe may be an active probe. In this embodiment, the active probe may be gGlu-HMRG, which exhibits fluorescence activity in association with tumor cells and GGT (gamma-glutamyltranspeptidase), which is highly expressed in colon cancer cells. In this embodiment, HMRG may be labeled with rhodamine.
항체 프로브는 다중 파장 검출 내시경 영상 획득을 하기 48시간 전에 마우스(mouse)의 꼬리에 정맥 투여하고, 활성형 프로브는 다중 파장 검출 내시경을 실행하기 10분 전에 대장에 도포 투여할 수 있다. Antibody probes may be administered intravenously to the tail of a mouse 48 hours prior to multi-wavelength detection endoscopic image acquisition, and active probes may be applied to the colon 10 minutes before the multi-wavelength detection endoscope is performed.
그리고, 촬영 부위로 여기 광원을 조사하고, 반사된 빛을 전달받아 촬영 영상을 획득한다(S120).Then, the excitation light source is irradiated to the photographed region, and the photographed image is acquired by receiving the reflected light (S120).
이때, 내시경 선단부를 통해 들어간 광원이 관찰 대상을 여기(excitation)하고, 관찰 대상에서 반사된 빛은 중계렌즈(220)를 통해 제 1 영역 카메라(244) 및 제 2 영역 카메라(254)로 전달된다. At this time, the light source entered through the endoscope end excites the observation object, and the light reflected from the observation object is transmitted to the
광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다. The
제 1 영역 카메라(244) 및 제 2 영역 카메라(254)는 각각 제 1 영역 필터(242)와 제 2 영역 필터(252)를 포함하고, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터로 구현될 수 있다. The
삭제delete
다음 촬영 영상에 포함된 자가 형광 부분을 제거하고, 소정의 파장 대역에 따라 분리하여 출력한다(S130).The self-fluorescence portion included in the next captured image is removed, separated according to a predetermined wavelength band, and output (S130).
내시경을 통해 획득된 형광 스펙트럼 데이터는 컴퓨팅부(300)의 분할 작업을 통하여 파장 대역 별로 분할된 결과를 출력하고, 자가 형광 부분이 제거되어 최종적으로 관찰 대상에서 얻고자 하는 파장 영역의 영상을 획득할 수 있다. The fluorescence spectral data obtained through the endoscope outputs the result divided by the wavelength band through the division operation of the
다중 파장 내시경 시스템(100)은 미리 저장된 미처리 조직 샘플 영상 및 형광 물질을 단일 처리한 조직 샘플 영상의 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼과 단일 형광 스펙트럼 결과를 저장할 수 있다. The
이때 자가 형광 스펙트럼 및 단일 형광 스펙트럼으로부터 계산된 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 더 저장할 수 있다. At this time, it is possible to further store the normalization value indicating the intensity of light according to the wavelength band calculated from the self fluorescence spectrum and the single fluorescence spectrum.
그 다음 다중 파장 내시경 시스템(100)은 복수의 형광 물질로 표지된 관찰 부위를 촬영한 영상 데이터의 스펙트럼에서 자가 형광 스펙트럼 정규화 수치만큼 감쇄함으로써 자가 형광 부분을 제거하는 보정을 한다. The
그리고, 다중 파장 내시경 시스템(100)은 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)하고, 복수 개의 형광 물질로 표지한 관찰 부위의 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다. Then, the
즉, 하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하여 질병 부위를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다. That is, in the case where one marker is labeled with one fluorescence substance, it is difficult to accurately determine the disease site. Therefore, in this embodiment, by labeling the diseased site using a complex probe labeled with a fluorescent substance of different wavelength, Other probes can be supplemented to accurately image diseased areas.
또한, 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다. In addition, the
도 6a 내지 도 6c는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다. 6A to 6C are graphs illustrating a simulation apparatus for evaluating performance of a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention and simulation results thereof.
도 6a을 참고하면, 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위해 약 15mm 길이의 폴리에틸렌 튜브 (0.28 mm inner diameter, PE-10)를 준비하여 각각에 여러 색상의 형광 염료를 주입하였다.6A, a polyethylene tube (0.28 mm inner diameter, PE-10) having a length of about 15 mm was prepared to evaluate the performance of the multi-wavelength automatic analysis endoscope system according to an embodiment of the present invention. Fluorescent dye was injected.
튜브의 한 쪽 끝은 원형의 금속링에 부착하고 다른 쪽 끝은 내시경 관찰이 이루어지는 중앙으로 향하여 모이게 하였다. 사용된 형광 염료는 가시광선 영역 대의 서로 다른 색을 갖는 복수의 염료를 이용하였고, 서로 가까운 파장 영역을 포함하고 있다.One end of the tube was attached to a circular metal ring and the other end was collected toward the center of the endoscopic observation. The fluorescent dyes used used a plurality of dyes having different colors of visible light band and contained wavelength regions close to each other.
도 6b를 참고하면, 형광 염료를 주입한 튜브를 각각 촬영하여 영상 데이터를 확보하고, 도 6c와 같이 각각의 영상 데이터 결과로부터 파장 대역에 따른 빛의 세기를 나타내는 스펙트럼을 획득하였다. 이를 통해, 각 염료가 가진 파장 별로 분리된 영역을 확인할 수 있다.Referring to FIG. 6B, the tubes injecting the fluorescent dye were respectively photographed to acquire image data, and a spectrum representing the intensity of light according to the wavelength band was obtained from the respective image data results as shown in FIG. 6C. As a result, it is possible to identify regions separated by wavelengths of each dye.
이때 본 실시예에 따른 다중 파장 내시경 시스템(100)에서 읽어 들이는 설정 파장 범위는 420nm 내지 620nm 일 수 있다.At this time, the set wavelength range read in the
도 6d를 참고하면 컴퓨팅부(300)를 통해 단일 형광 스펙트럼 결과에 따라 분해 과정을 거쳐 완성된 영상 이미지 파일을 획득한다.Referring to FIG. 6D, a complete image image file is obtained through a decomposition process according to a single fluorescence spectrum result through the
도 7은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이고, 도 8은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. FIG. 7 is a view showing image results obtained from an untreated tissue sample and a single fluorescence-treated tissue sample by the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention, and FIG. FIG. 2 is a view showing a result of endoscopic imaging of a tissue sample treated with a plurality of fluorescent materials using an automatic multi-wavelength analysis endoscopic system according to the present invention.
이때, 활성형 프로브(HMRG)를 국소 도포를 통해 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 대장 조직을 적출하여 다중 파장 자동 분석 내시경 시스템을 이용하여 각 파장 별 이미지를 획득하였다. At this time, an active probe (HMRG) was injected via topical application, and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) was injected intravenously, and then colon tissues were extracted and analyzed using a multi-wavelength automatic analysis endoscope system Images of each wavelength were acquired.
도 7을 참고하면, 대조 실험을 위해 프로브를 처리하지 않은 동물군(Non-treat)의 대장 조직에서는 자가 형광에 의한 형광 이미지를 관찰할 수 있다. Referring to FIG. 7, fluorescence images by autofluorescence can be observed in the non-treat colonic tissue of the non-probe-treated animal for the control experiment.
단일 프로브 처리한 조직 샘플을 관찰 부위로 촬영하고, 촬영한 영상 데이터로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출하였다. A single probe-treated tissue sample was taken at the observation site, and a single fluorescence spectral result indicating the intensity of light according to the wavelength band was extracted from the captured image data.
도 8을 참고하면 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하고, 복합 프로브로 표지한 조직 샘플을 촬영한 영상 데이터에서 단일 형광 스펙트럼 결과에 따라 각 형광 물질만이 표지되도록 영상을 분리하여 출력함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 진단할 수 있도록 영상화 한 것을 확인할 수 있다. Referring to FIG. 8, in this embodiment, a composite probe labeled with a fluorescent material having a different wavelength is used. In the image data obtained by photographing a tissue sample labeled with a complex probe, only the fluorescent material is labeled according to a single fluorescence spectral result By separating and outputting the images, it can be confirmed that the images are imaged so as to accurately diagnose diseased parts by complementing different probes.
도 9는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. 9 is a view showing an endoscopic imaging result of a living colon cancer model mouse using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
활성형 프로브(HMRG)를 국소 도포를 통해 대장암 모델 마우스에 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 살아 있는 상태에서 다중 파장 자동 분석 내시경 시스템을 이용하여 대장 내시경을 통해 각 형광 물질별 이미지를 획득하였다. An active probe (HMRG) was injected into a colorectal mouse model mouse via topical application, and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) was injected intravenously, and then the multi-wavelength automatic analysis endoscope system And images of each fluorescent substance were obtained through colonoscopy.
각각의 단일 프로브로는 암의 구획을 서로 다른 부위로 영상화하여 정확히 판단하기 어렵지만, 복합 프로브는 서로 다른 프로브를 보완하며 암의 구획을 영상화하는 것을 관찰하였다. While it is difficult to accurately determine each of the single probes by imaging the sections of the cancer to different regions, the composite probes complement the different probes and observe imaging the sections of the cancer.
도 10은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. FIG. 10 is a view showing an endoscopic imaging result of a living colon cancer model pig using a multi-wavelength autoanalysis endoscopic system according to an embodiment of the present invention.
인체와 유사한 돼지에 활성형 프로브(HMRG)와 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 주입한 다음, 다중 파장 자동 분석 내시경 시스템을 대장 내시경을 통해 각 파장 별 이미지를 획득하였다. An active probe (HMRG) and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) were injected into a human-like pig, and then an image of each wavelength was acquired through a colonoscopic endoscope system.
대조 실험을 위해 프로브를 처리하지 않았을 때에는 형광 이미지가 획득되지 않았다.Fluorescence images were not obtained when the probe was not treated for control experiments.
각각의 형광 프로브를 단독 처리 (Single treated)했을 때 각 프로브가 표지하고 있는 형광의 스펙트럼 파장에서만 신호가 검출되었고, 이에 따른 단일 형광 스펙트럼 결과를 이용하여 세 가지 프로브를 동시에 처리 (Triple Treated)한 영상 데이터로부터 각 형광 물질만이 표지되도록 영상 데이터 분리하였다. Signals were detected only at the spectral wavelength of the fluorescent light labeled by each probe when each fluorescence probe was treated as a single treatment, and a triple-treated image of three probes was simultaneously processed using a single fluorescence spectral result Data were separated from the data so that only each fluorescent substance was labeled.
이에 따라 서로 다른 프로브를 보완함으로써, 거짓 양성 오류를 줄이고 암의 구획을 보다 정확하게 영상화한 것을 확인할 수 있다. Thus, by complementing the different probes, it can be seen that false positive errors are reduced and the compartments of the cancer are imaged more accurately.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
Claims (15)
상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와,
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하고,
상기 컴퓨팅부는
상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하고,
상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는
다중 파장 내시경 시스템. A multi-wavelength endoscope system for imaging an observation site marked with a plurality of fluorescent substances having different colors,
Polarized incident light reflected from the observation region in a first direction and a second direction perpendicular to the first direction and separating the spectral region of the incident light polarized in the first direction and the second direction into a plurality of spectral channels An imaging unit for acquiring image data by measuring light intensity of each of the plurality of spectral channels;
Storing the single fluorescence spectrum extracted from the sample image data photographed by treating the observation region with each fluorescent substance,
And a computing unit for separating and outputting the image data photographed by the photographing unit using the single fluorescence spectrum so that only one of the plurality of fluorescent materials is displayed,
The computing unit
Storing the untreated fluorescence spectrum extracted from the raw image data obtained by photographing the observation site not treated with the fluorescent substance,
And performing correction to remove the self fluorescent component included in the image data photographed by the photographing unit using the unprocessed fluorescence spectrum
Multi - Wavelength Endoscopy System.
상기 촬영부는
상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터와,
상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함하는 다중 파장 내시경 시스템. The method of claim 1,
The photographing unit
A beam splitter for polarizing the incident light in the first direction and the second direction perpendicular to the first direction;
A first area filter positioned in a path of light separated in the first direction and passing light in a predetermined range;
A second area filter located in a path of light separated in the second direction and passing light in a predetermined range,
A first area camera for measuring the intensity of light passing through the first area filter,
And a second region camera for measuring the intensity of light passing through the second region filter.
상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터와,
상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라와,
상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하고,
상기 컴퓨팅부는
상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하고,
상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는
다중 파장 내시경 시스템.A multi-wavelength endoscope system for imaging an observation site marked with a plurality of fluorescent substances having different colors,
A beam splitter for polarizing the incident light reflected from the observation region in a first direction and a second direction perpendicular to the first direction;
A first area filter positioned in a path of light separated in the first direction and passing light in a predetermined range;
A second area filter located in a path of light separated in the second direction and passing light in a predetermined range,
A first area camera for measuring the intensity of light passing through the first area filter,
A second area camera for measuring intensity of light passing through the second area filter,
Wherein the image data obtained by using the intensity of light passing through the first area filter and the intensity of light passing through the second area filter is separated and output so that only one of the plurality of fluorescent materials is displayed, ≪ / RTI >
The computing unit
Storing the untreated fluorescence spectrum extracted from the raw image data obtained by photographing the observation site not treated with the fluorescent substance,
And performing correction to remove the self fluorescence component included in the image data using the unprocessed fluorescence spectrum
Multi - Wavelength Endoscopy System.
상기 컴퓨팅부는
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 다중 파장 내시경 시스템. The method of claim 5,
The computing unit
Storing the single fluorescence spectrum extracted from the sample image data photographed by treating the observation region with each fluorescent substance,
And separating the image data so that only one of the plurality of fluorescent materials is displayed using the single fluorescence spectrum.
상기 촬영부에 의해, 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계와,
상기 촬영부에 의해, 상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계와,
상기 컴퓨팅부에 의해, 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계와,
상기 컴퓨팅부에 의해, 분리된 상기 영상 데이터를 파장 대역에 따라 출력하는 단계와,
상기 컴퓨팅부에 의해, 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하고, 상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 포함하는 영상 처리 방법.A method for processing an image in a multi-wavelength endoscope system including a photographing unit and a computing unit,
Irradiating a light source to an observation site marked with a plurality of fluorescent substances having different colors by the photographing unit;
Acquiring image data by receiving light reflected from the observation site by the photographing unit;
Separating the image data so that only one of the plurality of fluorescent materials is displayed by the computing unit;
Outputting the separated image data according to a wavelength band by the computing unit;
The computing unit extracts the unprocessed fluorescence spectrum from the unprocessed image data photographed at the observation site not treated with the fluorescent material and performs a correction for removing the self fluorescence component contained in the image data using the unprocessed fluorescence spectrum The method comprising the steps of:
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 상기 단계는,
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함하는 영상 처리 방법.The method of claim 9,
And separating the image data so that only one fluorescent material among the plurality of fluorescent materials is displayed,
And extracting a single fluorescence spectrum from the sample image data photographed by singly processing the observation region with each of the fluorescent materials.
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 상기 단계는,
상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 단계를 더 포함하는 영상 처리 방법.11. The method of claim 10,
And separating the image data so that only one fluorescent material among the plurality of fluorescent materials is displayed,
And separating the image data so that only one fluorescent material of the plurality of fluorescent materials is displayed using the single fluorescence spectrum.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160135305A KR101978838B1 (en) | 2015-11-02 | 2016-10-18 | Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same |
AU2017346249A AU2017346249B2 (en) | 2015-11-02 | 2017-10-18 | Multi-wavelength endoscopic system and image processing method using same |
PCT/KR2017/011522 WO2018074833A1 (en) | 2015-11-02 | 2017-10-18 | Multi-wavelength endoscopic system and image processing method using same |
US16/342,900 US10610088B2 (en) | 2016-10-18 | 2017-10-18 | Multi-wavelength endoscopic system and image processing method using same |
RU2019112728A RU2716680C1 (en) | 2016-10-18 | 2017-10-18 | Multi-wave endoscopic system and image processing method using it |
SG11201902989YA SG11201902989YA (en) | 2015-11-02 | 2017-10-18 | Multi-wavelength endoscopic system and image processing method using same |
CA3040851A CA3040851A1 (en) | 2015-11-02 | 2017-10-18 | Multi-wavelength endoscopic system and image processing method using same |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20150153144 | 2015-11-02 | ||
KR1020150153144 | 2015-11-02 | ||
KR1020160135305A KR101978838B1 (en) | 2015-11-02 | 2016-10-18 | Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170051264A KR20170051264A (en) | 2017-05-11 |
KR101978838B1 true KR101978838B1 (en) | 2019-05-16 |
Family
ID=66674216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160135305A Expired - Fee Related KR101978838B1 (en) | 2015-11-02 | 2016-10-18 | Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same |
Country Status (5)
Country | Link |
---|---|
KR (1) | KR101978838B1 (en) |
AU (1) | AU2017346249B2 (en) |
CA (1) | CA3040851A1 (en) |
SG (1) | SG11201902989YA (en) |
WO (1) | WO2018074833A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7017198B2 (en) * | 2018-06-22 | 2022-02-08 | 株式会社Aiメディカルサービス | A computer-readable recording medium that stores a disease diagnosis support method, diagnosis support system, diagnosis support program, and this diagnosis support program using endoscopic images of the digestive organs. |
US12292564B2 (en) | 2019-04-08 | 2025-05-06 | Activ Surgical, Inc. | Systems and methods for medical imaging |
KR102282179B1 (en) * | 2019-04-30 | 2021-07-27 | 을지대학교 산학협력단 | Hand-held surgical probe for fluorescence imaging |
CN115389254A (en) * | 2022-07-13 | 2022-11-25 | 北京市轨道交通学会 | Minimally invasive probing method and device for urban rail transit tunnel structure |
DE102023135636A1 (en) * | 2023-12-18 | 2025-06-18 | Karl Storz Se & Co. Kg | Imaging device, in particular endoscopic, exoscopic and/or microscopic imaging device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100411631B1 (en) * | 2001-10-18 | 2003-12-18 | 주식회사 메디미르 | Fluorescence endoscope apparatus and a method for imaging tissue within a body using the same |
JP5506472B2 (en) * | 2010-03-12 | 2014-05-28 | オリンパス株式会社 | Fluorescence endoscope device |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7139598B2 (en) * | 2002-04-04 | 2006-11-21 | Veralight, Inc. | Determination of a measure of a glycation end-product or disease state using tissue fluorescence |
JP4311607B2 (en) * | 2002-05-27 | 2009-08-12 | 富士フイルム株式会社 | Fluorescence diagnostic information generation method and apparatus |
JP4954699B2 (en) * | 2006-12-28 | 2012-06-20 | オリンパス株式会社 | Fluorescence endoscope system |
US20090131800A1 (en) * | 2007-11-15 | 2009-05-21 | Carestream Health, Inc. | Multimodal imaging system for tissue imaging |
KR101243183B1 (en) * | 2011-04-08 | 2013-03-14 | 한국전기연구원 | Apparatus for measurement of autofluorescence of advanced glycation end products |
KR102028199B1 (en) * | 2012-08-28 | 2019-10-04 | 한국전자통신연구원 | Medical diagnosis device and method for controlling the device |
KR20160117440A (en) * | 2013-12-31 | 2016-10-10 | 메모리얼 슬로안-케터링 캔서 센터 | Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real-time |
-
2016
- 2016-10-18 KR KR1020160135305A patent/KR101978838B1/en not_active Expired - Fee Related
-
2017
- 2017-10-18 AU AU2017346249A patent/AU2017346249B2/en not_active Ceased
- 2017-10-18 WO PCT/KR2017/011522 patent/WO2018074833A1/en active Application Filing
- 2017-10-18 CA CA3040851A patent/CA3040851A1/en not_active Abandoned
- 2017-10-18 SG SG11201902989YA patent/SG11201902989YA/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100411631B1 (en) * | 2001-10-18 | 2003-12-18 | 주식회사 메디미르 | Fluorescence endoscope apparatus and a method for imaging tissue within a body using the same |
JP5506472B2 (en) * | 2010-03-12 | 2014-05-28 | オリンパス株式会社 | Fluorescence endoscope device |
Also Published As
Publication number | Publication date |
---|---|
AU2017346249A1 (en) | 2019-04-18 |
AU2017346249B2 (en) | 2019-11-21 |
KR20170051264A (en) | 2017-05-11 |
WO2018074833A1 (en) | 2018-04-26 |
CA3040851A1 (en) | 2018-04-26 |
SG11201902989YA (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101978838B1 (en) | Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same | |
US10111614B2 (en) | Apparatus and method for detecting NIR fluorescence at sentinel lymph node | |
US8285015B2 (en) | Simultaneous acquisition of differing image types | |
DE69938493T2 (en) | ENDOSCOPE FOR DETECTING FLUORESCENCE IMAGES | |
US20180000401A1 (en) | Apparatus and method for detecting nir fluorescence at sentinel lymph node | |
US9456737B2 (en) | In-vivo imaging device and method for performing spectral analysis | |
US11234584B2 (en) | Molecular chemical imaging endoscopic imaging systems | |
US20080007716A1 (en) | Raman scattering light observation apparatus and endoscope apparatus | |
WO2016003371A1 (en) | Raman spectroscopy system, apparatus, and method for analyzing, characterizing, and/or diagnosing a type or nature of a sample or a tissue such as an abnormal growth | |
US20140163389A1 (en) | In vivo detection of eosinophils | |
JP2006296635A (en) | Endoscope apparatus | |
CN104010558A (en) | Fluorescence observation device, fluorescence observation method, and working method of fluorescence observation device | |
CN111031888A (en) | System for endoscopic imaging and method for processing images | |
JP2021533907A (en) | Identification of stones and tissues by molecular chemistry imaging | |
JP6404687B2 (en) | Fluorescence imaging apparatus and fluorescence imaging method | |
JP2007528505A (en) | Multichannel optical imaging | |
CN207516243U (en) | Tomography endoscopic microspectrum imaging device | |
US10610088B2 (en) | Multi-wavelength endoscopic system and image processing method using same | |
JP2021035549A (en) | Endoscope system | |
CN107361725B (en) | Quick tissue molecule imaging device | |
JP2006340796A (en) | Sentinel lymph node detection system | |
KR20190079187A (en) | Multi-modal fusion endoscope system | |
JP3810337B2 (en) | Imaging device | |
Tamošiūnas et al. | Wide-field Raman spectral band imaging of tumor lesions in veterinary medicine | |
Favreau | An Excitation-Scanning Hyperspectral Microscope for Imaging Exogenous and Endogenous Fluorescence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20161018 |
|
PG1501 | Laying open of application | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20181024 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20161018 Comment text: Patent Application |
|
PA0302 | Request for accelerated examination |
Patent event date: 20181026 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20161018 Patent event code: PA03021R01I Comment text: Patent Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20181113 Patent event code: PE09021S01D |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190306 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20190430 |
|
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190509 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20190510 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20220329 Start annual number: 4 End annual number: 4 |
|
PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20250220 |