[go: up one dir, main page]

KR101978838B1 - Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same - Google Patents

Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same Download PDF

Info

Publication number
KR101978838B1
KR101978838B1 KR1020160135305A KR20160135305A KR101978838B1 KR 101978838 B1 KR101978838 B1 KR 101978838B1 KR 1020160135305 A KR1020160135305 A KR 1020160135305A KR 20160135305 A KR20160135305 A KR 20160135305A KR 101978838 B1 KR101978838 B1 KR 101978838B1
Authority
KR
South Korea
Prior art keywords
image data
light
fluorescent
wavelength
fluorescence spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160135305A
Other languages
Korean (ko)
Other versions
KR20170051264A (en
Inventor
명승재
김상엽
배상문
도은주
배동준
Original Assignee
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020160135305A priority Critical patent/KR101978838B1/en
Publication of KR20170051264A publication Critical patent/KR20170051264A/en
Priority to AU2017346249A priority patent/AU2017346249B2/en
Priority to PCT/KR2017/011522 priority patent/WO2018074833A1/en
Priority to US16/342,900 priority patent/US10610088B2/en
Priority to RU2019112728A priority patent/RU2716680C1/en
Priority to SG11201902989YA priority patent/SG11201902989YA/en
Priority to CA3040851A priority patent/CA3040851A1/en
Application granted granted Critical
Publication of KR101978838B1 publication Critical patent/KR101978838B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와, 상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질 만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. The present invention relates to a multi-wavelength endoscopic system for photographing an observation site marked with a plurality of fluorescent materials having different colors, the system comprising: polarizing incident light reflected at a viewing site in a first direction and a second direction perpendicular to the first direction An image pickup unit for dividing a spectral region of the incident light polarized in the first direction and the second direction into a plurality of spectral channels and measuring image intensity of each of the plurality of spectral channels, Storing a single fluorescence spectrum extracted from the sample image data obtained by singly processing the observation region with each of the fluorescent materials, and storing the image data photographed by the photographing unit in the single fluorescent spectrum using one of the plurality of fluorescent substances And the fluorescence material of the fluorescent material is displayed separately.

Figure R1020160135305
Figure R1020160135305

Description

다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법{MULTI-SPECTRAL AUTOANALYSIS ENDOSCOPE APPARATUS AND METHOD OF PROCESSING IMAGE USING THE SAME} TECHNICAL FIELD [0001] The present invention relates to a multi-wavelength endoscopic system and an image processing method using the same. [0002]

본 발명은 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.The present invention relates to a multi-wavelength endoscopic system and an image processing method using the same.

여전히 암 발생률은 높은 비율로 지속되고 있으며, 내시경을 통해 진단이 이루어지는 경우 육안으로 종양을 검출해야 하기 때문에 오진의 가능성이 있다.Still, the incidence of cancer continues at a high rate, and if a diagnosis is made through an endoscope, there is a possibility of misdiagnosis because the tumor must be detected visually.

특히, 용종의 모양이 혹 모양이 아니라 평평한 모양이면, 검출될 확률이 더욱 낮아진다. In particular, if the shape of the polyp is flat rather than lumpy, the probability of detection is lower.

최근 분자 영상 기술이 발전하면서, 이 기술을 이용하여 소화기암을 진단하거나, 암의 분자적 특성을 이미징하려는 연구가 지속되고 있다. Cathepsin B를 표적으로 하는 분자 영상을 내시경에 응용할 수 있다고 소개한 것이 첫 번째 시도라고 할 수 있지만 그 당시의 영상은 매우 단순하고, 임상에 응용할 만한 수준에 미치지 못했다.Recently, with the development of molecular imaging technology, there have been ongoing studies to diagnose gastrointestinal cancer using this technique, or to image the molecular characteristics of cancer. The first attempt to introduce a molecular image targeting Cathepsin B to endoscopy was simple, but the images at that time were very simple and did not reach clinically applicable levels.

다양한 기관에서 관련 연구를 지속하고 있으며 최근까지 특정 종양 조직에 펩타이드(peptide)를 프로브로 이용하여 영상화하는 기술, 고속 3차원 내시경 촬영이 가능한 초소형 영상 기술, 소형 현미경 기술이 개발되고 있으며, 초민감 분자 영상이 가능한 라만 증폭 프로브, 압타머 바탕 소형 형광 프로브 개발을 통해 좀 더 진보한 표지자 물질이 개발되고 있다.Recently, various studies have been carried out by various organizations. Until recently, techniques for imaging a specific tumor tissue using a peptide as a probe, ultra-small imaging technology capable of high-speed 3-dimensional endoscope imaging, and small microscope technology have been developed. A more advanced marker material is being developed through the development of image-capable Raman amplification probes and compact-probe-based compact fluorescent probes.

독일의 Mainz 대학의 Dr. Goetz group에서는 표피성장인자수용체(Epidermal Growth Factor Receptor, EGFR)를 확인할 수 있는 프로브를 개발하여, 이를 공초점 현미경 내시경(Confocal Endomicroscopy)이라는 특수 내시경을 이용하여 이미징을 시도하고 있다.Dr. of the University of Mainz in Germany. The Goetz group has developed a probe that can identify the Epidermal Growth Factor Receptor (EGFR), and has attempted to image it using a special endoscope called Confocal Endomicroscopy.

다만, 최근까지 분자 영상을 이용하여 내시경을 가능하게 하기 위한 연구가 지속되고 있으나, 실제 내시경에 응용 가능한 수준의 영상을 얻은 연구는 드문 상태이며, 분자 영상에서 매우 중요한 프로브의 경우에도 단일 표적에 대한 프로브를 확인하여 검증하는 수준의 기술을 보여주고 있을 뿐이다. However, until now, research has been continuing to make endoscopy possible using molecular imaging, but researches that have obtained a level of image applicable to actual endoscopes are rare, and even in the case of a probe which is very important in molecular imaging, It only shows the level of technology that verifies and verifies the probe.

본 발명이 해결하고자 하는 과제는 복합 표적에 대한 다수의 프로브를 이용하여 표지한 관찰 부위를 촬영한 영상 데이터를 가공하여 질병 진단에 제공할 수 있는 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides a multi-wavelength endoscopic system capable of processing image data of a marked observation region using a plurality of probes for a complex target and diagnosing diseases, and an image processing method using the same will be.

본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템은 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광 시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부, 그리고 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. A multi-wavelength endoscope system for photographing an observation region marked with a plurality of fluorescent materials having different colors according to an embodiment of the present invention includes a first wavelength selective member for selectively irradiating incident light reflected at an observation site in a first direction and a second An image pickup unit for dividing a spectral region polarized in the first direction and the second direction into a plurality of spectral channels and measuring intensity of each of the plurality of spectral channels to obtain image data; Storing a single fluorescence spectrum extracted from the sample image data obtained by photographing the observed region where each of the plurality of fluorescent substances has been treated as a single one and storing the image data photographed by the photographing unit using the single fluorescent spectrum among the plurality of fluorescent substances And a computing unit for separating and outputting only one fluorescent substance so as to be displayed respectively.

상기 촬영부는 상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 그리고 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함할 수 있다.Wherein the photographing unit comprises: a beam splitter for polarizing the incident light in the first direction and the second direction perpendicular to the first direction; a first beam splitter disposed in a path of light separated in the first direction, A first area camera located on the path of the light separated in the second direction and passing through the set range of light, a first area camera measuring the intensity of the light passing through the first area filter, And a second area camera that measures the intensity of light passing through the two-region filter.

삭제delete

상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다. The computing unit may store the unprocessed fluorescence spectrum extracted from the raw image data obtained by photographing the observation region not treated with the fluorescent material.

상기 컴퓨팅부는 상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행할 수 있다. The computing unit may perform correction to remove the self fluorescent component included in the image data photographed by the photographing unit using the unprocessed fluorescence spectrum.

본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라, 그리고 상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다. A multi-wavelength endoscope system for photographing an observation site marked with a plurality of fluorescent substances having different colors according to an embodiment of the present invention, the system comprising: A first area filter positioned in a path of light separated in the first direction and passing light in a set range, a second area filter positioned in a path of light separated in the second direction, A first area camera for measuring the intensity of light passing through the first area filter, a second area camera for measuring the intensity of light passing through the second area filter, The image data obtained by using the intensity of the light having passed through the area filter and the intensity of the light having passed through the second area filter, And a computing unit for separating and outputting only the substance to be displayed.

상기 컴퓨팅부는 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다. Wherein the computing unit stores a single fluorescence spectrum extracted from the sample image data obtained by photographing the observation region obtained by singly processing the plurality of fluorescent materials and transmits the image data photographed by the photographing unit to the plurality of Only one fluorescent substance of the fluorescent substance can be separated so as to be respectively displayed.

삭제delete

상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다. The computing unit may store the unprocessed fluorescence spectrum extracted from the raw image data obtained by photographing the observation region not treated with the fluorescent material.

본 발명의 한 실시예에 따른 다중 파장 내시경 시스템이 영상을 처리하는 방법으로써, 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계, 상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계, 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계, 그리고 상기 파장 대역에 따라 분리된 상기 영상 데이터를 출력하는 단계를 포함한다.A method for processing an image in a multi-wavelength endoscopic system according to an embodiment of the present invention includes the steps of irradiating a light source to an observation site marked with a plurality of fluorescent materials having different colors, Separating the image data so that only one fluorescent substance of the plurality of fluorescent substances is displayed, and outputting the separated image data according to the wavelength band.

상기 영상 처리 방법은 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다. The image processing method may further include a step of extracting a single fluorescence spectrum from the image data obtained by photographing the observation region where each of the plurality of fluorescent substances has been uniquely processed.

상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계는 상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다. Separating the image data so that only one fluorescent substance of the plurality of fluorescent substances is displayed, the image data is separated using only the single fluorescent spectrum so that only one fluorescent substance of the plurality of fluorescent substances is displayed .

상기 영상 처리 방법은 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다. The image processing method may further include extracting an untreated fluorescence spectrum from unprocessed image data obtained by photographing an observation site not treated with the fluorescent material.

상기 영상 처리 방법은 상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 더 포함할 수 있다.The image processing method may further include performing correction to remove the self fluorescent component included in the image data using the unprocessed fluorescence spectrum.

본 발명의 실시예에 따른 다중 파장 내시경 시스템은 복수의 프로브를 이용하여 표지한 관찰 부위를 소정의 파장 대역에 따라 분리하여 출력함으로써, 정확하게 질병 발생 부위를 파악할 수 있도록 한다. In the multi-wavelength endoscopic system according to the embodiment of the present invention, the labeled observation sites are separated and output according to a predetermined wavelength band using a plurality of probes, so that the disease occurrence site can be precisely identified.

본 발명의 실시예에 따른 다중 파장 내시경 시스템은 관찰 부위를 촬영한 영상 데이터에 포함된 자가 형광 성분을 제거하여 출력함으로써, 거짓 양성 오류를 줄일 수 있어 오진의 가능성을 낮출 수 있다. In the multi-wavelength endoscopic system according to the embodiment of the present invention, the self-fluorescence component included in the image data of the observed region is removed, and the false positive error can be reduced, thereby reducing the possibility of misdiagnosis.

도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 가변적 액정 필터의 구동 결과를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법의 흐름을 나타내는 도면이다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
1 is a block diagram of an automatic multi-wavelength analyzing system according to an embodiment of the present invention.
2 is a diagram illustrating an exemplary structure of a photographing unit according to an embodiment of the present invention.
3 is a view illustrating an example of a photographing unit according to an embodiment of the present invention.
4 is a diagram illustrating a result of driving a variable liquid crystal filter according to an embodiment of the present invention.
5 is a flowchart illustrating an image processing method using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
6A to 6D are graphs illustrating a simulation apparatus for evaluating the performance of the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention, and simulation results thereof.
FIG. 7 is a diagram showing image results obtained from an untreated tissue sample and a single fluorescence-treated tissue sample by the multi-wavelength automated endoscopic system according to an embodiment of the present invention.
FIG. 8 is a view showing a result of an endoscopic imaging of a tissue sample treated with a plurality of fluorescent materials using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
9 is a view showing an endoscopic imaging result of a living colon cancer model mouse using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.
FIG. 10 is a view showing an endoscopic imaging result of a live colon cancer model pig using a multi-wavelength autoanalysis endoscopic system according to an embodiment of the present invention.

아래에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and like parts are denoted by similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, " " module, " and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

이하, 본 발명의 실시예에 따른 다중 파장 자동 분석 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다. Hereinafter, an automatic multi-wavelength analyzing system according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이며, 도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다. FIG. 1 is a configuration diagram of an automatic multi-wavelength automatic analysis system according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a structure of a photographing unit according to an exemplary embodiment of the present invention. 1 is a diagram illustrating an example of a photographing unit according to an embodiment.

도 1을 참고하면, 다중 파장 내시경 시스템(100)은 탐지 대상을 육안으로 관찰 가능하도록 하는 카메라와 다중 형광 이미징이 가능하도록 하는 필터를 적용한 카메라를 이용한 시스템으로서, 가시광선 영역을 연속적으로 촬영하여 각 채널의 초분광 복사 휘도를 획득한다. Referring to FIG. 1, the multi-wavelength endoscopic system 100 is a system using a camera that allows an object to be detected to be observed with the naked eye and a camera to which a multi-fluorescence imaging is enabled so that the visible light region is continuously photographed Obtain the supersensitized radiance of the channel.

여기서, 채널은 파장을 측정하는 단위 대역으로서, 필터를 조정하여 각 채널의 분광 이미지를 획득할 수 있다.
본 명세서에 있어서, 내시경은 신체 내부를 관찰하는 기계를 통틀어 이르는 말로서, 기관지경, 위내시경, 보강경 및 항문보개 등을 포함한다.
Here, the channel is a unit band for measuring wavelength, and the spectral image of each channel can be obtained by adjusting the filter.
In the present specification, an endoscope is a word that goes through a machine that observes the inside of the body, and includes a bronchoscope, a gastroscope, a hard shaft, and an anus.

다중 파장 내시경 시스템(100)은 촬영부(200)와 컴퓨팅부(300)를 포함한다. The multi-wavelength endoscope system 100 includes a photographing unit 200 and a computing unit 300.

촬영부(200)는 대물렌즈(210), 중계렌즈(220), 빔 스플리터(230), 제 1 영역 렌즈(240), 제 1 영역 필터(242), 제 1 영역 카메라(244), 제 2 영역 렌즈(250), 제 2 영역 필터(252)와 제 2 영역 카메라(254)를 포함한다. The photographing unit 200 includes an objective lens 210, a relay lens 220, a beam splitter 230, a first area lens 240, a first area filter 242, a first area camera 244, Area lens 250, a second area filter 252, and a second area camera 254.

다중 파장 내시경 시스템(100) 외부에 위치하는 도 2에 도시된 광원(400)은 촬영 부위를 여기(excitation)하도록 빛을 조사한다. 광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다. The light source 400 shown in FIG. 2 located outside the multi-wavelength endoscope system 100 irradiates light to excite a photographed region. The light source 400 may include two or more light sources having different wavelengths in order to capture an object to be observed marked with a fluorescent sample having different wavelengths.

본 실시예에서 관찰 대상은 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 프로브로 제작하여 서로 다른 형광 염료를 이용하여 표지할 수 있다. In this embodiment, the subject to be observed is a marker that is expressed in cancer. In this embodiment, the marker can be made into a probe having various wavelength ranges and labeled using different fluorescent dyes.

대물렌즈(210)는 입사광이 들어오는 렌즈이다. 대물렌즈(210)는 다중 파장 내시경 시스템(100)의 스펙트럼 영역에서 파장에 관계없이 초점이 맞춰진 이미지를 제공할 수 있다. The objective lens 210 is a lens through which incident light enters. The objective lens 210 may provide an image focused at any wavelength in the spectral region of the multi-wavelength endoscope system 100.

중계렌즈(220)는 광 축을 따라 입사광을 진행시키기 위한 렌즈로서, 빛을 평행하게 출력한다. 중계렌즈(220)는 소정의 초점 거리를 갖는 트리플렛(triplet) 렌즈일 수 있다. The relay lens 220 is a lens for advancing incident light along the optical axis, and outputs light in parallel. The relay lens 220 may be a triplet lens having a predetermined focal length.

도 2를 참고하면, 본 실시예에 따른 중계렌즈(220)는 촬영 부위를 여기하기 위한 빛을 조사하는 광원(400)과 연결될 수 있다. 그리고, 중계렌즈(220)는 진찰 대상을 촬영하기 위하여 신체 내부에 삽입되는 내시경의 내부에 위치할 수 있다. Referring to FIG. 2, the relay lens 220 according to the present embodiment may be connected to a light source 400 that emits light for exciting a photographed region. The relay lens 220 may be located inside the endoscope inserted into the body for photographing the subject to be examined.

빔 스플리터(230)는 평행광을 두 방향으로 분리한다. 빔 스플리터(230)는 광대역 스펙트럼의 입사광을 처리하는 편광 기반의 빔 스플리터이다. 빔 스플리터(230)는 가시광선 영역 이내의 스펙트럼을 커버할 수 있다. The beam splitter 230 separates the parallel light in two directions. The beam splitter 230 is a polarization-based beam splitter that processes incident light in the wide-band spectrum. The beam splitter 230 may cover the spectrum within the visible light region.

다양한 방향의 전기장으로 이루어져 있는 빛은 p-편광(p-polarization)과 s-편광(s-polarization)이라 불리는 두 방향으로 편광된다. 여기서, p-편광은 편광판의 슬릿 방향에 평행한 것을 의미하고, s-편광은 편광판의 슬릿 방향에 수직인 것을 의미한다.Light composed of electric fields in various directions is polarized in two directions called p-polarization and s-polarization. Here, the p-polarized light means parallel to the slit direction of the polarizing plate, and the s-polarized light means perpendicular to the slit direction of the polarizing plate.

제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛의 경로에 각각 위치한다. 이때, 빔 스플리터(230)로부터 분할된 빛을 소정의 배율로 조절하기 위하여, 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 서로 수직하게 배치되어 빔 스플리터(230)로부터 분리된 빛을 획득할 수 있다. The first zone lens 240 and the second zone lens 250 are located in the path of light divided from the beam splitter 230, respectively. The first area lens 240 and the second area lens 250 are disposed perpendicular to each other to adjust the light split from the beam splitter 230 to a predetermined magnification, Can be obtained.

제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛을 적절한 배율로 조절하고, 조절된 빛을 제 1 영역 필터(242)와 제 2 영역 필터(252)로 전달할 수 있다. The first area lens 240 and the second area lens 250 adjust the light split from the beam splitter 230 at an appropriate magnification and transmit the adjusted light to the first area filter 242 and the second area filter 252 ). ≪ / RTI >

제 1 영역 필터(242)와 제 2 영역 필터(252)는 각각 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)를 통과한 빛 중에서 지정된 스펙트럼 영역의 빛을 통과시킬 수 있다. The first area filter 242 and the second area filter 252 can pass light in a specified spectral range among the light passing through the first area lens 240 and the second area lens 250, respectively.

제 1 영역 필터(242)와 제 2 영역 필터(252)는, 예를 들어, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터(Liquid Crystal Tunable Filter, LCTF)일 수 있다. The first region filter 242 and the second region filter 252 may be, for example, a Liquid Crystal Tunable Filter (LCTF), which is a local bandpass filter for passing light in a designated spectral region.

삭제delete

본 시스템의 필터로서, 스펙트럼 영역(예를 들면, 440nm-720nm)에서 특정 파장 대역인 채널을 통과시키는 가변적 액정 필터를 사용하는 경우, 예를 들면, 10nm 간격으로 빛을 통과시키도록 제어될 수 있다. As a filter of the present system, when a variable liquid crystal filter that passes a channel in a specific wavelength band in a spectral range (for example, 440 nm to 720 nm) is used, it can be controlled to pass light at 10 nm intervals, for example .

가변적 액정 필터는 전자적으로 파장 변환이 가능하기 때문에 빠른 속도로 파장 선택이 가능하다. Since the variable liquid crystal filter can electronically change the wavelength, wavelength selection is possible at a high speed.

도 4를 참고하면, 가변적 액정 필터(www.perkinelmer.co.kr)는 소정의 간격마다 빛을 통과시키도록 제어될 수 있어, 수십-수백 개의 필터를 하나의 필터에 넣은 효과를 가지며, 이로 인하여 선명하고 다양한 컬러로 다중 파장 이미징을 구현할 수 있다.Referring to FIG. 4, the variable liquid crystal filter (www.perkinelmer.co.kr) can be controlled to pass light at predetermined intervals, and has the effect of putting several tens to several hundreds of filters into one filter, Multi-wavelength imaging can be implemented in sharp, diverse colors.

다시, 도 1을 참고하면, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 광 경로의 끝에 배치되고, 제 1 영역 필터(242)와 제 2 영역 필터(252)를 통과한 빛의 세기를 측정한다. 1, the first area camera 244 and the second area camera 254 are disposed at the end of the optical path, respectively, and pass through the first area filter 242 and the second area filter 252 Measure the intensity of light.

제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 흑백 카메라(monochrome camera)일 수 있다. 이때, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 소정의 초점 거리를 갖는 양(positive)의 삼중 렌즈를 통해 초점이 맞춰진 이미지의 세기를 획득할 수 있다. The first area camera 244 and the second area camera 254 may be monochrome cameras. At this time, the first area camera 244 and the second area camera 254 can acquire the intensity of the focused image through a positive triplet lens having a predetermined focal distance, respectively.

컴퓨팅부(300)는 촬영부(200)에서 획득한 각 채널의 분광 이미지를 정렬하고, 파장에 따른 복사 휘도를 출력할 수 있다. 다분광 이미지는 복수의 채널별로 촬영된 분광 이미지들의 조합으로 구성될 수 있다. The computing unit 300 may sort spectral images of the channels obtained by the photographing unit 200 and output the radiance depending on the wavelengths. The multi-spectral image may be composed of a combination of spectral images photographed for a plurality of channels.

컴퓨팅부(300)는 촬영부(200)에서 촬영된 다분광 이미지를 파장 대역에 따라 분리하여 출력한다. The computing unit 300 separates the multi-spectral image taken by the photographing unit 200 according to the wavelength band and outputs the separated multi-spectral image.

본 실시예에서 촬영될 부위에 질병과 관련되는 다양한 표지자를 정확히 검출하여 질병을 정확하게 진단하기 위하여, 촬영될 부위를 서로 다른 파장의 형광 물질에 의해 표지할 수 있다. In this embodiment, in order to accurately detect various markers related to the disease at the site to be photographed and accurately diagnose the disease, the site to be photographed can be labeled with fluorescent materials of different wavelengths.

하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 복합 프로브를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다. In the case of labeling a single marker with a single fluorescent material, it is difficult to accurately determine the disease site. In this embodiment, the complex probe is labeled with fluorescent materials of different wavelengths, Can be imaged.

촬영부(200)가 서로 다른 파장을 가지는 형광 물질로 표지한 촬영 부위를 촬영한 분광 이미지는 서로 다른 파장 영역을 갖는 형광 신호가 표시될 수 있다. The spectroscopic image obtained by photographing the photographed region marked with the fluorescent material having different wavelengths by the photographing unit 200 may display a fluorescent signal having different wavelength regions.

서로 다른 파장의 형광 물질로 표지한 복수의 표지자를 이용하여 관찰 부위를 촬영하는 경우, 영상 이미지에 복수의 형광 물질이 간섭을 발생시켜 각각의 형광 물질을 구분하기 어려울 수 있다. When a plurality of markers labeled with fluorescent materials having different wavelengths are used to photograph a region to be observed, a plurality of fluorescent materials may interfere with the image, and it may be difficult to distinguish each fluorescent material.

또한, 촬영 부위에 형광 물질로 표지한 표지자 이외의 물질이 광원(400)에서 조사된 여기광을 받아 고유의 빛을 발할 수 있다. In addition, a substance other than a marker labeled with a fluorescent substance may be irradiated with the excitation light irradiated from the light source 400 and emit intrinsic light.

예를 들어, 관찰 부위인 생물 조직에 포함된 콜라겐, 엘라스틴, 케라틴(Keratin), NADH, 플라빈(Flavin), 포르피린(porphyrin) 등이 여기광에 의해 빛을 반사하는 자가 형광(autofluorescence) 현상이 발생할 수 있다. For example, the autofluorescence phenomenon in which collagen, elastin, keratin, NADH, flavin, porphyrin, etc. contained in the biological tissue to be observed is reflected by excitation light Lt; / RTI >

이러한 자가 형광 현상으로 인하여 검출하고자 하는 표지 물질이 아닌 일반적으로 신체 내부에 분포되어 있는 자가 형광 물질이 표지자로 오인된 촬영 결과를 이용하여 질병을 진단할 때, 오진의 가능성이 있다. There is a possibility of misdiagnosis when diagnosing the disease by using the result of photographing in which the autofluorescent material, which is generally distributed in the body rather than the labeling substance to be detected due to the self fluorescence phenomenon, is mistaken for the marker.

따라서, 본 발명의 한 실시예에 따른 다중 파장 내시경 시스템의 컴퓨팅부(300)는 사용자가 촬영 결과인 다분광 이미지를 이용하여 정확한 진단을 할 수 있도록 촬영부(200)에서 획득한 촬영 결과를 소정의 각 형광 물질의 파장 대역에 따라 분리하여 출력할 수 있도록 구성된다. Accordingly, the computing unit 300 of the multi-wavelength endoscopic system according to an exemplary embodiment of the present invention allows the user to precisely diagnose a multi-spectral image, So that the fluorescence can be separated and outputted according to the wavelength band of each fluorescent material.

이때 컴퓨팅부(300)는 미리 형광 물질을 처리하지 않은(non-treat) 조직 샘플을 촬영한 자가 형광 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼 결과를 추출할 수 있다. At this time, the computing unit 300 can extract a self fluorescence spectral result indicating the intensity of light according to a wavelength band from a self-fluorescence image obtained by photographing a non-treat tissue sample.

또한, 컴퓨팅부(300)는 형광 물질을 각각 단일 처리한(Single Treated) 조직 샘플을 촬영한 복수의 단일 처리 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출할 수 있다. Also, the computing unit 300 may extract a single fluorescence spectral result indicating the intensity of light according to the wavelength band from a plurality of single processed image images obtained by photographing a tissue sample of a single Treated single fluorescent material.

먼저, 컴퓨팅부(300)는 촬영부(200)에서 촬영한 영상 데이터에서 파장 대역에 따른 빛의 세기를 나타내는 영상 스펙트럼 결과를 추출하고, 자가 형광 이미지의 스펙트럼에 따라 각 파장 대역에 따른 빛의 세기만큼 감쇄시켜 자가 형광 부분을 삭제하는 보정을 행한다. First, the computing unit 300 extracts an image spectrum result indicating the intensity of light according to a wavelength band in the image data photographed by the photographing unit 200, and calculates the intensity of light according to each wavelength band according to the spectrum of the self- And corrects to delete the self fluorescent portion.

그리고, 컴퓨팅부(300)는 단일 형광 스펙트럼으로부터 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 계산할 수 있다. 예를 들어, 전파장 대역에 따른 빛의 세기를 100으로 두고, 각 파장 대역에 따른 빛의 세기의 비율을 계산할 수 있다. The computing unit 300 may calculate a normalized value representing the intensity of the light according to the wavelength band from the single fluorescence spectrum. For example, it is possible to calculate the ratio of the intensity of light according to each wavelength band by setting the intensity of light according to the propagation field band to 100. [

그 다음, 컴퓨팅부(300)는 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)함으로써 복수 개의 형광 물질로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다. Next, the computing unit 300 unmixes the image spectral results of the image data by the intensity of the light according to each wavelength band according to the normalization value calculated from the single fluorescence spectrum, The photographed image may be divided into a plurality of image images so that only the respective fluorescent materials are displayed.

이에 따라 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 수행하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다.Accordingly, the computing unit 300 according to an exemplary embodiment of the present invention performs correction to remove the autofluorescence component from the multispectral image in order to reduce the probability of misdiagnosis when diagnosing disease or not according to the photographing result, Only a marked marker can be displayed.

또한, 복수의 표지자로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 표지자 만이 표시되도록 분리함으로써, 서로 다른 표지자를 보완하여 암의 구획을 정확하게 진단할 수 있도록 할 수 있다. In addition, by separating the image of the observed region marked with a plurality of markers so that only the respective markers are displayed, it is possible to accurately diagnose the division of the cancer by complementing different markers.

도 5는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법을 나타내는 흐름도이다. 5 is a flowchart illustrating an image processing method using the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.

도 5를 참고하면, 먼저 촬영될 부위를 다양한 파장 영역의 형광 물질로 표지한다(S110). 본 실험예에서 촬영될 부위는 암 검진을 위한 신체 내부 조직들일 수 있으며, 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 형광 물질로 표지한 프로브를 이용하여 표지할 수 있다. Referring to FIG. 5, a region to be photographed is labeled with a fluorescent material in various wavelength regions (S110). In this experiment, the site to be photographed may be internal tissues for cancer screening, and is a marker that is expressed in cancer. In this embodiment, the marker can be labeled using a probe labeled with a fluorescent material in various wavelength ranges .

표 1은 다중 파장 검출을 위한 다양한 영역 대의 프로브를 나타낸다. Table 1 shows the various area probes for multiple wavelength detection.

프로브 명칭Probe Name 표지자Marker 표지물질Labeling substance 파장 영역 (nm)Wavelength region (nm) HMRGHMRG g-Glutamyl transpeptidaseg-Glutamyl transpeptidase RhodamineRhodamine 501/524501/524 CetuximabCetuximab EGFR receptorEGFR receptor Flamma553Flamma553 553/570553/570 HerceptinHerceptin Her-2 receptorHer-2 receptor Flamma675Flamma675 675/700675/700

프로브는 항체 프로브 일 수 있다. 본 실시예에서 항체 프로브는 종양 및 대장암 세포에서 많은 발현을 보이고 있는 EGFR과 HER2에 대한 표적 항체인 Cetuximab과 Herceptin일 수 있다. 본 실시예에서 Cetuximab과 Herceptin에 각각 Flamma-553과 Flamma-675의 형광 물질로 표지를 하였다. The probe may be an antibody probe. Antibody probes in this example can be EctR and Cetuximab and Herceptin, which are targeted antibodies to EGFR and HER2, which are highly expressed in tumor and colorectal cancer cells. In this example, Cetuximab and Herceptin were labeled with Flamma-553 and Flamma-675 fluorescent materials, respectively.

또한, 프로브는 활성형 프로브 일 수 있다. 본 실시예에서 활성형 프로브는 종양 세포, 그리고 대장암 세포에서 많은 발현을 보이고 있는 GGT (γ-glutamyltranspeptidase)와 만나서 형광 활성을 나타내는 gGlu-HMRG일 수 있다. 본 실시예에서 HMRG에 로다민(Rhodamine)으로 표지할 수 있다. Further, the probe may be an active probe. In this embodiment, the active probe may be gGlu-HMRG, which exhibits fluorescence activity in association with tumor cells and GGT (gamma-glutamyltranspeptidase), which is highly expressed in colon cancer cells. In this embodiment, HMRG may be labeled with rhodamine.

항체 프로브는 다중 파장 검출 내시경 영상 획득을 하기 48시간 전에 마우스(mouse)의 꼬리에 정맥 투여하고, 활성형 프로브는 다중 파장 검출 내시경을 실행하기 10분 전에 대장에 도포 투여할 수 있다. Antibody probes may be administered intravenously to the tail of a mouse 48 hours prior to multi-wavelength detection endoscopic image acquisition, and active probes may be applied to the colon 10 minutes before the multi-wavelength detection endoscope is performed.

그리고, 촬영 부위로 여기 광원을 조사하고, 반사된 빛을 전달받아 촬영 영상을 획득한다(S120).Then, the excitation light source is irradiated to the photographed region, and the photographed image is acquired by receiving the reflected light (S120).

이때, 내시경 선단부를 통해 들어간 광원이 관찰 대상을 여기(excitation)하고, 관찰 대상에서 반사된 빛은 중계렌즈(220)를 통해 제 1 영역 카메라(244) 및 제 2 영역 카메라(254)로 전달된다. At this time, the light source entered through the endoscope end excites the observation object, and the light reflected from the observation object is transmitted to the first area camera 244 and the second area camera 254 through the relay lens 220 .

광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다. The light source 400 may include two or more light sources having different wavelengths in order to capture an object to be observed marked with a fluorescent sample having different wavelengths.

제 1 영역 카메라(244) 및 제 2 영역 카메라(254)는 각각 제 1 영역 필터(242)와 제 2 영역 필터(252)를 포함하고, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터로 구현될 수 있다. The first region camera 244 and the second region camera 254 each include a first region filter 242 and a second region filter 252 and are each a local bandpass filter that passes light in a specified spectral region, Liquid crystal filter.

삭제delete

다음 촬영 영상에 포함된 자가 형광 부분을 제거하고, 소정의 파장 대역에 따라 분리하여 출력한다(S130).The self-fluorescence portion included in the next captured image is removed, separated according to a predetermined wavelength band, and output (S130).

내시경을 통해 획득된 형광 스펙트럼 데이터는 컴퓨팅부(300)의 분할 작업을 통하여 파장 대역 별로 분할된 결과를 출력하고, 자가 형광 부분이 제거되어 최종적으로 관찰 대상에서 얻고자 하는 파장 영역의 영상을 획득할 수 있다. The fluorescence spectral data obtained through the endoscope outputs the result divided by the wavelength band through the division operation of the computing unit 300, and the autofluorescence portion is removed to finally acquire the image of the wavelength region to be obtained from the observation target .

다중 파장 내시경 시스템(100)은 미리 저장된 미처리 조직 샘플 영상 및 형광 물질을 단일 처리한 조직 샘플 영상의 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼과 단일 형광 스펙트럼 결과를 저장할 수 있다. The multi-wavelength endoscope system 100 may store a self fluorescence spectrum and a single fluorescence spectral result, which represent intensity of light according to a wavelength band of a pre-stored untreated tissue sample image and a single-processed tissue sample image.

이때 자가 형광 스펙트럼 및 단일 형광 스펙트럼으로부터 계산된 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 더 저장할 수 있다. At this time, it is possible to further store the normalization value indicating the intensity of light according to the wavelength band calculated from the self fluorescence spectrum and the single fluorescence spectrum.

그 다음 다중 파장 내시경 시스템(100)은 복수의 형광 물질로 표지된 관찰 부위를 촬영한 영상 데이터의 스펙트럼에서 자가 형광 스펙트럼 정규화 수치만큼 감쇄함으로써 자가 형광 부분을 제거하는 보정을 한다. The multi-wavelength endoscope system 100 then corrects for eliminating the autofluorescence portion by attenuating the spectrum of the image data photographed with a plurality of fluorescent substance-labeled observation regions by the autofluorescence spectrum normalized value.

그리고, 다중 파장 내시경 시스템(100)은 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)하고, 복수 개의 형광 물질로 표지한 관찰 부위의 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다. Then, the multi-wavelength endoscope system 100 separates the image data of the image data by unmixing the intensity of the light according to each wavelength band according to the normalized value calculated from the single fluorescence spectrum, It is possible to display a plurality of image images so that only the respective fluorescent materials appear.

즉, 하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하여 질병 부위를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다. That is, in the case where one marker is labeled with one fluorescence substance, it is difficult to accurately determine the disease site. Therefore, in this embodiment, by labeling the diseased site using a complex probe labeled with a fluorescent substance of different wavelength, Other probes can be supplemented to accurately image diseased areas.

또한, 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다. In addition, the computing unit 300 according to an exemplary embodiment of the present invention performs correction to remove the autofluorescence component from the multispectral image to reduce the probability of misdiagnosis when diagnosing disease or not according to the photographing result, Only one marker can be displayed.

도 6a 내지 도 6c는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다. 6A to 6C are graphs illustrating a simulation apparatus for evaluating performance of a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention and simulation results thereof.

도 6a을 참고하면, 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위해 약 15mm 길이의 폴리에틸렌 튜브 (0.28 mm inner diameter, PE-10)를 준비하여 각각에 여러 색상의 형광 염료를 주입하였다.6A, a polyethylene tube (0.28 mm inner diameter, PE-10) having a length of about 15 mm was prepared to evaluate the performance of the multi-wavelength automatic analysis endoscope system according to an embodiment of the present invention. Fluorescent dye was injected.

튜브의 한 쪽 끝은 원형의 금속링에 부착하고 다른 쪽 끝은 내시경 관찰이 이루어지는 중앙으로 향하여 모이게 하였다. 사용된 형광 염료는 가시광선 영역 대의 서로 다른 색을 갖는 복수의 염료를 이용하였고, 서로 가까운 파장 영역을 포함하고 있다.One end of the tube was attached to a circular metal ring and the other end was collected toward the center of the endoscopic observation. The fluorescent dyes used used a plurality of dyes having different colors of visible light band and contained wavelength regions close to each other.

도 6b를 참고하면, 형광 염료를 주입한 튜브를 각각 촬영하여 영상 데이터를 확보하고, 도 6c와 같이 각각의 영상 데이터 결과로부터 파장 대역에 따른 빛의 세기를 나타내는 스펙트럼을 획득하였다. 이를 통해, 각 염료가 가진 파장 별로 분리된 영역을 확인할 수 있다.Referring to FIG. 6B, the tubes injecting the fluorescent dye were respectively photographed to acquire image data, and a spectrum representing the intensity of light according to the wavelength band was obtained from the respective image data results as shown in FIG. 6C. As a result, it is possible to identify regions separated by wavelengths of each dye.

이때 본 실시예에 따른 다중 파장 내시경 시스템(100)에서 읽어 들이는 설정 파장 범위는 420nm 내지 620nm 일 수 있다.At this time, the set wavelength range read in the multi-wavelength endoscope system 100 according to the present embodiment may be 420 nm to 620 nm.

도 6d를 참고하면 컴퓨팅부(300)를 통해 단일 형광 스펙트럼 결과에 따라 분해 과정을 거쳐 완성된 영상 이미지 파일을 획득한다.Referring to FIG. 6D, a complete image image file is obtained through a decomposition process according to a single fluorescence spectrum result through the computing unit 300.

도 7은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이고, 도 8은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. FIG. 7 is a view showing image results obtained from an untreated tissue sample and a single fluorescence-treated tissue sample by the multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention, and FIG. FIG. 2 is a view showing a result of endoscopic imaging of a tissue sample treated with a plurality of fluorescent materials using an automatic multi-wavelength analysis endoscopic system according to the present invention.

이때, 활성형 프로브(HMRG)를 국소 도포를 통해 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 대장 조직을 적출하여 다중 파장 자동 분석 내시경 시스템을 이용하여 각 파장 별 이미지를 획득하였다. At this time, an active probe (HMRG) was injected via topical application, and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) was injected intravenously, and then colon tissues were extracted and analyzed using a multi-wavelength automatic analysis endoscope system Images of each wavelength were acquired.

도 7을 참고하면, 대조 실험을 위해 프로브를 처리하지 않은 동물군(Non-treat)의 대장 조직에서는 자가 형광에 의한 형광 이미지를 관찰할 수 있다. Referring to FIG. 7, fluorescence images by autofluorescence can be observed in the non-treat colonic tissue of the non-probe-treated animal for the control experiment.

단일 프로브 처리한 조직 샘플을 관찰 부위로 촬영하고, 촬영한 영상 데이터로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출하였다. A single probe-treated tissue sample was taken at the observation site, and a single fluorescence spectral result indicating the intensity of light according to the wavelength band was extracted from the captured image data.

도 8을 참고하면 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하고, 복합 프로브로 표지한 조직 샘플을 촬영한 영상 데이터에서 단일 형광 스펙트럼 결과에 따라 각 형광 물질만이 표지되도록 영상을 분리하여 출력함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 진단할 수 있도록 영상화 한 것을 확인할 수 있다. Referring to FIG. 8, in this embodiment, a composite probe labeled with a fluorescent material having a different wavelength is used. In the image data obtained by photographing a tissue sample labeled with a complex probe, only the fluorescent material is labeled according to a single fluorescence spectral result By separating and outputting the images, it can be confirmed that the images are imaged so as to accurately diagnose diseased parts by complementing different probes.

도 9는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. 9 is a view showing an endoscopic imaging result of a living colon cancer model mouse using a multi-wavelength automatic analysis endoscopic system according to an embodiment of the present invention.

활성형 프로브(HMRG)를 국소 도포를 통해 대장암 모델 마우스에 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 살아 있는 상태에서 다중 파장 자동 분석 내시경 시스템을 이용하여 대장 내시경을 통해 각 형광 물질별 이미지를 획득하였다. An active probe (HMRG) was injected into a colorectal mouse model mouse via topical application, and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) was injected intravenously, and then the multi-wavelength automatic analysis endoscope system And images of each fluorescent substance were obtained through colonoscopy.

각각의 단일 프로브로는 암의 구획을 서로 다른 부위로 영상화하여 정확히 판단하기 어렵지만, 복합 프로브는 서로 다른 프로브를 보완하며 암의 구획을 영상화하는 것을 관찰하였다. While it is difficult to accurately determine each of the single probes by imaging the sections of the cancer to different regions, the composite probes complement the different probes and observe imaging the sections of the cancer.

도 10은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다. FIG. 10 is a view showing an endoscopic imaging result of a living colon cancer model pig using a multi-wavelength autoanalysis endoscopic system according to an embodiment of the present invention.

인체와 유사한 돼지에 활성형 프로브(HMRG)와 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 주입한 다음, 다중 파장 자동 분석 내시경 시스템을 대장 내시경을 통해 각 파장 별 이미지를 획득하였다. An active probe (HMRG) and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675) were injected into a human-like pig, and then an image of each wavelength was acquired through a colonoscopic endoscope system.

대조 실험을 위해 프로브를 처리하지 않았을 때에는 형광 이미지가 획득되지 않았다.Fluorescence images were not obtained when the probe was not treated for control experiments.

각각의 형광 프로브를 단독 처리 (Single treated)했을 때 각 프로브가 표지하고 있는 형광의 스펙트럼 파장에서만 신호가 검출되었고, 이에 따른 단일 형광 스펙트럼 결과를 이용하여 세 가지 프로브를 동시에 처리 (Triple Treated)한 영상 데이터로부터 각 형광 물질만이 표지되도록 영상 데이터 분리하였다. Signals were detected only at the spectral wavelength of the fluorescent light labeled by each probe when each fluorescence probe was treated as a single treatment, and a triple-treated image of three probes was simultaneously processed using a single fluorescence spectral result Data were separated from the data so that only each fluorescent substance was labeled.

이에 따라 서로 다른 프로브를 보완함으로써, 거짓 양성 오류를 줄이고 암의 구획을 보다 정확하게 영상화한 것을 확인할 수 있다. Thus, by complementing the different probes, it can be seen that false positive errors are reduced and the compartments of the cancer are imaged more accurately.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (15)

서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서,
상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와,
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하고,
상기 컴퓨팅부는
상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하고,
상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는
다중 파장 내시경 시스템.
A multi-wavelength endoscope system for imaging an observation site marked with a plurality of fluorescent substances having different colors,
Polarized incident light reflected from the observation region in a first direction and a second direction perpendicular to the first direction and separating the spectral region of the incident light polarized in the first direction and the second direction into a plurality of spectral channels An imaging unit for acquiring image data by measuring light intensity of each of the plurality of spectral channels;
Storing the single fluorescence spectrum extracted from the sample image data photographed by treating the observation region with each fluorescent substance,
And a computing unit for separating and outputting the image data photographed by the photographing unit using the single fluorescence spectrum so that only one of the plurality of fluorescent materials is displayed,
The computing unit
Storing the untreated fluorescence spectrum extracted from the raw image data obtained by photographing the observation site not treated with the fluorescent substance,
And performing correction to remove the self fluorescent component included in the image data photographed by the photographing unit using the unprocessed fluorescence spectrum
Multi - Wavelength Endoscopy System.
제 1 항에서,
상기 촬영부는
상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터와,
상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함하는 다중 파장 내시경 시스템.
The method of claim 1,
The photographing unit
A beam splitter for polarizing the incident light in the first direction and the second direction perpendicular to the first direction;
A first area filter positioned in a path of light separated in the first direction and passing light in a predetermined range;
A second area filter located in a path of light separated in the second direction and passing light in a predetermined range,
A first area camera for measuring the intensity of light passing through the first area filter,
And a second region camera for measuring the intensity of light passing through the second region filter.
삭제delete 삭제delete 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서,
상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터와,
상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라와,
상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하고,
상기 컴퓨팅부는
상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하고,
상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는
다중 파장 내시경 시스템.
A multi-wavelength endoscope system for imaging an observation site marked with a plurality of fluorescent substances having different colors,
A beam splitter for polarizing the incident light reflected from the observation region in a first direction and a second direction perpendicular to the first direction;
A first area filter positioned in a path of light separated in the first direction and passing light in a predetermined range;
A second area filter located in a path of light separated in the second direction and passing light in a predetermined range,
A first area camera for measuring the intensity of light passing through the first area filter,
A second area camera for measuring intensity of light passing through the second area filter,
Wherein the image data obtained by using the intensity of light passing through the first area filter and the intensity of light passing through the second area filter is separated and output so that only one of the plurality of fluorescent materials is displayed, ≪ / RTI >
The computing unit
Storing the untreated fluorescence spectrum extracted from the raw image data obtained by photographing the observation site not treated with the fluorescent substance,
And performing correction to remove the self fluorescence component included in the image data using the unprocessed fluorescence spectrum
Multi - Wavelength Endoscopy System.
제 5 항에서,
상기 컴퓨팅부는
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 다중 파장 내시경 시스템.
The method of claim 5,
The computing unit
Storing the single fluorescence spectrum extracted from the sample image data photographed by treating the observation region with each fluorescent substance,
And separating the image data so that only one of the plurality of fluorescent materials is displayed using the single fluorescence spectrum.
삭제delete 삭제delete 촬영부와 컴퓨팅부를 포함하는 다중 파장 내시경 시스템이 영상을 처리하는 방법으로서,
상기 촬영부에 의해, 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계와,
상기 촬영부에 의해, 상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계와,
상기 컴퓨팅부에 의해, 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계와,
상기 컴퓨팅부에 의해, 분리된 상기 영상 데이터를 파장 대역에 따라 출력하는 단계와,
상기 컴퓨팅부에 의해, 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하고, 상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 포함하는 영상 처리 방법.
A method for processing an image in a multi-wavelength endoscope system including a photographing unit and a computing unit,
Irradiating a light source to an observation site marked with a plurality of fluorescent substances having different colors by the photographing unit;
Acquiring image data by receiving light reflected from the observation site by the photographing unit;
Separating the image data so that only one of the plurality of fluorescent materials is displayed by the computing unit;
Outputting the separated image data according to a wavelength band by the computing unit;
The computing unit extracts the unprocessed fluorescence spectrum from the unprocessed image data photographed at the observation site not treated with the fluorescent material and performs a correction for removing the self fluorescence component contained in the image data using the unprocessed fluorescence spectrum The method comprising the steps of:
제 9 항에서,
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 상기 단계는,
상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함하는 영상 처리 방법.
The method of claim 9,
And separating the image data so that only one fluorescent material among the plurality of fluorescent materials is displayed,
And extracting a single fluorescence spectrum from the sample image data photographed by singly processing the observation region with each of the fluorescent materials.
제 10 항에서,
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 상기 단계는,
상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 단계를 더 포함하는 영상 처리 방법.
11. The method of claim 10,
And separating the image data so that only one fluorescent material among the plurality of fluorescent materials is displayed,
And separating the image data so that only one fluorescent material of the plurality of fluorescent materials is displayed using the single fluorescence spectrum.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020160135305A 2015-11-02 2016-10-18 Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same Expired - Fee Related KR101978838B1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020160135305A KR101978838B1 (en) 2015-11-02 2016-10-18 Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same
AU2017346249A AU2017346249B2 (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
PCT/KR2017/011522 WO2018074833A1 (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
US16/342,900 US10610088B2 (en) 2016-10-18 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
RU2019112728A RU2716680C1 (en) 2016-10-18 2017-10-18 Multi-wave endoscopic system and image processing method using it
SG11201902989YA SG11201902989YA (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
CA3040851A CA3040851A1 (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20150153144 2015-11-02
KR1020150153144 2015-11-02
KR1020160135305A KR101978838B1 (en) 2015-11-02 2016-10-18 Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same

Publications (2)

Publication Number Publication Date
KR20170051264A KR20170051264A (en) 2017-05-11
KR101978838B1 true KR101978838B1 (en) 2019-05-16

Family

ID=66674216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135305A Expired - Fee Related KR101978838B1 (en) 2015-11-02 2016-10-18 Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same

Country Status (5)

Country Link
KR (1) KR101978838B1 (en)
AU (1) AU2017346249B2 (en)
CA (1) CA3040851A1 (en)
SG (1) SG11201902989YA (en)
WO (1) WO2018074833A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7017198B2 (en) * 2018-06-22 2022-02-08 株式会社Aiメディカルサービス A computer-readable recording medium that stores a disease diagnosis support method, diagnosis support system, diagnosis support program, and this diagnosis support program using endoscopic images of the digestive organs.
US12292564B2 (en) 2019-04-08 2025-05-06 Activ Surgical, Inc. Systems and methods for medical imaging
KR102282179B1 (en) * 2019-04-30 2021-07-27 을지대학교 산학협력단 Hand-held surgical probe for fluorescence imaging
CN115389254A (en) * 2022-07-13 2022-11-25 北京市轨道交通学会 Minimally invasive probing method and device for urban rail transit tunnel structure
DE102023135636A1 (en) * 2023-12-18 2025-06-18 Karl Storz Se & Co. Kg Imaging device, in particular endoscopic, exoscopic and/or microscopic imaging device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411631B1 (en) * 2001-10-18 2003-12-18 주식회사 메디미르 Fluorescence endoscope apparatus and a method for imaging tissue within a body using the same
JP5506472B2 (en) * 2010-03-12 2014-05-28 オリンパス株式会社 Fluorescence endoscope device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139598B2 (en) * 2002-04-04 2006-11-21 Veralight, Inc. Determination of a measure of a glycation end-product or disease state using tissue fluorescence
JP4311607B2 (en) * 2002-05-27 2009-08-12 富士フイルム株式会社 Fluorescence diagnostic information generation method and apparatus
JP4954699B2 (en) * 2006-12-28 2012-06-20 オリンパス株式会社 Fluorescence endoscope system
US20090131800A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Multimodal imaging system for tissue imaging
KR101243183B1 (en) * 2011-04-08 2013-03-14 한국전기연구원 Apparatus for measurement of autofluorescence of advanced glycation end products
KR102028199B1 (en) * 2012-08-28 2019-10-04 한국전자통신연구원 Medical diagnosis device and method for controlling the device
KR20160117440A (en) * 2013-12-31 2016-10-10 메모리얼 슬로안-케터링 캔서 센터 Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real-time

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411631B1 (en) * 2001-10-18 2003-12-18 주식회사 메디미르 Fluorescence endoscope apparatus and a method for imaging tissue within a body using the same
JP5506472B2 (en) * 2010-03-12 2014-05-28 オリンパス株式会社 Fluorescence endoscope device

Also Published As

Publication number Publication date
AU2017346249A1 (en) 2019-04-18
AU2017346249B2 (en) 2019-11-21
KR20170051264A (en) 2017-05-11
WO2018074833A1 (en) 2018-04-26
CA3040851A1 (en) 2018-04-26
SG11201902989YA (en) 2019-05-30

Similar Documents

Publication Publication Date Title
KR101978838B1 (en) Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same
US10111614B2 (en) Apparatus and method for detecting NIR fluorescence at sentinel lymph node
US8285015B2 (en) Simultaneous acquisition of differing image types
DE69938493T2 (en) ENDOSCOPE FOR DETECTING FLUORESCENCE IMAGES
US20180000401A1 (en) Apparatus and method for detecting nir fluorescence at sentinel lymph node
US9456737B2 (en) In-vivo imaging device and method for performing spectral analysis
US11234584B2 (en) Molecular chemical imaging endoscopic imaging systems
US20080007716A1 (en) Raman scattering light observation apparatus and endoscope apparatus
WO2016003371A1 (en) Raman spectroscopy system, apparatus, and method for analyzing, characterizing, and/or diagnosing a type or nature of a sample or a tissue such as an abnormal growth
US20140163389A1 (en) In vivo detection of eosinophils
JP2006296635A (en) Endoscope apparatus
CN104010558A (en) Fluorescence observation device, fluorescence observation method, and working method of fluorescence observation device
CN111031888A (en) System for endoscopic imaging and method for processing images
JP2021533907A (en) Identification of stones and tissues by molecular chemistry imaging
JP6404687B2 (en) Fluorescence imaging apparatus and fluorescence imaging method
JP2007528505A (en) Multichannel optical imaging
CN207516243U (en) Tomography endoscopic microspectrum imaging device
US10610088B2 (en) Multi-wavelength endoscopic system and image processing method using same
JP2021035549A (en) Endoscope system
CN107361725B (en) Quick tissue molecule imaging device
JP2006340796A (en) Sentinel lymph node detection system
KR20190079187A (en) Multi-modal fusion endoscope system
JP3810337B2 (en) Imaging device
Tamošiūnas et al. Wide-field Raman spectral band imaging of tumor lesions in veterinary medicine
Favreau An Excitation-Scanning Hyperspectral Microscope for Imaging Exogenous and Endogenous Fluorescence

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161018

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181024

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161018

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20181026

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20161018

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181113

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190306

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190430

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190509

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190510

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220329

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250220