[go: up one dir, main page]

KR102785966B1 - 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법 - Google Patents

딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법 Download PDF

Info

Publication number
KR102785966B1
KR102785966B1 KR1020220034156A KR20220034156A KR102785966B1 KR 102785966 B1 KR102785966 B1 KR 102785966B1 KR 1020220034156 A KR1020220034156 A KR 1020220034156A KR 20220034156 A KR20220034156 A KR 20220034156A KR 102785966 B1 KR102785966 B1 KR 102785966B1
Authority
KR
South Korea
Prior art keywords
cell
image
target
cells
beads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220034156A
Other languages
English (en)
Other versions
KR20230136832A (ko
Inventor
정완균
도준상
김기훈
허영진
이건도
김성은
Original Assignee
주식회사 뉴로메카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴로메카 filed Critical 주식회사 뉴로메카
Priority to KR1020220034156A priority Critical patent/KR102785966B1/ko
Publication of KR20230136832A publication Critical patent/KR20230136832A/ko
Application granted granted Critical
Publication of KR102785966B1 publication Critical patent/KR102785966B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404—Handling flow, e.g. hydrodynamic focusing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0463—Neocognitrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/06—Fluid handling related problems
    • B01L2200/0647—Handling flowable solids, e.g. microscopic beads, cells, particles
    • B01L2200/0652—Sorting or classification of particles or molecules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2400/00—Moving or stopping fluids
    • B01L2400/04—Moving fluids with specific forces or mechanical means
    • B01L2400/0475—Moving fluids with specific forces or mechanical means specific mechanical means and fluid pressure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Hematology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Clinical Laboratory Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

일 실시예에 따른 이미지 기반의 미세유체 세포 분류기는, 비드 또는 세포의 흐름을 형성하며, 흐름 집속 영역, 감지 영역, 및 분류 영역을 포함하는 미세 유체 칩, 상기 감지 영역에서 유체 역학적으로 집속된 상기 비드 또는 세포를 능동 픽셀 센서 카메라를 사용하여 이미지화 하고, 컴퓨터부에서 딥 러닝 알고리즘으로 비드 또는 세포 이미지를 분석하여 표적 비드 또는 표적 세포를 추론하며, 상기 표적 비드 또는 표적 세포가 상기 분류 영역에 도달하기 전에 트리거 신호를 생성하는 세포 이미징 및 분석부, 및 상기 분류 영역에서 작동 채널, 폐기물 채널, 및 수집 채널을 포함하며, 상기 트리거 신호를 전송받아 주사기 연결식 압전 액추에이터로 상기 작동 채널을 구동시켜 상기 표적 비드 또는 표적 세포를 분류하도록 구성된 주사기 구동 세포 분류부를 포함한다.

Description

딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법{Image-based Microfluidic Cell Sorter and Microfluidic Cell Sorting Method Using Deep Learning Algorithm}
본 개시는 이미지 기반의 미세유체 세포 분류기 및 미세 유체 세포 분류 방법에 관한 것이다.
이미지 기반 분석 및 표적 세포를 뚜렷한 개체군으로 분리하는 것은 세포 간 차이와 단일 세포의 고유한 특성을 결정하는 데 필요한 생물 의학 연구 도구이다. 이러한 기술을 사용하여 분리된 세포는 단일 세포 분석, 신약 개발, 단백질 공학 및 재생 의학에 활용될 수 있다. 세포 분류 기술은 또한 환자의 임상 요구 사항을 충족하기 위해 세포 집단을 강화하는 데 사용할 수 있다.
지난 수십 년 동안 유세포 분석(flow cytometry)은 이기종 혼합물(heterogeneous mixture)에서 세포를 분석하고 분리하는 데 널리 사용되는 도구로 개발되었다. 유세포 분석의 인기 있는 기술 중 하나는 형광 활성화 세포 분류(FACS, Fluorescence-Activated Cell Sorting)로, 전방 및 측면 산란에서 수집된 1차원 형광 신호를 사용하여 세포 혼합물에서 표적 세포를 분리한다. 이 접근 방식의 인기가 높아짐에도 불구하고 FACS에는 몇 가지 중요한 단점이 있다. 첫째, FACS에서 널리 사용되는 표지제는 분리된 세포의 행동을 변경할 수 있다. 결과적으로 분류된 세포는 원래 세포와 동일한 특성을 나타내지 않아 후속 사용이 불가능할 수 있다. 그러나 라벨링 시약을 사용하지 않으면 전방 및 측면 산란 결과의 선택성과 감도가 저하된다. 둘째, FACS 기반 세포 분석은 형광 바이오마커 및 광산란 강도와 같은 저해상도 데이터 소스에 의존한다. FACS를 사용하여 수집된 저해상도 산란광 신호에는 공간 정보가 없으므로 세포 내 소기관의 국소화 및 세포 기하학 및 핵 및 세포 골격 모양과 같은 수많은 형태학적 특징의 분석을 배제한다. 이러한 단점은 세포 간 차이를 이해하는 데 FACS의 유용성을 크게 제한한다.
이미징 유세포 분석(IFC, Imaging Flow Cytometry)은 라벨링 시약을 사용하지 않고 고해상도 이미지 데이터를 획득할 수 있다는 점에서 FACS보다 우수하다. IFC의 이미징 기능은 단일 세포 분석 및 대규모 이기종 집단 내의 희귀 세포 검출을 용이하게 하고 고유한 형태학적 세포 특징의 결정을 가능하게 한다. 딥 러닝 알고리즘은 콘텐츠가 많은 이미지 정보에서 숨겨진 세포 특징을 성공적으로 추출하는 것으로 밝혀졌으며 여러 딥 러닝 기반 이미징 유세포 분석은 고해상도 이미지 데이터에서 형태학적 특징을 추출하는 데 효과적인 것으로 나타났다. 이 프로세스를 높은 처리량의 세포 분류 기능과 결합함으로써 딥 러닝 기반 이미징 유세포 분석을 세포 농축 및 세포 간 차이 연구로 확장할 수 있다.
하지만, 처리량이 많은 이미지 활성화 세포 분류에 딥 러닝 알고리즘을 적용하는 것은 이러한 알고리즘의 긴 데이터 처리 시간과 고급 이미징 및 분류 하드웨어의 필요성으로 인해 상당한 도전 과제로 입증되었다. 또한 세포 이미징 시스템과 분류 장치의 통합은 처리량이 많은 세포 분류기 개발의 또 다른 중요한 과제이다. 이러한 통합 시스템은 세포 운동의 속도를 정확하게 측정하고 분류 장치의 대기 시간 및 제한된 시간 내에서 분류 결정을 내릴 수 있어야 한다. 결과적으로 작동 신호 생성의 작은 오류로 인해 시스템이 고속 세포 분류에 실패할 수 있는 문제가 있다.
실시예의 일 측면은 상업적으로 이용 가능하고 쉽게 제작할 수 있는 구성 요소를 사용하여 사용자 친화적이며 딥 러닝 알고리즘의 추론 시간을 크게 줄인 이미지 기반의 미세 유체 세포 분류기 및 세포 분류방법을 제공하고자 한다.
또한 주사기 연결식 압전 액추에이터를 고처리량 세포 분류에 적용한 미세 유체 이미지 활성화 세포 분류기 및 세포 분류방법을 제공하고자 한다.
그러나, 본 발명의 실시예들이 해결하고자 하는 과제는 상술한 과제에 한정되지 않고 본 발명에 포함된 기술적 사상의 범위에서 다양하게 확장될 수 있다.
일 실시예에 따른 이미지 기반의 미세유체 세포 분류기는, 비드/세포의 흐름을 형성하며, 흐름 집속 영역, 감지 영역, 및 분류 영역을 포함하는 미세 유체 칩, 상기 감지 영역에서 유체 역학적으로 집속된 상기 비드/세포를 능동 픽셀 센서 카메라를 사용하여 이미지화 하고, 컴퓨터부에서 딥 러닝 알고리즘으로 비드/세포 이미지를 분석하여 표적 비드/세포를 분류하며, 상기 표적 비드/세포가 상기 분류 영역에 도달하기 전에 트리거 신호를 생성하는 세포 이미징 및 분석부, 및 상기 분류 영역에서 작동 채널, 폐기물 채널, 및 수집 채널을 포함하며, 상기 트리거 신호를 전송받아 주사기 연결식 압전 액추에이터로 상기 작동 채널을 구동시켜 상기 표적 비드/세포를 분류하도록 구성된 주사기 구동 세포 분류부를 포함한다.
상기 흐름 집속 영역은 샘플 유체 입구와 4개의 시스(sheath) 유체 입구를 포함하고, 상기 샘플 유체 입구에서 주입된 비드/세포 샘플은 상기 4개의 시스 유체에 의해 유체 역학적으로 3차원(3D) 집속될 수 있다.
상기 세포 이미징 및 분석부에서 상기 능동 픽셀 센서 카메라는 서로 다른 화각(FOV, Field of View)을 갖는 두 개의 고속 CMOS (Complementary Metal Oxide Semiconductor) 카메라를 포함하고, 상기 미세 유체 칩은 상기 두 개의 고속 CMOS 카메라가 연결된 도립 현미경에 배치될 수 있다.
상기 컴퓨터부는 상기 표적 비드/세포가 상기 분류 영역에 도달하기 전에 다기능 I/O 디바이스를 사용하여 비대칭 사다리꼴 전압 펄스를 생성할 수 있다.
상기 딥 러닝 알고리즘은 컴퓨팅 디바이스에 의해 수행되는 CNN (Convolutional Neural Networks)을 활용할 수 있다.
상기 딥 러닝 알고리즘은 18계층 심층 CNN(18-layer-deep CNN)인 ResNet18를 활용할 수 있다.
상기 분류 영역은 상기 감지 영역으로부터 이어지는 메인 채널을 포함하고, 상기 작동 채널은 상기 메인 채널의 측방으로부터 연결되며, 상기 폐기물 채널과 수집 채널은 상기 메인 채널이 분기되어 형성될 수 있다.
상기 주사기 구동 세포 분류부는, 90도 구부러진 바늘을 갖는 기밀 주사기와, 상기 기밀 주사기에 연결되고 상기 트리거 신호를 전송받아 상기 기밀 주사기를 구동시키는 압전 액추에이터를 포함할 수 있다.
다른 실시예에 따른 이미지 활성화 미세유체 세포 분류 방법은, 미세 유체 칩을 통해 비드/세포의 흐름을 형성하면서 컴퓨팅 디바이스에 의해 표적 비드/세포를 분류하는 방법에 있어서, 상기 미세 유체 칩으로 주입되어 유체 역학적으로 집속된 비드/세포를 능동 픽셀 센서 카메라를 사용하여 이미지화 하는 이미지 획득 단계, 상기 비드/세포 이미지에서 노이즈를 제거하고 개별 세포 이미지를 찾아 크로핑(cropping)하는 이미지 처리 단계, 상기 크롭된(cropped) 개별 세포 이미지를 상기 컴퓨팅 디바이스에 의해 수행되는 딥 러닝 알고리즘을 이용하여 상기 표적 비드/세포 이미지를 선별하고 트리거 신호를 생성하는 이미지 분류 단계, 및 상기 트리거 신호에 따라 주사기 연결식 압전 액추에이터로 상기 표적 비드/세포의 경로를 제어하여 상기 표적 비드/세포를 분류하는 실시간 세포 분류 단계를 포함한다.
상기 이미지 획득 단계는, 서로 다른 화각(FOV, Field of View)을 갖는 두 개의 고속 CMOS (Complementary Metal Oxide Semiconductor) 카메라를 사용하여 이미지를 지속적으로 캡처하고 상기 이미지 데이터와 캡처 시간을 스택에 저장하는 것을 포함할 수 있다.
상기 이미지 처리 단계는, 상기 비드/세포 이미지에서 노이지를 제거하고 바이너리 세포 이미지를 생성하여 윤곽선을 정의하여 상기 개별 세포 이미지를 찾아내는 것을 포함할 수 있다.
상기 이미지 분류 단계는, 상기 딥 러닝 알고리즘으로 18계층 심층 CNN(18-layer-deep CNN; Convolutional Neural Networks)인 ResNet18을 활용하는 것을 포함할 수 있다.
상기 이미지 분류 단계에서 상기 딥 러닝 알고리즘은 학습하는 과정을 포함하고, 상기 학습하는 과정은, 다양한 조명 및 초점 조건에서 단일 세포 이미지를 획득하여 클래스당 100,000개 이상의 비드/세포 이미지를 저장한 후 잘못된 단일 세포 이미지를 수동으로 삭제하여 데이터 세트를 준비하고, 각 클래스에 대해 상기 데이터 세트의 이미지를 섞은 다음 훈련 80%, 검증 10%, 및 테스트 10%를 위해 3개의 하위 집합으로 무작위로 나누어 학습하는 것을 포함할 수 있다.
상기 학습하는 과정은 상기 데이터 세트를 사용하여 아담 최적화 알고리즘(Adam Optimizer)으로 50 에포크(epoch) 이상 교육하는 것을 포함할 수 있다.
실시예에 따른 미세 유체 이미지 활성화 세포 분류기에 의하면, 상업적으로 이용 가능하고 쉽게 제작할 수 있는 구성 요소를 사용하여 사용자 친화적인 장치를 구성할 수 있다.
또한 실시예에 따른 미세 유체 이미지 활성화 세포 분류 방법에 의하면, 추론 시간을 크게 줄여 3ms 이내에 분류 결정을 할 수 있고 단일 컴퓨터로도 최대 850eps (events per second)까지 세포를 감지하고 최대 100eps 까지 세포를 분류할 수 있다.
나아가 주사기 연결식 압전 액추에이터를 고처리량 세포 분류에 적용하여 세포 분류 실험의 준비와 미세 유체 분류 칩의 제조를 크게 단순화할 수 있고, 완전한 밀봉이 필요하지 않아 정밀한 정렬이 필요하지 않으며, 주사기는 무시할 수 있는 지연으로 압전 스택 액추에이터의 확장을 통해 힘을 전달하기 때문에 높은 처리량 분류를 수행할 수 있다.
도 1은 일 실시예에 따른 이미지 기반의 세포 분류기를 개략적으로 도시한 구성도이다.
도 2는 일 실시예에 따른 이미지 기반의 세포 분류 방법의 이미지 처리 알고리즘을 개략적으로 도시한 순서도이다.
도 3은 일 실시예에 따른 이미지 기반의 세포 분류 방법의 실시간 세포 분류 메커니즘을 설명하기 위하여 도시한 도면이다.
도 4는 일 실시예에 따른 이미지 기반의 세포 분류기를 이용한 비드/세포 분류 실험을 위한 실험 장치 설정을 나타낸 이미지이다.
도 5는 이미지 분류가 있는 경우와 없는 경우에 분류 시간을 비교하여 나타낸 그래프로서, A는 이미지 분류가 없을 때 처리 시간을 나타낸 것이고 B는 이미지 분류가 있을 때 처리 시간을 나타낸 것이다.
도 6은 일 실시예에 따른 이미지 기반의 세포 분류기를 이용하여 얻은 비드/세포 이미지(좌측)와 혼동 행렬(우측)을 나타낸 도면이다.
도 7은 일 실시예에 따른 이미지 기반의 세포 분류기에서 수행된 비드/세포의 이미지 기반 분류 결과를 나타낸 이미지 사진이다.
이하, 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 따라서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 일 실시예에 따른 이미지 기반의 세포 분류기를 개략적으로 도시한 구성도이다.
도 1을 참조하면, 본 실시예에 따른 이미지 기반의 세포 분류기는 미세 유체 칩, 세포 이미징 및 분석부, 주사기 구동 세포 분류부를 포함한다.
미세 유체 칩은 폴리디메틸실록산(PDMS, Polydimethylsiloxane)으로 소프트 리소그래피 공정으로 제작될 수 있으며, 흐름 집속(flow-focusing) 영역(R1), 감지 영역(R2), 및 분류 영역(R3)을 포함할 수 있다.
유체역학적 흐름 집속 영역(R1)에는 샘플 유체 입구와 4개의 시스(sheath) 유체 입구가 형성될 수 있다. 샘플 유체 입구에서 주입된 세포 샘플은 4개의 시스 유체에 의해 유체 역학적으로 3차원(3D)으로 집속될 수 있다. 샘플 유체 입구를 통해서 비드/세포가 주입될 수 있다. 비드 샘플이 주입되는 경우 다른 종류의 세포 분류기와의 성능을 객관적으로 비교하기 위한 용도로 활용될 수 있으며, 크기가 다른 표준화된 비드 샘플을 사용하여 분류(sorting)할 수 있다. 또한 세포 샘플이 주입되는 경우 세포 분류기는 세포 분류하여 분리하는데 사용될 수 있다. 감지 영역(R2)은 분류 영역(R3)에 대하여 상류(upstream) 측에 이격되어 메인 채널에 위치할 수 있으며, 이 감지 영역(R2)을 흐르는 유체 역학적으로 집속된 비드/세포들은 능동 픽셀 센서 (CMOS) 카메라를 사용하여 이미지화 될 수 있다.
분류 영역(R3)에는 작동 채널, 폐기물 채널, 및 수집 채널이 형성될 수 있다. 작동 채널은 메인 채널의 측방으로부터 연결될 수 있으며, 폐기물 채널과 수집 채널은 메인 채널이 분기되어 형성될 수 있다. 폐기물 채널은 수집 채널보다 더 넓은 폭을 갖도록 형성될 수 있다. 따라서 작동 신호가 없을 때 집중된 비드/세포는 이 폐기물 채널로 흐르게 되며, 작동 신호가 있을 때에는 비드/세포가 수집 채널로 분류된다. 이때 채널의 높이는 비드/세포의 흐름에 대한 간섭을 피하기에 충분한 높이로 형성될 수 있다.
세포 이미징 및 분석부는 서로 다른 화각(FOV, Field of View)을 가진 두 개의 고속 CMOS 카메라를 포함하고, 미세 유체 칩은 상기 두 개의 고속 CMOS 카메라가 연결된 도립 현미경에 배치될 수 있다. 메인 채널을 비추도록 광원이 배치되고, 이 광원에 대향하며 메인 채널을 지나는 비드/세포를 확대하는 10x 현미경 대물렌즈가 배치될 수 있다. 이때 제1 카메라는 Imaging Source® 카메라(DMK 37AUX287, Imaging Source, Germany)를 배치하고, 제2 카메라는 Photron® 카메라(IDP-Express R2000, Photron, Japan)를 배치할 수 있으며, 상기 대물렌즈와 제1 및 제2 카메라 사이에 빔 스플리터가 배치되어 대물렌즈로부터 입사되는 광을 분할하여 제1 및 제2 카메라로 전달할 수 있다.
Imaging Source® 카메라는 이미지 처리를 위해 2,000 fps에서 10배 배율 720 x 112 x 3-픽셀 현미경 이미지를 획득한다. 10x 현미경 대물렌즈(UPlanFLN, NA=0.30)를 사용하여 1.12 μm의 가로 해상도로 489 x 76 μm2(720 x 112 픽셀)의 화각을 커버할 수 있다. 픽셀 비트 깊이는 부호 없는 8비트이고 노출 시간은 1μs로 설정될 수 있다.
Photron® 카메라는 0.25배 확대경(U-TVO.25XC, Olympus Corporation, Japan)을 사용하여 2,000fps에서 2.5배 배율 512 x 128 x 1-픽셀 이미지를 획득하여 세포 분류 프로세스를 모니터링할 수 있다. 중성 밀도 필터(NE08A-A, Thorlabs, United States)는 Photron® 카메라의 빛을 줄이는 데 사용될 수 있다.
Imaging Source® 카메라에서 얻은 현미경 이미지는 컴퓨터부에서 실행되는 맞춤형 C++ GUI 프로그램을 사용하여 세포 감지, 추적 및 분류를 위해 처리될 수 있다.
컴퓨터부는 이미지에서 추적되는 각 표적 비드/세포가 분류 라인에 도달하기 2.5ms 전에 다기능 I/O 디바이스(NI PCIe-6321, NI, United States)를 사용하여 비대칭 사다리꼴 전압 펄스를 생성할 수 있다. 펄스는 1ms 동안 입력된 전압 값을 유지한 다음 1ms 동안 0V로 선형으로 감소한다. 그런 다음 신호는 압전 증폭기(E-617, PI, United States)를 사용하여 10배만큼 다시 증폭될 수 있다. 증폭된 신호는 압전 액추에이터(P-840.60, PI, United States)가 빠르게 팽창하여 2.5mL 기밀 주사기(2.5MDF-LL-GT, Trajan Scientific and Medical, Australia)에 들어 있는 물을 PDMS 미세 유체 칩의 작동 채널로 밀어 넣는다. 그런 다음 표적 비드/세포는 수집 채널로 분류된다. 컴퓨터부는 다음 분류를 위해 압전 액추에이터를 재설정하도록 작동 신호 1ms 후에 0V 트리거 신호를 출력한다(도 1 참조).
주사기 구동 세포 분류부는 긴 22G 스테인리스 스틸 바늘(22G x 6", TOP SYRINGE MFG CO(P) Ltd, India), 2.5mL 기밀 주사기 및 압전 액추에이터로 구성될 수 있다. 기밀 주사기 연결 알루미늄 커넥터를 통해 압전 액추에이터에 3D 프린팅된 주사기 홀더를 놓고 상단에 플라스틱 덮개를 씌운 후 M4 볼트로 상단을 조여 고정될 수 있다. 상기 액추에이터도 알루미늄 압전 액추에이터 홀더를 사용하여 광학 브레드보드에 단단히 고정될 수 있다. 100V에서 최대 스트로크 크기가 90μm인 압전 액추에이터는 증폭된 입력 전압에 비례하여 급격히 팽창하거나 수축할 수 있다.
예를 들어, 압전 액추에이터가 팽창한다고 가정할 수 있다. 이 경우, 피에조 액추에이터에 연결된 기밀 주사기는 90도 굽힘이 있는 22G 스테인리스 스틸의 긴 절단 바늘을 통해 미세 유체 칩의 작동 채널에 무시할 수 있는 지연으로 전달되는 미는 힘을 생성할 수 있다. 반대로 액추에이터가 수축하면 주사기가 물을 빨아들여 빠르게 당기는 힘이 발생할 수 있다. 22G 스테인리스 스틸 바늘은 길이가 150mm이고 90°로 구부러져 있으며 끝이 뭉툭할 수 있다. 그 팁은 작동 채널 입구에 삽입되어 바늘을 미세 유체 칩에 연결할 수 있다.
도 2는 일 실시예에 따른 이미지 기반의 미세유체 세포 분류 방법의 이미지 처리 알고리즘을 개략적으로 도시한 순서도이다.
도 2를 참조하면, 본 실시예의 미세유체 세포 분류기를 이용한 분류방법에서 이미지 처리 알고리즘은 이미지 획득, 이미지 처리(image processing), 이미지 추론(image classification), 및 실시간 세포 분류(real-time cell sorting)에 사용되는 스레드(thread)를 포함한다.
이미지 획득(카메라) 스레드는 2,000fps에서 미세한 720 x 112 x 3-픽셀 이미지를 지속적으로 캡처하고 이미지 데이터와 캡처 시간을 스택에 저장하고 이를 이미지 처리 스레드로 전송할 수 있다.
이미지 처리 스레드에서 상기 데이터를 수신하면 배경이 제거되어 세포만 포함된 이미지가 남는다. 이 단계가 완료되면 처리 시간을 줄이기 위해 이미지화된 마이크로 채널 내에 관심 영역(ROI, Region of Interest)이 설정된다. 그런 다음 감산된 ROI 이미지에서 노이즈를 제거하기 위해 가우시안 블러(Gaussian blur)가 적용되고 바이너리(binary) 세포 이미지를 생성하기 위해 임계값(threshold)이 사용될 수 있다. 바이너리 이미지에 형태학적 개구(Morphology opening)를 적용하여 노이즈를 제거하고 상기 이미지에 윤곽선을 정의하여 개별 세포를 찾고 마지막으로 개별 세포 이미지를 원본 컬러 이미지에서 잘라내어 세포 종류 추론(cell classification) 또는 데이터 수집을 수행할 수 있다(도 1 참조).
이렇게 크롭된 이미지(cropped image)는 이후에 이미지 추론 스레드에서 세포 유형을 결정하는 데 사용되는 18계층 심층 CNN(18-layer-deep CNN; Convolutional Neural Networks)인 ResNet18에 제공될 수 있다. 미리 설정된 임계값(일례로, 0.8의 임계값)보다 높은 신뢰도 점수가 달성될 때까지 감지 영역을 통해 이동하는 세포를 분류하여 높은 분류 순도를 달성하고자 할 수 있다. 세포의 중심 좌표는 하드 코딩된(hard coded) 추적 알고리즘을 사용하여 다중 세포 추적에 사용될 수 있다. 이 추적 알고리즘은 각 비드/세포에 고유한 ID를 할당하여 모든 비드/세포를 추적하고, 각 비드/세포의 수평 속도 vx를 측정하고, 트리거 신호의 정확한 생성을 가능하게 하기 위해 소요 시간 및 수평 위치 xtaken을 업데이트한다. 각 세포의 경계 상자와 궤적이 컬러 이미지에 그려지고, 세포 분류 진행 상황을 모니터링할 수 있도록 처리 결과의 컬러 및 바이너리 이미지가 화면에 표시될 수 있다.
실시간 세포 분류 스레드는 각 비드/세포의 현재 및 다음 수평 위치 xcur 및 xnxt를 지속적으로 업데이트하고 표적 비드/세포를 분류하기 위한 트리거 신호를 생성할 수 있다.
도 3은 일 실시예에 따른 이미지 기반의 세포 분류 방법의 실시간 세포 분류 메커니즘을 설명하기 위하여 도시한 도면이다.
상기 미세 유체 칩에서 주입된 세포는 4개의 시스 유체를 사용하여 단일의 중앙 스트림라인(streamline)을 따라 밀접하게 집중될 수 있다. 세포가 감지 영역을 통과할 때 이미지 처리 스레드는 각 세포를 추적하고 세포의 각 수평 속도를 모두 미리 설정된 기준 범위(일례로, 0.5ms 이내)에서 측정한다. 이 스레드는 비드/세포가 감지 영역에서 사라질 때까지 매 프레임마다 각 비드/세포의 수평 속도 vx, 소요 시간 ttaken, 각 이미지가 촬영된 위치 xtaken를 업데이트한다.
이미지 추론 스레드는 딥 러닝 알고리즘을 사용하여 세포 유형을 추론할 수 있다. 일례로, 평균 추론 시간이 1.17ms인 딥 러닝 알고리즘이 사용될 수 있다. 이미지 분류 스레드는 각 비드/세포의 현재 수평 위치 xcur (수학식 1 참조)와 비드/세포의 후속 수평 위치 xnxt (수학식 2 참조)를 지속적으로 업데이트한다.
[수학식 1]
[수학식 2]
여기서 xtaken과 ttaken은 각 이미지가 촬영된 수평 위치 및 시간, vx는 각 비드/세포의 수평 속도, tcur는 현재 시간, tlatency는 지연 시간이다.
표적 비드/세포의 후속 수평 위치 xnxt가 분류 라인의 수평 위치보다 높으면 이미지 분류 스레드가 작동 신호를 생성한다(도 3의 A 참조). 이때 분류기가 표적 비드/세포를 분리하기에 충분한 힘을 전달할 수 있도록 대기 시간이 설정될 수 있으며, 일례로 대기 시간은 2.5ms로 설정될 수 있다. 따라서 분류기는 이미지에서 추적되는 각 표적 비드/세포가 분류 라인에 도달하기 2.5ms 전에 사다리꼴 펄스를 생성하도록 설정될 수 있다(도 3의 B 및 C 참조).
이하에서는 딥 러닝 알고리즘을 위한 데이터 준비 과정을 설명한다.
데이터 준비에 사용되는 미세 유체 칩은 비드/세포 분류에 사용되는 칩과 동일하다. 한 종류의 비드/세포와 식염수 용액을 포함하는 시료 및 시스 유체를 각각 1~2 μLmin-1 및 10 μLmin-1의 유속으로 3개의 주사기 펌프를 사용하여 미세 유체 칩의 입구에 주입한다. 그런 다음 현미경에 연결된 Imaging Source® 카메라를 사용하여 1,000fps 이상에서 현미경 이미지를 획득할 수 있다. C++ 프로그램의 이미지 처리 과정은 각 이미지에서 비드/세포를 찾아 자른 다음 잘린 각 비드/세포 그림을 부호 없는 8비트 50 × 50 × 3-픽셀 이미지로 저장한다.
훈련된 네트워크의 견고성을 보장하기 위해 다양한 조명 및 초점 조건에서 단일 세포 이미지를 획득할 수 있다. 이미지가 모두 동일한 조건에서 획득된 경우 작은 변화라도 분류 순도에 상당한 영향을 미칠 수 있다. 유형당 100,000개 이상의 비드/세포 이미지를 저장한 후 잘못된 단일 세포 이미지를 수동으로 삭제한다. 각 클래스에 대해 데이터 세트의 이미지를 섞은 다음 훈련 80%(비드: 44,800, 세포: 44,800 이미지), 검증 10%(비드: 5,600, 세포: 5,600 이미지) 및 테스트 10%(비드: 5,600, 세포: 5,600 이미지)를 위해 3개의 하위 집합으로 무작위로 나눈다. 각 클래스에는 총 56,000개(비드) 또는 56,000개 이미지(세포)가 있고 세 개의 하위 집합 간에 이미지가 겹치지 않는다. 비드/세포의 샘플 이미지는 도 4에 나타냈다. 도 4의 왼쪽 사진은 비드/세포 이미지이고, 오른쪽은 딥 러닝 네트워크의 세포 이미지 분류 정확도를 나타낸다.
예를 들어, 학습용 데이터 세트는 표적 세포(target cell)와 비표적 세포들(non-target cell)의 이미지를 차례대로 조명 조건(밝았다가 어두워지는 조건)과 초점 조건(흐렸다가 뚜렸해지는 조건)을 조금씩 바꿔가며 준비할 수 있다. 즉, 3개의 조명 조건과 7개의 초점 조건으로 각 조건마다 6000장의 세포 이미지를 모으면, 3 x 7 x 6000장 = 126,000장의 세포 이미지를 모을 수 있고, 이 중에 잘못 찍힌 세포 사진들을 삭제하고 선별하여 각 세포 종류마다 3 x 7 x 5000장 = 105,000장의 세포 사진을 준비할 수 있다. 그리고 두 종류의 세포들(표적 세포와 비표적 세포)만 가지고 분류(sorting)하기 때문에, 최종 학습 데이터 세트는 2 세포 x 3 조명 조건 x 7 초점 조건 x 5000장 = 210,000장의 50x50x3 픽셀 크기의 세포 사진으로 구성될 수 있다.
이렇게 준비된 학습 데이터를 적용하여 CNN (콘볼루션 신경망, Convolutional neural network)을 다음 과정으로 학습할 수 있다. 이때, 세포 사진과 각 세포 사진에 대응하는 세포 라벨 정보도 ground truth 데이터로 같이 넣어줄 수 있다.
(1) 세포 이미지를 입력값으로 넣고 순전파(Forward propagration)를 통해 결과 값을 예측한 세포 종류(각 세포 종류에 대해 예측한 확률값)을 알아내고,
(2) categorical_crossentropy 손실 함수(loss function)를 사용하여 예측값(각 세포 종류에 대해 예측한 확률값)과 실제값(각 세포 종류에 대한 실제 확률값) 사이의 오차를 구한다.
(3) 역전파(Backpropagation)를 통해 손실(loss)값을 줄일 수 있는 가중치를 업데이트 한다.
그리고 상기 (1)~(3) 과정을 반복하며 손실(loss) 값을 최소로 하는 가중치를 얻는 방식으로 학습을 수행한다.
이하에서는 비드/세포 종류 추론을 위한 딥 러닝 알고리즘에 대하여 설명한다.
고속 실시간 비드/세포 종류 추론을 가능하게 하기 위해 훈련된 딥 러닝 모델을 TensorRT 프레임워크 내에서 모델로 변환하여 추론 시간을 5.5배 이상 줄일 수 있다. 이러한 감소의 결과로 실시간 비드/세포 종류 추론을 위해 제한된 수의 레이어가 있는 작은 CNN에 의존하여 추론 정확도를 희생할 필요가 없다.
본 실시예에 따른 미세 유체 세포 분류기는 정확한 세포 종류 추론을 위해 ResNet 모델을 사용한다. 이 모델은 중간 계층에 보조 손실을 추가하여 심층 네트워크에서 그래디언트 소실 문제를 해결할 수 있다. 이 모델은 ImageNet 유효성 검사 세트에서 상위 5개 오류율도 낮다.
사용된 스택 레이어 수에 따라 여러 ResNet 모델 변형이 있다. 많은 수의 스택 레이어가 있는 모델은 추론 성능이 약간 향상되지만 이미지를 분류하는 데 상당한 시간이 걸린다. 따라서 ResNet 모델 중 가장 적은 수의 스택 레이어를 가지지만 충분한 추론 정확도를 가지는 ResNet18을 사용할 수 있다.
Keras 2.2.5 API에서 호스팅되는 Python 3.6 코드를 사용하여 ResNet18 모델을 구현하고 Jupyter Notebook 6.1.4의 교육 데이터 세트를 사용하여 Adam 최적화 프로그램(학습률 = e-5)으로 50 에포크(epoch) 이상 교육한다. 네트워크 훈련에 사용된 컴퓨터에는 CUDA Toolkit 10.0 및 cuDNN v7.6.5로 구성된 GTX1080TI 그래픽 카드가 있다. Keras 프레임워크로 구현된 훈련된 ResNet18 모델은 그런 다음 NVIDIA TensorRT 프레임워크 7.0.0에서 구현된 모델로 변환된다. 이 TensorRT 모델은 이후에 사용자 정의 작성된 C++ 세포 분류 프로그램으로 가져올 수 있다.
본 발명은 하기 예시적인 실시예를 들어 더욱 자세히 설명할 것이나, 본 발명의 보호범위가 하기 실시예로 한정되는 의도는 아니다.
실시예 1. 이미지 기반의 미세유체 세포 분류기를 이용한 세포 분류
1-1: 미세유체 칩의 제작 및 세포 분류기의 구성
미세유체 칩은 폴리디메틸실록산(PDMS)(Slygard184, Dow Corning, United States)로 소프트 리소그래피 공정을 사용하여 제작되었다. 제작된 칩은 흐름 집속, 감지 및 분류를 위해 세 영역으로 나눌 수 있고, 흐름 집속 영역에는 샘플 유체 입구(너비, 100μm)와 4개의 시스 유체 입구(너비, 100μm)가 있다. 감지 영역은 분류 라인에서 왼쪽 방향으로 ~970 μm 떨어진 메인 채널(너비, 100 μm)에 위치하며, 비드/세포는 능동 픽셀 센서(CMOS) 카메라를 사용하여 이미지화 되었다. 분류 영역에는 작동 채널(너비, 50μm), 폐기물 채널(너비, 80μm) 및 수집 채널(너비, 40μm)이 있다. 채널 높이는 31.5 μm로 설정되었다.
1-2: 비드 샘플의 준비
직경 15μm(F8837 10mL, Thermo Fisher Scientific, United States) 및 10μm(F8836 10mL, Thermo Fisher Scientific, United States)의 형광 폴리스티렌 비드 한 세트를 1:5 부피비로 혼합하고, 0.5% Tween-20(P9416-50ML, Sigma-Aldrich, United States)이 포함된 탈이온수(DI water)를 첨가하여 희석하여 사전 선별 비율이 7.0%가 되었다.
1-3: 세포 배양 및 형광 표지
Jurkat, K562 및 HL-60 세포를 10% 소태아혈청(FBS)(Gibco) 및 1% 페니실린/스트렙토마이신(Gibco)이 보충된 RPMI 1640 배지(Gibco)에서 배양했다. 세포를 무혈청 배지로 2회 세척하고 37°C에서 15분 동안 5mM Cell-Trace CFSE, 5mM CellTrace Yellow 또는 2mM CellTrace Far-red(Invitrogen)로 표지했다. 그런 다음 표지된 세포를 FBS가 포함된 완전 배지로 세척하고 4% 파라포름알데히드로 15분 동안 고정했다. 고정된 세포를 희석된 Giemsa 염색 용액(1:20, v/v)(Sigma)으로 1시간 동안 추가로 염색하고 인산완충식염수(PBS)로 4회 세척하였다.
1-4: 샘플 로딩 및 수집
비드 및 세포 분류 실험은 1mL 플라스틱 주사기(BD Luer-LokTM 1mL 주사기, BD Plastics, United Kingdom) 및 10mL 플라스틱 주사기(BD Luer-LokTM 10 -mL Syringe, BD Plastics, United Kingdom), 3개의 주사기 펌프(Fusion 200 Touch, REVODIX, 한국)를 사용하여 도립 현미경(IX73, Olympus Corporation, 일본)에 배치된 마이크로칩으로 밀어 넣었다. 샘플, 시스1 및 시스2 유체의 유속은 세포 샘플의 경우 각각 1, 4 및 15 μLmin-1이고 비드 샘플의 경우 각각 2, 6 및 22 μLmin-1이었다. 시스액은 식염수(JW Life Science, 한국)에서 준비하였다. 그런 다음 분류 및 분류되지 않은 비드/세포를 별도의 1.5mL 미세 원심분리기 튜브에 수집했다.
실시예 2. 이미지 기반의 미세유체 세포 분류기를 이용한 분류 결과 평가
2-1: 비드/세포 분류 결과 평가를 위한 형광 현미경 및 이미지 분석
10X(UPlanFLN, NA=0.30) 대물 렌즈와 ANDOR Zyla4.2 sCMOS 카메라가 장착된 수정된 Olympus IX 83 epi-형광 현미경을 이미징 실험에 사용했다. 형광 이미징의 경우 U-LH75XEAPO 크세논 램프(75W, Olympus) 및 DAPI(EX 365, BS 395, EM/BP 445/50), GFP(EX BP 470/40, BS 495, EM BP 525/50), 노란색(EX BP 530/30, BS 550, EM BP 575/40) 및 Cy5(EX BP 620/60, BS 660, EM BP 770/75) 필터를 사용했다. 획득한 이미지는 ImageJ(NIH) 및 Matlab R2020b(MathWorks)를 사용하여 분석 및 처리되었다.
파란색, 녹색, 원적색(far red) 또는 노란색 형광으로 표지된 비드/세포의 수를 수동으로 계산했다. 각 비드/세포를 일정한 비율로 혼합하고, 형광현미경을 이용하여 형광 이미지를 얻었다. 각 비드/세포는 다른 방출 파장을 가지며 형광 이미지에서 모두 다른 색상을 나타낸다. 샘플에서 각 비드/세포의 수를 세고 사전 분류 비율을 계산했다(수학식 3 참조). 얻어진 형광 이미지를 통해 표적 및 비표적 비드/세포를 구별하였다. 사후 선별(수학식 3 참조) 및 폐기물 비율(수학식 5 참조) 계산 방법은 사전 선별 비율 계산 방법과 동일하다. 수율은 1에서 사전 분류 비율에 대한 폐기물 비율의 비율을 빼서 얻었다(수학식 6 참조). 표적 비드/세포의 농축 인자(수학식 7 참조)는 사후 분류 비율(수학식 4에서 파생된 분류 순도)을 수학식 3의 사전 분류 비율로 나누어 계산되었다.
[수학식 3]
[수학식 4]
[수학식 5]
[수학식 6]
[수학식 7]
2-2: 이미지 기반의 세포 분류기의 처리 시간 및 추론 정확도 검증
훈련된 ResNet18 모델은 NVIDIA TensorRT 프레임워크에서 구현되어 NVIDIA GeForce GTX 1080 TI GPU에서 50 × 50 × 3-픽셀 단일 세포 이미지에 대한 모델의 추론 시간을 6.58ms에서 1.17ms로 줄였다. 이미지 처리 과정이 여러 세포를 감지하고 추적하는 시간을 0.5ms 미만으로 줄이므로(도 5의 A 참조), 총 데이터 처리 시간의 99.6%가 3ms 내에 속한다(도 5의 B 참조). 이 짧은 이미지 처리 시간은 감지 처리량을 최대 850eps까지 크게 증가시킨다.
세포 혼합물에서 표적 세포를 분리하고 농축하기 위해 제안된 세포 이미징 시스템은 단일 세포 이미지를 분류할 때 높은 추론 점수를 달성해야 한다. 도 4의 혼동 행렬은 훈련된 ResNet18 모델이 형광 폴리스티렌 비드 및 세포에 대한 평균 점수가 100.0%, 98.0% 및 97.6%인 높은 추론 점수를 달성함을 보여준다. 신뢰도 점수에 대한 임계값을 0.8로 설정하여 추론 점수를 더 높일 수 있다.
2-3: 유형별 비드/세포 실시간 분류 결과
실시예에 따른 세포 분류기의 분류 성능을 평가하기 위해 (A) 15-μm(표적) 및 10-μm 비드(비표적), (B) HL-60(표적) 및 Jurkat(비표적), 및 (C) HL-60(표적) 및 K562(비표적) 세포의 세 가지 샘플을 준비했다(도 6 참조). 테스트당 20분의 실행 시간으로 동일한 샘플을 사용하여 일련의 연속적인 비드/세포 분류를 수행했다. 표적 비드/세포는 비표적 비드/세포가 폐기물 채널(폐기물)로 흐르는 수집 채널(분류 후)로 분류되었다. 비드/세포를 분류하는 동안 처리량은 비드/세포 농도에 따라 최대 82.8eps까지 증가했다.
분류 후 형광 현미경을 사용하여 분류 및 분류되지 않은 비드/세포의 수를 수동으로 계산했다. 비드/세포 수를 사용하여 사전 분류 비율, 사후 분류 비율(분류 순도), 수율 및 농축 계수를 계산했다.
분류 결과 실시예에 따른 세포 분류기는 15μm 및 10μm 비드, HL-60 및 Jurkat 세포, HL-60 및 K562 세포에 대해 각각 98.0%, 95.1% 및 94.2%의 분류 순도를 달성했음을 보여준다(표 1 참조). 특히, 제안된 분류기 성공은 두 세포 크기가 유사하지만 분류 순도 94.2%로 HL-60 및 K562 세포의 혼합물에서 HL-60 세포를 완전히 분리했다. 사전 분류, 사후 분류 및 폐기물의 형광 이미지를 도 7에 나타냈다.
[표 1]
소프트웨어는 컴퓨터 프로그램, 코드(code), 명령, 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소, 물리적 장치, 가상 장치, 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 유형화될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 청구범위와 발명의 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.

Claims (14)

  1. 비드 또는 세포의 흐름을 형성하며, 흐름 집속 영역, 감지 영역, 및 분류 영역을 포함하는 미세 유체 칩;
    상기 감지 영역에서 유체 역학적으로 집속된 상기 비드 또는 세포를 능동 픽셀 센서 카메라를 사용하여 이미지화 하고, 컴퓨터부에서 딥 러닝 알고리즘으로 비드 또는 세포 이미지를 분석하여 표적 비드 또는 표적 세포를 추론하며, 상기 표적 비드 또는 표적 세포가 상기 분류 영역에 도달하기 전에 트리거 신호를 생성하는 세포 이미징 및 분석부; 및
    상기 분류 영역에서 작동 채널, 폐기물 채널, 및 수집 채널을 포함하며, 상기 트리거 신호를 전송받아 주사기 연결식 압전 액추에이터로 상기 작동 채널을 구동시켜 상기 표적 비드 또는 표적 세포를 분류하도록 구성된 주사기 구동 세포 분류부
    를 포함하고,
    상기 컴퓨터부는 상기 표적 비드 또는 표적 세포가 상기 분류 영역에 도달하기 전에 다기능 I/O 디바이스를 사용하여 비대칭 사다리꼴 전압 펄스를 생성하는, 이미지 기반의 미세유체 세포 분류기.
  2. 제 1 항에 있어서,
    상기 흐름 집속 영역은 샘플 유체 입구와 4개의 시스(sheath) 유체 입구를 포함하고, 상기 샘플 유체 입구에서 주입된 비드 또는 세포 샘플은 상기 4개의 시스 유체에 의해 유체 역학적으로 3차원(3D) 집속되는, 이미지 기반의 미세유체 세포 분류기.
  3. 제 1 항에 있어서,
    상기 세포 이미징 및 분석부에서 상기 능동 픽셀 센서 카메라는 서로 다른 화각(FOV, Field of View)을 갖는 두 개의 고속 CMOS (Complementary Metal Oxide Semiconductor) 카메라를 포함하고,
    상기 미세 유체 칩은 상기 두 개의 고속 CMOS 카메라가 연결된 도립 현미경에 배치되는, 이미지 기반의 미세유체 세포 분류기.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 딥 러닝 알고리즘은 컴퓨팅 디바이스에 의해 수행되는 CNN (Convolutional Neural Networks)을 활용하는, 이미지 기반의 미세유체 세포 분류기.
  6. 제 5 항에 있어서,
    상기 딥 러닝 알고리즘은 18계층 심층 CNN(18-layer-deep CNN)인 ResNet18를 활용하는, 이미지 기반의 미세유체 세포 분류기.
  7. 제 1 항에 있어서,
    상기 분류 영역은 상기 감지 영역으로부터 이어지는 메인 채널을 포함하고,
    상기 작동 채널은 상기 메인 채널의 측방으로부터 연결되며, 상기 폐기물 채널과 수집 채널은 상기 메인 채널이 분기되어 형성되는, 이미지 기반의 미세유체 세포 분류기.
  8. 제 1 항에 있어서,
    상기 주사기 구동 세포 분류부는, 90도 구부러진 바늘을 갖는 기밀 주사기와, 상기 기밀 주사기에 연결되고 상기 트리거 신호를 전송받아 상기 기밀 주사기를 구동시키는 압전 액추에이터를 포함하는, 이미지 기반의 미세유체 세포 분류기.
  9. 미세 유체 칩을 통해 비드 또는 세포의 흐름을 형성하면서 컴퓨팅 디바이스에 의해 표적 비드 또는 표적 세포를 분류하는 방법에 있어서,
    상기 미세 유체 칩으로 주입되어 유체 역학적으로 집속된 비드 또는 세포를 능동 픽셀 센서 카메라를 사용하여 이미지화 하는 이미지 획득 단계;
    상기 비드 또는 세포 이미지에서 노이즈를 제거하고 개별 세포 이미지를 찾아 크로핑(cropping)하는 이미지 처리 단계;
    상기 크롭된(cropped) 개별 세포 이미지를 상기 컴퓨팅 디바이스에 의해 수행되는 딥 러닝 알고리즘을 이용하여 상기 표적 비드 또는 표적 세포 이미지를 선별하고 트리거 신호를 생성하는 이미지 추론 단계; 및
    상기 트리거 신호에 따라 주사기 연결식 압전 액추에이터로 상기 표적 비드 또는 표적 세포의 경로를 제어하여 상기 표적 비드 또는 표적 세포를 분류하는 실시간 세포 분류 단계
    를 포함하고,
    상기 이미지 추론 단계에서 상기 딥 러닝 알고리즘은 학습하는 과정을 포함하고,
    상기 학습하는 과정은,
    다양한 조명 및 초점 조건에서 단일 세포 이미지를 획득하여 클래스당 100,000개 이상의 비드 또는 세포 이미지를 저장한 후 잘못된 단일 세포 이미지를 수동으로 삭제하여 데이터 세트를 준비하고,
    각 클래스에 대해 상기 데이터 세트의 이미지를 섞은 다음 훈련 80%, 검증 10%, 및 테스트 10%를 위해 3개의 하위 집합으로 무작위로 나누어 학습하는 것을 포함하는, 이미지 기반의 미세유체 세포 분류 방법.
  10. 제 9 항에 있어서,
    상기 이미지 획득 단계는, 서로 다른 화각(FOV, Field of View)을 갖는 두 개의 고속 CMOS (Complementary Metal Oxide Semiconductor) 카메라를 사용하여 이미지를 지속적으로 캡처하고 상기 이미지의 데이터와 캡처 시간을 스택에 저장하는 것을 포함하는, 이미지 기반의 미세유체 세포 분류 방법.
  11. 제 9 항에 있어서,
    상기 이미지 처리 단계는, 상기 비드 또는 세포 이미지에서 노이즈를 제거하고 바이너리 세포 이미지를 생성하여 윤곽선을 정의하여 상기 개별 세포 이미지를 찾아내는 것을 포함하는, 이미지 기반의 미세유체 세포 분류 방법.
  12. 제 9 항에 있어서,
    상기 이미지 추론 단계는, 상기 딥 러닝 알고리즘으로 18계층 심층 CNN(18-layer-deep CNN; Convolutional Neural Networks)인 ResNet18을 활용하는 것을 포함하는, 이미지 기반의 미세유체 세포 분류 방법.
  13. 삭제
  14. 제 9 항에 있어서,
    상기 학습하는 과정은 상기 데이터 세트를 사용하여 아담 최적화 알고리즘(Adam Optimizer)으로 50 에포크(epoch) 이상 교육하는 것을 포함하는, 이미지 기반의 미세유체 세포 분류 방법.
KR1020220034156A 2022-03-18 2022-03-18 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법 Active KR102785966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220034156A KR102785966B1 (ko) 2022-03-18 2022-03-18 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220034156A KR102785966B1 (ko) 2022-03-18 2022-03-18 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법

Publications (2)

Publication Number Publication Date
KR20230136832A KR20230136832A (ko) 2023-09-27
KR102785966B1 true KR102785966B1 (ko) 2025-03-26

Family

ID=88189073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220034156A Active KR102785966B1 (ko) 2022-03-18 2022-03-18 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법

Country Status (1)

Country Link
KR (1) KR102785966B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100990016B1 (ko) * 2002-09-16 2010-10-26 사이토놈/에스티, 엘엘씨 입자 선별 방법 및 장치
JP2016217888A (ja) * 2015-05-20 2016-12-22 シスメックス株式会社 細胞検出装置および細胞検出方法
JP6106689B2 (ja) 2011-12-07 2017-04-05 アイメックＩｍｅｃ 流体中の物体の分析および選別
JP6396911B2 (ja) 2012-10-15 2018-09-26 ナノセレクト バイオメディカル， インコーポレイテッド 粒子を選別するためのシステム、装置、および、方法
JP2022512633A (ja) * 2018-10-17 2022-02-07 ベクトン・ディキンソン・アンド・カンパニー 粒子分析器のための適応ソーティング
JP7038259B2 (ja) 2019-05-27 2022-03-17 昭和電工株式会社 画像解析装置、方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5581731A (en) * 1978-12-18 1980-06-20 Sumitomo Heavy Ind Ltd Gas treating method
KR20090024691A (ko) * 2006-05-05 2009-03-09 사이토놈, 인크. 평행한 미세유체 어레이의 작동기
KR102637410B1 (ko) * 2016-06-16 2024-02-16 엘지전자 주식회사 먼지 측정 장치 및 방법
EA201992355A1 (ru) * 2017-04-05 2020-02-20 Индиан Инститьют Оф Текнолоджи Мадрас (Иит Мадрас) Микрожидкостные флуоресцентные сортировщики клеток (microfacs) для обнаружения и выделения клеток-мишеней
IT201900002777A1 (it) * 2019-02-26 2020-08-26 Menarini Silicon Biosystems Spa Metodo e sistema microfluidico per l'isolamento di particelle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100990016B1 (ko) * 2002-09-16 2010-10-26 사이토놈/에스티, 엘엘씨 입자 선별 방법 및 장치
JP6106689B2 (ja) 2011-12-07 2017-04-05 アイメックＩｍｅｃ 流体中の物体の分析および選別
JP6420297B2 (ja) 2011-12-07 2018-11-07 アイメックＩｍｅｃ 流体中の物体の分析および選別
JP6396911B2 (ja) 2012-10-15 2018-09-26 ナノセレクト バイオメディカル， インコーポレイテッド 粒子を選別するためのシステム、装置、および、方法
JP2016217888A (ja) * 2015-05-20 2016-12-22 シスメックス株式会社 細胞検出装置および細胞検出方法
JP2022512633A (ja) * 2018-10-17 2022-02-07 ベクトン・ディキンソン・アンド・カンパニー 粒子分析器のための適応ソーティング
JP7038259B2 (ja) 2019-05-27 2022-03-17 昭和電工株式会社 画像解析装置、方法、およびプログラム

Also Published As

Publication number Publication date
KR20230136832A (ko) 2023-09-27

Similar Documents

Publication Publication Date Title
US11668641B2 (en) Image-based cell sorting systems and methods
Anagnostidis et al. Deep learning guided image-based droplet sorting for on-demand selection and analysis of single cells and 3D cell cultures
US10712255B2 (en) Method and system for microfluidic particle orientation and/or sorting
US11940371B2 (en) Apparatuses, systems and methods for imaging flow cytometry
US20200376488A1 (en) Microfluidic determination of low abundance events
Landenberger et al. Microfluidic sorting of arbitrary cells with dynamic optical tweezers
US20060177348A1 (en) Cell sorter chip having gel electrodes
JP7489968B2 (ja) 細胞選別装置及び方法
US20250069384A1 (en) Droplet processing methods and systems
JP7388131B2 (ja) 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション
CN115428038A (zh) 用于灵活的基于图像的颗粒分选的分类工作流
EP4043862A1 (en) Method for adjusting position, microparticle analysis device, and program
KR102785966B1 (ko) 딥 러닝 알고리즘을 이용한 이미지 기반의 미세유체 세포 분류기 및 미세유체 세포 분류 방법
CN113106009B (zh) 一种多功能细胞分析系统
Bai et al. Automated sorting of rare cells based on autofocusing visual feedback in fluorescence microscopy
US20220299420A1 (en) Systems and methods for image cytometry
Silveira Evolution of flow cytometry technology
Banas et al. Development of a compact bio-optofluidic cell sorter
WO2025106429A1 (en) Systems and methods for image-based cell sorting
JP7596534B2 (ja) 細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク
WO2023235895A1 (en) Systems and methods for image-activated particle sorting based on ai gating
HK40076939A (en) Classification workflow for flexible image based particle sorting

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220318

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231112

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240612

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250115

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250319

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration