[go: up one dir, main page]

KR102231545B1 - 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램 - Google Patents

세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램 Download PDF

Info

Publication number
KR102231545B1
KR102231545B1 KR1020197015612A KR20197015612A KR102231545B1 KR 102231545 B1 KR102231545 B1 KR 102231545B1 KR 1020197015612 A KR1020197015612 A KR 1020197015612A KR 20197015612 A KR20197015612 A KR 20197015612A KR 102231545 B1 KR102231545 B1 KR 102231545B1
Authority
KR
South Korea
Prior art keywords
interest
cells
region
cell image
staining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020197015612A
Other languages
English (en)
Other versions
KR20190080914A (ko
Inventor
다카시 와쿠이
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20190080914A publication Critical patent/KR20190080914A/ko
Application granted granted Critical
Publication of KR102231545B1 publication Critical patent/KR102231545B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G06K9/00127
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)

Abstract

세포에 염색 처리를 실시한 경우의 염색 상태를, 염색 처리를 실시하지 않고 파악할 수 있는 세포 화상 평가 장치 및 세포 화상 평가 프로그램을 제공한다. 세포 화상의 각 관심 영역에 포함되는 세포의 상태를 평가하는 평가기(21)와, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역 및 그 특정 관심 영역의 주변 영역의 평가 결과와, 제1 세포 화상과 동일한 촬영 대상으로 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기(22)를 구비하고, 예측기(22)가, 염색 처리 전의 세포의 제3 세포 화상의 평가 결과 중 특정 관심 영역 및 그 특정 관심 영역의 주변 영역의 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측한다.

Description

세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
본 발명은, 세포 화상을 평가한 결과에 근거하여, 세포 화상에 포함되는 세포의 염색 상태를 예측하는 세포 화상 평가 장치 및 프로그램에 관한 것이다.
ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포는, 다양한 조직의 세포로 분화하는 능력을 구비한 것이며, 재생 의료, 약의 개발, 및 병의 해명 등에 있어서 응용이 가능한 것으로서 주목받고 있다.
한편, 종래, ES 세포 및 iPS 세포 등의 다능성 줄기 세포나 분화 유도된 세포 등을 현미경 등으로 촬상하고, 그 화상의 특징을 파악함으로써 세포의 분화 상태 등을 판정하는 방법이 제안되어 있다.
예를 들면 특허문헌 1에 있어서는, ES 세포와 피더 세포가 촬상된 화상에 있어서, ES 세포가 차지하는 영역과 피더 세포가 차지하는 영역을 추출하고, ES 세포가 차지하는 영역에 존재하는 피더 세포의 형태적 특징을 나타내는 특징량을 산출하며, 그 특징량과, ES 세포의 상태와의 대응 관계에 근거하여, 퍼지 뉴럴 네트워크를 이용하여 ES 세포의 상태를 평가하는 방법이 제안되어 있다.
일본 공개특허공보 2011-229409호
여기에서, 다능성 줄기 세포의 미분화 상태 및 분화 상태를 평가하는 방법으로서, 알칼리 포스파타제 등의 염색 마커를 이용한 염색 처리가 있다. 알칼리 포스파타제에 의하면, 미분화 세포가 염색되고, 분화 세포는 염색되지 않으므로, 이로써 배양 대상의 세포가, 미분화 상태를 유지하고 있는지 등을 확인할 수 있다.
그러나, 염색 마커를 이용한 염색 처리는, 파괴 처리이기 때문에, 염색 처리를 일단 실시한 세포는, 그 후, 다시 배양을 계속할 수 없다.
한편, 배양된 세포가, 미분화 상태인지, 또는 분화 상태인지를 평가하는 방법으로서는, 염색 처리 이외에, 상술한 바와 같은 세포를 촬영한 세포 화상의 특징량을 해석하는 방법이 있다.
그러나, 세포 화상의 특징량의 해석에 의하여 미분화 세포인지, 또는 분화 세포인지만을 평가한 것만으로는, 반드시, 그 평가 결과와 염색 처리의 결과가 일치하지는 않는다.
구체적으로는, 세포 화상의 특징량의 해석에 의하여, 세포가 미분화 세포라고 평가되었다고 해도, 그 세포의 영역 또는 주변 영역이 적층 상태인 경우에는, 염색 마커가 세포 내에 흡수되기 어려워져, 염색되지 않는 경우가 있다. 또, 이와 같은 예에 한정하지 않고, 세포 화상의 해석에 의하여 세포가 미분화 세포라고 평가된 경우에서도, 실제로 염색 처리를 행한 경우에는, 그 주변 영역의 세포의 상태에 따라 염색되지 않는 경우가 있는 것을 알 수 있었다.
그리고, 염색 처리를 실시한 경우의 염색 상태를 예측하는 것은, 세포에 대한 조작을 결정하거나, 그 후의 배양 계획을 세우거나 하는 데에 있어서, 매우 중요하다. 특허문헌 1에 있어서도, 세포를 촬영한 화상을 이용하여, 세포의 염색 상태를 예측하는 방법은 제안되어 있지 않다.
본 발명은, 상기의 문제를 감안하여, 세포에 염색 처리를 실시한 경우의 염색 상태를, 염색 처리를 실시하지 않고 파악할 수 있고, 예를 들면 계대 및 배지 교환 등의 세포에 대한 조작을 적절한 타이밍에 의하여 행할 수 있는 세포 화상 평가 장치 및 세포 화상 평가 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 세포 화상 평가 장치는, 세포를 촬영한 세포 화상의 각 관심 영역에 대하여, 그 각 관심 영역에 포함되는 세포의 상태를 평가하고, 그 평가 결과를 출력하는 평가기와, 염색 처리 전의 세포를 촬영한 적어도 하나의 제1 세포 화상 내에 있어서의 특정 관심 영역의 주변 영역의 평가기에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기를 구비하며, 예측기가, 염색 처리 전의 세포를 촬영한 적어도 하나의 제3 세포 화상의 평가기에 의한 평가 결과 중 특정 관심 영역의 주변 영역의 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력한다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 예측기는, 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 출력할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 예측기는, 세포가 수용된 용기 내를 촬영한 제3 세포 화상의 평가 결과의 입력을 접수하고, 용기 내의 복수의 관심 영역의 세포의 염색 상태를 각각 출력할 수 있으며, 각 관심 영역의 세포의 염색 상태를 통합하여, 용기 전체의 세포의 염색 상태를 취득하는 통합부를 더 구비할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 예측기는, 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 각각 출력할 수 있으며, 통합부는, 각 관심 영역의 2 이상의 염색 발색 강도의 천이 확률을 그 염색 발색 강도마다 통합하여, 용기 전체의 세포의 염색 상태를 취득할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 예측기는, 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 각각 출력할 수 있으며, 통합부는, 각 관심 영역의 2 이상의 염색 발색 강도의 천이 확률 중, 가장 큰 천이 확률의 염색 발색 강도를 통합하여, 용기 전체의 세포의 염색 상태를 취득할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 예측기는, 적어도 하나의 배양 조건의 입력을 접수할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 세포가 미분화 상태인지, 또는 분화 상태인지를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 핵소체의 밀도를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 흰색 줄의 밀도를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 세포가 섬유아 세포인지, 또는 피더 세포인지를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 세포가 다능성 줄기 세포인지, 또는 피더 세포인지를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 세포인지, 또는 비세포인지를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 평가기는, 적어도 세포가 생세포인지, 또는 사세포인지를 평가할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서는, 예측기로부터 출력된 세포의 염색 상태의 정보를 취득하고, 그 세포의 염색 상태의 정보에 근거하여, 세포에 대한 조작 내용을 결정하는 조작 내용 결정부를 구비할 수 있다.
또, 상기 본 발명의 세포 화상 평가 장치에 있어서, 세포에 대한 조작 내용은, 계대, 배지 교환, 배지의 변경, 약제 첨가, 피킹(picking) 또는 유전자 검사인 것이 바람직하다.
본 발명의 세포 평가 제어 프로그램은, 컴퓨터를, 세포를 촬영한 세포 화상의 각 관심 영역에 대하여, 그 각 관심 영역에 포함되는 세포의 상태를 평가하고, 그 평가 결과를 출력하는 평가기와, 염색 처리 전의 세포를 촬영한 적어도 하나의 제1 세포 화상 내에 있어서의 특정 관심 영역의 주변 영역의 평가기에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기로서 기능시키며, 예측기가, 염색 처리 전의 세포를 촬영한 적어도 하나의 제3 세포 화상의 평가기에 의한 평가 결과 중 특정 관심 영역의 주변 영역의 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력한다.
본 발명의 세포 화상 평가 장치 및 세포 화상 평가 프로그램에 의하면, 세포 화상의 각 관심 영역에 대하여, 그 세포의 상태를 평가한 평가 결과를 출력하는 평가기와, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역의 주변 영역의 평가기에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기를 구비한다.
그리고, 예측기가, 염색 처리 전의 세포를 촬영한 제3 세포 화상의 평가기에 의한 평가 결과 중 특정 관심 영역의 주변 영역의 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하도록 했으므로, 세포에 염색 처리를 실시한 경우의 염색 상태를, 염색 처리를 실시하지 않고 파악할 수 있고, 예를 들면 계대 및 배지 교환 등의 세포에 대한 조작을 적절한 타이밍에 의하여 행할 수 있다.
도 1은 본 발명의 세포 화상 평가 장치의 일 실시형태를 이용한 세포 화상 평가 예측 시스템의 개략 구성을 나타내는 블록도이다.
도 2는 평가기를 설명하기 위한 설명도이다.
도 3은 세포의 당양한 상태를 촬영한 세포 화상의 일례를 나타내는 도이다.
도 4는 예측기를 설명하기 위한 설명도이다.
도 5는 예측기의 기계 학습의 방법의 일례를 설명하기 위한 플로 차트이다.
도 6은 예측기의 기계 학습의 방법의 일례를 설명하기 위한 설명도이다.
도 7은 예측기의 기계 학습의 방법의 일례를 설명하기 위한 설명도이다.
도 8은 예측기의 기계 학습의 방법의 일례를 설명하기 위한 설명도이다.
도 9는 기계 학습된 예측기를 이용하여, 세포의 염색 상태를 예측하는 방법을 설명하기 위한 플로 차트이다.
도 10은 본 발명의 세포 화상 평가 장치의 그 외의 실시형태를 이용한 세포 화상 평가 예측 시스템의 개략 구성을 나타내는 블록도이다.
도 11은 각 관심 영역의 각 염색 발광 강도로의 천이 확률의 일례를 나타내는 도이다.
도 12는 웰 내에 있어서의 세포 콜로니 영역마다, 각 염색 발광 강도로의 천이 확률을 통합한 예를 나타내는 도이다.
도 13은 다른 시점에 있어서 촬영된 복수의 제3 세포 화상의 평가 결과를 예측기에 입력하여, 1개의 예측 결과를 얻는 예를 나타내는 도이다.
도 14는 본 발명의 세포 화상 평가 장치의 그 외의 실시형태를 이용한 세포 화상 평가 예측 시스템의 개략 구성을 나타내는 블록도이다.
이하, 본 발명의 세포 화상 평가 장치 및 세포 화상 평가 프로그램의 일 실시형태를 이용한 세포 화상 평가 예측 시스템에 대하여, 도면을 참조하면서 상세하게 설명한다. 도 1은, 본 실시형태의 세포 화상 평가 예측 시스템의 개략 구성을 나타내는 블록도이다.
본 실시형태의 세포 화상 평가 예측 시스템은, 도 1에 나타내는 바와 같이, 현미경 장치(10)와, 세포 화상 평가 장치(20)와, 표시 장치(30)와, 입력 장치(40)를 구비하고 있다.
현미경 장치(10)는, 배양 용기 내에 수용된 세포를 촬영하고, 세포 화상을 출력하는 것이다. 본 실시형태에 있어서는, 구체적으로는, CCD(Charge-Coupled Device) 이미지 센서나 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 구비한 위상차 현미경 장치를 이용한다. 촬상 소자로서는, RGB(Red Green Blue)의 컬러 필터가 마련된 촬상 소자를 이용해도 되고, 모노크롬의 촬상 소자를 이용하도록 해도 된다. 배양 용기 내에 수용된 세포의 위상차상이 촬상 소자에 결상되고, 촬상 소자로부터 세포 화상으로서 위상차 화상이 출력된다. 또한, 현미경 장치(10)로서는, 위상차 현미경 장치에 한정하지 않고, 미분 간섭 현미경 장치 및 명시야 현미경 장치 등의 그 외의 현미경 장치를 이용하도록 해도 된다.
세포 화상으로서는, 복수의 세포가 응집한 세포 콜로니를 촬영한 화상이어도 되고, 복수의 세포가 분산하여 분포한 화상이어도 된다. 또, 본 실시형태에 있어서는, 촬영 대상으로서, iPS 세포 및 ES 세포와 같은 다능성 줄기 세포와, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포를 촬영하는 것으로 한다.
또, 본 실시형태에 있어서는, 촬영 대상의 세포는, 복수의 웰을 갖는 웰 플레이트 등에 수용된다. 그리고, 현미경 장치(10)는, 수평면 내의 직교하는 X 방향 및 Y 방향으로 이동하는 스테이지를 구비하고 있으며, 그 스테이지 상에 웰 플레이트가 설치된다. 스테이지가 X 방향 및 Y 방향으로 이동함으로써, 웰 플레이트 내에 있어서의 각 관찰 영역이 주사되어, 관찰 영역마다의 세포 화상이 촬상된다. 관찰 영역마다의 세포 화상은 1매의 세포 화상으로서 합성되어, 세포 화상 평가 장치(20)에 출력된다. 또, 본 실시형태에 있어서는, 웰 플레이트를 이용하도록 했지만, 세포가 수용되는 용기로서는 이것에 한정하지 않고, 예를 들면 샬레 또는 디시 등 그 외의 용기를 이용하도록 해도 된다.
세포 화상 평가 장치(20)는, 도 1에 나타내는 바와 같이, 평가기(21)와, 예측기(22)와, 제어부(23)을 구비하고 있다. 세포 화상 평가 장치(20)는, 중앙 처리 장치, 반도체 메모리 및 하드 디스크 등을 구비한 컴퓨터로 구성되는 것이며, 하드 디스크에 본 발명의 세포 화상 평가 프로그램의 일 실시형태가 인스톨되어 있다. 그리고, 이 세포 화상 평가 프로그램이 중앙 처리 장치에 의하여 실행됨으로써, 도 1에 나타내는 평가기(21), 예측기(22) 및 제어부(23)가 기능한다.
평가기(21)는, 현미경 장치(10)로부터 출력된 세포 화상을 취득하고, 그 취득한 세포 화상에 포함되는 세포의 상태를 평가하는 것이다. 구체적으로는, 평가기(21)는, 도 2에 나타내는 바와 같이, 입력된 세포 화상을 복수의 관심 영역(R)으로 분할하고, 그 각 관심 영역(R)의 세포 화상에 포함되는 세포의 상태를 각각 평가하여 각 관심 영역(R)의 평가 결과를 출력한다. 또한, 도 2에 있어서 점선에 의하여 나타내는 직사각형 영역이 관심 영역(R)이다. 또, 본 실시형태에 있어서는, 현미경 장치(10)의 관찰 영역과 상술한 관심 영역은 동일한 영역으로 하지만, 이것에 한정하지 않고, 관심 영역(R)을 관찰 영역보다 넓게 설정하도록 해도 되며, 반대로, 관심 영역(R)을 관찰 영역보다 좁게 설정하도록 해도 된다.
본 실시형태의 평가기(21)는, 각 관심 영역(R)의 세포 화상에 근거하여, 세포 화상에 포함되는 세포가 분화 세포인지, 또는 미분화 세포인지를 평가한다. 또한 평가기(21)는, 각 관심 영역(R)의 세포 화상이, 세포를 포함하지 않는 배지만의 화상인지 아닌지의 평가와, 세포 화상에 포함되는 흰색 줄(크랙)의 밀도의 평가와, 세포 화상에 포함되는 세포가 적층 상태인지 아닌지의 평가를 행한다. 그리고, 평가기(21)는, 각 관심 영역의 평가 결과로서, "미분화 세포(미분화 상태의 세포)의 영역이다", "분화 세포(분화 상태의 세포)의 영역이다", "흰색 줄이 조밀하게 존재하는 영역이다", "세포가 적층 상태인 영역이다", 및 "배지 영역이다" 중 어느 하나를 출력한다. 또한, 흰색 줄(크랙)이란, 세포와 배경 간에 발생하는 회절광에 의한 광의 번짐(헤일로)이다.
도 3의 I은, 배지의 화상의 일례를 나타낸 것이고, 도 3의 II는, 분화 세포의 세포 화상의 일례를 나타낸 것이며, 도 3의 III은, 흰색 줄의 밀도가 높은 세포 화상의 일례를 나타낸 것이고, 도 3의 IV는, 미분화 세포의 세포 화상의 일례를 나타낸 것이며, 도 3의 V는, 적층 상태의 세포 화상의 일례를 나타내는 것이다.
세포 화상에 포함되는 세포가 분화 세포인지, 또는 미분화 세포인지의 평가에 대해서는, 예를 들면 세포 화상으로부터 하나 하나의 세포 단체를 추출하고, 그 세포 단체의 원형도(圓形度)를 평가하는 것으로 평가할 수 있다. 구체적으로는, 미분화 세포는 원형도가 상대적으로 높아지지만, 분화 세포는 길고 가느다란 형상이 되어, 원형도가 상대적으로 낮아진다. 따라서, 세포 단체의 원형도를 산출함으로써 분화 세포인지, 또는 미분화 세포인지를 평가할 수 있다. 또한, 세포 화상으로부터 세포 단체를 추출하는 방법으로서는, 에지 검출 처리 등 공지의 화상 처리 방법을 이용할 수 있다.
또, 분화 세포인지, 또는 미분화 세포인지를 평가하는 방법으로서는, 상술한 세포 단체의 원형도에 근거하는 평가에 한정하지 않고, 그 외에도 세포 단체의 단위 면적당 수(밀도), 핵소체의 단위 면적당 수(밀도), 및 세포 단체의 평균 면적 등을 이용하여 평가하도록 해도 된다. 세포 단체의 밀도는, 분화 세포보다 미분화 세포가 높아지는 경향이 있고, 핵소체의 밀도도, 마찬가지로 분화 세포보다 미분화 세포가 높아지는 경향이 있다. 또, 세포 단체의 평균 면적에 대해서는, 미분화 세포보다 분화 세포가 커지는 경향이 있다. 또한, 상기의 평가 방법에 한정하지 않고, 그 외의 공지의 평가 방법을 이용하도록 해도 된다.
관심 영역이, 배지 영역인지 아닌지의 평가에 대해서는, 예를 들면 각 관심 영역의 세포 화상으로부터 세포 단체를 추출하고, 그 세포 단체의 수가 미리 설정된 임곗값 이하인 경우에는, 배지 영역이라고 평가하도록 하면 된다.
관심 영역의 세포 화상에 포함되는 흰색 줄의 밀도의 평가에 대해서는, 예를 들면 세포 화상에 대하여 2치화 처리를 실시하고, 그 2치화 처리 후의 화상으로부터 흰색 화소가 길고 가느다랗게 연속하여 존재하는 흰색 화소 영역을 추출하고, 그 면적의 밀도를 산출하도록 하면 된다. 그리고, 그 산출한 흰색 화소 영역의 밀도가, 미리 설정된 임곗값 이상인 경우에, 흰색 줄이 조밀하게 존재하는 영역이라고 평가하도록 하면 된다.
세포 화상에 포함되는 세포가 적층 상태인지 아닌지의 평가에 대해서는, 세포가 적층 상태인 경우에는, 세포의 밀집도가 높아져, 세포 화상의 휘도가 높아진다. 따라서, 세포 화상의 휘도 분포를 취득하고, 휘도의 평균값이, 미리 설정된 임곗값보다 높은 경우에는, 세포가 적층 상태라고 평가하도록 하면 된다. 또는, 세포 화상의 휘도 분포의 공간 주파수를 해석함으로써 세포가 적층 상태인지 아닌지를 평가하도록 해도 된다. 또한, 세포가 적층 상태인지 아닌지의 평가 방법에 대해서도, 그 외의 공지의 방법을 이용할 수 있다.
다음으로, 예측기(22)는, 염색 처리 전의 세포를 촬영한 적어도 하나의 세포 화상의 평가기(21)에 의한 평가 결과의 입력을 접수하고, 그 세포 화상 내에 있어서의 특정 관심 영역 및 그 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하는 것이다.
여기에서, 염색 처리란, 상술한 바와 같이, 다능성 줄기 세포가 분화 상태를 유지하고 있는지 아닌지, 또는 원하는 세포로 분화 유도한 경우에 미분화 세포가 포함되어 있는지 아닌지를 확인할 수 있는 처리이며, 예를 들면 알칼리 포스파타제 등의 염색 마커가 이용된다. 알칼리 포스파타제에 의하면, 미분화 세포가 염색되고, 분화 세포는 염색되지 않는다.
그리고, 염색 처리를 행한 경우에, 세포가 염색되는지 아닌지에 대해서는, 그 세포가 미분화 세포인지, 또는 분화 세포인지만을 평가한 것만으로는, 반드시, 그 평가 결과와 염색 처리의 결과는 일치하지는 않는다. 구체적으로는, 예를 들면 소정의 관심 영역 내의 세포가 미분화 세포라고 평가되었다고 해도, 그 관심 영역 혹은 관심 영역의 주변 영역이 적층 상태인 경우에는, 염색 마커가 세포 내에 흡수되기 어려워져, 염색되지 않는 경우가 있다. 또, 이와 같은 예에 한정하지 않고, 관심 영역 내의 세포가 미분화 세포라고 평가된 경우에서도, 실제로 염색 처리를 행한 경우에는, 관심 영역의 주변 영역의 세포의 상태에 따라 염색되지 않는 경우가 있는 것을 알 수 있었다.
따라서, 본 실시형태의 예측기(22)는, 상술한 바와 같이 세포 화상 내에 있어서의 특정 관심 영역 및 그 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력한다.
구체적으로는, 예측기(22)는, 도 4에 나타내는 바와 같이, 염색 처리 전의 세포를 촬영한 세포 화상의 각 관심 영역(R)의 평가 결과의 입력을 접수한다. 그리고, 예측기(22)는, 입력된 세포 화상 내의 복수의 관심 영역(R) 중 특정 관심 영역(SR)과, 특정 관심 영역(SR)의 주변의 관심 영역(R)의 평가 결과에 근거하여, 특정 관심 영역(SR)에 포함되는 세포의 염색 상태를 예측하여 출력하는 것이다. 또한, 도 4에 있어서는, 주변의 관심 영역(R)을 사선에 의하여 나타내고 있다.
예측기(22)는, 상술한 바와 같이 실제로는 염색 처리가 실시되지 않은 세포에 대하여, 염색 처리가 실시된 경우를 상정하고, 그 염색 상태를 예측하여 출력하도록, 미리 기계 학습된 것이다. 구체적으로는, 예측기(22)는, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역 및 그 특정 관심 영역의 주변 영역의 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 것이다. 이하, 예측기(22)의 기계 학습의 방법의 일례를, 도 5에 나타내는 플로 차트 및 도 6~도 8을 참조하면서 설명한다.
먼저, 염색 처리 전의 세포를 촬영한 제1 세포 화상과, 염색 처리 후의 제2 세포 화상을 취득하고(S10), 제1 세포 화상을 평가기(21)에 입력하여, 상술한 바와 같은 각 관심 영역(R)의 평가 결과를 취득한다(S12). 도 6의 I은, 염색 처리 전의 제1 세포 화상 내에 있어서의 각 관심 영역(R)의 평가 결과의 일례를 나타내는 도이다. 도 6의 I에 있어서는, "배지 영역이다"라는 평가 결과를 "1", "분화 세포의 영역이다"라는 평가 결과를 "2", "흰색 줄이 조밀하게 존재하는 영역이다"라는 평가 결과를 "3", "미분화 세포의 영역이다"라는 평가 결과를 "4", 및 "세포가 적층 상태인 영역이다"라는 평가 결과를 "5"로 하여 나타내고 있다.
다음으로, 염색 처리 후의 제2 세포 화상의 각 관심 영역(R)의 염색 상태를 취득한다(S14). 제2 세포 화상의 염색 상태에 대해서는, 예를 들면 제2 세포 화상의 각 관심 영역(R)의 화상을 평가하고, 염색 강도에 따라 클래스 분류하도록 하면 된다. 또, 평가기(21)에 있어서, 제2 세포 화상의 휘도 정보에 근거하여 행하도록 해도 되고, 본 실시형태의 세포 화상 평가 예측 시스템과는 다른 장치에 있어서 평가하도록 해도 된다. 또는, 유저가 염색 상태를 평가하고, 입력 장치(40)를 이용하여 그 평가 결과를 설정 입력하도록 해도 된다.
도 6의 II는, 제2 세포 화상의 각 관심 영역(R)의 세포의 염색 상태의 일례를 나타내는 도이다. 도 6의 II에 있어서는, 염색 처리에 의한 염색 발색 강도를 5단계로 나타내고 있으며, 염색 상태 "1"은, 발색 없음을 의미하고, 염색 상태 "5"는, 염색 발색 강도가 가장 큰 것을 의미하고 있다.
그리고, 도 6의 I에 나타내는 제1 세포 화상의 평가 결과와, 도 6의 II에 나타내는 제2 세포 화상의 염색 상태와의 대응 관계가 취득되고(S16), 그 대응 관계가 예측기(22)에 의하여 기계 학습된다(S18). 구체적으로는, 예를 들면 도 6의 I에 나타내는 3×3의 관심 영역의 영역(ER11)과, 그 영역(ER11)에 대응하는 제2 세포 화상에 있어서의 영역(ER12)이 특정된다. 그리고, 도 7의 I에 나타내는 바와 같이, 영역(ER11)의 중심에 위치하는 특정 관심 영역(SR11) 및 그 주변의 관심 영역(R11)의 평가 결과와, 영역(ER12)의 중심에 위치하는 특정 관심 영역(SR12)의 염색 상태가 대응되고, 이 대응 관계가 예측기(22)에 의하여 기계 학습된다. 보다 구체적으로는, 도 8에 나타내는 바와 같이, 영역(ER11)의 각 관심 영역(R)의 평가 결과를 좌측 상단의 평가 결과로부터 우측 하단의 평가 결과를 향하여 순서대로 배열한 학습 특징량이 구해지고, 이 학습 특징량에 대응하는 학습 클래스로서, 영역(ER12)의 특정 관심 영역(SR12)의 염색 상태가 구해진다. 그리고, 도 8에 나타내는 학습 특징량과 학습 클래스와의 관계가, 예측기(22)에 의하여 기계 학습된다.
마찬가지로, 도 6의 I에 나타내는 3×3의 관심 영역의 영역(ER21)과, 그 영역(ER21)에 대응하는 제2 세포 화상에 있어서의 영역(ER22)이 특정된다. 그리고, 도 7의 II에 나타내는 바와 같이, 영역(ER21)의 중심에 위치하는 특정 관심 영역(SR21) 및 그 주변의 관심 영역(R21)의 평가 결과와, 영역(ER22)의 중심에 위치하는 특정 관심 영역(SR22)의 염색 상태가 대응되고, 이 대응 관계가 예측기(22)에 의하여 기계 학습된다. 구체적으로는, 도 8에 나타내는 바와 같이, 영역(ER21)의 각 관심 영역(R)의 평가 결과를 좌측 상단의 평가 결과로부터 우측 하단의 평가 결과를 향하여 순서대로 배열한 학습 특징량이 구해지고, 이 학습 특징량에 대응하는 학습 클래스로서, 영역(ER22)의 특정 관심 영역(SR22)의 염색 상태가 구해진다. 그리고, 도 8에 나타내는 학습 특징량과 학습 클래스와의 관계가, 예측기(22)에 의하여 기계 학습된다.
또, 마찬가지로, 도 6의 I에 나타내는 3×3의 관심 영역의 영역(ER31)과, 그 영역(ER31)에 대응하는 제2 세포 화상에 있어서의 영역(ER32)이 특정된다. 그리고, 도 7의 III에 나타내는 바와 같이, 영역(ER31)의 중심에 위치하는 특정 관심 영역(SR31) 및 그 주변의 관심 영역(R31)의 평가 결과와, 영역(ER32)의 중심에 위치하는 특정 관심 영역(SR32)의 평가 결과가 대응되고, 이 대응 관계가 예측기(22)에 의하여 기계 학습된다. 그리고, 도 8에 나타내는 바와 같이, 영역(ER31)의 학습 특징량과 그 학습 특징량에 대응하는 학습 클래스로서, 영역(ER32)의 특정 관심 영역(SR32)의 염색 상태가 구해진다. 그리고, 도 8에 나타내는 학습 특징량과 학습 클래스와의 관계가, 예측기(22)에 의하여 기계 학습된다.
또한, 여기에서는, 3개의 영역의 평가 결과의 대응 관계를 기계 학습하는 경우에 대하여 설명했지만, 3개의 영역뿐만 아니라, 그 외의 다수의 영역의 평가 결과와 염색 상태와의 대응 관계가, 예측기(22)에 의하여 기계 학습된다. 또, 상기 설명에서는, 3×3의 관심 영역의 평가 결과와 염색 상태와의 대응 관계를 이용하도록 했지만, 3×3에 한정하는 것은 아니다. 예를 들면, 5×5의 관심 영역의 평가 결과와 염색 상태와의 대응 관계를 이용하여 기계 학습하도록 해도 된다.
또한, 기계 학습의 수법으로서는, 서포트 벡터 머신(SVM), 딥 뉴럴 네트워크(DNN), 컨볼루션 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(RNN), 및 디노이징 스택 오토인코더(DSA) 등을 이용할 수 있다.
또, 예측기(22)를 기계 학습시킬 때에 이용하는 제1 세포 화상 및 제2 세포 화상은, 반드시 현미경 장치(10)에 의하여 촬영된 것이 아니어도 되고, 본 실시형태의 세포 화상 평가 예측 시스템 이외의 외부의 서버 장치 등에 보존된 세포 화상을 이용하도록 해도 된다.
도 9는, 상술한 바와 같이 하여 기계 학습된 예측기를 이용하여, 세포의 염색 상태를 예측하는 방법을 설명하기 위한 플로 차트이다.
도 9에 나타내는 바와 같이, 먼저, 현미경 장치(10)에 의하여 촬영된 염색 처리 전의 제3 세포 화상이 평가기(21)에 입력된다(S20). 그리고, 평가기(21)에 의하여 제3 세포 화상의 각 관심 영역(R)의 세포의 상태가 평가된다(S22).
이어서, 제3 세포 화상의 각 관심 영역(R)의 평가 결과가 예측기(22)에 입력된다. 예측기(22)는, 도 4에 나타내는 바와 같이, 제3 세포 화상 내에 있어서의 특정 관심 영역(SR)의 평가 결과와 그 주변의 관심 영역(R)의 평가 결과에 근거하여, 특정 관심 영역(SR)의 세포의 염색 상태를 예측한다(S24).
그리고, 본 실시형태의 예측기(22)는, 제3 세포 화상 내의 각 관심 영역(R)을 특정 관심 영역(SR)에 설정하고, 제3 세포 화상 전체에 대하여, 상기와 동일하게 하여, 세포의 염색 상태를 예측하고, 상술한 학습 클래스를 염색 상태로 하는 염색 맵을 생성한다(S26).
도 1에 되돌아와, 제어부(23)는, 세포 화상 평가 장치(20) 전체를 제어하는 것이다. 또, 제어부(23)는, 예측기(22)에 있어서 생성된 염색 맵을 표시 장치(30)에 표시시키는 것이다. 본 실시형태에 있어서는, 웰마다의 제3 세포 화상이 평가기(21)에 입력되고, 그 평가 결과에 근거하여, 웰마다의 염색 맵이 생성된다. 염색 맵으로서는, 예를 들면 예측된 염색 발색 강도의 크기에 근거하여, 각각 색 분류된 컬러 맵을 생성하여 표시 장치(30)에 표시하도록 하면 된다.
상기 실시형태의 세포 화상 평가 예측 시스템은, 세포 화상을 복수의 영역으로 분할한 각 관심 영역에 대하여, 그 세포의 상태를 평가한 평가 결과를 출력하는 평가기(21)와, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역 및 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기(22)를 구비한다.
그리고, 예측기(22)가, 염색 처리 전의 세포를 촬영한 제3 세포 화상의 평가기에 의한 평가 결과의 입력을 접수하고, 제3 세포 화상 내에 있어서의 특정 관심 영역 및 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하도록 했으므로, 세포에 염색 처리를 실시한 경우의 염색 상태를, 염색 처리를 실시하지 않고 파악할 수 있고, 예를 들면 계대 및 배지 교환 등의 세포에 대한 조작을 적절한 타이밍에 의하여 행할 수 있다.
또, 기계 학습에 의하여 얻어진 예측기(22)에 의하여 염색 상태를 예측하도록 했으므로, 다수의 과거의 염색 상태의 평가 결과에 근거하는 염색 예측 결과가 얻어져, 단지 현재의 세포 화상에 대하여 미분화 또는 분화를 판정하고, 판정 결과에 근거하여 세포의 상태마다 채색한 채색 화상보다, 보다 신뢰감이 있는 결과를 얻을 수 있다.
또한, 본 실시형태에 있어서는, 제1 세포 화상 및 제3 세포 화상의 평가기(21)에 의한 평가로서, 핵소체의 밀도를 포함시키도록 해도 된다. 미분화 세포는, 세포가 응집하여 콜로니를 형성하므로 핵소체의 밀도가 높고, 분화 세포는, 각 세포끼리가 떨어져 분포하기 때문에 핵소체의 밀도는 낮아진다. 따라서, 평가기(21)에 의한 평가로서 핵소체의 밀도를 포함함으로써, 예측기(22)의 예측 결과의 정밀도를 향상시킬 수 있다.
또, 본 실시형태에 있어서는, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역 및 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기(22)를 마련하고, 그 예측기(22)가, 염색 처리 전의 세포를 촬영한 제3 세포 화상의 평가기(21)에 의한 평가 결과의 입력을 접수하며, 제3 세포 화상 내에 있어서의 특정 관심 영역 및 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하도록 했지만, 즉, 특정 관심 영역의 평가 결과와 그 주변 영역의 평가 결과를 이용하여 예측기(22)의 기계 학습을 행하여, 특정 관심 영역의 평가 결과와 그 주변 영역의 평가 결과를 이용하여 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하도록 했지만, 예측기(22)의 기계 학습을 행할 때에, 염색 처리 전의 세포의 평가 결과로서, 특정 관심 영역의 평가 결과를 이용하지 않고, 특정 관심 영역의 주변 영역의 평가 결과만을 이용하도록 해도 된다. 또, 예측기(22)에 의하여 특정 관심 영역의 세포의 염색 상태를 예측하여 출력시킬 때에, 특정 관심 영역의 평가 결과를 이용하지 않고, 특정 관심 영역의 주변 영역의 평가 결과만을 이용하도록 해도 된다.
즉, 염색 처리 전의 세포를 촬영한 제1 세포 화상 내에 있어서의 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과와, 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기(22)를 마련하고, 염색 처리 전의 세포를 촬영한 제3 세포 화상 내에 있어서의 특정 관심 영역의 주변 영역의 평가기(21)에 의한 평가 결과에 근거하여, 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하도록 해도 된다.
또, 상기 실시형태에 있어서는, 예측기(22)에 의하여 생성된 웰마다의 염색 맵을 표시 장치(30)에 표시시키도록 했지만, 이것에 한정하지 않고, 예측기(22)로부터 출력된 각 관심 영역의 예측 결과를 통합하여, 웰 전체의 세포의 염색 상태를 나타내는 지표를 산출하고, 표시 장치(30)에 표시시키도록 해도 된다. 도 10은, 상술한 바와 같이 각 관심 영역의 예측 결과를 통합하여, 웰 전체의 세포의 염색 상태를 나타내는 지표를 취득하는 통합부(23a)를 갖는 세포 화상 평가 예측 시스템의 개략 구성을 나타내는 블록도이다.
통합부(23a)는, 예를 들면 웰 전체에 대한 각 염색 발색 강도의 영역의 비율을 각각 산출하고, 그 비율을 웰 전체의 세포의 염색 상태를 나타내는 지표로서 염색 맵과 함께 표시 장치(30)에 표시시킨다. 또는, 특정의 염색 발색 강도, 예를 들면 염색 발색 강도가 "4" 이상인 영역의 웰 전체에 대한 비율을 산출하고, 염색 맵과 함께 표시 장치(30)에 표시시키도록 해도 된다.
또, 상기 실시형태에 있어서는, 염색 상태를 예측기(22)로부터 출력시키도록 했지만, 이것에 한정하지 않고, 관심 영역 내에 포함되는 세포의 2 이상의 염색 발색 강도로의 천이 확률을 예측기(22)로부터 출력시키도록 해도 된다. 구체적으로는, 예를 들면 도 11에 나타내는 바와 같이, 각 관심 영역(R)에 대하여 각 염색 발색 강도(도 11에 있어서는 단순히 발광 강도로 나타내고 있음)로의 천이 확률을 출력하도록 예측기(22)를 구성해도 된다.
그리고, 도 11에 나타내는 바와 같이, 예측기(22)로부터 출력된 각 관심 영역의 2 이상의 천이 확률을 맵핑하여 예측 맵을 생성하고, 표시 장치(30)에 표시시키도록 해도 된다. 또는, 통합부(23a)가, 각 관심 영역의 2 이상의 천이 확률을 통합하여, 웰 전체의 세포의 염색 상태를 취득하도록 해도 된다.
통합부(23a)에 있어서의 각 관심 영역의 2 이상의 천이 확률의 통합 방법으로서는, 예를 들면 각 관심 영역의 2 이상의 천이 확률 중, 가장 큰 천이 확률을 통합하도록 해도 된다. 구체적으로는, 도 11에 나타내는 바와 같이, 각 관심 영역(R)에 대하여, 각 염색 발광 강도로의 천이 확률을 예측기(22)가 출력하는 경우에는, 각 관심 영역(R)의 2개의 천이 확률 중 큰 쪽의 천이 확률의 염색 발광 강도를, 그 관심 영역(R)의 염색 발광 강도로서 취득한다. 예를 들면 소정의 관심 영역(R)의 염색 발광 강도 "1"로의 천이 확률이 80%이며, 염색 발광 강도 "2"로의 천이 확률이 20%인 경우에는, 그 소정의 관심 영역(R)의 세포의 염색 상태는, 염색 발광 강도 "1"이라고 한다. 그리고, 웰 내의 그 외의 관심 영역(R)에 대해서도, 동일하게 하여, 염색 발광 강도를 특정한다. 그리고, 웰 전체의 관심 영역(R)의 수에 대한 각 염색 발광 강도의 관심 영역(R)의 수의 비율을 각각 산출함으로써, 웰 전체의 세포의 염색 상태를 취득한다.
또는, 상술한 바와 같이 각 관심 영역의 2 이상의 천이 확률 중, 가장 큰 천이 확률을 통합하는 것이 아니라, 각 관심 영역의 각 천이 확률을 웰 전체로 통합하도록 해도 된다. 구체적으로는, 웰 내의 각 관심 영역에 대하여, 각 염색 발광 강도의 천이 확률을, 염색 발광 강도마다 각각 가산하고, 그 가산한 확률을 웰 전체의 관심 영역의 수로 제산함으로써, 웰 전체에 대하여, 각 염색 발광 강도로의 천이 확률을 취득하도록 해도 된다.
또, 웰 전체에 대하여 각 염색 발광 강도로의 천이 확률을 통합하는 것이 아니라, 세포 콜로니 단위로 각 염색 발광 강도로의 천이 확률을 통합하도록 해도 된다. 도 12는, 웰(W) 내에 있어서의 세포 콜로니 영역(CR)마다, 그 각 염색 발광 강도(도 12에서는 단순히 발광 강도로 나타내고 있음)로의 천이 확률을 통합한 예를 나타낸 것이다. 도 12에 나타내는 바와 같은 천이 확률 맵을 생성하여 표시 장치(30)에 표시시키도록 해도 된다.
또, 상기 실시형태에 있어서는, 예측기(22)에 대하여, 1개의 제3 세포 화상의 평가 결과를 입력하도록 했지만, 이것에 한정하지 않고, 복수의 다른 시점에서 촬영된 제3 세포 화상의 평가 결과를 입력하도록 해도 된다. 도 13은, 현시점에 있어서 촬영된 제3 세포 화상의 평가 결과와, 1일 전에 촬영된 제3 세포 화상의 평가 결과와, 2일 전에 촬영된 제3 세포 화상의 평가 결과를 예측기(22)에 입력하여, 1개의 예측 결과를 얻는 예를 나타내는 도이다. 또한, 이 경우, 예측기(22)를 기계 학습시킬 때에도, 복수의 다른 시점에서 촬영된 제1 세포 화상의 평가 결과가 입력된다.
또, 상기 실시형태에 있어서는, 예측기(22)에 대하여, 제3 세포 화상의 평가 결과를 입력하도록 했지만, 제3 세포 화상의 평가 결과에 더하여, 적어도 하나의 배양 조건을 입력하도록 해도 된다. 배양 조건으로서는, 배지의 종류 및 양, 배양에 있어서의 환경 온도 및 습도, 그리고 성장 인자의 유무 등이 있다. 또한, 이 경우, 예측기(22)를 기계 학습시킬 때에도, 상술한 바와 같은 배양 조건이 예측기(22)에 입력된다. 배양 조건에 대해서는, 예를 들면 유저가 입력 장치(40)를 이용하여 설정 입력하면 된다.
또, 상기 실시형태에 있어서는, 도 14에 나타내는 바와 같이, 예측기(22)로부터 출력된 세포의 염색 상태의 정보를 취득하고, 그 세포의 염색 상태의 정보에 근거하여, 세포에 대한 조작 내용을 결정하는 조작 내용 결정부(23b)를 마련하도록 해도 된다. 구체적으로는, 상술한 바와 같이 웰 내의 각 염색 발광 강도의 영역의 비율을 산출하는 경우에는, 조작 내용 결정부(23b)가, 각 염색 발광 강도의 영역의 비율에 근거하여, 계대, 배지 교환, 배지 변경, 약제 첨가, 및 피킹 등의 조작을 결정하도록 해도 된다. 조작 내용 결정부(23b)에 의하여 결정된 조작 내용은 표시 장치(30)에 표시되고, 유저에 대하여 그 조작을 행하도록 촉구한다.
이와 같이 웰 단위로 염색 상태를 취득함으로써, 웰마다 배양 상태를 파악할 수 있으며, 계대, 배지 교환, 배지 변경, 및 피킹 등의 조작을 효율적으로 행할 수 있다. 또, 콜로니 단위로 염색 상태를 취득한 경우에는, 콜로니마다 배양 상태를 파악할 수 있고, 계대, 배지 교환, 배지 변경, 및 피킹 등의 조작을 효율적으로 행할 수 있으며, 특히, 콜로니 단위로 피킹을 행하는 경우에, 콜로니의 선택을 효율적으로 행할 수 있다.
또, 조작 내용 결정부(23b)에 있어서 결정하는 조작 내용으로서는, 상술한 예에 한정하지 않고, 유전자 검사를 행하도록 표시 장치(30)에 표시시키도록 해도 된다. 구체적으로는, 예를 들면 세포의 염색 상태의 정보에 근거하여, 세포의 품질을 평가하고, 그 품질이 미리 설정해 둔 기준값을 밑돌아, 품질이 양호하지 않은 경우에, 유전자 검사를 행하도록 유저에게 촉구하도록 해도 된다. 또, 세포의 염색 상태의 예측 결과로서, "불분명"이라고 하는 클래스를 마련해 두고, 이 클래스의 출현수가 많은 경우에, 유전자 검사를 행하도록 촉구하고, 이로써 세포의 염색 상태를 확정하도록 해도 된다.
또, 상기 실시형태에 있어서는, 평가기(21)에 있어서 미분화 세포인지, 또는 분화 세포인지 등을 평가하도록 했지만, 이것에 한정되는 것은 아니다. 예를 들면 평가기(21)에 있어서, 관심 영역 내의 세포가 섬유아 세포인지, 피더 세포인지를 평가하도록 해도 된다. 섬유아 세포는, 피부를 구성하는 세포 중 하나이다. 평가기(21)에 의하여 섬유아 세포인지, 또는 피더 세포인지를 평가하고, 섬유아 세포의 염색 상태를 예측기(22)에 기계 학습함으로써, 섬유아 세포의 염색 상태를 예측할 수 있다.
또, 평가기(21)에 있어서, 관심 영역 내의 세포가 다능성 줄기 세포인지, 피더 세포인지를 평가하도록 해도 된다. 다능성 줄기 세포로서는, iPS 세포 및 ES 세포가 있다. 평가기(21)에 의하여 다능성 줄기 세포인지, 또는 피더 세포인지를 평가하고, 다능성 줄기 세포의 염색 상태를 예측기(22)에 기계 학습함으로써, 다능성 줄기 세포의 염색 상태를 예측할 수 있다.
또, 평가기(21)에 있어서, 관심 영역이 세포의 영역인지, 비세포의 영역인지를 평가하도록 해도 된다.
또, 평가기(21)에 있어서, 관심 영역 내의 세포가 생세포인지, 사세포인지를 평가하도록 해도 된다. 또한, 생세포인지, 사세포인지를 평가하는 방법으로서는, 예를 들면 세포에 포함되는 핵소체를 추출하여, 핵소체가 존재하는 세포를 생세포로서 평가하고, 핵소체가 존재하지 않는 세포를 사세포로서 평가하도록 하면 된다.
10 현미경 장치
20 세포 화상 평가 장치
21 평가기
22 예측기
23 제어부
23a 통합부
23b 조작 내용 결정부
30 표시 장치
40 입력 장치
CR 세포 콜로니 영역
ER11 영역
ER12 영역
ER21 영역
ER22 영역
ER31 영역
ER32 영역
R 관심 영역
SR 특정 관심 영역
W 웰

Claims (16)

  1. 세포를 촬영한 세포 화상을 복수로 분할한 복수의 관심 영역의 각각에 대하여, 각 상기 관심 영역에 포함되는 세포의 상태를 평가하고, 세포가 분화 세포인 영역, 세포가 미분화 세포인 영역, 세포를 포함하지 않는 배지 영역, 흰색 줄이 조밀하게 존재하는 영역, 및 세포가 적층 상태인 영역 중 어느 영역인지를 나타내는 평가 결과를 출력하는 평가기와,
    입력된 적어도 하나의 배양 조건, 그리고 염색 처리 전의 세포를 촬영한 적어도 하나의 제1 세포 화상 내에 있어서의 상기 복수의 관심 영역 중 특정 관심 영역의 주변의 관심 영역의 상기 평가기에 의한 평가 결과, 또는 상기 복수의 관심 영역 중 특정 관심 영역 및 그 특정 관심 영역의 주변의 관심 영역의 상기 평가기에 의한 평가 결과와, 상기 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 상기 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기를 구비하고,
    상기 예측기가, 입력된 적어도 하나의 배양 조건과, 염색 처리 전의 세포를 촬영한 적어도 하나의 제3 세포 화상의 상기 평가기에 의한 평가 결과 중 특정 관심 영역의 주변의 관심 영역의 평가 결과, 또는 상기 특정 관심 영역 및 그 특정 관심 영역의 주변의 관심 영역의 평가 결과에 근거하여, 상기 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하는, 세포 화상 평가 장치.
  2. 청구항 1에 있어서,
    상기 예측기가, 상기 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 출력하는, 세포 화상 평가 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 예측기가, 세포가 수용된 용기 내를 촬영한 상기 제3 세포 화상의 상기 평가 결과의 입력을 접수하고, 상기 용기 내의 복수의 관심 영역의 세포의 염색 상태를 각각 출력하며,
    상기 각 관심 영역의 세포의 염색 상태를 통합하여, 상기 용기 전체의 세포의 염색 상태를 취득하는 통합부를 구비한, 세포 화상 평가 장치.
  4. 청구항 3에 있어서,
    상기 예측기가, 상기 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 각각 출력하고,
    상기 통합부가, 상기 각 관심 영역의 2 이상의 염색 발색 강도의 천이 확률을 상기 염색 발색 강도마다 통합하여, 상기 용기 전체의 세포의 염색 상태를 취득하는, 세포 화상 평가 장치.
  5. 청구항 3에 있어서,
    상기 예측기가, 상기 세포의 염색 상태의 출력으로서, 2 이상의 염색 발색 강도로의 천이 확률을 각각 출력하고,
    상기 통합부가, 상기 각 관심 영역의 2 이상의 염색 발색 강도의 천이 확률 중, 가장 큰 천이 확률의 염색 발색 강도를 통합하여, 상기 용기 전체의 세포의 염색 상태를 취득하는, 세포 화상 평가 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 청구항 1 또는 청구항 2에 있어서,
    상기 예측기로부터 출력된 세포의 염색 상태의 정보를 취득하고, 상기 세포의 염색 상태의 정보에 근거하여, 상기 세포에 대한 조작 내용을 결정하는 조작 내용 결정부를 구비한, 세포 화상 평가 장치.
  15. 청구항 14에 있어서,
    상기 세포에 대한 조작 내용이, 계대, 배지 교환, 배지의 변경, 약제 첨가, 피킹 또는 유전자 검사인, 세포 화상 평가 장치.
  16. 컴퓨터를,
    세포를 촬영한 세포 화상을 복수로 분할한 복수의 관심 영역의 각각에 대하여, 각 상기 관심 영역에 포함되는 세포의 상태를 평가하고, 세포가 분화 세포인 영역, 세포가 미분화 세포인 영역, 세포를 포함하지 않는 배지 영역, 흰색 줄이 조밀하게 존재하는 영역, 및 세포가 적층 상태인 영역 중 어느 영역인지를 나타내는 평가 결과를 출력하는 평가기와,
    입력된 적어도 하나의 배양 조건, 그리고 염색 처리 전의 세포를 촬영한 적어도 하나의 제1 세포 화상 내에 있어서의 상기 복수의 관심 영역 중 특정 관심 영역의 주변의 관심 영역의 상기 평가기에 의한 평가 결과, 또는 상기 복수의 관심 영역 중 특정 관심 영역 및 그 특정 관심 영역의 주변의 관심 영역의 상기 평가기에 의한 평가 결과와, 상기 제1 세포 화상과 동일한 촬영 대상에 대하여 염색 처리를 행하여 촬영한 제2 세포 화상 내에 있어서의 상기 특정 관심 영역의 세포의 염색 상태와의 관계를 미리 기계 학습시킨 예측기로서 기능시키는 기록 매체에 기록된 세포 화상 평가 프로그램으로서,
    상기 예측기가, 입력된 적어도 하나의 배양 조건과, 염색 처리 전의 세포를 촬영한 적어도 하나의 제3 세포 화상의 상기 평가기에 의한 평가 결과 중 특정 관심 영역의 주변의 관심 영역의 평가 결과, 또는 상기 특정 관심 영역 및 그 특정 관심 영역의 주변의 관심 영역의 평가 결과에 근거하여, 상기 특정 관심 영역의 세포의 염색 상태를 예측하여 출력하는, 기록 매체에 기록된 세포 화상 평가 프로그램.
KR1020197015612A 2016-12-06 2017-11-28 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램 Active KR102231545B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016236441 2016-12-06
JPJP-P-2016-236441 2016-12-06
PCT/JP2017/042472 WO2018105432A1 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム

Publications (2)

Publication Number Publication Date
KR20190080914A KR20190080914A (ko) 2019-07-08
KR102231545B1 true KR102231545B1 (ko) 2021-03-23

Family

ID=62492329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197015612A Active KR102231545B1 (ko) 2016-12-06 2017-11-28 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램

Country Status (5)

Country Link
US (1) US11037292B2 (ko)
EP (1) EP3553165A4 (ko)
JP (2) JP6837493B2 (ko)
KR (1) KR102231545B1 (ko)
WO (1) WO2018105432A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135303B2 (ja) * 2017-11-15 2022-09-13 大日本印刷株式会社 コンピュータプログラム、検出装置、撮像装置、サーバ、検出器、検出方法及び提供方法
WO2020059491A1 (ja) * 2018-09-19 2020-03-26 株式会社カネカ 検査情報処理方法、検査情報処理装置、コンピュータプログラム及び学習モデル
FR3086951B1 (fr) * 2018-10-05 2021-02-26 Redberry Methode et dispositif pour la detection d'au moins un microorganisme selon sa cinetique de marquage, et support de detection
KR102122068B1 (ko) * 2018-11-19 2020-06-12 노을 주식회사 이미지 분석 시스템 및 분석 방법
WO2020188814A1 (ja) * 2019-03-20 2020-09-24 株式会社島津製作所 細胞解析装置
WO2020241836A1 (ja) * 2019-05-31 2020-12-03 国立大学法人京都大学 情報処理装置、スクリーニング装置、情報処理方法、スクリーニング方法、及びプログラム
WO2021009906A1 (ja) * 2019-07-18 2021-01-21 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置
JP7626353B2 (ja) * 2019-09-30 2025-02-04 小林製薬株式会社 皮膚の状態の推定装置
KR102497003B1 (ko) 2020-11-30 2023-02-06 재단법인대구경북과학기술원 약물 평가 방법 및 장치
EP4099272A1 (de) 2021-06-02 2022-12-07 Carl Zeiss Microscopy GmbH Mikroskopiesystem und verfahren zum erzeugen stilisierter kontrastbilder
DE102021114287A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
DE102021114291A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114307A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Digitale kontrastnachbearbeitung von mikroskopiebildern
DE102021114290A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114288A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-spezifischer referenz
DE102021122720A1 (de) 2021-09-02 2023-03-02 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-schonender erfassung von referenzbildern
JP2024016378A (ja) * 2022-07-26 2024-02-07 株式会社Screenホールディングス 解析支援方法、プログラムおよび解析支援装置
DE102023119850A1 (de) 2023-07-26 2025-01-30 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zur Bildverarbeitung eines Mikroskopbildes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7732900A (en) * 1999-09-30 2001-04-30 National Jewish Medical And Research Center Method for regulating cell growth and assays related thereto
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US20120052524A1 (en) * 2009-03-04 2012-03-01 Tokyo Womens Medical University Cell evaluation system using cell sheet and method for using the system
KR101783836B1 (ko) * 2010-06-23 2017-10-10 가부시키가이샤 엔테크 미생물 검출방법, 미생물 검출장치 및 프로그램
CN103460224B (zh) * 2010-12-07 2016-11-23 生命科技公司 虚拟细胞染色
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP6066492B2 (ja) * 2013-08-22 2017-01-25 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
JP2015146747A (ja) * 2014-02-05 2015-08-20 浜松ホトニクス株式会社 細胞判定方法
JP6145890B2 (ja) 2014-03-28 2017-06-14 富士フイルム株式会社 細胞認識装置および方法並びにプログラム
EP3336171B1 (en) * 2014-05-30 2023-08-09 FUJIFILM Corporation Cell evaluation device
WO2016019347A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
EP3262417B1 (en) * 2015-02-23 2021-11-03 Cellanyx Diagnostics, LLC Cell imaging and analysis to differentiate clinically relevant sub-populations of cells
EP3281151B1 (en) * 2015-04-10 2023-03-29 President and Fellows of Harvard College Methods and devices for live cell imaging analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法

Also Published As

Publication number Publication date
KR20190080914A (ko) 2019-07-08
JPWO2018105432A1 (ja) 2019-10-24
JP6837493B2 (ja) 2021-03-03
WO2018105432A1 (ja) 2018-06-14
US11037292B2 (en) 2021-06-15
JP2021061836A (ja) 2021-04-22
US20190287244A1 (en) 2019-09-19
EP3553165A1 (en) 2019-10-16
JP7087048B2 (ja) 2022-06-20
EP3553165A4 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
KR102231545B1 (ko) 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
JP6801000B2 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
AU2022200171B2 (en) Colony contrast gathering
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
KR102643990B1 (ko) 플레이팅된 배지 상의 스트리킹된 샘플로부터 자동화된 미생물 콜로니 카운트를 위한 방법 및 시스템
Dong et al. Deep learning for automatic cell detection in wide-field microscopy zebrafish images
EP3486835A1 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
US9934571B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
EP3407258B1 (en) Image processing device, image processing system, and program
CN109074645A (zh) 用于ihc图像分析的空间索引创建
US11030751B2 (en) Cell image evaluation device, method, and program
US11756190B2 (en) Cell image evaluation device, method, and program
KR20210095955A (ko) 세균 콜로니의 세균 성장을 모니터링하고 콜로니 생물량을 예측하기 위한 시스템 및 방법
CN117377772A (zh) 快速、自动的基于图像的病毒空斑和效力测定
JP2024515512A (ja) 迅速で自動化された画像ベースのウイルスプラークおよびポテンシーアッセイ
Kandula et al. Generative Ai for Cardiovascular Cell Type‐Specific Fluorescence Colorization of Live‐Cell hPSC‐Derived Cardiac Organoids
BR112017022806B1 (pt) Método automatizado para avaliar o crescimento microbiano em um meio laminado, sistema para avaliar o crescimento em um meio de cultura inoculado com uma amostra biológica e meio de armazenamento de memória legível por computador
BR122024005682A2 (pt) Método automatizado para estimar um número de unidades de formação de colônia sobre meio laminado e sistema para avaliar o crescimento em um meio de cultura inoculado com uma amostra biológica

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
PA0105 International application

Patent event date: 20190530

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190530

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200605

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20201214

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200605

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20201214

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200804

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20190530

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210210

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210114

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20201214

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200804

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190530

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210318

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210318

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240220

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250218

Start annual number: 5

End annual number: 5