JP6646746B2 - 画像解析システム、培養管理システム、画像解析方法、培養管理方法、細胞群製造方法及びプログラム - Google Patents
画像解析システム、培養管理システム、画像解析方法、培養管理方法、細胞群製造方法及びプログラム Download PDFInfo
- Publication number
- JP6646746B2 JP6646746B2 JP2018527671A JP2018527671A JP6646746B2 JP 6646746 B2 JP6646746 B2 JP 6646746B2 JP 2018527671 A JP2018527671 A JP 2018527671A JP 2018527671 A JP2018527671 A JP 2018527671A JP 6646746 B2 JP6646746 B2 JP 6646746B2
- Authority
- JP
- Japan
- Prior art keywords
- cell group
- target
- types
- mixing ratio
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 101
- 238000004519 manufacturing process Methods 0.000 title claims description 39
- 238000010191 image analysis Methods 0.000 title claims description 38
- 238000003703 image analysis method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 135
- 238000012545 processing Methods 0.000 claims description 132
- 238000013508 migration Methods 0.000 claims description 129
- 230000005012 migration Effects 0.000 claims description 129
- 230000008569 process Effects 0.000 claims description 127
- 238000005315 distribution function Methods 0.000 claims description 88
- 238000009826 distribution Methods 0.000 claims description 79
- 239000000203 mixture Substances 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 43
- 230000001629 suppression Effects 0.000 claims description 18
- 238000012258 culturing Methods 0.000 claims description 17
- 238000007689 inspection Methods 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 description 493
- 210000004683 skeletal myoblast Anatomy 0.000 description 49
- 210000002950 fibroblast Anatomy 0.000 description 45
- 238000001514 detection method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000004088 simulation Methods 0.000 description 26
- 238000013441 quality evaluation Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 14
- 239000003814 drug Substances 0.000 description 13
- 230000001172 regenerating effect Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000003908 quality control method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000030833 cell death Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000004748 cultured cell Anatomy 0.000 description 4
- 230000035772 mutation Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003969 blast cell Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035755 proliferation Effects 0.000 description 3
- 210000002027 skeletal muscle Anatomy 0.000 description 3
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 230000012292 cell migration Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000005138 cryopreservation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000005175 epidermal keratinocyte Anatomy 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000003556 vascular endothelial cell Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 238000003501 co-culture Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000003098 myoblast Anatomy 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000000844 retinal pigment epithelial cell Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Biotechnology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Genetics & Genomics (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Development (AREA)
- Microbiology (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Description
属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する取得手段と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段と、
を備える構成を有している。
所定の培養期間における属性が異なる複数種類の細胞群を有する対象細胞群の状態を管理する培養管理システムであって、
前記培養期間内の予め定められたタイミングに、属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する取得手段と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段と、
前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を実行する判定手段と、
前記判定処理の結果を管理者に対して所定の告知を実行する出力手段を制御する告知制御手段と、
を備える構成を有している。
生体から取得した対象細胞群であって属性が異なる複数種類の細胞群が含まれる前記対象細胞群に対して、所定の培養期間内の培養を制御することによって、少なくとも特定種類の細胞群を製造する細胞製造方法であって、
前記所定の期間内の予め定められたタイミングに、培養されている前記対象細胞群に対して、当該対象細胞群に含まれる前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を少なくとも含む検査処理を実行する工程と、
前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備していないと前記判定処理によって判定された場合には、対象細胞群に対して不要な細胞種の培養を抑制させるための抑制処理、又は、当該抑制処理を実行するための準備処理を実行する工程と、
を含み、
前記検査処理では、
前記予め定められたタイミングに、前記対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する工程と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する工程と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する工程と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記対象細胞群に含まれる複数種類の細胞群それぞれの混合割合を推定して前記混合割合条件に基づく前記判定処理を実行する工程と、
を更に含む構成を有している。
[A1]細胞品質評価システムの概要
まず、図1を用いて第1実施形態における細胞品質評価システム1の構成及び概要について説明する。なお、図1は、本実施形態における細胞品質評価システム1の構成を示すシステム構成図である。
(1)撮像装置10から対象細胞群が画像化された対象画像を時系列に沿って複数取得し、
(2)取得した複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出し、
(3)検出した各細胞のそれぞれの遊走速度に基づいて、画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成し、
(4)予め記録された、複数種類の細胞群のそれぞれにおける遊走速度の情報を示す遊走速度情報と、生成した分布関数又は分布状態と、に基づいて、複数種類の細胞群それぞれの混合割合を推定し、
(5)推定した混合割合が予め定められた条件を具備する場合に、当該対象細胞群の品質を合格と判定する、
処理(以下、「品質判定処理」という。)を実行する構成を有している。
(1)角膜上皮細胞、角膜実質細胞及び角膜内皮細胞の角膜における細胞群
(2)心筋細胞、血管内皮細胞及び線維芽細胞の心筋における細胞群
(3)表皮角化細胞及び線維芽細胞の皮膚における細胞群
(4)網膜色素上皮細胞、線維芽細胞及び血管内皮細胞の網膜における細胞群
(5)粘膜上皮細胞、表皮角化細胞及び線維芽細胞の粘膜における細胞群
など、幹細胞と、当該幹細胞から分化誘導して得られる細胞群、又は、患者の体から採取する際に、ターゲットの細胞と当該ターゲットの細胞と一緒に採取される他の細胞の細胞群について適用することも可能である。
次に、図2を用いて本実施形態の画像処理装置30の構成について説明する。なお、図2は、本実施形態の画像処理装置30のブロックを示すブロック図である。
(1)撮像装置10から時系列に取得した複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する処理(以下、「遊走速度検出処理」という。)、
(2)検出した各細胞のそれぞれの遊走速度に基づいて、画像化された対象細胞群の遊走速度に関する分布関数を生成する処理(以下、「分布関数生成処理」)、
(3)予め記録された遊走速度情報と、生成した分布関数と、に基づいて、複数種類の細胞群それぞれの混合割合を推定する処理(以下、「混合割合推定処理」)、及び、
(4)推定した混合割合が予め定められた条件を具備する場合に、当該対象細胞群の品質を合格と判定する処理(以下、「合格判定処理」という。)、
を実行する。
次に、図3A〜図3Cを用いて本実施形態の画像処理装置30におけるデータ処理部320の詳細について説明する。なお、図3A、図3B及び図3Cは、本実施形態の推定処理部323において実行される混合割合推定処理(混合分布関数、分布関数N1、又は、分布関数N2)を説明するための図である。
次に、図4を用いて本実施形態の細胞品質評価システム1の画像処理装置30において実行される品質判定処理の動作について説明する。なお、図4は、本実施形態の細胞品質評価システム1の画像処理装置30において実行される品質判定処理の動作を示すフローチャートである。
[A5.1]混合割合の推定
次に、図5A〜図5Cを用いて本実施形態のシミュレーション結果について説明する。なお、図5A、図5B及び図5Cは、本実施形態における対数関数分布を用いたシミュレーション(混合分布関数、分布関数N1、又は、分布関数N2)を説明するための図である。
次に、図6A〜図6C及び図7を用いて本実施形態のノイズがある場合の推定精度の変化について説明する。なお、図6A、図6B及び図6Cは、本実施形態のノイズ耐性(ノイズレベル0.0、0.5及び1.0)について説明するための図であり、図7は、平均遊走速度におけるノイズレベルに対する平均誤差のシミュレーション結果を示すグラフである。
[A6.1]変形例1
上記実施形態においては、撮像装置10及び画像処理装置30が同室や同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。
上記実施形態においては、撮像装置10と画像処理装置30によって細胞品質評価システムを実現しているが、スキャナや撮像機能を備えた画像データ生成部を設け、スタンドアロン型によって実現してもよい。この場合には、例えば、画像データ生成部が本発明の取得手段を構成する。
上記実施形態においては、骨格筋芽細胞と線維芽細胞など2種類の対象細胞群に含まれる混合割合を推定しているが、3種以上の属性の異なる複数の細胞群が混在する対象細胞群に適用することは可能である。
上記実施形態においては、EMアルゴリズムを用いて混合分布関数の割合を算出しているが、検出された各細胞の遊走速度の混合分布関数を求めることなく、制約条件付き最小二乗法問題として解くことも可能である。
上記実施形態の検出処理部321は、1000サンプルの細胞の遊走速度を検出するようになっているが、撮像時間を長くすることによってタイムラプス画像におけるディッシュの任意の1カ所をサンプルすることによって実現してもよいし(時間的なサンプリング)、当該ライムラプス画像から任意の複数箇所をサンプルとして用いてもよい(空間的なサンプリング)。また、検出処理部321においては、時間的及び空間的サンプリングを組み合わせてもよい。
上記実施形態においては、正規分布と対数正規分布を用いて複数種類の細胞群それぞれの混合割合を推定しているが、細胞遊走速度分布に合わせてフィットするガンマ分布又はベータ分布などの別の確率分布関数を用いてもよい。
[B1]培養管理システムの概要
まず、第2実施形態における培養管理システム2の概要について説明する。
次に、図8を用いて第2実施形態における培養管理システム2の構成について説明する。なお、図8は、本実施形態における培養管理システム2の構成を示すシステム構成図である。
(1)予め定められた培養期間中に、撮像装置10から対象細胞群が画像化された対象画像を時系列に沿って複数取得し、
(2)取得した複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出し、
(3)検出した各細胞のそれぞれの遊走速度に基づいて、画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成し、
(4)予め記録された、複数種類の細胞群のそれぞれにおける遊走速度の情報を示す遊走速度情報と、生成した分布関数又は分布状態と、に基づいて、複数種類の細胞群それぞれの混合割合を推定し、
(5)推定した混合割合が予め定められた条件を具備する場合に、当該対象細胞群の品質を合格と判定する判定処理を実行し、
品質判定処理を実行する構成を有している。
次に、図9を用いて本実施形態の培養管理装置31の構成について説明する。なお、図9は、本実施形態の培養管理装置31のブロックを示すブロック図である。
次に、図10を用いて本実施形態の培養管理システム2の培養管理装置31において実行される培養管理処理の動作について説明する。なお、図10は、本実施形態の培養管理システム2の培養管理装置31において実行される培養管理処理の動作を示すフローチャートである。
[C1]細胞群製造方法の概要
次に、第3実施形態における細胞群製造方法の概要及び動作原理について説明する。
(A)上記の培養管理システム2を用いることによって、所定の期間内の予め定められたタイミングに、培養されている対象細胞群に対して、当該対象細胞群に含まれる前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を少なくとも含む、検査処理を実行し、
(B)複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備していないと判定処理によって判定された場合には、対象細胞群に対して不要な細胞種の培養を抑制させるための抑制処理、又は、当該抑制処理を実行するための準備処理、
の各処理を含む。
(A1)予め定められたタイミング(予め定められたタイミング毎)に、対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得し、
(A2)取得され複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出し、
(A3)検出された各細胞のそれぞれの遊走速度に基づいて、画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成し、
(A4)データベースに予め記録され、複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、生成された分布関数又は分布状態と、に基づいて、前記対象細胞群に含まれる複数種類の細胞群それぞれの混合割合を推定して混合割合条件に基づく判定処理を実行する、
構成を有している。
(B1)対象細胞群に対して不要な細胞種の増殖(死滅を含む。)を止めるため、当該不要な細胞種の培養を抑制させるための抑制処理、又は、
(B2)上記の管理者へ抑制処理の実行を促すなどの当該抑制処理を実行するための準備処理、
が実行される。
次に、図11、図12A及び図12Bを用いて第3実施形態における細胞群製造方法の原理について説明する。
(1)画像内の全領域からパターンマッチング(色や形状)や遊走速度などによって不要な細胞群(具体的には、線維芽細胞)であるか必要な細胞群(具体的には、骨格筋芽細胞)であるかを特定し、
(2)不要な細胞種の細胞群に近赤外線レーザを照射することによって非接触で当該不要な細胞種の細胞群を除去する。
2 … 培養管理システム
10 … 撮像装置
20 … ネットワーク
30 … 画像処理装置
31 … 培養管理装置
300 … データ記録部
301 … アプリケーション記録部
302 … 画像データ記録部
303 … 参照データ記録部
310 … 通信制御部
320、400 … データ処理部
321 … 検出処理部
322 … 生成処理部
323 … 推定処理部
324 … 判定処理部
340 … 表示部
350 … 表示制御部
370 … 操作部
380 … 管理制御部
390 … 出力部
391 … タイマ
410 … 培養管理部
420 … 告知制御部
Claims (17)
- 属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する取得手段と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段と、
を備えることを特徴とする、画像解析システム。 - 請求項1に記載の画像解析システムにおいて、
前記推定された混合割合が予め定められた条件を具備する場合に、当該対象細胞群の品質を合格と判定する判定手段を更に備える、画像解析システム。 - 請求項1又は2に記載の画像解析システムにおいて、
前記遊走速度情報が分布関数によって示される情報であり、
前記生成手段が、前記検出された各細胞のそれぞれの遊走速度に基づいて、前記分布関数として、正規分布又は対数正規分布を用いる、画像解析システム。 - 請求項1又は2に記載の画像解析システムにおいて、
前記遊走速度情報が遊走速度の分布状態を示す情報であり、
前記生成手段が、前記分布状態として、前記検出された各細胞のそれぞれの遊走速度のヒストグラムを算出し、
前記推定手段が、前記遊走速度情報と前記ヒストグラムの分布形状とに基づいて前記複数種類の細胞群それぞれの混合割合を推定する、画像解析システム。 - 請求項1〜4のいずれか1項に記載の画像解析システムにおいて、
容器に載置された前記対象細胞群を撮像して画像化する撮像装置を更に備え、
前記取得手段が、前記撮像装置から対象画像のデータを取得する、画像解析システム。 - コンピュータを、
属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像を時系列に沿って複数取得する取得手段、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段、及び、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を示す遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段、
として機能することを特徴とする、プログラム。 - 属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像を時系列に沿って複数取得する工程と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する工程と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する工程と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を示す遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する工程と、
を含むことを特徴とする、画像解析方法。 - 所定の培養期間における属性が異なる複数種類の細胞群を有する対象細胞群の状態を管理する培養管理システムであって、
前記培養期間内の予め定められたタイミングに、属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する取得手段と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段と、
前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を実行する判定手段と、
前記判定処理の結果を管理者に対して所定の告知を実行する出力手段を制御する告知制御手段と、
を備えることを特徴とする培養管理システム。 - 請求項8に記載の培養管理システムにおいて、
前記推定手段が、
前記培養期間内の予め定められたタイミング毎に前記複数種類の細胞群それぞれの混合割合を推定し、
前記判定手段が、
前記予め定められたタイミング毎に、前記混合割合条件を変化させて前記判定処理を実行する、培養管理システム。 - 請求項9に記載の培養管理システムにおいて、
前記判定処理は、前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備する場合に前記対象細胞群の品質を合格と判定し、
前記培養期間内における経過時間の短いタイミングにおける前記判定処理に、当該経過時間の長いタイミングにおける前記判定処理より前記合格の基準が厳しくなる前記混合割合条件が用いられる、培養管理システム。 - 請求項8〜10のいずれか1項に記載の培養管理システムにおいて、
前記推定手段が、
異なる倍加時間によって類別されている前記複数種類の細胞群から構成される対象細胞群の混合割合を推定する、培養管理システム。 - 所定の培養期間における属性が異なる複数種類の細胞群を有する対象細胞群の状態を管理するプログラムであって、
コンピュータを、
前記培養期間内の予め定められたタイミングに、属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する取得手段、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する検出手段、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する生成手段、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する推定手段、
前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を実行する判定手段、及び、
前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備した場合に、管理者に対して所定の告知を実行する告知手段、
として機能させることを特徴とするプログラム。 - 所定の培養期間における属性が異なる複数種類の細胞群を有する対象細胞群の状態を管理する培養管理方法であって、
前記培養期間内の予め定められたタイミングに、属性が異なる複数種類の細胞群を有する対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する工程と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する工程と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する工程と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記複数種類の細胞群それぞれの混合割合を推定する工程と、
前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を実行する工程と、
前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備した場合に、管理者に対して所定の告知を実行する工程と、
を含むことを特徴とする培養管理方法。 - 生体から取得した対象細胞群であって属性が異なる複数種類の細胞群が含まれる前記対象細胞群に対して、所定の培養期間内の培養を制御することによって、少なくとも特定種類の細胞群を製造する細胞製造方法であって、
前記所定の期間内の予め定められたタイミングに、培養されている前記対象細胞群に対して、当該対象細胞群に含まれる前記複数種類の細胞群それぞれの混合割合が予め定められた混合割合条件を具備するか否かを判定する判定処理を少なくとも含む検査処理を実行する工程と、
前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備していないと前記判定処理によって判定された場合には、対象細胞群に対して不要な細胞種の培養を抑制させるための抑制処理、又は、当該抑制処理を実行するための準備処理を実行する工程と、
を含み、
前記検査処理では、
前記予め定められたタイミングに、前記対象細胞群が画像化された対象画像のデータを時系列に沿って複数取得する工程と、
前記取得された複数の対象画像について画像解析を行うことによって、当該対象画像に画像化されている各細胞のそれぞれの遊走速度を検出する工程と、
前記検出された各細胞のそれぞれの遊走速度に基づいて、前記画像化された対象細胞群の遊走速度に関する分布関数又は分布状態を生成する工程と、
記録手段に予め記録され、前記複数種類の細胞群のそれぞれにおける遊走速度の情報を含む遊走速度情報と、前記生成された分布関数又は分布状態と、に基づいて、前記対象細胞群に含まれる複数種類の細胞群それぞれの混合割合を推定して前記混合割合条件に基づく前記判定処理を実行する工程と、
を更に含むことを特徴とする細胞群製造方法。 - 請求項14の細胞群製造方法において、
前記培養期間内の予め定められたタイミング毎に前記複数種類の細胞群それぞれの混合割合を推定する工程と、
前記所定の期間の終了時点の判定処理において、前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備した場合に、培養された前記対象細胞群が利用可能であると判定する工程と、
を更に含む、細胞群製造方法。 - 請求項15の細胞群製造方法において、
前記培養された対象細胞群が利用可能であると判定された場合には、当該対象細胞群を利用形態に加工する、細胞群製造方法。 - 請求項14〜16のいずれか1項に記載の細胞群製造方法において、
前記判定処理は、前記予め定められたタイミングにおける前記複数種類の細胞群それぞれの混合割合が前記混合割合条件を具備する場合に前記対象細胞群の品質を合格と判定し、前記培養期間内における経過時間の短いタイミングにおける前記判定処理に、当該経過時間の長いタイミングにおける前記判定処理より前記合格の基準が厳しくなる前記混合割合条件が用いられる、細胞群製造方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016139325 | 2016-07-14 | ||
JP2016139325 | 2016-07-14 | ||
PCT/JP2017/025596 WO2018012601A1 (ja) | 2016-07-14 | 2017-07-13 | 画像解析システム、培養管理システム、画像解析方法、培養管理方法、細胞群製造方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018012601A1 JPWO2018012601A1 (ja) | 2019-07-04 |
JP6646746B2 true JP6646746B2 (ja) | 2020-02-14 |
Family
ID=60953105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527671A Active JP6646746B2 (ja) | 2016-07-14 | 2017-07-13 | 画像解析システム、培養管理システム、画像解析方法、培養管理方法、細胞群製造方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11398032B2 (ja) |
EP (1) | EP3517932B1 (ja) |
JP (1) | JP6646746B2 (ja) |
WO (1) | WO2018012601A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019234878A1 (ja) * | 2018-06-07 | 2019-12-12 | オリンパス株式会社 | 画像処理装置および培養評価システム |
WO2020004575A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社Preferred Networks | 学習方法、混合率予測方法及び学習装置 |
CN112469984B (zh) * | 2019-12-31 | 2024-04-09 | 深圳迈瑞生物医疗电子股份有限公司 | 一种图像分析装置及其成像方法 |
JPWO2022071459A1 (ja) * | 2020-09-30 | 2022-04-07 | ||
JPWO2023153413A1 (ja) * | 2022-02-08 | 2023-08-17 | ||
CN116416616B (zh) * | 2023-04-13 | 2024-01-05 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞体外培养筛分方法、装置及计算机可读介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611339B1 (en) * | 2000-06-09 | 2003-08-26 | Massachusetts Institute Of Technology | Phase dispersive tomography |
GB0211072D0 (en) * | 2002-05-15 | 2002-06-26 | Amersham Biosciences Uk Ltd | Reagent and method for the determination of changes in a cellular morphological parameter |
US8298780B2 (en) * | 2003-09-22 | 2012-10-30 | X-Body, Inc. | Methods of detection of changes in cells |
WO2007066684A1 (ja) * | 2005-12-07 | 2007-06-14 | Effector Cell Institute, Inc. | 細胞運動計測方法およびシステム |
JP2009229276A (ja) | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
JP5355275B2 (ja) * | 2009-07-24 | 2013-11-27 | オリンパス株式会社 | 細胞画像解析装置 |
WO2011016189A1 (ja) * | 2009-08-07 | 2011-02-10 | 株式会社ニコン | 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 |
US20110165143A1 (en) * | 2010-01-06 | 2011-07-07 | The Regents Of The University Of Colorado, A Body Corporate | Modulation of caspases and therapeutical applications |
JP5740101B2 (ja) * | 2010-04-23 | 2015-06-24 | 国立大学法人名古屋大学 | 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法 |
JP5816415B2 (ja) | 2010-04-23 | 2015-11-18 | 国立大学法人名古屋大学 | 細胞評価装置、インキュベータ、プログラム、および、培養方法 |
CA2835686C (en) * | 2011-05-12 | 2019-10-01 | Florin V. Chirila | Peripheral diagnostic methods for screening alzheimer's disease using beta amyloid and intercellular communication |
JP5973181B2 (ja) * | 2012-02-09 | 2016-08-23 | M&Tプロジェクトパートナーズ株式会社 | 喘息の検査方法、検査装置およびプログラム |
JP5945434B2 (ja) * | 2012-03-16 | 2016-07-05 | オリンパス株式会社 | 生物試料の画像解析方法、画像解析装置、画像撮影装置およびプログラム |
JP6405603B2 (ja) * | 2013-06-17 | 2018-10-17 | 大日本印刷株式会社 | 情報処理装置、情報処理システム及びプログラム |
WO2015041177A1 (ja) | 2013-09-18 | 2015-03-26 | 株式会社ニコン | 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置 |
JP6595156B2 (ja) * | 2014-03-04 | 2019-10-23 | 富士フイルム株式会社 | 細胞画像取得装置および方法並びにプログラム |
JP6301199B2 (ja) * | 2014-05-30 | 2018-03-28 | 富士フイルム株式会社 | 細胞評価装置および方法並びにプログラム |
JP6543954B2 (ja) | 2015-02-24 | 2019-07-17 | シンフォニアテクノロジー株式会社 | 除去領域設定方法、除去領域設定装置およびプログラム |
EP3299811B1 (en) * | 2015-05-22 | 2020-04-15 | Konica Minolta, Inc. | Image processing device, image processing method, and program for image processing |
JP2017023055A (ja) * | 2015-07-22 | 2017-02-02 | 大日本印刷株式会社 | 細胞管理システム、プログラム、及び、細胞管理方法 |
-
2017
- 2017-07-13 US US16/317,741 patent/US11398032B2/en active Active
- 2017-07-13 WO PCT/JP2017/025596 patent/WO2018012601A1/ja unknown
- 2017-07-13 JP JP2018527671A patent/JP6646746B2/ja active Active
- 2017-07-13 EP EP17827724.0A patent/EP3517932B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11398032B2 (en) | 2022-07-26 |
US20190236784A1 (en) | 2019-08-01 |
WO2018012601A1 (ja) | 2018-01-18 |
EP3517932A1 (en) | 2019-07-31 |
EP3517932B1 (en) | 2020-09-23 |
EP3517932A4 (en) | 2019-07-31 |
JPWO2018012601A1 (ja) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6646746B2 (ja) | 画像解析システム、培養管理システム、画像解析方法、培養管理方法、細胞群製造方法及びプログラム | |
JP5816415B2 (ja) | 細胞評価装置、インキュベータ、プログラム、および、培養方法 | |
US10214717B2 (en) | Cell determination device, cell determination method, and cell determination program | |
JP5816416B2 (ja) | 細胞評価装置、インキュベータ、プログラム、および、培養方法 | |
JP5181385B2 (ja) | 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置 | |
US9567560B2 (en) | Incubated state evaluating device, incubated state evaluating method, incubator, and program | |
JP7001060B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
Seoud et al. | Automatic grading of diabetic retinopathy on a public database | |
JP2017023055A (ja) | 細胞管理システム、プログラム、及び、細胞管理方法 | |
JP6569672B2 (ja) | 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 | |
US20180342078A1 (en) | Information processing device, information processing method, and information processing system | |
US11790527B2 (en) | Live cell visualization and analysis | |
Lesmana et al. | Abnormal condition detection of pancreatic beta-cells as the cause of diabetes mellitus based on iris image | |
JP2018093749A (ja) | 細胞品質評価システム、プログラム及び細胞品質評価方法 | |
Kumar et al. | Evolutionary algorithm with memetic search capability for optic disc localization in retinal fundus images | |
US11475578B2 (en) | Method for analyzing behavior of cell, and use thereof | |
US11302437B2 (en) | Information processing device, information processing method and information processing system | |
Karamanlis et al. | Natural stimuli drive concerted nonlinear responses in populations of retinal ganglion cells | |
CN115223232A (zh) | 一种眼健康综合管理系统 | |
Gupta et al. | Salp swarm optimisation with deep transfer learning enabled retinal fundus image classification model | |
US20170161468A1 (en) | Cell information acquisition apparatus, cell information acquisition method, and cell information acquisition program | |
Schoenfeld et al. | Unsigned temporal difference errors in cortical L5 dendrites during learning | |
Aruna et al. | A Unified and Semantic Methodology for Early Detection of Diabetic Retinopathy using Artificial Intelligence | |
Telfer | Deep Learning Scoring of Negative Affect from Mouse Facial Expressions | |
Wolf et al. | Improving fuzzy-based axon segmentation with genetic algorithms: The IEEE Congress on Evolutionary Computation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190109 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190218 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6646746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |