[go: up one dir, main page]

KR102842416B1 - The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model - Google Patents

The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model

Info

Publication number
KR102842416B1
KR102842416B1 KR1020240132777A KR20240132777A KR102842416B1 KR 102842416 B1 KR102842416 B1 KR 102842416B1 KR 1020240132777 A KR1020240132777 A KR 1020240132777A KR 20240132777 A KR20240132777 A KR 20240132777A KR 102842416 B1 KR102842416 B1 KR 102842416B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
label map
modality
model
intelligence model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020240132777A
Other languages
Korean (ko)
Inventor
박성범
곽기창
임경윤
Original Assignee
주식회사 뷰브레인헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰브레인헬스케어 filed Critical 주식회사 뷰브레인헬스케어
Priority to KR1020240132777A priority Critical patent/KR102842416B1/en
Priority to KR1020250096833A priority patent/KR102892616B1/en
Priority to KR1020250096831A priority patent/KR102892615B1/en
Priority to KR1020250096832A priority patent/KR102888955B1/en
Application granted granted Critical
Publication of KR102842416B1 publication Critical patent/KR102842416B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 가상 데이터를 이용한 뇌영상의 분할 방법에 관한 것으로, 보다 상세하게는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법에 관한 것이다. 이를 위해, 인체의 질병에 관련된 영역을 하나 이상 포함하는 의료영상의 레이블 맵(100)을 입력하는 단계(S100); 이미지 생성모델(120)이 상기 레이블 맵(100)을 변형하여 복수의 변형된 이미지를 생성하는 단계(S120); 의료영상, 레이블 맵(100) 및 복수의 변형된 이미지 중 적어도 하나에 기초하여 범용 모달리티(Modality Agnostic) 인공지능 모델(200)을 학습시키는 단계(S140); 범용 모달리티 인공지능 모델(200)이 출력한 예상된 레이블 맵(220)과 레이블맵(100) 사이의 오차가 소정범위 이내일 때 범용 모달리티 인공지능 모델(200)의 구축되었다고 판단하는 단계(S160);를 포함하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법이 제공된다.The present invention relates to a method for segmenting brain images using virtual data, and more particularly, to a method for constructing a universal modality artificial intelligence model using virtual data and a method for segmenting brain images using the constructed artificial intelligence model. To this end, a method for constructing a universal modality artificial intelligence model using virtual data is provided, characterized in that it includes a step (S100) of inputting a label map (100) of a medical image including at least one region related to a disease of the human body; a step (S120) of generating a plurality of transformed images by transforming the label map (100) by an image generation model (120); a step (S140) of training a universal modality agnostic artificial intelligence model (200) based on at least one of the medical image, the label map (100), and the plurality of transformed images; and a step (S160) of determining that the universal modality artificial intelligence model (200) has been constructed when an error between the predicted label map (220) output by the universal modality artificial intelligence model (200) and the label map (100) is within a predetermined range.

Description

가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법{The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model}Method for constructing a general-purpose modality-agnostic AI model using synthetic data and a brain image segmentation method using the constructed AI model

본 발명은 가상 데이터를 이용한 뇌영상의 분할 방법에 관한 것으로, 보다 상세하게는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법에 관한 것이다. The present invention relates to a method for segmenting brain images using virtual data, and more specifically, to a method for constructing a general-modality artificial intelligence model using virtual data and a method for segmenting brain images using the constructed artificial intelligence model.

일반적으로, 뇌 영상분야 또는 신경영상분야에서는 다양한 형태의 영상 데이터 또는 이미지 데이터가 사용되고 있다. 예를 들어, 도 1a는 아밀로이드 스캔(Amyloid scan)의 영상으로서 알츠하이머 병과 같은 신경퇴행성 질환을 진단하는데 사용되는 영상이다. 그 밖에 도 1b 내지 도 1d는 뇌를 연구하는데 사용되는 다양한 신경영상(Neuro Imaging) 사진의 일예이다. 이러한 뇌 영상은 체적 측정, 형태학 분석, 연결성, 생리학 및 분자 연구 등을 중요한 역할을 한다. In general, various forms of image data or image data are used in the fields of brain imaging or neuroimaging. For example, Figure 1a is an image of an amyloid scan, which is used to diagnose neurodegenerative diseases such as Alzheimer's disease. Figures 1b to 1d also show examples of various neuroimaging images used to study the brain. These brain images play a crucial role in volumetric measurements, morphological analysis, connectivity, physiology, and molecular studies.

도 2a는 의학연구 목적의 고해상도 T1-가중치 영상의 일예이고, 도 2b는 임상에서 획득될 수 있는 저해상도 MRI 스캔 영상의 일예이다. 도 2a 및 도 2b에 도시된 바와 같이, 의학연구 목적의 고해상도 T1-가중치 영상은 다양한 분석 소프트웨어(예 : FreeSurfer, SPM, FSL, Heuron AD 등)를 사용하여 뇌에 관한 정량 측정이 가능하다. 그러나, 영상의 양이 4,000 ~ 5,000 장에 불과하여 숫자가 적고, 대상도 백인 피험자에 국한되는 단점이 있다. Figure 2a is an example of a high-resolution T1-weighted image for medical research purposes, and Figure 2b is an example of a low-resolution MRI scan image that can be acquired in clinical settings. As illustrated in Figures 2a and 2b, high-resolution T1-weighted images for medical research purposes can be used to quantitatively measure the brain using various analysis software (e.g., FreeSurfer, SPM, FSL, Heuron AD, etc.). However, the number of images is limited to 4,000 to 5,000, which is a disadvantage, and the subjects are limited to Caucasian subjects.

반면, 도 2b와 같이 임상에서 획득될 수 있는 저해상도 MRI 스캔 영상은 1년에만 천만장 이상의 뇌영상이 촬영되고 있으나 해상도가 낮고, 병원마다 촬영 설정이 상이하다는 특징이 있다. 이와 같은 임상용 뇌영상은 병원마다 촬영 설정이 다르고, 콘트라스트도 다르고, 해상도나 영상의 크기도 서로 다르다. 심지어 같은 모달리티(예 X-ray, CT, MRI 등)로 촬영했음에도 다른 병원에서 촬영하면 결과가 다르게 나오는 경우도 있었다. On the other hand, low-resolution MRI scan images that can be acquired clinically, such as those in Figure 2b, are characterized by low resolution and different imaging settings at each hospital, although more than 10 million brain images are taken annually. These clinical brain images vary in imaging settings, contrast, resolution, and image size at each hospital. Even when taken with the same modality (e.g., X-ray, CT, MRI, etc.), there are cases where the results can differ when taken at different hospitals.

[표 1]은 이러한 종래의 영상 데이터의 처리와 분석에 관한 특성을 비교한 표이다. [Table 1] is a table comparing the characteristics of processing and analysis of conventional image data.

방법method 속도speed 영상 데이터의 처리 및 분석(modality agnostic)Processing and analysis of image data (modality agnostic) 매뉴얼manual ------ ++++++ 다중 아틀라스 분할
(Multi-Atlas segmentation)
Multi-atlas segmentation
(Multi-Atlas segmentation)
-- ++
베이지안 분할
(Bayesian Segmentation)
Bayesian partitioning
(Bayesian Segmentation)
++ ++++
지도 합성곱 신경망
(Supervised CNN)
Supervised Convolutional Neural Network
(Supervised CNN)
++++++ ------

따라서, 이러한 임상용 뇌영상을 지도 학습(Supervised Learning) 방식을 통해 인공지능 모델로 구축하려 할 경우 각 뇌영상을 매뉴얼 분할(Segmentation) 해야 해서 데이터 수집에 비용이 많이 드는 단점이 있었다. Therefore, when attempting to build an artificial intelligence model using these clinical brain images through supervised learning, there was a disadvantage in that the cost of data collection was high because each brain image had to be manually segmented.

더욱이 종래의 레이블 맵 분할(Segmentation)은 대부분 합성곱 신경망 모델(CNN)에 의존하고 있는데 도메일-갭(Domain Gap) 문제가 있고, 다른 해상도나 다른 MR 대조도를 가진 데이터에 대해서는 일반화를 하지 못하는 한계가 있었다. 심지어 같은 모달리티내 다른 파라미터나 하드웨어로 획득한 데이터도 일반화가 잘 안되었다. 그리고, Data argumentation 같은 기술로 문제를 해결하려 했으나 새로운 MR에 대해서는 다시 학습해야 해서 레이블이 함께 있는 데이터를 필요로 하고, 추가 비용이 발생하는 단점이 있었다. Moreover, conventional label map segmentation methods, which mostly rely on convolutional neural networks (CNNs), suffer from domain gap issues and have limitations in generalizing to data with different resolutions or MR contrasts. Generalization is even poor when using data acquired with different parameters or hardware within the same modality. While attempts to address this issue using techniques like data argumentation require retraining for new MRs, this requires labeled data and incurs additional costs.

그리고 정합(Registration)의 경우, 종래의 방식은 두 이미지 사이의 변형 필드를 추정하였으나, 최적화의 문제가 있었고, 새로운 이미지 마다 다시 추정해야 하는 번거로움이 있었다. 그리고, 학습에 오랜 시간이 소요될 뿐만 아니라, 딥러닝 기반의 정합 또한 학습된 MR대조도, 모달리티등에 영향을 받는 문제가 있었다. Furthermore, for registration, conventional methods estimated the deformation field between two images, but this method faced optimization issues and the hassle of re-estimating for each new image. Furthermore, not only did training take a long time, but deep learning-based registration also suffered from the impact of learned MR contrast and modality.

대한민국 특허등록 제 10-2466479호(타우 단백질 축적 예측 장치 및 이를 이용한 타우 단백질 축적 예측 방법).Republic of Korea Patent Registration No. 10-2466479 (Tau protein accumulation prediction device and tau protein accumulation prediction method using the same).

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 뇌영상에 관한 가상데이터를 변형하여 데이터의 양을 늘이고, 늘어난 뇌영상 데이터를 가지고 인공지능을 학습시킴으로서 분할 및 분석에 관한 뛰어난 추론능력을 가진 인공지능 모델을 구축하는 것이다.Accordingly, the present invention has been devised to solve the above problems, and the problem to be solved by the present invention is to increase the amount of data by modifying virtual data related to brain images, and to build an artificial intelligence model with excellent inference ability for segmentation and analysis by training artificial intelligence with the increased brain image data.

즉, 본 발명의 목적은 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법을 제공하는 것이다.That is, the purpose of the present invention is to provide a method for constructing a general modality artificial intelligence model using virtual data and a method for segmenting brain images using the constructed artificial intelligence model.

다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by a person having ordinary skill in the technical field to which the present invention belongs from the description below.

상기의 기술적 과제를 달성하기 위하여, 인체의 질병에 관련된 영역을 하나 이상 포함하는 의료영상의 레이블 맵(100)을 입력하는 단계(S100); 이미지 생성모델(120)이 상기 레이블 맵(100)을 변형하여 복수의 변형된 이미지를 생성하는 단계(S120); 의료영상, 레이블 맵(100) 및 복수의 변형된 이미지 중 적어도 하나에 기초하여 범용 모달리티(Modality Agnostic) 인공지능 모델(200)을 학습시키는 단계(S140); 범용 모달리티 인공지능 모델(200)이 출력한 예상된 레이블 맵(220)과 레이블맵(100) 사이의 오차가 소정범위 이내일 때 범용 모달리티 인공지능 모델(200)의 구축되었다고 판단하는 단계(S160);를 포함하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법이 제공된다.In order to achieve the above technical task, a method for constructing a universal modality artificial intelligence model using virtual data is provided, characterized by including a step (S100) of inputting a label map (100) of a medical image including at least one area related to a disease of a human body; a step (S120) of generating a plurality of transformed images by transforming the label map (100) by an image generation model (120); a step (S140) of training a universal modality agnostic artificial intelligence model (200) based on at least one of the medical image, the label map (100) and the plurality of transformed images; and a step (S160) of determining that the universal modality artificial intelligence model (200) has been constructed when an error between the expected label map (220) output by the universal modality artificial intelligence model (200) and the label map (100) is within a predetermined range.

또한, 인체의 질병에 관련된 영역은 뇌의 전두엽, 두정엽, 측두엽, 후두엽, 뇌실, 알츠하이머병과 관련된 영역, ARIA-E(Amyloid-Related Imaging Abnormalities with Effusion or Edema)영역, ARIA-H(Amyloid-Related Imaging Abnormalities with Hemosiderin) 영역, WMH(White Matter Hyperintensities) 영역, 백질(White matter)이나 기저핵(Basal ganglia)과 같은 깊은 뇌 구조에서 발생하는 빈 공간(Lacunes) 영역, 뇌의 미세 출혈 영역(Cerebral microbleeds), 회백질(Grey matter) 영역, 시상(Thalamus) 영역, 미상핵(Caudate)영역, 조가비핵(Putamen)영역, 두개골영역, 뇌척수액(Cerebrospinal Fluid, CSF) 영역 중 적어도 하나를 포함한다.In addition, the areas related to human diseases include at least one of the frontal lobe, parietal lobe, temporal lobe, occipital lobe, ventricle, areas related to Alzheimer's disease, ARIA-E (Amyloid-Related Imaging Abnormalities with Effusion or Edema) area, ARIA-H (Amyloid-Related Imaging Abnormalities with Hemosiderin) area, WMH (White Matter Hyperintensities) area, lacune area occurring in deep brain structures such as white matter or basal ganglia, cerebral microbleeds, gray matter area, thalamus area, caudate area, putamen area, skull area, and cerebrospinal fluid (CSF) area.

또한, 인체의 질병은 치매, 알츠하이머병, 혈관성 치매, 뇌 위축, 파킨슨병, 뇌졸중, 뇌종양, 간질, 다발성 경화증, 아밀로이드 백신 부작용 질환, 뇌암 중 하나일 수 있다.Additionally, the human body's disease can be one of dementia, Alzheimer's disease, vascular dementia, brain atrophy, Parkinson's disease, stroke, brain tumor, epilepsy, multiple sclerosis, amyloid vaccine side effect disease, and brain cancer.

또한, 이미지 생성모델(120)은 생성적 적대 신경망 모델(Generative Adversarial Network Model, GANM)을 이용하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images using a generative adversarial network model (GANM).

또한, 이미지 생성모델(120)은 강체 변환(Rigid Transformation) 방식, 아핀 변환(Affine Transformation) 방식, 및 비선형 변환(Non-linear Transformation) 방식 중 적어도 하나를 적용한 공간 변형(Spatial Transformation) 방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. In addition, the image generation model (120) can generate multiple transformed images using a spatial transformation method that applies at least one of a rigid transformation method, an affine transformation method, and a non-linear transformation method.

또한, 이미지 생성모델(120)은 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 또는 소정의 정의된 규칙으로 데이터가 생성되는 특정 규칙기반의 방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images using a Gaussian Mixture Model (GMM) or a specific rule-based method in which data is generated according to a predetermined defined rule.

또한, 이미지 생성모델(120)은 아티팩트(Artacts) 적용방식 또는 노이즈 적용방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images using an artifact application method or a noise application method.

또한, 이미지 생성모델(120)은 레이블 맵(100)의 해상도를 변경하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images by changing the resolution of the label map (100).

또한, 복수의 변형된 이미지는 생성된 이미지(140)와 변형된 레이블 맵(160)을 포함하고, 학습단계(S140)는, 범용 모달리티 인공지능 모델(200)이 레이블 맵(100)과 생성된 이미지(140)에 기초하여 예상된 레이블 맵(220)을 출력하는 단계(S142); 평균 다이스 손실부(170)가 예상된 레이블 맵(220)과 변형된 레이블 맵(160)에 기초하여 분할된 영역간의 유사도와 다이스 손실로부터 평균을 산출하는 단계(S144); 및 역전파부(180)가 예상된 레이블 맵(220)과 입력된 레이블 맵(100) 사이의 오차를 최소화하기 위해 가중치(weight)와 편향(bias)을 업데이트하는 단계(S146);를 포함할 수 있다.In addition, the plurality of transformed images may include a generated image (140) and a transformed label map (160), and the learning step (S140) may include a step (S142) in which a general modality artificial intelligence model (200) outputs an expected label map (220) based on the label map (100) and the generated image (140); a step (S144) in which an average dice loss unit (170) calculates an average from the similarity between the segmented regions based on the expected label map (220) and the transformed label map (160) and the dice loss; and a step (S146) in which a backpropagation unit (180) updates weights and biases to minimize an error between the expected label map (220) and the input label map (100).

또한, 범용 모달리티 인공지능 모델(200)은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 또는 Vison Transformer (ViT) 또는 그의 혼합 모델일 수 있다. Additionally, the general modality artificial intelligence model (200) may be a convolutional neural network (CNN) model or a Vision Transformer (ViT) or a mixed model thereof.

또한, 입력단계(S100) 중 레이블 맵(100)은 복수의 레이블 맵(100)이고, 복수의 레이블 맵(100) 중 일부 레이블 맵(100)은 두개골 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)이거나 외부 뇌척수액(Outer CSF) 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)일 수 있다. In addition, the label map (100) in the input step (S100) may be a plurality of label maps (100), and some of the label maps (100) among the plurality of label maps (100) may be a label map (100) in which the skull region is processed as the background of the region of interest (ROI) or a label map (100) in which the outer cerebrospinal fluid (Outer CSF) region is processed as the background of the region of interest (ROI).

또한, 레이블 맵(100)은 X-ray, MRI, CT와 같은 원본 의료영상들 중 적어도 하나에 기초한 레이블 맵이다. Additionally, the label map (100) is a label map based on at least one of original medical images such as X-ray, MRI, and CT.

또한, 레이블 맵(100)은 X-ray, MRI, CT와 같은 원본 의료영상들 중 적어도 하나에 기초하여 생성된 가상 데이터의 레이블 맵이다. Additionally, the label map (100) is a label map of virtual data generated based on at least one of original medical images such as X-ray, MRI, and CT.

상기와 같은 본 발명의 목적은 또 다른 실시예로서, 전술한 방법에 의해 구축된 범용 모달리티 인공지능 모델(200)에 뇌에 관한 새로운 의료영상을 입력하는 단계(S200); 및 범용 모달리티 인공지능 모델(200)이 뇌에 관한 새로운 의료영상에 기초하여 레이블 맵을 추론하여 출력하는 단계(S220);를 포함하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델을 이용한 뇌영상 분할 방법에 의해서도 달성될 수 있다. The above-described object of the present invention can also be achieved by a brain image segmentation method using a universal modality artificial intelligence model using virtual data, which is characterized by including, as another embodiment, a step (S200) of inputting a new medical image of the brain into a universal modality artificial intelligence model (200) constructed by the above-described method; and a step (S220) of the universal modality artificial intelligence model (200) inferring and outputting a label map based on the new medical image of the brain.

또한, 입력단계(S200)에서 새로운 의료영상은 인공지능 모델의 구축단계에서 입력된 레이블 맵(100)과 해상도, 크기, 촬영 위치, 콘트라스트, 포맷 중 적어도 하나가 다른 영상이다. In addition, in the input stage (S200), the new medical image is an image that is different from the label map (100) input in the artificial intelligence model construction stage in at least one of resolution, size, shooting position, contrast, and format.

본 발명의 일실시예에 따르면, 다량의 가상 데이터를 활용하여 인공지능을 학습시킴으로서 정밀도 높은 인공지능 모델을 구축할 수 있다. According to one embodiment of the present invention, a high-precision artificial intelligence model can be built by training artificial intelligence using a large amount of virtual data.

또한, 뇌에 관하여 입력되는 레이블 영상에 대해 병원이 다르거나, 촬영 설정이 다르거나, 해상도, 크기, 포맷 혹은 콘트라스트 등이 다르더라도 레이블 맵에 대해 높은 분할의 강건함(robustness)을 가진 추론 결과를 얻을 수 있다. 더욱이 본 발명에 따라 구축된 인공지능 모델은 모달리티가 변경되더라도 에러 없이 정확한 분할 성능을 발휘하는 장점이 있다. Furthermore, even when labeled brain images are input from different hospitals, with different imaging settings, resolution, size, format, or contrast, the inference results can be obtained with high segmentation robustness for the label map. Furthermore, the AI model constructed according to the present invention has the advantage of demonstrating accurate segmentation performance without error, even when modality changes.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects that are not mentioned can be clearly understood by a person having ordinary skill in the technical field to which the present invention belongs from the description below.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1a 내지 도 1d는 뇌를 연구하는데 사용되는 다양한 신경영상(Neuro Imaging) 사진의 일예,
도 2a는 의학연구 목적의 고해상도 T1-가중치 영상의 일예,
도 2b는 임상에서 획득될 수 있는 저해상도 MRI 스캔 영상의 일예,
도 3a 내지 도 3d는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법에서 사용되는 뇌의 가상 합성 데이터(Synthetic Data)의 일예,
도 4는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델을 구축하는 방법을 개략적으로 나타내는 블록도,
도 5는 도 4에서 임의의 레이블 영상으로부터 뇌의 가상 합성 데이터를 출력하는 과정을 나타내는 블록도,
도 6은 도 4에 도시된 블록도의 또 다른 표현방식의 블록도,
도 7a는 뇌의 전두엽, 두정엽, 측두엽, 후두엽 및 뇌실 영역에 관한 레이블 맵의 일예,
도 7b는 뇌의 회백질, 백질, 시상, 미상핵, 조가비핵, 두개골 및 뇌척수액 영역에 관한 레이블 맵의 일예,
도 8a는 본 발명에서 수정하고 않고 입력되는 레이블 영상의 일예,
도 8b는 본 발명에서 두개골 영역을 관심영역(ROI)의 배경으로 처리한 불완전 레이블 영상의 일예,
도 8c는 도 8b에 도시된 영상에서 외부 뇌척수액(Outer CSF) 영역을 관심영역(ROI)의 배경으로 처리한 완전 레이블 영상의 일예,
도 9는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법을 개략적으로 나타내는 흐름도이다.
The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the invention described below, serve to further understand the technical idea of the present invention, and therefore, the present invention should not be interpreted as being limited to matters described in such drawings.
Figures 1a to 1d are examples of various neuroimaging images used to study the brain.
Figure 2a is an example of a high-resolution T1-weighted image for medical research purposes.
Figure 2b is an example of a low-resolution MRI scan image that can be acquired in a clinical setting.
Figures 3a to 3d are examples of virtual synthetic data of the brain used in a method for constructing a universal modality artificial intelligence model using virtual data according to the present invention.
Figure 4 is a block diagram schematically showing a method for building a general modality artificial intelligence model using virtual data according to the present invention.
Figure 5 is a block diagram showing the process of outputting virtual synthetic data of the brain from an arbitrary label image in Figure 4.
Figure 6 is a block diagram of another representation of the block diagram shown in Figure 4.
Figure 7a is an example of a label map for the frontal lobe, parietal lobe, temporal lobe, occipital lobe, and ventricular region of the brain.
Figure 7b is an example of a label map for gray matter, white matter, thalamus, caudate nucleus, putamen, skull, and cerebrospinal fluid regions of the brain.
Figure 8a is an example of a label image input without modification in the present invention.
Figure 8b is an example of an incomplete label image in which the skull region is processed as the background of the region of interest (ROI) in the present invention.
Figure 8c is an example of a fully labeled image in which the outer CSF region is processed as the background of the region of interest (ROI) in the image shown in Figure 8b.
Figure 9 is a flowchart schematically showing a method for constructing a universal modality artificial intelligence model using virtual data according to the present invention and a method for segmenting brain images using the constructed artificial intelligence model.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings so that those skilled in the art can easily practice the present invention. However, the description of the present invention is merely an embodiment for structural and functional explanation, and therefore the scope of the present invention should not be construed as being limited by the embodiments described in the text. In other words, since the embodiments can be modified in various ways and can have various forms, the scope of the present invention should be understood to include equivalents that can realize the technical idea. In addition, the purposes or effects presented in the present invention do not mean that a specific embodiment must include all of them or only such effects, and therefore the scope of the present invention should not be construed as being limited thereby.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meanings of terms described in the present invention should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.Terms such as "first" and "second" are intended to distinguish one component from another, and the scope of the rights should not be limited by these terms. For example, a first component could be referred to as a second component, and similarly, a second component could also be referred to as a first component. When a component is referred to as being "connected" to another component, it should be understood that it may be directly connected to that other component, but there may also be other components in between. Conversely, when a component is referred to as being "directly connected" to another component, it should be understood that there are no other components in between. Meanwhile, other expressions describing the relationship between components, such as "between" and "immediately between" or "adjacent to" and "directly adjacent to", should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "comprises" or "has" should be understood to specify the presence of stated features, numbers, steps, operations, components, parts, or combinations thereof, but not to exclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.Unless otherwise defined, all terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which this invention pertains. Terms defined in commonly used dictionaries should be interpreted to be consistent with their meaning within the context of the relevant technology, and should not be interpreted as having ideal or overly formal meanings unless explicitly defined herein.

범용 모달리티 인공지능 모델의 구축방법How to build a general-purpose AI model

이하, 첨부된 도면을 참조하여 바람직한 실시예의 구성을 상세히 설명하기로 한다. 도 3a 내지 도 3d는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법에서 사용되는 뇌의 가상 합성 데이터(Synthetic Data)의 일예이고, 도 4는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델을 구축하는 방법을 개략적으로 나타내는 블록도이고, 도 9는 본 발명에 따른 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법 및 구축된 인공지능 모델을 이용한 뇌영상 분할 방법을 개략적으로 나타내는 흐름도이다. Hereinafter, the configuration of a preferred embodiment will be described in detail with reference to the attached drawings. FIGS. 3A to 3D are examples of virtual synthetic data of the brain used in a method for constructing a universal modality artificial intelligence model using virtual data according to the present invention, FIG. 4 is a block diagram schematically showing a method for constructing a universal modality artificial intelligence model using virtual data according to the present invention, and FIG. 9 is a flowchart schematically showing a method for constructing a universal modality artificial intelligence model using virtual data and a method for segmenting brain images using the constructed artificial intelligence model according to the present invention.

도 4 및 도 9에 도시된 바와 같이, 먼저, 인체의 질병에 관련된 영역을 하나 이상 포함하는 레이블 맵(100)을 입력한다(S100). 입력되는 레이블 맵(100)의 일예는 도 3a 내지 도 3d와 같다. 레이블 맵(100)은 주로 이미지 분할이나 객체 탐지 같은 작업에서 사용되는 레이블 데이터 구조로, 각 픽셀 또는 객체가 어떤 클래스(또는 카테고리)에 속하는지를 표현하는 맵(지도)이다. 즉, 뇌의 이미지나 3D 데이터의 각 부분에 대해 클래스 정보를 담은 맵이다. 레이블 맵(100)은 뇌의 이미지나 3D 데이터의 각 픽셀, 복셀(voxel), 또는 객체에 대해 클래스 레이블을 할당한 맵으로, 주로 이미지 분할, 객체 탐지, 의료 영상 분석과 같은 작업에서 사용된다. 이를 통해 각 부분이 어떤 클래스에 속하는지 명확하게 정의하며, 학습 및 성능 평가에 중요한 역할을 한다. 특히 의료 영상에서 뇌 MRI 이미지의 픽셀들을 회백질, 백질, 뇌척수액과 같은 클래스로 분할해야 하는 경우, 레이블 맵(100)은 해당 이미지의 각 픽셀에 대해 0, 1, 2 등의 숫자로 각 클래스(조직)의 레이블을 표시한 배열이 된다. As illustrated in FIGS. 4 and 9, first, a label map (100) including one or more regions related to a disease of the human body is input (S100). Examples of the input label map (100) are as shown in FIGS. 3A to 3D. The label map (100) is a label data structure mainly used in tasks such as image segmentation or object detection, and is a map that expresses which class (or category) each pixel or object belongs to. In other words, it is a map containing class information for each part of a brain image or 3D data. The label map (100) is a map that assigns a class label to each pixel, voxel, or object of a brain image or 3D data, and is mainly used in tasks such as image segmentation, object detection, and medical image analysis. This clearly defines which class each part belongs to, and plays an important role in learning and performance evaluation. In particular, in medical imaging, when pixels of a brain MRI image need to be divided into classes such as gray matter, white matter, and cerebrospinal fluid, the label map (100) is an array that displays the label of each class (tissue) as a number such as 0, 1, 2, etc. for each pixel of the image.

또한, 입력단계(S100) 중 레이블 맵(100)은 복수의 레이블 맵(100)이다. 예를 들어, 도 7a는 뇌의 전두엽, 두정엽, 측두엽, 후두엽 및 뇌실 영역에 관한 레이블 맵의 일예이고, 도 7b는 뇌의 회백질, 백질, 시상, 미상핵, 조가비핵, 두개골 및 뇌척수액 영역에 관한 레이블 맵의 일예이다. In addition, the label map (100) in the input step (S100) is a plurality of label maps (100). For example, FIG. 7a is an example of a label map for the frontal lobe, parietal lobe, temporal lobe, occipital lobe, and ventricular region of the brain, and FIG. 7b is an example of a label map for the gray matter, white matter, thalamus, caudate nucleus, putamen, skull, and cerebrospinal fluid regions of the brain.

그리고, 도 8a는 본 발명에서 수정하고 않고 입력되는 레이블 영상의 일예이고, 도 8b는 본 발명에서 두개골 영역을 관심영역(ROI)의 배경으로 처리한 불완전 레이블 영상의 일예이며, 도 8c는 도 8b에 도시된 영상에서 외부 뇌척수액(Outer CSF) 영역을 관심영역(ROI)의 배경으로 처리한 완전 레이블 영상의 일예이다. And, FIG. 8a is an example of a label image input without modification in the present invention, FIG. 8b is an example of an incomplete label image in which a skull region is processed as a background of a region of interest (ROI) in the present invention, and FIG. 8c is an example of a complete label image in which an outer CSF region is processed as a background of a region of interest (ROI) in the image shown in FIG. 8b.

이와 같이 입력되는 도 8a 내지 도 8c에 도시된 바와 같이, 복수의 레이블 맵(100) 중 일부 레이블 맵(100)은 두개골 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)이거나 외부 뇌척수액(Outer CSF) 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)이다. As shown in FIGS. 8A to 8C, some of the label maps (100) among the plurality of label maps (100) input in this manner are label maps (100) in which the skull region is processed as the background of the region of interest (ROI) or label maps (100) in which the outer cerebrospinal fluid (Outer CSF) region is processed as the background of the region of interest (ROI).

또한, 레이블 맵(100)은 X-ray, MRI, CT와 같은 원본 의료영상 중 적어도 하나에 기초하여 생성된 가상 데이터의 레이블 맵이고, 바람직하게는 MRI 영상 중 3D T1영상을 기초로 한다. 구체적으로 레이블 맵(100)은 2D, 3D 또는 4D영상을 의미하며 MRI, X-ray, CT, MRI의 T1 강조영상, MRI의 T2 강조영상 등에서 생성된 레이블 맵이다.In addition, the label map (100) is a label map of virtual data generated based on at least one of original medical images such as X-ray, MRI, and CT, and is preferably based on a 3D T1 image among MRI images. Specifically, the label map (100) refers to a 2D, 3D, or 4D image, and is a label map generated from MRI, X-ray, CT, T1-weighted image of MRI, T2-weighted image of MRI, etc.

그리고, 인체의 질병에 관련된 영역은 뇌의 전두엽, 두정엽, 측두엽, 후두엽, 뇌실, 알츠하이머병과 관련된 영역, ARIA-E(Amyloid-Related Imaging Abnormalities with Effusion or Edema)영역, ARIA-H(Amyloid-Related Imaging Abnormalities with Hemosiderin) 영역, WMH(White Matter Hyperintensities) 영역, 백질(White matter)이나 기저핵(Basal ganglia)과 같은 깊은 뇌 구조에서 발생하는 빈 공간(Lacunes) 영역, 뇌의 미세 출혈 영역(Cerebral microbleeds), 회백질(Grey matter) 영역, 시상(Thalamus) 영역, 미상핵(Caudate)영역, 조가비핵(Putamen)영역, 두개골영역, 뇌척수액(Cerebrospinal Fluid, CSF) 영역 중 적어도 하나를 포함한다.And, the region related to the human body's disease includes at least one of the frontal lobe, parietal lobe, temporal lobe, occipital lobe, ventricle, region related to Alzheimer's disease, ARIA-E (Amyloid-Related Imaging Abnormalities with Effusion or Edema) region, ARIA-H (Amyloid-Related Imaging Abnormalities with Hemosiderin) region, WMH (White Matter Hyperintensities) region, lacune region occurring in deep brain structures such as white matter or basal ganglia, cerebral microbleeds, gray matter region, thalamus region, caudate region, putamen region, skull region, and cerebrospinal fluid (CSF) region.

그리고, 인체의 질병은 치매, 알츠하이머병, 혈관성 치매, 뇌 위축, 파킨슨병, 뇌졸중, 뇌종양, 간질, 다발성 경화증, 아밀로이드 백식 부작용 질환, 뇌암 중 하나일 수 있다.And, the human body's disease can be one of dementia, Alzheimer's disease, vascular dementia, brain atrophy, Parkinson's disease, stroke, brain tumor, epilepsy, multiple sclerosis, amyloid plaque side effect disease, and brain cancer.

그 다음, 이미지 생성모델(120)이 레이블 맵(100)을 변형하여 복수의 변형된 이미지를 생성한다(S120). 레이블 맵(100)을 변형하는 방식은 다음과 같이 여러 가지가 있다. Next, the image generation model (120) transforms the label map (100) to generate multiple transformed images (S120). There are several ways to transform the label map (100), as follows.

예를 들어, 이미지 생성모델(120)은 생성적 적대 신경망 모델(Generative Adversarial Network Model, GANM)을 이용하여 복수의 변형된 이미지를 생성할 수 있다. 생성적 적대 신경망 모델(GANM)은 두 개의 신경망이 서로 경쟁하며 학습하는 구조로 설계된 생성 모델입니다. For example, the image generation model (120) can generate multiple transformed images using a generative adversarial network model (GANM). The generative adversarial network model (GANM) is a generative model designed with a structure in which two neural networks compete with each other to learn.

또한, 이미지 생성모델(120)은 강체 변환(Rigid Transformation) 방식, 아핀 변환(Affine Transformation) 방식, 및 비선형 변환(Non-linear Transformation) 방식 중 적어도 하나를 적용한 공간 변형(Spatial Transformation) 방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. 강체 변환(Rigid Transformation) 방식은 물체나 이미지의 형태를 유지한 채, 이동(translation), 회전(rotation), 그리고 크기(scale) 변환 없이 단순히 위치와 방향만 변환하는 방식으로, 이미지를 회전하거나 특정 위치로 이동시킬 때 사용한다. In addition, the image generation model (120) can generate multiple transformed images by using a spatial transformation method that applies at least one of a rigid transformation method, an affine transformation method, and a non-linear transformation method. The rigid transformation method is a method that simply transforms the position and direction without translation, rotation, or scale transformation while maintaining the shape of an object or image, and is used when rotating an image or moving it to a specific position.

아핀 변환(Affine Transformation) 방식은 이미지나 객체의 이동, 회전, 확대/축소, 비틀림 등을 모두 포함할 수 있는 변환이다. 아핀 변환은 직선의 성질을 유지하지만 각도나 길이 비율이 변할 수 있다. 즉, 평행선은 유지되지만, 직각이 아니게 변형될 수 있다. 예를 들어, 뇌의 이미지를 일정 비율로 확대하거나 축소하고, 기울기를 적용할 수 있다. Affine transformations are transformations that can encompass translation, rotation, scaling, and twisting of images or objects. Affine transformations preserve the linear nature of lines, but can alter angles and length ratios. In other words, parallel lines remain, but they can be transformed so that they are no longer perpendicular. For example, an image of the brain can be scaled up or down by a certain ratio, or a tilt applied.

비선형 변환(Non-linear Transformation) 방식은 선형적인 변환이 아닌, 비선형적인 방식으로 좌표를 변형하는 방법이다. 뇌의 이미지의 곡선적 왜곡이나 복잡한 비선형 변형을 적용할 수 있다. 예를 들어, 뇌 영상의 일부를 왜곡하거나 특정 부분만 늘리는 변형이 가능하다 .Nonlinear transformation (NMT) is a method of transforming coordinates in a nonlinear manner, rather than a linear one. It can be used to apply curved distortions or complex nonlinear transformations to brain images. For example, it is possible to distort parts of a brain image or elongate only certain areas.

또한, 이미지 생성모델(120)은 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 또는 소정의 정의된 규칙으로 데이터가 생성되는 특정 규칙기반의 방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images using a Gaussian Mixture Model (GMM) or a specific rule-based method in which data is generated according to a predetermined defined rule.

가우시안 혼합 모델(GMM)은 여러 개의 가우시안 분포(Gaussian Distribution)를 결합하여 데이터를 모델링하는 방식이다. 이는 샘플링 기법 중 하나로, 복잡한 분포를 여러 개의 단순한 가우시안 분포들의 혼합으로 표현하여 데이터를 설명하거나 생성하는 데 사용된다. A Gaussian mixture model (GMM) is a data modeling technique that combines multiple Gaussian distributions. It is a sampling technique used to describe or generate data by representing complex distributions as mixtures of multiple, simpler Gaussian distributions.

또한, 특정 규칙 기반 샘플링은 데이터를 특정 규칙이나 기준에 따라 선택하거나 생성하는 방식이다. 이러한 특정 규칙기반의 방식은 무작위(random) 샘플링과 대비되며, 특정 조건을 만족하는 데이터를 선택하는 데 사용된다. 규칙 기반 샘플링은 일반적으로 정의된 규칙이나 알고리즘에 의해 데이터가 선택되거나 생성되는 방식이다. Furthermore, specific rule-based sampling is a method of selecting or generating data based on specific rules or criteria. This specific rule-based method contrasts with random sampling and is used to select data that satisfies specific conditions. Rule-based sampling is a method in which data is generally selected or generated based on defined rules or algorithms.

또한, 이미지 생성모델(120)은 아티팩트(Artacts) 적용방식 또는 노이즈 적용방식을 이용하여 복수의 변형된 이미지를 생성할 수 있다. 아티팩트(Artacts)는 주로 의학 영상, 데이터 처리, 이미지 처리 또는 신호 처리에서 발생하는 비정상적이거나 의도하지 않은 오류, 왜곡, 또는 이상 현상을 의미한다. 아티팩트는 분석에 방해가 될 수 있으며, 주로 장비나 환경적 요인, 또는 데이터 처리 과정에서 발생할 수 있다. 이러한 아티팩트의 일예로는 MRI, CT, X-ray 같은 의료 영상에서 장비의 한계나 환자의 움직임 등 다양한 요인으로 인해 이미지가 왜곡되거나 오류가 발생하는 현상이다. In addition, the image generation model (120) can generate multiple transformed images by using an artifact application method or a noise application method. Artifacts mainly refer to abnormal or unintended errors, distortions, or abnormal phenomena that occur in medical imaging, data processing, image processing, or signal processing. Artifacts can interfere with analysis and can mainly occur due to equipment, environmental factors, or data processing. An example of such artifacts is a phenomenon in which images are distorted or have errors due to various factors such as limitations of the equipment or movement of the patient in medical imaging such as MRI, CT, and X-ray.

또한, 이미지 생성모델(120)은 레이블 맵(100)의 해상도를 변경하여 복수의 변형된 이미지를 생성할 수 있다. Additionally, the image generation model (120) can generate multiple transformed images by changing the resolution of the label map (100).

생성된 복수의 변형된 이미지는 도 4에 도시된 바와 같이 생성된 이미지(140)와 변형된 레이블 맵(160)을 포함한다. 생성된 이미지(140)는 범용 모달리티 인공지능 모델(200)로 입력되고, 변형된 레이블 맵(160)은 평균 다이스 손실부(170)로 각각 입력된다. The generated multiple transformed images include a generated image (140) and a transformed label map (160), as illustrated in FIG. 4. The generated image (140) is input to a general modality artificial intelligence model (200), and the transformed label map (160) is input to an average die loss unit (170).

그 다음, 생성된 이미지를 활용하여 범용 모달리티(Modality Agnostic) 인공지능 모델(200)을 학습시킨다(S140). 구체적인 세부 과정은 다음과 같다. 먼저, 범용 모달리티 인공지능 모델(200)이 레이블 맵(100)과 생성된 이미지(140)에 기초하여 예상된 레이블 맵(220)을 출력한다(S142). 이러한 범용 모달리티 인공지능 모델(200)은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 또는 Vison Transformer (ViT) 또는 그의 혼합모델 중 하나가 될 수 있다.Next, a general modality agnostic artificial intelligence model (200) is trained using the generated image (S140). The specific detailed process is as follows. First, the general modality agnostic artificial intelligence model (200) outputs an expected label map (220) based on the label map (100) and the generated image (140) (S142). This general modality agnostic artificial intelligence model (200) can be a convolutional neural network (CNN) model, a Vision Transformer (ViT), or a hybrid model thereof.

그 다음, 평균 다이스 손실부(Average Dice Loss)(170)가 예상된 레이블 맵(220)과 변형된 레이블 맵(160)에 기초하여 분할된 영역간의 유사도와 다이스 손실로부터 평균을 산출한다(S144).Next, the average dice loss (170) calculates the average from the dice loss and the similarity between the segmented areas based on the expected label map (220) and the transformed label map (160) (S144).

그 다음, 역전파부(Backpropagation)(180)가 예상된 레이블 맵(220)과 입력된 레이블 맵(100) 사이의 오차를 최소화하기 위해 가중치(weight)와 편향(bias)을 업데이트한다(S146).Next, the backpropagation unit (180) updates the weights and biases to minimize the error between the expected label map (220) and the input label map (100) (S146).

학습이 진행되는 과정에서 만약 범용 모달리티 인공지능 모델(200)이 출력한 예상된 레이블 맵(220)과 입력된 레이블 맵(100) 사이의 오차가 소정범위 이내일 때 범용 모달리티 인공지능 모델(200)의 구축되었다고 판단(S160)하고, 학습을 종료한다. During the learning process, if the error between the expected label map (220) output by the general modality artificial intelligence model (200) and the input label map (100) is within a predetermined range, the general modality artificial intelligence model (200) is determined to have been constructed (S160), and learning is terminated.

도 5는 도 4에서 임의의 레이블 영상으로부터 뇌의 가상 합성 데이터를 출력하는 과정을 나타내는 블록도이고, 도 6은 도 4에 도시된 블록도의 또 다른 표현방식의 블록도이다. 도 5 및 도 6에 도시된 바와 같이, 임의의 레이블을 활용하여 가상의 합성데이터 생성하고, 생성 모듈은 규칙기반, 머신러닝 또는 인공지능 기반 방법 중 하나 또는 복수개를 사용하여 합성 뇌 영상 데이터를 생성할 수 있다. Fig. 5 is a block diagram showing a process of outputting virtual synthetic data of a brain from an arbitrary label image in Fig. 4, and Fig. 6 is a block diagram of another representation of the block diagram shown in Fig. 4. As shown in Figs. 5 and 6, virtual synthetic data is generated using an arbitrary label, and the generation module can generate synthetic brain image data using one or more of rule-based, machine learning, or artificial intelligence-based methods.

구축된 인공지능 모델을 이용한 뇌영상 분할 방법Brain image segmentation method using an established artificial intelligence model

이하, 도 9를 참조하여 바람직한 실시예의 동작을 상세히 설명하기로 한다. 먼저, 전술한 방법에 의해 구축된 범용 모달리티 인공지능 모델(200)에 뇌에 관한 새로운 의료영상을 입력한다(S200). 이때, 입력단계(S200)에서의 새로운 의료영상은 인공지능 모델의 구축단계에서 입력된 레이블 맵(100)과 해상도, 크기, 촬영 위치, 콘트라스트, 포맷 중 적어도 하나가 다른 영상이다. Hereinafter, the operation of a preferred embodiment will be described in detail with reference to FIG. 9. First, a new medical image of the brain is input into the general-purpose modality artificial intelligence model (200) constructed using the aforementioned method (S200). At this time, the new medical image in the input step (S200) is an image that differs from the label map (100) input in the artificial intelligence model construction step in at least one of the following: resolution, size, shooting position, contrast, and format.

그 다음, 범용 모달리티 인공지능 모델(200)은 뇌에 관한 새로운 의료영상에 기초하여 레이블 맵을 추론하여 출력한다(S220). 이러한 과정을 통해 입력 레이블 영상으로부터 강건(robustness)한 분할(Segmentation)이 이루워진 레이블 맵을 얻을 수 있다. Next, the general-purpose modality artificial intelligence model (200) infers and outputs a label map based on new medical images of the brain (S220). Through this process, a label map with robust segmentation can be obtained from the input label image.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.The detailed description of the preferred embodiments of the present invention disclosed above has been provided to enable those skilled in the art to implement and practice the present invention. While the above description has been made with reference to preferred embodiments of the present invention, those skilled in the art will appreciate that various modifications and variations can be made to the present invention without departing from the scope of the present invention. For example, those skilled in the art can utilize the individual components described in the above-described embodiments in combination with each other. Accordingly, the present invention is not intended to be limited to the embodiments described herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.The present invention may be embodied in other specific forms without departing from the spirit and essential characteristics thereof. Therefore, the above detailed description should not be construed in any way as limiting but rather as illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all changes coming within the equivalent scope of the claims are intended to be included therein. The present invention is not intended to be limited to the embodiments set forth herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein. Furthermore, claims that are not explicitly cited in the claims may be combined to form an embodiment or incorporated into a new claim by post-application amendment.

100 : 레이블 맵(Label Map),
120 : 이미지 생성모델,
140 : 생성된 이미지,
160 : 변형된 이미지,
170 : 평균 다이스 손실부(Average Dice Loss),
180 : 역전파부(Back Propagation),
200 : 범용 모달리티 인공지능 모델,
220 : 예상된 레이블 맵.
230 : 합성 뇌영상 데이터 출력부.
100: Label Map,
120: Image generation model,
140: Generated image,
160: Deformed image,
170: Average Dice Loss,
180: Back Propagation,
200: General-purpose modality artificial intelligence model,
220: Expected label map.
230: Synthetic brain imaging data output unit.

Claims (15)

컴퓨터에 의해 수행되며,
인체의 질병에 관련된 영역을 하나 이상 포함하는 의료영상의 레이블 맵(100)을 입력받는 단계(S100);
이미지 생성모델(120)이 상기 레이블 맵(100)을 변형하여 복수의 변형된 이미지를 생성하는 단계(S120);
상기 의료영상, 상기 레이블 맵(100) 및 상기 복수의 변형된 이미지 중 적어도 하나에 기초하여 범용 모달리티(Modality Agnostic) 인공지능 모델(200)을 학습시키는 단계(S140);
상기 범용 모달리티 인공지능 모델(200)이 출력한 예상된 레이블 맵(220)과 상기 레이블맵(100) 사이의 오차가 소정범위 이내일 때 상기 범용 모달리티 인공지능 모델(200)의 구축되었다고 판단하는 단계(S160);를 포함하고,
상기 이미지 생성모델(120)은 강체 변환(Rigid Transformation) 방식, 및 비선형 변환(Non-linear Transformation) 방식 중 적어도 하나를 적용한 공간 변형(Spatial Transformation) 방식을 이용하여 상기 복수의 변형된 이미지를 생성하고,
상기 복수의 변형된 이미지는 생성된 이미지(140)와 변형된 레이블 맵(160)을 포함하고,
상기 학습단계(S140)는,
상기 범용 모달리티 인공지능 모델(200)이 상기 레이블 맵(100)과 상기 생성된 이미지(140)에 기초하여 상기 예상된 레이블 맵(220)을 출력하는 단계(S142);
평균 다이스 손실부(170)가 상기 예상된 레이블 맵(220)과 상기 변형된 레이블 맵(160)에 기초하여 분할된 영역간의 유사도와 다이스 손실로부터 평균을 산출하는 단계(S144); 및
역전파부(180)가 상기 예상된 레이블 맵(220)과 입력된 상기 레이블 맵(100) 사이의 오차를 최소화하기 위해 가중치(weight)와 편향(bias)을 업데이트하는 단계(S146);를 포함하고,
상기 입력단계(S100) 중 상기 레이블 맵(100)은 복수의 레이블 맵(100)이며, 그리고
상기 복수의 레이블 맵(100) 중 일부 레이블 맵(100)은 두개골 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)이거나 외부 뇌척수액(Outer CSF) 영역을 관심영역(ROI)의 배경으로 처리한 레이블 맵(100)인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
It is performed by a computer,
A step (S100) of receiving a label map (100) of a medical image including one or more areas related to a disease of the human body;
A step (S120) in which the image generation model (120) transforms the label map (100) to generate multiple transformed images;
A step (S140) of training a universal modality agnostic artificial intelligence model (200) based on at least one of the above medical image, the label map (100) and the plurality of transformed images;
A step (S160) of determining that the universal modality artificial intelligence model (200) has been constructed when the error between the predicted label map (220) output by the universal modality artificial intelligence model (200) and the label map (100) is within a predetermined range;
The above image generation model (120) generates the plurality of transformed images using a spatial transformation method that applies at least one of a rigid transformation method and a non-linear transformation method, and
The above multiple transformed images include a generated image (140) and a transformed label map (160),
The above learning step (S140) is
A step (S142) in which the general modality artificial intelligence model (200) outputs the expected label map (220) based on the label map (100) and the generated image (140);
A step (S144) in which the average dice loss unit (170) calculates an average from the similarity between the segmented areas based on the predicted label map (220) and the modified label map (160) and the dice loss; and
The backpropagation unit (180) includes a step (S146) of updating weights and biases to minimize the error between the expected label map (220) and the input label map (100);
In the above input step (S100), the label map (100) is a plurality of label maps (100), and
A method for constructing a general modality artificial intelligence model using virtual data, characterized in that some of the label maps (100) among the above plurality of label maps (100) are label maps (100) in which the skull region is treated as the background of the region of interest (ROI) or label maps (100) in which the external cerebrospinal fluid (Outer CSF) region is treated as the background of the region of interest (ROI).
제 1 항에 있어서,
상기 인체의 질병에 관련된 영역은 뇌의 전두엽, 두정엽, 측두엽, 후두엽, 뇌실, 알츠하이머병과 관련된 영역, ARIA-E(Amyloid-Related Imaging Abnormalities with Effusion or Edema)영역, ARIA-H(Amyloid-Related Imaging Abnormalities with Hemosiderin) 영역, WMH(White Matter Hyperintensities) 영역, 백질(White matter)이나 기저핵(Basal ganglia)과 같은 깊은 뇌 구조에서 발생하는 빈 공간(Lacunes) 영역, 뇌의 미세 출혈 영역(Cerebral microbleeds), 회백질(Grey matter) 영역, 시상(Thalamus) 영역, 미상핵(Caudate)영역, 조가비핵(Putamen)영역, 두개골영역, 뇌척수액(Cerebrospinal Fluid, CSF) 영역 중 적어도 하나를 포함하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
A method for building a general modality artificial intelligence model using virtual data, characterized in that the region related to the above human disease includes at least one of the frontal lobe, parietal lobe, temporal lobe, occipital lobe, ventricle, region related to Alzheimer's disease, ARIA-E (Amyloid-Related Imaging Abnormalities with Effusion or Edema) region, ARIA-H (Amyloid-Related Imaging Abnormalities with Hemosiderin) region, WMH (White Matter Hyperintensities) region, lacune region occurring in deep brain structures such as white matter or basal ganglia, cerebral microbleeds, gray matter region, thalamus region, caudate region, putamen region, skull region, and cerebrospinal fluid (CSF) region.
제 1 항에 있어서,
상기 인체의 질병은 치매, 알츠하이머병, 혈관성 치매, 뇌 위축, 파킨슨병, 뇌졸중, 뇌종양, 간질, 다발성 경화증, 아밀로이드 백식 부작용 질환, 뇌암 중 하나인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
A method for constructing a universal modality artificial intelligence model using virtual data, wherein the above human disease is one of dementia, Alzheimer's disease, vascular dementia, brain atrophy, Parkinson's disease, stroke, brain tumor, epilepsy, multiple sclerosis, amyloid plaque side effect disease, and brain cancer.
제 1 항에 있어서,
상기 이미지 생성모델(120)은 생성적 적대 신경망 모델(Generative Adversarial Network Model, GANM)을 이용하여 상기 복수의 변형된 이미지를 생성하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
The above image generation model (120) is a method for constructing a general modality artificial intelligence model using virtual data, characterized in that it generates the plurality of transformed images using a generative adversarial network model (GANM).
삭제delete 제 1 항에 있어서,
상기 이미지 생성모델(120)은 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 또는 소정의 정의된 규칙으로 데이터가 생성되는 특정 규칙기반의 방식을 이용하여 상기 복수의 변형된 이미지를 생성하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
The above image generation model (120) is a method for constructing a general modality artificial intelligence model using virtual data, characterized in that it generates the plurality of transformed images using a Gaussian Mixture Model (GMM) or a specific rule-based method in which data is generated according to a predetermined defined rule.
제 1 항에 있어서,
상기 이미지 생성모델(120)은 아티팩트(Artacts) 적용방식 또는 노이즈 적용방식을 이용하여 상기 복수의 변형된 이미지를 생성하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
The above image generation model (120) is a method for constructing a universal modality artificial intelligence model using virtual data, characterized in that it generates the plurality of transformed images using an artifact application method or a noise application method.
제 1 항에 있어서,
상기 이미지 생성모델(120)은 상기 레이블 맵(100)의 해상도를 변경하여 상기 복수의 변형된 이미지를 생성하는 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
A method for constructing a universal modality artificial intelligence model using virtual data, characterized in that the image generation model (120) generates the plurality of transformed images by changing the resolution of the label map (100).
삭제delete 제 1 항에 있어서,
상기 범용 모달리티 인공지능 모델(200)은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 또는 Vison Transformer (ViT) 또는 그의 혼합 모델인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
A method for constructing a general modality artificial intelligence model using virtual data, characterized in that the general modality artificial intelligence model (200) is a convolutional neural network (CNN) model or a Vision Transformer (ViT) or a mixed model thereof.
삭제delete 제 1 항에 있어서,
상기 레이블 맵(100)은 X-ray, MRI, CT 영상에 기초한 레이블 맵인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In the first paragraph,
A method for constructing a universal modality artificial intelligence model using virtual data, characterized in that the above label map (100) is a label map based on X-ray, MRI, and CT images.
제 12 항에 있어서,
상기 레이블 맵(100)은 X-ray, MRI, CT 영상에 기초하여 생성된 가상 데이터의 레이블 맵인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델의 구축방법.
In paragraph 12,
A method for constructing a universal modality artificial intelligence model using virtual data, characterized in that the above label map (100) is a label map of virtual data generated based on X-ray, MRI, and CT images.
컴퓨터에 의해 수행되며,
제 1 항 내지 제 4 항, 제 6 항 내지 제 8 항, 제 10 항, 제 12 항 및 제 13 항 중 어느 한 항에 의해 구축된 범용 모달리티 인공지능 모델(200)에 뇌에 관한 새로운 의료영상을 입력받는 단계(S200); 및
상기 범용 모달리티 인공지능 모델(200)이 상기 뇌에 관한 새로운 의료영상에 기초하여 레이블 맵을 추론하여 출력하는 단계(S220);를 포함하고, 그리고
상기 입력단계(S200)에서 상기 새로운 의료영상은 상기 인공지능 모델의 구축단계에서 입력된 레이블 맵(100)과 해상도, 크기, 촬영 위치, 콘트라스트, 포맷 중 적어도 하나가 다른 영상인 것을 특징으로 하는 가상 데이터를 이용한 범용 모달리티 인공지능 모델을 이용한 뇌영상 분할 방법.
It is performed by a computer,
A step (S200) of inputting a new medical image of the brain into a general modality artificial intelligence model (200) constructed by any one of claims 1 to 4, 6 to 8, 10, 12 and 13; and
The above general modality artificial intelligence model (200) includes a step (S220) of inferring and outputting a label map based on a new medical image of the brain; and
A brain image segmentation method using a universal modality artificial intelligence model using virtual data, characterized in that in the above input step (S200), the new medical image is an image having at least one different resolution, size, shooting position, contrast, and format from the label map (100) input in the above artificial intelligence model construction step.
삭제delete
KR1020240132777A 2024-09-30 2024-09-30 The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model Active KR102842416B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020240132777A KR102842416B1 (en) 2024-09-30 2024-09-30 The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model
KR1020250096833A KR102892616B1 (en) 2024-09-30 2025-07-17 Method for automatic brain structure segmentation using an universal AI model
KR1020250096831A KR102892615B1 (en) 2024-09-30 2025-07-17 Method for Synthetic Brain Imaging Data Based on Multi-Modality Integration
KR1020250096832A KR102888955B1 (en) 2024-09-30 2025-07-17 Method for training and constructing a universal brain image segmentation AI model using synthetic data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020240132777A KR102842416B1 (en) 2024-09-30 2024-09-30 The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020250096833A Division KR102892616B1 (en) 2024-09-30 2025-07-17 Method for automatic brain structure segmentation using an universal AI model
KR1020250096831A Division KR102892615B1 (en) 2024-09-30 2025-07-17 Method for Synthetic Brain Imaging Data Based on Multi-Modality Integration
KR1020250096832A Division KR102888955B1 (en) 2024-09-30 2025-07-17 Method for training and constructing a universal brain image segmentation AI model using synthetic data

Publications (1)

Publication Number Publication Date
KR102842416B1 true KR102842416B1 (en) 2025-08-06

Family

ID=96735156

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020240132777A Active KR102842416B1 (en) 2024-09-30 2024-09-30 The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model
KR1020250096833A Active KR102892616B1 (en) 2024-09-30 2025-07-17 Method for automatic brain structure segmentation using an universal AI model
KR1020250096831A Active KR102892615B1 (en) 2024-09-30 2025-07-17 Method for Synthetic Brain Imaging Data Based on Multi-Modality Integration
KR1020250096832A Active KR102888955B1 (en) 2024-09-30 2025-07-17 Method for training and constructing a universal brain image segmentation AI model using synthetic data

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020250096833A Active KR102892616B1 (en) 2024-09-30 2025-07-17 Method for automatic brain structure segmentation using an universal AI model
KR1020250096831A Active KR102892615B1 (en) 2024-09-30 2025-07-17 Method for Synthetic Brain Imaging Data Based on Multi-Modality Integration
KR1020250096832A Active KR102888955B1 (en) 2024-09-30 2025-07-17 Method for training and constructing a universal brain image segmentation AI model using synthetic data

Country Status (1)

Country Link
KR (4) KR102842416B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854071B1 (en) * 2017-01-13 2018-05-03 고려대학교 산학협력단 Method of generating image of interest region using deep learning and apparatus thereof
KR20200110111A (en) * 2019-03-13 2020-09-23 부산대학교 산학협력단 Method and devices for diagnosing dynamic multidimensional disease based on deep learning in medical image information
KR20210072048A (en) * 2018-10-11 2021-06-16 테슬라, 인크. Systems and methods for training machine models with augmented data
KR102313656B1 (en) * 2020-12-30 2021-10-19 뉴로핏 주식회사 Method for, device for, and system for analazing brain image
KR102466479B1 (en) 2020-03-30 2022-11-15 주식회사 뷰브레인헬스케어 Tau protein accumulation prediction apparatus using machine learning and tau protein accumulation prediction method using the same
KR102477632B1 (en) * 2021-11-12 2022-12-13 프로메디우스 주식회사 Method and apparatus for training image using generative adversarial network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102378746B1 (en) * 2019-08-16 2022-03-25 서울여자대학교 산학협력단 Abnominal organ automatic segmentation based on deep learning in a medical image
KR102613537B1 (en) * 2021-02-09 2023-12-13 고려대학교 산학협력단 A brain CT image standard template generating device and a method thereof
KR102728495B1 (en) * 2022-04-11 2024-11-11 고려대학교 산학협력단 Methods and apparatus for differential diagnosis of various degenerate brain disease based on deep learning technology of Magnet Resonance image classification
KR20240037867A (en) * 2022-09-15 2024-03-22 고려대학교 산학협력단 Learning method of medical image standardization network model and standardization method of medical images through MR image harmonization method based on cross-center style transfer using deep generative adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854071B1 (en) * 2017-01-13 2018-05-03 고려대학교 산학협력단 Method of generating image of interest region using deep learning and apparatus thereof
KR20210072048A (en) * 2018-10-11 2021-06-16 테슬라, 인크. Systems and methods for training machine models with augmented data
KR20200110111A (en) * 2019-03-13 2020-09-23 부산대학교 산학협력단 Method and devices for diagnosing dynamic multidimensional disease based on deep learning in medical image information
KR102466479B1 (en) 2020-03-30 2022-11-15 주식회사 뷰브레인헬스케어 Tau protein accumulation prediction apparatus using machine learning and tau protein accumulation prediction method using the same
KR102313656B1 (en) * 2020-12-30 2021-10-19 뉴로핏 주식회사 Method for, device for, and system for analazing brain image
KR102477632B1 (en) * 2021-11-12 2022-12-13 프로메디우스 주식회사 Method and apparatus for training image using generative adversarial network

Also Published As

Publication number Publication date
KR102892616B1 (en) 2025-12-05
KR102888955B1 (en) 2025-11-21
KR102892615B1 (en) 2025-12-05

Similar Documents

Publication Publication Date Title
Alexander‐Bloch et al. Subtle in‐scanner motion biases automated measurement of brain anatomy from in vivo MRI
Rousseau et al. A supervised patch-based approach for human brain labeling
CN110838173B (en) Individualized brain co-transformation network construction method based on three-dimensional texture features
Osman et al. Deep learning‐based convolutional neural network for intramodality brain MRI synthesis
Toga et al. Maps of the brain
Tian et al. Improving in vivo human cerebral cortical surface reconstruction using data-driven super-resolution
US7136516B2 (en) Method and system for segmenting magnetic resonance images
Wang et al. Deep learning‐based 3D MRI contrast‐enhanced synthesis from a 2D noncontrast T2Flair sequence
Usman et al. Gaussian smoothing and modified histogram normalization methods to improve neural-biomarker interpretations for dyslexia classification mechanism
Huang et al. Arterial spin labeling images synthesis from sMRI using unbalanced deep discriminant learning
Shiri et al. Deep-fill: Deep learning based sinogram domain gap filling in positron emission tomography
Van De Leemput et al. Stacked bidirectional convolutional LSTMs for deriving 3D non-contrast CT from spatiotemporal 4D CT
Sun et al. Intracranial hemorrhage detection by 3D voxel segmentation on brain CT images
US20230022257A1 (en) Determination of white-matter neurodegenerative disease biomarkers
Li et al. A novel method of synthetic CT generation from MR images based on convolutional neural networks
Hoopes et al. VoxelPrompt: A Vision Agent for End-to-End Medical Image Analysis
Harper et al. Assessing the utility of low resolution brain imaging: treatment of infant hydrocephalus
Ji et al. Deep learning-based magnetic resonance image super-resolution: a survey
Baljer et al. Ultra‐Low‐Field Paediatric MRI in Low‐and Middle‐Income Countries: Super‐Resolution Using a Multi‐Orientation U‐Net
Tian et al. Quantifying axonal features of human superficial white matter from three-dimensional multibeam serial electron microscopy data assisted by deep learning
KR102842416B1 (en) The method for constructing a modality-agnostic AI model using synthetic data and the brain image segmentation method using the constructed AI model
Fiscone et al. Generalizing the Enhanced-Deep-Super-Resolution neural network to brain MR images: a retrospective study on the Cam-CAN dataset
Xia et al. Dual-modality brain PET-CT image segmentation based on adaptive use of functional and anatomical information
Liang et al. 3d MRI image super‐resolution for brain combining rigid and large diffeomorphic registration
Fu et al. Evaluation of five diffeomorphic image registration algorithms for mouse brain magnetic resonance microscopy

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A16 Divisional, continuation or continuation in part application filed

Free format text: ST27 STATUS EVENT CODE: A-0-1-A10-A16-DIV-PA0107 (AS PROVIDED BY THE NATIONAL OFFICE)

A18 Application divided or continuation or continuation in part accepted

Free format text: ST27 STATUS EVENT CODE: A-0-1-A10-A18-DIV-PA0107 (AS PROVIDED BY THE NATIONAL OFFICE)

PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000