[go: up one dir, main page]

KR102222015B1 - 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 - Google Patents

의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 Download PDF

Info

Publication number
KR102222015B1
KR102222015B1 KR1020190092909A KR20190092909A KR102222015B1 KR 102222015 B1 KR102222015 B1 KR 102222015B1 KR 1020190092909 A KR1020190092909 A KR 1020190092909A KR 20190092909 A KR20190092909 A KR 20190092909A KR 102222015 B1 KR102222015 B1 KR 102222015B1
Authority
KR
South Korea
Prior art keywords
neural network
artificial neural
medical image
display setting
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190092909A
Other languages
English (en)
Other versions
KR20210014893A (ko
Inventor
이재연
유동훈
지현
Original Assignee
주식회사 코어라인소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어라인소프트 filed Critical 주식회사 코어라인소프트
Priority to KR1020190092909A priority Critical patent/KR102222015B1/ko
Priority to US16/896,801 priority patent/US12046367B2/en
Publication of KR20210014893A publication Critical patent/KR20210014893A/ko
Application granted granted Critical
Publication of KR102222015B1 publication Critical patent/KR102222015B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)

Abstract

컴퓨팅 시스템을 포함하는 의료용 인공 신경망에 기반하여 의료 영상 판독을 지원하는 장치가 개시된다. 본 발명의 일 실시예에 따른 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고, 상기 제1 분석 결과에 기반한 제1 디스플레이 설정을 생성하고, 상기 제1 디스플레이 설정에 기반하여 상기 제1 의료 영상 및 상기 제1 분석 결과가 화면에 디스플레이되도록 상기 제1 디스플레이 설정을 실행한다.

Description

의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 {APPARATUS AND METHOD FOR MEDICAL IMAGE READING ASSISTANT PROVIDING HANGING PROTOCOLS BASED ON MEDICAL USE ARTIFICIAL NEURAL NETWORK}
본 발명은 피검체의 의료 영상의 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 본 발명은 의료용 인공 신경망의 분석 결과를 이용하여 의료 영상이 디스플레이되는 설정인 행잉 프로토콜을 제공하는 컴퓨팅 시스템 및 그 컴퓨팅 시스템에서 실행되는 소프트웨어에 관한 것이다.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 전자시스템산업핵심기술개발(R&D)사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 1415160865, 세부과제번호 : 10072064, 과제명: 폐, 간, 심질환 영상판독지원을 위한 인공지능 원천기술개발 및 PACS 연계 상용화].
현재, 병변을 분석함으로써 진단에 이용하기 위하여 CT(computed tomography; 전산화 단층 촬영) 등의 의료 영상이 널리 이용되고 있다. 예를 들어, 흉부 CT 영상은 신체의 내부, 예컨대, 폐, 기관지, 심장 등의 이상을 관찰할 수 있어 판독용으로 빈번히 이용된다.
흉부 CT 영상을 통하여 판독될 수 있는 몇몇 소견들은 영상의학과 의사도 다년 간의 수련을 통하여야만 그 특징 및 형태를 구분해낼 수 있을 정도로 그 판독이 용이하지 않아 인간인 의사가 쉽게 간과할 수 있다. 특히, 폐결절(lung nodule)과 같이 그 판독의 난이도가 높으면 의사가 고도의 주의를 기울여도 미처 보지 못하고 넘어가는 경우가 발생할 수 있어 문제가 될 소지가 있다.
이 같이 인간이 쉽게 간과할 수 있는 영상의 판독을 보조하기 위하여, 컴퓨터 보조 진단(CAD; computer aided diagnosis)의 필요성이 대두되었는데, 종래의 CAD 기술은 매우 한정된 영역에서 의사의 판단을 보조함에 그친다. 예를 들어, 한국공개특허 KR 10-2014-0091176호 및 미국등록특허 US 9,773,305에는, 종래의 병변 진단을 보조하기 위한 장치 및 방법이 개시되어 있다.
컴퓨터 보조 진단을 이용한 병변의 판독은 우선 병변으로 의심되는 부위를 특정하고, 그 부위에 대한 점수{예컨대, 신뢰도(confidence), 악성도(malignity) 등}을 평가하는 프로세스로 이루어질 수 있다. 예를 들어, 폐부에서 복수의 결절이 발견되는 경우, 그 중 악성도가 높을 것으로 예상되는 결절을 특정하여 추후의 치료 방안을 결정할 필요가 있을 것이다.
그런데, 복수의 결절이 있기 때문에 그 중 어떤 결절이 가장 악성도가 높은지는 판독 이전에 알 수가 없고 실제 악성도가 높지 않거나 악성이 아닐 것이라 예상되는 결절부터 진단이 수행되어 판독 효율이 떨어지게 되는 경우가 산재한다. 또한 어떤 결절이 실제 결절인지 판독 이전에 알기 어렵고 신뢰도가 높지 않아 실제 결절이 아닐 것이라 예상되는 부분에서부터 진단이 수행되어도 판독 효율이 떨어진다.
선행 문헌인 한국등록특허 KR 10-1943011호 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치"에서는 종래의 병변 검출 시스템에 대하여 점수 평가 방식을 도입하고 검출된 병변들 중에서 점수(예컨대, 신뢰도, 악성도 등)가 가장 높은 병변들부터 판독할 수 있게 하여 판독 효율을 증진하는 방법 및 이를 이용한 장치를 제안하였다.
KR 10-1943011에서는 단일 종류의 질환에 대해서 다수의 병변이 검출되었을 때 단일 디스플레이 설정 내에서 신뢰도, 악성도 등의 점수가 가장 높은 병변들부터 배치되는 리스트를 디스플레이하고, 사용자가 리스트에서 해당 병변을 선택하면 병변과 관련된 영상을 디스플레이하는 구성을 개시한다. KR 10-1943011에서는 단일 종류의 질환에 대해서 여러 종류의 병변이 검출되었을 때를 가정하므로, 복수 개의 종류의 질환에 대한 병변들이 검출되었을 때 대응하는 방법이 제시되지 않는다.
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류의 병변을 검출하는 데에 이용될 수 있다.
임상의(clinician) 또는 영상의(radiologist)가 하나의 의료 영상 시리즈 상에서 여러 종류의 병변을 확인하고자 할 때에는 임상의 또는 영상의의 워크플로우(workflow) 및 행잉 프로토콜(Hanging Protocol)을 개선해야 한다. 행잉 프로토콜은 의료 영상의 디스플레이 설정을 의미한다.
워크플로우 및 행잉 프로토콜을 개선하고자 하는 종래 기술은 다수 있어 왔다. 예를 들어, 미국등록특허 US 8,165,368호 "Systems and Methods for Machine Learning Based Hanging Protocols" 및 US 8,923,580호 "Smart PACS Workflow Systems and Methods Driven by Explicit Learning from Users" 에서는 사용자의 선호도 또는 사용자의 과거의 디스플레이 조작 과정을 학습하여 사용자에 특화된 행잉 프로토콜을 제공하는 기술을 제안한다.
상기 선행 문헌들은 사용자의 선호도(user preference), 의료 영상이 얻어진 바디 파트(body part), 과거의 병력에 기반하여 워크플로우 및 행잉 프로토콜을 최적화할 수 있지만 현재 제공된 의료 영상 내에 포함된 진단 정보 또는 병변 정보에 기반한 워크플로우 및 행잉 프로토콜을 제안하지 못한다.
한국공개특허 KR 10-2014-009116호 "병변 진단 장치 및 방법" (2014.07.21) 미국등록특허 US 9,773,305호 "Lesion diagnosis apparatus and method" (2017.09.26) 한국등록특허 KR 10-1943011호 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치" (2019.01.22) US 8,165,368호 "Systems and Methods for Machine Learning Based Hanging Protocols" (2012.04.24) US 8,923,580호 "Smart PACS Workflow Systems and Methods Driven by Explicit Learning from Users" (2014.12.30)
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류의 병변을 검출하는 데에 이용될 수 있다. 예를 들어 폐(lung)에 대해서는 폐결절(lung nodule)이 진단될 수 있는 동시에 만성 폐쇄성 폐질환(COPD, Chronic Obstructive Pulmonary Disease), 또는 폐기종(emphysema)이 진단될 수 있고, 만성 기관지염 또는 기도(airway)와 관련된 질환도 진단될 수 있다.
임상의 또는 영상의에게 종래 기술에서처럼 병변의 진단 목록만이 제공되는 경우, 임상의 또는 영상의는 목록에서 각 병변을 선택하여 그에 맞는 디스플레이 설정을 찾아 실행해야 하는데, 이 경우 판독과 직접 관련성이 떨어지는 작업을 실행하거나 대기하는 데에 소요되는 시간이 증가하여 워크플로우의 효율이 저하되는 문제점이 있다.
임상의 또는 영상의가 판독과 직접 관련성이 높은 작업에만 시간을 할애할 수 있으면 판독 시간을 단축하고 워크플로우의 효율을 높일 수 있을 것이다.
본 발명은 동일한 바디 파트에서 검출될 수 있는 다수의 종류의 병변을 고려하여, 의료 영상에 포함된 영상 정보 및 진단 정보에 기반하여 각 병변 및 질환의 종류에 적합한 디스플레이 레이아웃 설정을 제안하고, 의료 영상에서 검출된 병변 및 질환의 종류에 관련된 정보에 기반하여 디스플레이 레이아웃 설정을 실행하는 행잉 프로토콜을 제공하는 것을 목적으로 한다.
본 발명의 목적은 의료 영상에 대하여 검출된 질환 코드에 기반한 행잉 프로토콜을 제안하는 것이다.
본 발명의 목적은 다수의 종류의 병변을 검출할 수 있는 CAD를 보유한 환경에서, 의료 영상에서 검출된 질환 코드에 기반하여 행잉 프로토콜을 실행하고, 임상의 또는 영상의가 판독과 직접 관련성이 높은 작업에만 시간을 할애할 수 있도록 판독 시간을 단축하고 워크플로우의 효율을 높이는 것이다.
본 발명의 목적은 판독의 효율을 높이고 짧은 시간에 임상의 또는 영상의가 더 정확한 진단 결과를 도출할 수 있도록 보조하며 분석의 정확도를 높이는 사용자 인터페이스 및 디스플레이 환경을 제공하는 것이다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 의료용 인공 신경망에 기반하여 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고, 상기 제1 분석 결과에 기반한 제1 디스플레이 설정을 생성하고, 상기 제1 디스플레이 설정에 기반하여 상기 제1 의료 영상 및 상기 제1 분석 결과가 화면에 디스플레이되도록 상기 제1 디스플레이 설정을 실행한다.
상기 적어도 하나 이상의 프로세서는 상기 제1 디스플레이 설정에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정을 실행할 수 있다. 사용자의 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과가 가리키는 상기 제1 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 상기 제1 디스플레이 설정을 생성할 수 있다. 제1 의료 영상 내에서 검출된 질환의 종류는 '질환 코드'로 구분되어 제1 디스플레이 설정을 생성하는 근거가 될 수 있다.
제1 디스플레이 설정은 상기 제1 분석 결과와 관련된 상기 제1 의료 영상의 적어도 하나 이상의 뷰, 상기 제1 의료 영상 내에서 상기 제1 분석 결과를 표시하는 메뉴, 상기 제1 의료 영상의 상기 적어도 하나 이상의 뷰의 레이아웃, 및 상기 제1 의료 영상 내에서 표시된 상기 제1 분석 결과에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함할 수 있다. 이러한 제1 디스플레이 설정은 의료 분야에 특화된 경우 행잉 프로토콜(Hanging Protocol)이라 불리기도 한다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과에 포함되는 상기 제1 의료 영상 내에서 검출된 질환의 종류가 복수 개인 경우, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성할 수 있다. 이때, 상기 적어도 하나 이상의 프로세서는 상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치하거나, 상기 복수의 서브 디스플레이 설정들 중 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이할 수 있다. 제1 디스플레이 설정이 우선하여 디스플레이된 경우에는 상기 적어도 하나 이상의 프로세서는 사용자 입력에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이할 수 있다.
상기 제1 인공 신경망은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망일 수 있다.
상기 제1 인공 신경망은 의료 영상 내의 단일 바디 파트에 대한 단일 종류의 질환을 진단할 수 있는 기능을 포함하는 복수의 서브 인공 신경망 모듈들이 결합되어 구현될 수 있다.
상기 제1 인공 신경망은 복수의 제2 의료 영상들 각각에 포함되는 단일 바디 파트에 대한 복수 개의 종류의 질환을 전문가가 진단한 정보를 입력받아 상기 복수의 제2 의료 영상들 각각에 포함되는 복수 개의 종류의 질환을 진단하는 기능을 학습한 인공 신경망일 수 있다. 즉, 이때 제1 인공 신경망은 복수 개의 종류의 질환을 하나의 신경망 모델에서 진단할 수 있는 기능을 학습한 경우일 수 있다.
상기 컴퓨팅 시스템은 복수의 제3 의료 영상들 각각에 대하여 진단된 복수 개의 종류의 질환에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정을 입력받고, 진단된 질환의 종류에 기반한 디스플레이 설정을 생성하는 기능을 학습한 인공 신경망인 제2 인공 신경망을 더 포함할 수 있다. 이때 상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과를 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제2 인공 신경망을 제어할 수 있다.
상기 컴퓨팅 시스템은 복수의 제3 의료 영상들 각각에 대하여 상기 제1 인공 신경망의 추론에 의하여 얻어지는 복수의 제3 분석 결과에 대하여 전문가가 선택한 복수의 제3 디스플레이 설정을 입력받고, 상기 복수의 제3 분석 결과가 포함하는 상기 복수의 제3 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 상기 복수의 제3 디스플레이 설정과의 관련성을 학습한 인공 신경망인 제3 인공 신경망을 더 포함할 수 있다. 이때 상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과를 상기 제3 인공 신경망에 입력하고, 상기 제3 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제3 인공 신경망을 제어할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 컴퓨팅 시스템에 의하여 실행되고, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 본 발명의 방법은 상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계; 상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과에 기반한 제1 디스플레이 설정을 생성하는 단계; 및 상기 적어도 하나 이상의 프로세서가, 상기 제1 디스플레이 설정에 기반하여 상기 제1 의료 영상 및 상기 제1 분석 결과가 화면에 디스플레이되도록 상기 제1 디스플레이 설정을 실행하는 단계를 포함한다.
본 발명에 따르면 임상의(clinician) 또는 영상의(radiologist)를 위한 워크플로우(workflow) 내에서 하나의 의료 영상 시리즈 상에서 여러 종류의 병변을 확인하고자 할 때, 각 병변을 진단하기에 적절하게 설계된 디스플레이 레이아웃을 구현할 수 있다.
본 발명에 따르면 동일한 바디 파트에서 검출될 수 있는 다수의 종류의 병변을 고려하여, 의료 영상에 포함된 영상 정보 및 진단 정보에 기반하여 각 병변 및 질환의 종류에 적합한 디스플레이 레이아웃 설정을 제안할 수 있다. 또한 본 발명에 따르면 의료 영상에서 검출된 병변 및 질환의 종류에 관련된 정보에 기반하여 디스플레이 레이아웃 설정을 실행하는 행잉 프로토콜을 제공할 수 있다.
본 발명에 따르면 의료 영상에 대하여 검출된 질환 코드에 기반한 행잉 프로토콜을 제공할 수 있다.
본 발명에 따르면 다수의 종류의 병변을 검출할 수 있는 CAD를 보유한 환경에서, 의료 영상에서 검출된 질환 코드에 기반하여 행잉 프로토콜을 실행하고, 임상의 또는 영상의가 판독과 직접 관련성이 높은 작업에만 시간을 할애할 수 있도록 판독 시간을 단축하고 워크플로우의 효율을 높일 수 있다.
본 발명에 따르면 판독의 효율을 높이고 짧은 시간에 임상의 또는 영상의가 더 정확한 진단 결과를 도출할 수 있도록 보조하며 분석의 정확도를 높이는 사용자 인터페이스 및 디스플레이 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치의 제1 인공 신경망의 일 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
이러한 인공 신경망 기술이 적용되어 의료 영상 내에서 인간의 육안으로 식별하기 어려운 질환이나 병변을 검출하고, 특정 조직 등 관심 영역을 분할하며(segmentation), 분할된 영역에 대한 측정 등 분석 과정을 수행할 수 있을 것으로 기대된다.
본 발명은 이러한 인공 신경망 기술이 적용된 다양한 분석 기술을 인간 전문가가 판독할 수 있는 가장 적절한 형태로 시각화하는 구성을 제공하는 의료 영상 판독 지원 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 의료용 인공 신경망에 기반하여 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치는 컴퓨팅 시스템(100)을 포함하며 상기 컴퓨팅 시스템(100)은 적어도 하나 이상의 프로세서(130)를 포함한다. 컴퓨팅 시스템(100)은 데이터베이스(120)를 더 포함할 수 있다. 상기 적어도 하나 이상의 프로세서(130)는 제1 의료 영상(140)에 대한 제1 인공 신경망(110)의 추론에 의하여 얻어지는 제1 분석 결과(112)를 획득하거나 수신하고, 상기 제1 분석 결과(112)에 기반한 제1 디스플레이 설정(150)을 생성하고, 상기 제1 디스플레이 설정(150)에 기반하여 상기 제1 의료 영상(140) 및 상기 제1 분석 결과(112)가 화면에 디스플레이되도록 상기 제1 디스플레이 설정(150)을 실행한다.
상기 적어도 하나 이상의 프로세서(130)는 상기 제1 디스플레이 설정(150)에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과(112)에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정(150)을 실행할 수 있다. 사용자의 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다.
상기 적어도 하나 이상의 프로세서(130)는 상기 제1 분석 결과(112)가 가리키는 상기 제1 의료 영상(140) 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 상기 제1 디스플레이 설정(150)을 생성할 수 있다. 제1 의료 영상(140) 내에서 검출된 질환의 종류는 '질환 코드'로 구분되어 제1 디스플레이 설정(150)을 생성하는 근거가 될 수 있다.
제1 디스플레이 설정(150)은 상기 제1 분석 결과(112)와 관련된 상기 제1 의료 영상(140)의 적어도 하나 이상의 뷰, 상기 제1 의료 영상(140) 내에서 상기 제1 분석 결과(112)를 표시하는 메뉴, 상기 제1 의료 영상(140)의 상기 적어도 하나 이상의 뷰의 레이아웃, 및 상기 제1 의료 영상(140) 내에서 표시된 상기 제1 분석 결과(112)에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함할 수 있다. 좀 더 구체적으로는, 제1 디스플레이 설정(150)은 상기 제1 분석 결과(112)오 관련된 제1 의료 영상(140)의 복수의 뷰(view), 상기 제1 의료 영상(140)의 복수의 뷰 중 적어도 하나 이상의 뷰 내에서 상기 제1 분석 결과(112)를 표시하는 시각화된 메뉴, 상기 제1 분석 결과(112)와 임상적으로 연관성이 있는 제1 의료 영상(140) 내의 관련 부위를 표시하는 시각화된 메뉴, 상기 제1 의료 영상(140)의 복수의 뷰의 레이아웃, 상기 제1 의료 영상(140)의 복수의 뷰 사이에서 제1 분석 결과(112) 및 제1 분석 결과(112)와 임상적으로 연관성이 있는 제1 의료 영상(140) 내의 관련 부위와의 동기화된 시각적/청각적 표현, 및 상기 제1 의료 영상(140)의 복수의 뷰 중 적어도 하나 이상의 뷰 내에서 표시된 제1 분석 결과(112) 및/또는 상기 제1 의료 영상(140) 내에서 표시된 상기 제1 분석 결과(112)와 임상적으로 연관성이 있는 관련 부위에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함할 수 있다. 이러한 제1 디스플레이 설정(150)은 의료 분야에 특화된 경우 행잉 프로토콜(Hanging Protocol)이라 불리기도 한다.
행잉 프로토콜에 관한 일반적인 사항은 앞서 언급한 미국등록특허 US 8,165,368호 "Systems and Methods for Machine Learning Based Hanging Protocols" 및 US 8,923,580호 "Smart PACS Workflow Systems and Methods Driven by Explicit Learning from Users" 등에서 참고할 수 있다.
프로세서(130)는 데이터베이스(120)에 저장된 행잉 프로토콜을 생성하는 규칙(rule)에 기반하여 제1 디스플레이 설정(150)을 생성할 수 있다. 즉, 제1 분석 결과(112) 또는 제1 분석 결과(112)의 주요 특징을 추출하여 데이터베이스(120)에 쿼리(114)를 보낼 수 있다. 데이터베이스(120)는 쿼리(114)에 응답하여, 데이터베이스(120)에 저장된 규칙에 기반하여 쿼리(114)에 관련된 행잉 프로토콜 응답(122)을 프로세서(130)로 제공할 수 있다. 프로세서(130)는 제1 분석 결과(112)가 복수 개의 질환 코드를 포함할 경우, 질환 코드 각각에 대한 쿼리(114)를 생성하여 데이터베이스(120)로 전송하고, 데이터베이스(120)로부터 수신된 행잉 프로토콜 응답(122)을 조합하거나 우선 순위를 부가하여 제1 디스플레이 설정(150)을 생성할 수 있다. 프로세서(130)는 제1 디스플레이 설정(150)을 디스플레이 장치로 전송하여 디스플레이 장치의 화면 상에서 제1 디스플레이 설정(150)이 실행되도록 디스플레이 장치를 제어할 수 있다.
또한 프로세서(130)는 제1 분석 결과(112)가 가판독 결과 또는 예비 판독 결과이고, 제1 분석 결과(112) 내에서 복수 개의 질환 코드가 검출되면서 적어도 하나 이상의 질환 코드에 대하여 병변 또는 질환일 가능성이 임계 가능성 이상으로 검출되면, 임계 가능성 이상으로 검출된 병변 또는 질환에 대응하는 규칙 기반(rule-based) 행잉 프로토콜에 따라서 제1 디스플레이 설정(150)을 생성할 수 있다.
가판독 결과 또는 예비 판독 결과와 행잉 프로토콜 레이아웃 간의 관련성을 나타내는 규칙은 데이터베이스(120)에 저장될 수 있다. 또한 가판독 결과 또는 예비 판독 결과가 복수의 질환 코드를 포함할 경우, 각 질환 코드와 관련되는 행잉 프로토콜 레이아웃을 지정하는 규칙이 데이터베이스(120)에 저장될 수 있다.
또한 프로세서(130)는 제1 분석 결과(112)가 질환 또는 병변의 진단, 특정 관심 영역의 분할(segmentation), 분할된 영역에 대한 측정 결과를 포함하고 있는 경우, 각 결과의 종류에 기반하여 쿼리(114)를 데이터베이스(120)로 전송하고, 각 쿼리(114)에 대한 행잉 프로토콜 응답(122)을 수신한 후, 각 쿼리(114)에 대한 행잉 프로토콜 응답(122)을 조합하거나 결합하거나 우선 순위를 부가하여 정렬함으로써 제1 디스플레이 설정(150)을 생성할 수 있다. 이때 제1 분석 결과(112)가 포함할 수 있는 결과의 종류에 기반하여 그에 대응하는 행잉 프로토콜 설정을 규정하는 규칙이 데이터베이스(120)에 저장될 수 있다.
상기 제1 인공 신경망(110)은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망일 수 있다.
상기 제1 인공 신경망(110)은 의료 영상 내의 단일 바디 파트에 대한 단일 종류의 질환을 진단할 수 있는 기능을 포함하는 복수의 서브 인공 신경망 모듈들이 결합되어 구현될 수 있다.
상기 제1 인공 신경망(110)은 복수의 제2 의료 영상들 각각에 포함되는 단일 바디 파트에 대한 복수 개의 종류의 질환을 전문가가 진단한 정보를 입력받아 상기 복수의 제2 의료 영상들 각각에 포함되는 복수 개의 종류의 질환을 진단하는 기능을 학습한 인공 신경망일 수 있다. 즉, 이때 제1 인공 신경망(110)은 복수 개의 종류의 질환을 하나의 신경망 모델에서 진단할 수 있는 기능을 학습한 경우일 수 있다.
상기 적어도 하나 이상의 프로세서(130)는 상기 제1 분석 결과(112)에 포함되는 상기 제1 의료 영상(140) 내에서 검출된 질환의 종류가 복수 개인 경우, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성할 수 있다. 이때, 상기 적어도 하나 이상의 프로세서(130)는 상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치할 수 있다.
또는 본 발명의 다른 일 실시예에 따르면 적어도 하나 이상의 프로세서(130)는 상기 복수의 서브 디스플레이 설정들 중 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이할 수 있다. 제1 서브 디스플레이 설정이 우선하여 디스플레이된 경우에는 상기 적어도 하나 이상의 프로세서(130)는 사용자 입력(미리 약속된 특정 기능 키, 예를 들어 "Tab" 키 등으로 지정될 수 있음)에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이할 수 있다.
프로세서(130)에 의하여 제공되는 제1 디스플레이 설정(150)을 결정하는 요인은 제1 의료 영상(140)에 포함되는 정보로서, 제1 인공 신경망(110)의 분석 및 추론에 의한 제1 분석 결과(112)에 포함되는 정보이다. 또한 제1 분석 결과(112)에 포함되는 임상적 특징(질환 코드) 또는 기능적 특징(분할(segmentation), 검출(detection), 식별(identification), 진단(diagnosis), 또는 측정(measurement))과 데이터베이스(120)에 저장된 규칙이 호응하여 제1 분석 결과(112)에 기반한 제1 디스플레이 설정(150)이 도출될 수 있다.
도 2는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 2의 제1 인공 신경망(210), 제1 의료 영상(240), 제1 분석 결과(212)는 도 1의 제1 인공 신경망(110), 제1 의료 영상(140), 제1 분석 결과(112)와 동일하므로 중복되는 설명은 생략한다.
컴퓨팅 시스템(200)은 복수의 제3 의료 영상들 각각에 대하여 진단된 복수 개의 종류의 질환에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정을 입력받고, 진단된 질환의 종류에 기반한 디스플레이 설정을 생성하는 기능을 학습한 인공 신경망인 제2 인공 신경망(220)을 더 포함할 수 있다. 즉, 제2 인공 신경망(220)의 지도 학습 시 질환 코드가 입력으로 주어지고, 질환 코드에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정들을 예측하도록 제2 인공 신경망(220)이 훈련될 수 있다. 이때 상기 적어도 하나 이상의 프로세서(230)는 상기 제1 분석 결과(112)를 상기 제2 인공 신경망(220)에 입력하고(214), 상기 제2 인공 신경망(220)의 추론(222)에 의하여 상기 제1 디스플레이 설정(250)을 획득하도록 상기 제2 인공 신경망(220)을 제어할 수 있다.
또는 본 발명의 다른 일 실시예에 따르면 상기 컴퓨팅 시스템(200)은 복수의 제3 의료 영상들 각각에 대하여 상기 제1 인공 신경망(210)의 추론에 의하여 얻어지는 복수의 제3 분석 결과에 대하여 전문가가 선택한 복수의 제3 디스플레이 설정을 입력받고, 상기 복수의 제3 분석 결과가 포함하는 상기 복수의 제3 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 상기 복수의 제3 디스플레이 설정과의 관련성을 지도 학습한 인공 신경망인 제3 인공 신경망(도시되지 않음)을 더 포함할 수 있다. 이때 상기 적어도 하나 이상의 프로세서(230)는 상기 제1 분석 결과(212)를 상기 제3 인공 신경망에 입력하고, 상기 제3 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정(250)을 획득하도록 상기 제3 인공 신경망을 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 의료용 인공 신경망에 기반하여 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치는 컴퓨팅 시스템(300)을 포함하며 상기 컴퓨팅 시스템(300)은 적어도 하나 이상의 프로세서(330)를 포함한다. 컴퓨팅 시스템(300)은 제1 인공 신경망(310), 및 데이터베이스(320)를 더 포함할 수 있다. 상기 적어도 하나 이상의 프로세서(330)는 제1 의료 영상(340)에 대한 제1 인공 신경망(310)의 추론에 의하여 얻어지는 제1 분석 결과(312)를 획득하거나 수신하고, 상기 제1 분석 결과(312)에 기반한 제1 디스플레이 설정(350)을 생성하고, 상기 제1 디스플레이 설정(350)에 기반하여 상기 제1 의료 영상(340) 및 상기 제1 분석 결과(312)가 화면에 디스플레이되도록 상기 제1 디스플레이 설정(350)을 실행한다.
상기 적어도 하나 이상의 프로세서(330)는 상기 제1 디스플레이 설정(350)에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과(312)에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정(350)을 실행할 수 있다. 사용자의 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다.
상기 적어도 하나 이상의 프로세서(330)는 상기 제1 분석 결과(312)가 가리키는 상기 제1 의료 영상(340) 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 상기 제1 디스플레이 설정(350)을 생성할 수 있다. 제1 의료 영상(340) 내에서 검출된 질환의 종류는 '질환 코드'로 구분되어 제1 디스플레이 설정(350)을 생성하는 근거가 될 수 있다.
제1 디스플레이 설정(350)은 상기 제1 분석 결과(312)와 관련된 상기 제1 의료 영상(340)의 적어도 하나 이상의 뷰, 상기 제1 의료 영상(340) 내에서 상기 제1 분석 결과(312)를 표시하는 메뉴, 상기 제1 의료 영상(340)의 상기 적어도 하나 이상의 뷰의 레이아웃, 및 상기 제1 의료 영상(340) 내에서 표시된 상기 제1 분석 결과(312)에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함할 수 있다. 이러한 제1 디스플레이 설정(350)은 의료 분야에 특화된 행잉 프로토콜(Hanging Protocol)일 수 있다.
도 4는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치의 제1 인공 신경망(410)의 일 예를 도시하는 도면이다.
상기 제1 인공 신경망(410)은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망일 수 있다.
상기 제1 인공 신경망(410)은 의료 영상 내의 단일 바디 파트에 대한 단일 종류의 질환을 진단할 수 있는 기능을 포함하는 복수의 서브 인공 신경망 모듈들(411, 413)이 결합되어 구현될 수 있다. 예를 들어 제1 서브 인공 신경망 모듈(411)은 폐결절(lung nodule)을 검출하도록 훈련된 인공 신경망 모듈이고, 제2 서브 인공 신경망 모듈(412)은 폐기종(Emphysema)을 진단하도록 훈련된 인공 신경망 모듈일 수 있다.
도 4의 실시예에 국한되지 않고, 본 발명의 다른 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 장치에서는 제1 인공 신경망은 복수의 제2 의료 영상들 각각에 포함되는 단일 바디 파트에 대한 복수 개의 종류의 질환을 전문가가 진단한 정보를 입력받아 상기 복수의 제2 의료 영상들 각각에 포함되는 복수 개의 종류의 질환을 진단하는 기능을 학습한 인공 신경망일 수 있다. 즉, 이때 제1 인공 신경망은 복수 개의 종류의 질환을 하나의 신경망 모델에서 진단할 수 있는 기능을 학습한 경우일 수 있다. 이때 제1 인공 신경망의 지도 학습 과정에서는 복수의 제2 의료 영상들이 입력으로 주어지고, 복수 개의 종류의 질환이 메타 데이터로 주어질 수 있다. 또한 각 의료 영상이 질환에 해당하는 지 여부가 제1 인공 신경망이 예측해야 할 변수로 주어질 수 있다. 일반적인 단일 질환을 진단하는 인공 신경망과 달리 복수 개의 종류의 질환 및 질환에 해당하는 지 여부가 메타 데이터로서 추가됨으로써, 제1 인공 신경망은 처음부터 단일 바디 파트에 대한 복수 개의 종류의 질환을 진단할 수 있도록 훈련될 수 있다.
도 5는 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
제1 인공 신경망의 제1 분석 결과에 따라 제1 의료 영상이 폐기종(Emphysema)의 진단 가능성이 임계 가능성 이상으로 나타난 경우에, 프로세서는 폐기종(Emphysema)의 판독을 위하여 기설정된 디스플레이 설정(510)을 생성하고 실행할 수 있다. 폐기종 및/또는 만성 기관지염은 만성 폐쇄성 폐질환(COPD, Chronic Obstructive Pulmonary Disease)의 원인으로 알려져 있다. COPD는 폐기종과도 관련성이 높고 만성 기관지염과도 관련성이 높으며, COPD 환자는 폐기종과 만성 기관지염을 모두 보유하고 있는 경우가 많다. 폐기종은 담배 등의 유해성 물질로 인하여 허파꽈리 벽이 파괴되어 폐가 탄력성을 잃고 공기의 출입이 자유롭지 못한 질환이므로, 단순히 CT 영상을 디스플레이하는 것 외에 측정 결과, 또는 통계적 분석이 함께 디스플레이되는 것이 임상의 또는 영상의가 폐기종에 대한 임상적 의사 결정을 내리는 데에 유리할 수 있다.
또는 본 발명의 다른 일 실시예에 따르면 적어도 하나 이상의 프로세서는 복수 개의 질환 코드가 제1 의료 영상에 나타난 경우에, 특정한 질환 코드를 제1 질환 코드로 선택하고, 제1 질환 코드에 대응하는 제1 서브 디스플레이 설정을 우선하여 화면 상에 디스플레이할 수 있다. 즉, 복수 개의 질환 코드 각각은 하나씩의 서브 디스플레이 설정에 관련되고, 프로세서는 복수의 서브 디스플레이 설정들 중 제1 질환 코드에 대응하는 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이할 수 있다. 제1 디스플레이 설정이 우선하여 디스플레이된 경우에는 상기 적어도 하나 이상의 프로세서는 사용자 입력(예를 들어, 특정한 키 입력)에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과에 포함되는 상기 제1 의료 영상 내에서 검출된 질환의 종류가 복수 개인 경우, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성할 수 있다. 이때, 상기 적어도 하나 이상의 프로세서는 상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치할 수 있다.
도 6을 참조하면, 제1 분석 결과에서 두 개의 질환 코드가 도출된 경우가 도시된다. 제1 서브 디스플레이 설정(610)은 폐결절 검출 및 진단을 위하여 효율적인 화면 레이아웃과 사용자 인터페이스를 포함하고, 제2 서브 디스플레이 설정(620)은 폐기종 진단을 위하여 효율적인 화면 레이아웃과 화면 모듈들의 구성, 사용자 인터페이스를 포함할 수 있다.
동일한 영상, 동일한 바디 파트, 동일한 장기의 의료 영상이라 하더라도 다른 병변이 진단되면 그에 따라 화면의 구성과 레이아웃이 달라질 수 있다. 화면 배치, 화면에 배치되는 영상의 종류, 화면에 배치되는 영상의 뷰, 화면에 배치되는 사용자 메뉴, 사용자 메뉴의 기능 등이 변경될 수 있다.
또한 피검자의 성별, 연령, 과거 병력을 참고하여 여러 종류의 병변/질환 중 높은 우선 순위를 가지는 병변/질환을 결정하고, 결정된 병변/질환에 대한 행잉 프로토콜부터 실행되도록 규칙이 정의될 수 있다.
또는 제1 우선 순위를 가지는 병변/질환에 대한 디스플레이 설정을 화면 상에 가장 현저하게 시각화되도록(가장 넓은 영역에 위치하거나 가장 시각적으로 강조될 수 있음) 디스플레이하고, 임상의 또는 영상의가 제1 우선 순위의 디스플레이 설정에 기반하여 제1 우선 순위의 병변/질환에 대한 판독을 실행한 후, 다음 우선 순위의 디스플레이 설정이 현저하게 디스플레이되도록 행잉 프로토콜/디스플레이 설정이 정의될 수 있다.
복수의 질환 코드가 제1 분석 결과에 포함될 때, 각 질환 코드 간의 우선 순위가 미리 결정되어 있을 수 있다. 우선 순위는 질환의 긴급도에 따라 미리 결정될 수 있다. 또는 우선 순위는 제1 분석 결과에 나타나는 질환의 중증도에 따라 적응적으로 결정될 수도 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치에서는 제1 인공 신경망에 의하여 생성된 제1 분석 결과에서 특정 질환 코드에 해당하는 병변 또는 질환이 검출되었을 때, 특정 질환 코드에 대응하는 화면 상의 사용자 디스플레이 설정이 최적화될 수 있다. 질환 코드는 제1 인공 신경망에 의하여 분류될 수 있다.
도 7은 본 발명의 일 실시예에 따른 제1 인공 신경망의 제1 분석 결과에 기반한 제1 디스플레이 설정이 실행된 일 예를 도시하는 도면이다.
복수의 질환 또는 단일 질환에 영향을 주는 복수 개의 분석 결과가 임상의 또는 영상의의 확인을 필요로 하는 경우, 복수 개의 분석 결과는 화면 상의 구분된 영역에 할당되어 디스플레이될 수 있다.
도 7에서는 폐기종과 기도의 두께(Airway Thickness)가 각각 질환 발생 가능성이 높은 후보 질환으로 선정된 경우가 도시된다.
도 7에서 제1 서브 디스플레이 설정(710)은 폐기종에 적절한 디스플레이 설정의 예시이다. 제2 서브 디스플레이 설정(720)은 기도의 두께를 확인하기에 적절한 디스플레이 설정의 예시이다. 제2 서브 디스플레이 설정(720)은 기도의 분할 결과, 기도 분할에 따른 정량적 측정 결과를 화면 상에 포함하며, 제1 서브 디스플레이 설정(710)과 제2 서브 디스플레이 설정(720)은 화면 상의 구분된 영역에 표시될 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 컴퓨팅 시스템이 CT 영상과 같은 제1 의료 영상을 획득하거나 이미 획득된 제1 의료 영상을 수신하면, 제1 인공 신경망이 제1 의료 영상에 대한 추론을 실행하여 자동 분석을 포함한 제1 분석 결과를 생성한다. 제1 인공 신경망의 분석에 의하여 제1 의료 영상에 대한 가판독 또는 예비 판독이 수행되고, 가판독 또는 예비 판독의 결과에 따라 프로세서는 의료진(임상의, 영상의, 또는 테크니컬 스탭을 모두 포함할 수 있음)에게 행잉 프로토콜에 따라 디스플레이된 화면을 제공한다. 의료진은 가판독 또는 예비 판독 결과에 따라 확인해야 할 병변, 질환, 또는 정량적 측정 결과를 화면 상에서 확인할 수 있다. 의료진이 병변, 질환, 또는 정량적 측정 결과를 화면 상에서 용이하게 확인하고 임상적 의사 결정을 내릴 수 있도록 화면 상의 시각화 요소들이 배치되고 제1 의료 영상은 필요에 따라 영상 처리 과정을 거쳐 다양한 뷰로서 제공될 수 있다.
의료진은 디스플레이된 화면을 보고 임상적 의사 결정을 내린 후, 화면에 디스플레이된 병변, 질환, 또는 정량적 측정 결과에 대하여 Confirm/Reject를 입력할 수 있다. Confirm/Reject는 컴퓨팅 시스템이 사용자 인터페이스를 통하여 의료진에게 제공하는 사용자 메뉴에 의하여 수신될 수 있으며 임상적 의사 결정이 반영된다.
행잉 프로토콜을 결정하는 요인은 제1 의료 영상에 포함되어 있는 정보로서, 제1 인공 신경망의 분석에 의하여 생성되는 제1 분석 결과에 포함된 정보이다.
도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
도 8과 도 1 내지 도 3을 함께 참고하면, 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 컴퓨팅 시스템(100, 200, 300)에 의하여 실행되고, 상기 컴퓨팅 시스템(100, 200, 300)은 적어도 하나 이상의 프로세서(130, 230, 330)를 포함한다. 본 발명의 방법은 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 제1 의료 영상(140, 240, 340)에 대한 제1 인공 신경망(110, 210, 310)의 추론에 의하여 얻어지는 제1 분석 결과(112, 212, 312)를 획득하거나 수신하는 단계(S810); 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 상기 제1 분석 결과(112, 212, 312)에 기반한 제1 디스플레이 설정(150, 250, 350)을 생성하는 단계(S820); 및 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 상기 제1 디스플레이 설정(150, 250, 350)에 기반하여 상기 제1 의료 영상(140, 240, 340) 및 상기 제1 분석 결과(112, 212, 312)가 화면에 디스플레이되도록 상기 제1 디스플레이 설정(150, 250, 350)을 실행하는 단계(S830)를 포함한다.
상기 제1 디스플레이 설정(150, 250, 350)을 실행하는 단계(S830)에서, 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 상기 제1 디스플레이 설정(150, 250, 350)에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과(112, 212, 312)에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정(150, 250, 350)을 실행할 수 있다.
상기 제1 디스플레이 설정(150, 250, 350)을 생성하는 단계(S820)에서, 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 상기 제1 분석 결과(112, 212, 312)가 가리키는 상기 제1 의료 영상(140, 240, 340) 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 상기 제1 디스플레이 설정(150, 250, 350)을 생성할 수 있다.
상기 제1 디스플레이 설정(150, 250, 350)은 상기 제1 분석 결과(112, 212, 312)와 관련된 상기 제1 의료 영상(140, 240, 340)의 적어도 하나 이상의 뷰, 상기 제1 의료 영상(140, 240, 340) 내에서 상기 제1 분석 결과(112, 212, 312)를 표시하는 메뉴, 상기 제1 의료 영상(140, 240, 340)의 상기 적어도 하나 이상의 뷰의 레이아웃, 및 상기 제1 의료 영상(140, 240, 340) 내에서 표시된 상기 제1 분석 결과(112, 212, 312)에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함할 수 있다.
상기 제1 디스플레이 설정(150, 250, 350)을 생성하는 단계(S820)에서, 상기 제1 분석 결과(112, 212, 312)에 포함되는 상기 제1 의료 영상(140, 240, 340) 내에서 검출된 질환의 종류가 복수 개인 경우, 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성할 수 있다.
상기 제1 디스플레이 설정(150, 250, 350)을 실행하는 단계(S830)에서, 상기 적어도 하나 이상의 프로세서(130, 230, 330)가, 상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치하거나, 상기 복수의 서브 디스플레이 설정들 중 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이할 수 있다. 이때 제1 서브 디스플레이 설정이 우선되어 화면 상에 디스플레이된 경우, 적어도 하나 이상의 프로세서(130, 230, 330)는 사용자 입력에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이할 수 있다.
상기 제1 인공 신경망(110, 210, 310)은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망일 수 있다.
도 2와 도 8을 함께 참고하면, 상기 컴퓨팅 시스템(200)은 복수의 제3 의료 영상들 각각에 대하여 진단된 복수 개의 종류의 질환에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정을 입력받고, 진단된 질환의 종류에 기반한 디스플레이 설정을 생성하는 기능을 학습한 인공 신경망인 제2 인공 신경망을 더 포함할 수 있다. 이때 상기 제1 분석 결과(212)에 기반한 상기 제1 디스플레이 설정(250)을 생성하는 단계(S820)에서, 상기 적어도 하나 이상의 프로세서(230)가, 상기 제1 분석 결과(212)를 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정(250)을 획득하도록 상기 제2 인공 신경망을 제어할 수 있다.
본 발명의 다른 일 실시예와 함께 도 8을 참고하면, 상기 컴퓨팅 시스템은 복수의 제3 의료 영상들 각각에 대하여 상기 제1 인공 신경망의 추론에 의하여 얻어지는 복수의 제3 분석 결과에 대하여 전문가가 선택한 복수의 제3 디스플레이 설정을 입력받고, 상기 복수의 제3 분석 결과가 포함하는 상기 복수의 제3 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 상기 복수의 제3 디스플레이 설정과의 관련성을 학습한 인공 신경망인 제3 인공 신경망을 더 포함할 수 있다. 이때 상기 제1 분석 결과에 기반한 상기 제1 디스플레이 설정을 생성하는 단계(S820)에서, 상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과를 상기 제3 인공 신경망에 입력하고, 상기 제3 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제3 인공 신경망을 제어할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100, 200, 300: 컴퓨팅 시스템
110, 210, 310: 제1 인공 신경망
130, 230, 330: 프로세서
140, 240, 340: 제1 의료 영상
112, 212, 312: 제1 분석 결과
150, 250, 350: 제1 디스플레이 설정
120, 320: 데이터베이스
220: 제2 인공 신경망

Claims (18)

  1. 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치로서, 상기 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 컴퓨팅 시스템에서 실행되는 프로그램 인스트럭션에 기반하여, 상기 적어도 하나 이상의 프로세서는
    제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고,
    상기 제1 분석 결과가 가리키는 상기 제1 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 제1 디스플레이 설정을 생성하고,
    상기 제1 디스플레이 설정에 기반하여 상기 제1 의료 영상 및 상기 제1 분석 결과가 디스플레이 장치의 화면에 디스플레이되도록 상기 디스플레이 장치를 제어함으로써 상기 제1 디스플레이 설정을 실행하고,
    상기 제1 디스플레이 설정은 상기 제1 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 관련되어 결정되며 상기 제1 의료 영상이 상기 화면 상에서 표시되는 방식인 상기 제1 의료 영상의 적어도 하나 이상의 뷰, 및 상기 제1 의료 영상의 상기 적어도 하나 이상의 뷰를 포함하는 상기 화면 상의 시각화 요소의 배치인 상기 화면 상의 레이아웃을 포함하는
    인공 신경망 기반 의료 영상 판독 지원 장치.
  2. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 디스플레이 설정에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정을 실행하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 디스플레이 설정은
    상기 제1 의료 영상 내에서 상기 제1 분석 결과를 표시하는 메뉴, 및 상기 제1 의료 영상 내에서 표시된 상기 제1 분석 결과에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  5. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과에 포함되는 상기 제1 의료 영상 내에서 검출된 질환의 종류가 복수 개인 경우, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성하고,
    상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치하거나, 상기 복수의 서브 디스플레이 설정들 중 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이하고, 사용자 입력에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  6. 제1항에 있어서,
    상기 제1 인공 신경망은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망인, 인공 신경망 기반 의료 영상 판독 지원 장치.
  7. 제6항에 있어서,
    상기 제1 인공 신경망은 의료 영상 내의 단일 바디 파트에 대한 단일 종류의 질환을 진단할 수 있는 기능을 포함하는 복수의 서브 인공 신경망 모듈들이 결합되어 구현되는 인공 신경망 기반 의료 영상 판독 지원 장치.
  8. 제6항에 있어서,
    상기 제1 인공 신경망은 복수의 제2 의료 영상들 각각에 포함되는 단일 바디 파트에 대한 복수 개의 종류의 질환을 전문가가 진단한 정보를 입력받아 상기 복수의 제2 의료 영상들 각각에 포함되는 복수 개의 종류의 질환을 진단하는 기능을 학습한 인공 신경망인 인공 신경망 기반 의료 영상 판독 지원 장치.
  9. 제1항에 있어서,
    상기 컴퓨팅 시스템은
    복수의 제3 의료 영상들 각각에 대하여 진단된 복수 개의 종류의 질환에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정을 입력받고, 진단된 질환의 종류에 기반한 디스플레이 설정을 생성하는 기능을 학습한 인공 신경망인 제2 인공 신경망을 더 포함하고,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과를 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제2 인공 신경망을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  10. 제1항에 있어서,
    상기 컴퓨팅 시스템은
    복수의 제3 의료 영상들 각각에 대하여 상기 제1 인공 신경망의 추론에 의하여 얻어지는 복수의 제3 분석 결과에 대하여 전문가가 선택한 복수의 제3 디스플레이 설정을 입력받고, 상기 복수의 제3 분석 결과가 포함하는 상기 복수의 제3 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 상기 복수의 제3 디스플레이 설정과의 관련성을 학습한 인공 신경망인 제3 인공 신경망을 더 포함하고,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과를 상기 제3 인공 신경망에 입력하고, 상기 제3 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제3 인공 신경망을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  11. 컴퓨팅 시스템에서 실행되는 프로그램 인스트럭션에 의하여 수행되는 인공 신경망 기반 의료 영상 판독 지원 방법에 있어서, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계;
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과가 가리키는 상기 제1 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상에 기반하여 제1 디스플레이 설정을 생성하는 단계; 및
    상기 적어도 하나 이상의 프로세서가, 상기 제1 디스플레이 설정에 기반하여 상기 제1 의료 영상 및 상기 제1 분석 결과가 디스플레이 장치의 화면에 디스플레이되도록 상기 디스플레이 장치를 제어함으로써 상기 제1 디스플레이 설정을 실행하는 단계;
    를 포함하고,
    상기 제1 디스플레이 설정은 상기 제1 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 관련되어 결정되며 상기 제1 의료 영상이 상기 화면 상에서 표시되는 방식을 의미하는 적어도 하나 이상의 뷰, 및 상기 제1 의료 영상의 상기 적어도 하나 이상의 뷰를 포함하는 상기 화면 상의 시각화 요소의 배치를 의미하는 상기 화면 상의 레이아웃을 포함하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  12. 제11항에 있어서,
    상기 제1 디스플레이 설정을 실행하는 단계는,
    상기 적어도 하나 이상의 프로세서가, 상기 제1 디스플레이 설정에 기반하여 상기 화면에 디스플레이된 상기 제1 분석 결과에 대한 사용자의 승인 여부를 수신할 수 있는 사용자 메뉴를 포함하도록 상기 제1 디스플레이 설정을 실행하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  13. 삭제
  14. 제11항에 있어서,
    상기 제1 디스플레이 설정은
    상기 제1 의료 영상 내에서 상기 제1 분석 결과를 표시하는 메뉴, 및 상기 제1 의료 영상 내에서 표시된 상기 제1 분석 결과에 대하여 사용자가 응답할 수 있는 사용자 메뉴에 대한 설정을 포함하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  15. 제11항에 있어서,
    상기 제1 디스플레이 설정을 생성하는 단계는,
    상기 제1 분석 결과에 포함되는 상기 제1 의료 영상 내에서 검출된 질환의 종류가 복수 개인 경우, 복수 개의 종류의 질환 각각에 대한 복수의 서브 디스플레이 설정들을 생성하고,
    상기 제1 디스플레이 설정을 실행하는 단계는,
    상기 복수의 서브 디스플레이 설정들을 상기 화면 상에 구분된 영역 상에 배치하거나, 상기 복수의 서브 디스플레이 설정들 중 제1 서브 디스플레이 설정을 우선하여 상기 화면 상에 디스플레이하고, 사용자 입력에 기반하여 상기 제1 서브 디스플레이 설정을 대체하여 다른 서브 디스플레이 설정을 상기 화면 상에 디스플레이하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  16. 제11항에 있어서,
    상기 제1 인공 신경망은 의료 영상 내의 단일 바디 파트에 대한 복수개의 종류의 질환을 진단할 수 있는 기능을 포함하는 인공 신경망인, 인공 신경망 기반 의료 영상 판독 지원 방법.
  17. 제11항에 있어서,
    상기 컴퓨팅 시스템은
    복수의 제3 의료 영상들 각각에 대하여 진단된 복수 개의 종류의 질환에 대하여 전문가가 선택한 복수의 제2 디스플레이 설정을 입력받고, 진단된 질환의 종류에 기반한 디스플레이 설정을 생성하는 기능을 학습한 인공 신경망인 제2 인공 신경망을 더 포함하고,
    상기 제1 분석 결과에 기반한 상기 제1 디스플레이 설정을 생성하는 단계는,
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과를 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제2 인공 신경망을 제어하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  18. 제11항에 있어서,
    상기 컴퓨팅 시스템은
    복수의 제3 의료 영상들 각각에 대하여 상기 제1 인공 신경망의 추론에 의하여 얻어지는 복수의 제3 분석 결과에 대하여 전문가가 선택한 복수의 제3 디스플레이 설정을 입력받고, 상기 복수의 제3 분석 결과가 포함하는 상기 복수의 제3 의료 영상 내에서 검출된 질환의 종류, 병변의 종류, 및 병변에 대한 정량적 측정 결과 중 적어도 하나 이상과 상기 복수의 제3 디스플레이 설정과의 관련성을 학습한 인공 신경망인 제3 인공 신경망을 더 포함하고,
    상기 제1 분석 결과에 기반한 상기 제1 디스플레이 설정을 생성하는 단계는,
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과를 상기 제3 인공 신경망에 입력하고, 상기 제3 인공 신경망의 추론에 의하여 상기 제1 디스플레이 설정을 획득하도록 상기 제3 인공 신경망을 제어하는 인공 신경망 기반 의료 영상 판독 지원 방법.
KR1020190092909A 2019-07-31 2019-07-31 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 Active KR102222015B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190092909A KR102222015B1 (ko) 2019-07-31 2019-07-31 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
US16/896,801 US12046367B2 (en) 2019-07-31 2020-06-09 Medical image reading assistant apparatus and method providing hanging protocols based on medical use artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190092909A KR102222015B1 (ko) 2019-07-31 2019-07-31 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210014893A KR20210014893A (ko) 2021-02-10
KR102222015B1 true KR102222015B1 (ko) 2021-03-04

Family

ID=74258432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190092909A Active KR102222015B1 (ko) 2019-07-31 2019-07-31 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법

Country Status (2)

Country Link
US (1) US12046367B2 (ko)
KR (1) KR102222015B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141921A1 (en) 2020-01-07 2021-07-15 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
JP7511276B2 (ja) * 2021-04-23 2024-07-05 株式会社fcuro 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
WO2022241190A2 (en) * 2021-05-14 2022-11-17 H. Lee Moffitt Cancer Center And Research Institute, Inc. Machine learning-based systems and methods for extracting information from pathology reports
KR102676569B1 (ko) 2021-05-17 2024-06-20 주식회사 코어라인소프트 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
CN113888490B (zh) * 2021-09-27 2025-07-01 上海商汤善萃医疗科技有限公司 图像分析方法和相关装置、设备、存储介质
US20230289963A1 (en) 2022-03-10 2023-09-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
US20250143657A1 (en) 2022-03-10 2025-05-08 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188214A (ja) * 2007-02-05 2008-08-21 Konica Minolta Medical & Graphic Inc 医用画像表示システム
KR101263705B1 (ko) * 2011-12-14 2013-06-13 주식회사 인피니트헬스케어 의료영상 제공 시스템 및 방법
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
US20050260770A1 (en) * 2004-04-01 2005-11-24 Cohen Irun R Antigen array and diagnostic uses thereof
US8165368B2 (en) 2008-09-29 2012-04-24 General Electric Company Systems and methods for machine learning based hanging protocols
WO2012047450A1 (en) 2010-09-27 2012-04-12 W.R. Grace & Co. -Conn. Dilution-stable cement grinding additive composition
US9152760B2 (en) 2011-11-23 2015-10-06 General Electric Company Smart 3D PACS workflow by learning
US8923580B2 (en) 2011-11-23 2014-12-30 General Electric Company Smart PACS workflow systems and methods driven by explicit learning from users
KR20140091176A (ko) 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
US12042294B2 (en) * 2013-01-25 2024-07-23 Wesley W. O. Krueger Systems and methods to measure ocular parameters and determine neurologic health status
KR101684998B1 (ko) * 2013-07-09 2016-12-12 주식회사바텍 의료영상을 이용한 구강병변의 진단방법 및 진단시스템
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190046471A (ko) * 2017-10-26 2019-05-07 삼성전자주식회사 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
KR101943011B1 (ko) 2018-01-22 2019-01-28 주식회사 뷰노 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
KR101923962B1 (ko) 2018-02-12 2018-11-30 주식회사 뷰노 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치
US20230181160A1 (en) * 2019-07-24 2023-06-15 Teratech Corporation Devices and methods for ultrasound monitoring
KR101929752B1 (ko) 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
JP7166430B2 (ja) * 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN113613543B (zh) * 2019-03-18 2024-09-24 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法以及记录介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188214A (ja) * 2007-02-05 2008-08-21 Konica Minolta Medical & Graphic Inc 医用画像表示システム
KR101263705B1 (ko) * 2011-12-14 2013-06-13 주식회사 인피니트헬스케어 의료영상 제공 시스템 및 방법
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템

Also Published As

Publication number Publication date
US20210035687A1 (en) 2021-02-04
US12046367B2 (en) 2024-07-23
KR20210014893A (ko) 2021-02-10

Similar Documents

Publication Publication Date Title
KR102222015B1 (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
KR102283673B1 (ko) 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
US12361551B2 (en) Artificial neural network-based image analysis apparatus and method for evaluating analysis results of artificial neural network
González et al. Disease staging and prognosis in smokers using deep learning in chest computed tomography
KR102382872B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
JP5100285B2 (ja) 医用診断支援装置およびその制御方法、プログラム、記憶媒体
US12308107B2 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
US10825178B1 (en) Apparatus for quality management of medical image interpretation using machine learning, and method thereof
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US20230154620A1 (en) Apparatus and method for assisting reading of chest medical images
JP2010165127A (ja) 情報処理装置および情報処理方法
JP5677521B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
CN111226287B (zh) 用于分析医学成像数据集的方法、系统、程序产品和介质
JP2024528381A (ja) 医用画像データの自動追跡読影方法及びシステム
Ameljańczyk Multicriteria similarity models for medical diagnostic support algorithms
JP5745947B2 (ja) 医用画像処理装置、医用画像処理方法
US20240087304A1 (en) System for medical data analysis
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
Wahengbam et al. Efficient Lung Cancer Segmentation Using Deep Learning-Based Models
KR20230151865A (ko) 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
Declerck et al. Context-sensitive identification of regions of interest in a medical image
KR20250017458A (ko) 의료 영상 내에서 소견 영역 매칭을 보조하는 장치 및 방법
Hsieh et al. Peripheral liver metastases are more frequently missed than central metastases in contrast-enhanced CT: insights from a 25-reader performance study
Lin et al. nnU-Net-based high-resolution CT features quantification for interstitial lung diseases

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190731

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20190731

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191010

Patent event code: PE09021S01D

PE0601 Decision on rejection of patent

Patent event date: 20200827

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191010

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200827

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200601

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20201124

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20201102

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200827

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200601

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210224

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210225

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240226

Start annual number: 4

End annual number: 4