[go: up one dir, main page]

KR102025328B1 - 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법 - Google Patents

평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법 Download PDF

Info

Publication number
KR102025328B1
KR102025328B1 KR1020170052863A KR20170052863A KR102025328B1 KR 102025328 B1 KR102025328 B1 KR 102025328B1 KR 1020170052863 A KR1020170052863 A KR 1020170052863A KR 20170052863 A KR20170052863 A KR 20170052863A KR 102025328 B1 KR102025328 B1 KR 102025328B1
Authority
KR
South Korea
Prior art keywords
ensemble
generating
doppler image
frame
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020170052863A
Other languages
English (en)
Other versions
KR20180119300A (ko
Inventor
송태경
여선미
윤창한
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to EP17907705.2A priority Critical patent/EP3513735B1/en
Priority to US16/343,440 priority patent/US20200037994A1/en
Priority to KR1020170052863A priority patent/KR102025328B1/ko
Priority to PCT/KR2017/004373 priority patent/WO2018199346A1/ko
Publication of KR20180119300A publication Critical patent/KR20180119300A/ko
Application granted granted Critical
Publication of KR102025328B1 publication Critical patent/KR102025328B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/66—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by measuring frequency, phase shift or propagation time of electromagnetic or other waves, e.g. using ultrasonic flowmeters
    • G01F1/663—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by measuring frequency, phase shift or propagation time of electromagnetic or other waves, e.g. using ultrasonic flowmeters by measuring Doppler frequency shift
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/704—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow using marked regions or existing inhomogeneities within the fluid stream, e.g. statistically occurring variations in a fluid parameter
    • G01F1/708—Measuring the time taken to traverse a fixed distance
    • G01F1/712—Measuring the time taken to traverse a fixed distance using auto-correlation or cross-correlation detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G01S15/8984—Measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Fluid Mechanics (AREA)
  • Electromagnetism (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 기술에 관한 것으로, 초음파 도플러 영상의 생성 방법은, 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하고, 서로 다른 위치에서 대상으로부터 반사 신호를 수신하고, 수신된 반사 신호 중 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 미리 설정된 개수의 반사 신호를 합성하여 앙상블(ensemble) 프레임을 생성하며, 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력한다.

Description

평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법{Apparatus and method for generating ultrasonic vector doppler image using plane wave synthesis}
본 발명은 초음파 신호를 송수신하여 대상 객체에 대한 초음파 영상을 획득하는 기술에 관한 것으로, 특히 대상 객체에 평면파를 송수신하고 이를 합성함으로써 초음파 벡터 도플러 영상을 생성하는 장치 및 방법에 관한 것이다.
초음파 의료영상 시스템(ultrasound medical imaging system)은 인체 내에 초음파 신호를 송수신한 후, 반사된 신호에 포함된 정보를 이용함으로써, 비침습적으로 인체 내부의 구조 및 특성을 영상화하는 장비이다. 초음파 의료영상장치는 다양한 형태의 임상정보를 제공하고 있는데, 움직이는 임의의 대상을 찾아낼 때 대상의 운동 정도를 얻기 위해 도플러 영상 기법이 활용될 수 있다. 특히, 인체 내의 혈류 정보 등을 실시간으로 조사하기 위하여 사용되는 도플러 영상 기법은 그 중요성이 날로 증대되고 있다.
인체 내부의 혈류의 속도 및 변화, 1차원 또는 2차원적인 혈류의 분포, 혈관과 심장 내부의 단면 및 입체적인 형태에 대한 정량적인 정보는 심장 및 순환기 계통의 질병을 진단함에 있어서 매우 중요하다. 따라서, 다양한 방식으로 혈류에 대한 정보를 추출하는 기법들이 활발히 연구되고 있다. 종래에는 대부분의 방법이 인체 내부의 특정 위치에서의 혈류 정보를 분리하여 관찰할 수 없다는 문제점을 지니고 있었다. 그러나, 초음파 도플러 시스템은 최근 급속한 기술적인 진보를 이루어, 이러한 문제를 해결하고 혈류의 시간에 따른 동적인 정보를 제공할 수 있기 때문에 순환기 계통의 질병 진단에 필수적인 기기로서 널리 사용되고 있다.
지난 수십 년간 기존 초음파 진단기기는 B-mode, Color flow, Doppler mode 등을 기반으로 인체 내의 해부학적 구조를 보여주는 역할에 한정되어 있어, 질병을 진단하기 위해서는 해부학적 정보를 바탕으로 기능 검사를 수행해야 했다. 한편, 최근에는 기능성 혈류 영상(functional flow image) 기술이 많이 연구되고 있다. 기능성 혈류 영상이란 해부학적인 신호를 영상화하는 것뿐만 아니라, 혈류 신호의 특성을 분석한 뒤 정량화하여 지표로 나타내어 영상화하는 것을 의미한다. 기능성 혈류 영상은 인체 내에서 어떠한 현상이 발생하는지에 대한 기능적인 측면을 영상화하는 점에서 기존의 해부학적 영상과는 다르다.
벡터 도플러(vector doppler) 기법은 운동 속도와 방향에 대한 정량적인 정보를 얻을 수 있다는 장점이 있는데, 이로 인해 음파의 진행과 추정 대상의 운동 방향이 수직을 이루어 일반적인 자기 상관기법 만으로는 도플러 현상을 추정해 낼 수 없는 경우에 많이 이용된다. 예를 들어 피부와 평행하게 위치하는 경동맥의 경우 일반적인 초음파 의료 영상 장치는 배열 변환자에서 초음파를 수직으로 송신하기 때문에 도플러 편이 주파수가 '0'이 되어 혈류를 파악할 수 없다. 그러나, 벡터 도플러 기법을 이용하면 송신 초음파의 빔 방향을 기울이지 않고도 경동맥의 혈류를 파악할 수 있으며, 각 영상점에서 혈류의 속도와 방향을 확인할 수 있어서, 혈관 질환의 진단에 매우 유리하다.
생체 신호의 특성을 제대로 분석하기 위해서는 생체 신호에 대한 정확한 정보가 제공되어야 한다. 제공되는 생체 신호는 도플러 주파수로부터 계산된 혈류 정보로서, 도플러 주파수를 구하기 위해서는 앙상블(ensemble)의 개수만큼의 송수신과정이 필요하기 때문에, 도플러 영상의 프레임 레이트(frame rate)가 제한되게 된다. 이때, 도플러 영상의 프레임 레이트는 혈류 정보의 샘플링 주파수가 된다. 혈류 정보 분석의 높은 정확성을 위해서는 충분한 혈류 정보가 있어야 하므로, 샘플링 레이트(sampling rate)가 높아야 하는 제한이 뒤따른다.
따라서, 초음파 영상의 높은 프레임 레이트를 유지하면서도 감도 및 정확도를 향상시킬 수 있는 영상 처리 기법이 요구된다. 이를 위해 집속 빔(focused beam)에 비해 상대적으로 높은 프레임 레이트를 가질 수 있는 평면파를 이용할 수 있으며, 이하에서 제시되는 선행기술문헌에는 이러한 평면파를 이용한 혈류 영상 생성 방식을 소개하고 있다.
한국공개특허 제2013-0115822호, 2013년10월22일 공개
본 발명이 해결하고자 하는 기술적 과제는, 초음파의 진행과 추정 대상의 운동 방향이 수직을 이루는 경우에 활용하는 벡터 도플러 기법에서, 집속 빔을 사용하는 경우의 제한된 프레임 레이트를 갖는 약점을 극복하고, 평면파의 활용에 따라 영상의 해상도 및 감도가 저하되는 문제를 해결하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 도플러 영상의 생성 방법은, 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하는 단계; 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신하는 단계; 수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 앙상블(ensemble) 프레임을 생성하는 단계; 및 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력하는 단계를 포함한다.
일 실시예에 따른 초음파 도플러 영상의 생성 방법에서, 상기 앙상블 프레임을 생성하는 단계는, 수신된 상기 반사 신호 중 상기 미리 설정된 개수의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나의 앙상블(ensemble) 프레임을 생성하며, 상기 제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 방법에서, 상기 앙상블 프레임을 생성하는 단계는, 상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 방법에서, 상기 앙상블 프레임을 생성하는 단계는, 상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 방법에서, 상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값으로 설정될 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 방법에서, 상기 벡터 도플러 영상을 출력하는 단계는, 상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하는 단계; 복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하는 단계; 및 추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성하는 단계를 포함할 수 있다.
여기서, 상기 도플러 편이 주파수를 추정하는 단계는, 상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출할 수 있다. 또한, 생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 단계를 더 포함할 수 있다. 나아가, 상기 도플러 편이 주파수를 추정하는 단계는, 위상 편이(phase shift)를 이용한 자기 상관(autocorrelation), 시간 편이(time shift)를 이용한 상호 상관(crosscorrelation), all-pole 모델을 이용한 자기 회귀(auto-regression) 및 고유 벡터를 이용한 고유값 분해(eigen-decomposition) 중 적어도 하나를 이용하여 수행될 수 있다.
한편, 이하에서는 상기 기재된 초음파 도플러 영상의 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 도플러 영상의 생성 장치는, 일정한 주기로 평면파를 발생시키는 펄서; 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하고, 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신하는 송수신부; 및 수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 앙상블(ensemble) 프레임을 생성하고, 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력하는 처리부를 포함한다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 처리부는, 수신된 상기 반사 신호 중 상기 미리 설정된 개수의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나의 앙상블(ensemble) 프레임을 생성하며, 상기 제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 처리부는, 상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성함으로써 상기 앙상블 프레임을 생성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 처리부는, 상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값으로 설정될 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 처리부는, 상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하고, 복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하며, 추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성할 수 있다.
여기서, 상기 처리부는, 상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출할 수 있다. 또한, 상기 처리부는, 생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 클러터 필터를 더 포함할 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 서로 다른 입사 각도는, 배열 변환자(array transducer)를 이용하여 각도에 따른 시간 지연을 통해 형성될 수 있다.
일 실시예에 따른 초음파 도플러 영상의 생성 장치에서, 상기 반사 신호는, 배열 변환자를 이용하여 서로 다른 위치에서 상기 대상으로부터 반사된 에코(echo) 신호를 집속함으로써 수신될 수 있다.
본 발명의 실시예들은, 집속 빔에 비해 상대적으로 높은 프레임 레이트를 확보할 수 있는 평면파 합성을 이용하여 벡터 초음파 도플러 영상을 구현하되, 다중-각도를 이용해 앙상블 데이터를 합성함으로써 영상의 해상도 및 감도가 향상된 초음파 영상을 제공할 수 있다.
도 1은 벡터 도플러 초음파 방식을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예들이 제안하는 다중-각도(multi-angular) 벡터 도플러 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예들이 제안하는 다중-각도 벡터 도플러 방식에 따른 평면파의 송신 시퀀스(sequence)와 합성 방식을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 평면파 합성을 이용한 초음파 도플러 영상의 생성 방법을 도시한 흐름도이다.
도 5는 평면파를 이용한 벡터 도플러 방식을 설명하기 위한 도면이다.
도 6은 다중-각도의 평면파를 이용한 벡터 도플러 방식을 설명하기 위한 도면이다.
도 7은 반복 송신 시퀀스에서 앙상블 프레임을 생성하는 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 평면파 합성을 이용한 초음파 도플러 영상의 생성 장치를 도시한 블록도이다.
도 9 및 도 10은 단일 각도를 이용한 벡터 도플러 영상과 다중-각도를 이용한 벡터 도플러 영상과 그에 따른 평균 제곱근 오차(RMS error)를 비교한 실험예이다.
본 발명의 실시예들을 설명하기에 앞서, 혈류 영상에 적합한 초음파 기술에서의 고려사항을 살펴보고, 본 발명의 실시예들이 채택하는 평면파의 사용에 따른 종래의 초음파 도플러 기술의 문제점들을 검토한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.
움직이는 임의 대상을 찾아내기 위해 초음파 도플러 기법이 활용될 수 있으며, 피부와 수평하게 위치한 경동맥 내의 혈류와 같이 초음파의 진행과 추정 대상의 운동 방향이 수직을 이루는 경우에는 특히 벡터 도플러 기법을 활용하는 것이 적합함을 설명하였다.
도 1은 벡터 도플러 초음파 방식을 설명하기 위한 도면으로서, 서로 다른 두 위치에서 도플러 신호를 측정한 후, 이들을 측정 위치 정보에 따라 합성하는 연산 방식을 제공한다. 이러한 벡터 도플러 기법은 임의의 대상 지점에 대해 서로 다른 위치에서 추정된 도플러 편이 주파수가 신뢰할 수 있다는 가정에 기반하여 두 추정 결과를 합성 연산한다. 따라서 벡터 도플러 기법은 신뢰성 있는 도플러 편이 추정기가 필요하다. 도플러 효과를 이용하여 어떤 한 지점에서 대상의 운동을 추정하기 위해서는 대상으로부터 송출되는 음파 또는 장치에서 대상으로 송신한 펄스파의 반사 신호를 반복적으로 취득해야 한다. 이때, 신호를 반복 취득하는 횟수를 앙상블(ensemble)이라 하며, 그 반복 주기의 역수를 펄스 반복 빈도(pulse repetition frequency, PRF)라 한다.
펄스 반복 빈도는 도플러 편이 주파수를 추정하는데 필요한 샘플링 주파수로 분석할 수 있으며, 앙상블은 하나의 지점에서 펄스 반복 빈도의 주파수로 샘플링된 총 샘플수가 된다. 따라서 나이퀴스트 샘플링 이론(Nyquist sampling theorem)에 의해 측정할 수 있는 도플러 편이 주파수는 펄스 반복 빈도의 절반까지로 제한된다. 또한, 펄스 반복 빈도가 너무 낮을 경우 추정되는 도플러 편이 신호에 에일리어싱(aliasing)이 발생하며, 펄스 반복 빈도가 너무 높을 경우 움직임이 없는 클러터(clutter) 신호와 구분이 힘들어 도플러 추정 성능이 저하될 수 있다.
한편, 혈류의 방향 및 속도에 대한 정보를 제공하는 벡터 도플러 기법은 종래의 집속 빔(focused beam)을 이용하는 경우 제한된 프레임 레이트를 가짐으로써 앙상블 데이터의 개수에 제한이 존재하였다. 따라서, 종래의 집속 빔을 이용하였을 경우 혈류의 속도 및 방향 추정, 그리고 혈류 표현의 민감도가 저하되는 현상이 나타났다. 이러한 문제점을 개선하기 위해 프레임 레이트를 증가시키기 위해 평면파(plane wave)가 도입되었다.
평면파는 집속 빔 방식에 비해 상대적으로 높은 프레임 레이트를 가질 수 있기 때문에 제한이 적은 앙상블 데이터를 가질 수 있다. 그러나 평면파의 경우 송신 집속을 하지 않기 때문에 영상의 해상도 및 민감도가 저하되며, 정확한 혈류의 속도 및 방향 정보를 제공하지 못한다는 약점을 가진다.
이러한 약점을 극복하기 위해, 이하에서 기술되는 본 발명의 실시예들은 높은 프레임 레이트 확보를 위한 평면파를 사용하면서도, 평면파의 전송각도를 다양하게 구현하고 이러한 다양한 각도의 입사 프레임을 합성하여 하나의 앙상블 프레임을 구성하는 다중-각도(multi-angular) 벡터 도플러 방식을 제안한다.
도 2는 본 발명의 실시예들이 제안하는 다중-각도(multi-angular) 벡터 도플러 방식을 설명하기 위한 도면으로서, 벡터 도플러 방식의 특성에 따른 좌/우 방향의 경사각에 따라 초음파 트랜스듀서(transducer)(20)를 통해 평면파를 송신하되, 각각의 좌/우 방향마다 하나의 일률적인 각도가 아닌 서로 다른 송신 각도를 구현하였다. 도 2를 참조하면, 각각의 좌/우 경사각별로 3개씩 총 6개의 조향면(steered plane)이 형성되며, 이로부터 다중-각도 평면파가 송신될 수 있음을 예시하고 있다. 여기서, 다중-각도의 개수는 앙상블 프레임을 형성하기 위해 사용되는 수신 신호의 개수에 따라 결정될 수 있으며, 그 개수가 많을수록 해상도 및 민감도가 개선될 수 있으나, 합성에 수반되는 입사 영상의 개수에 반비례하여 프레임 레이트가 감소될 수 있으므로 본 발명의 실시예들이 구현되는 환경에 따라 적정한 값으로 결정되어야 할 것이다.
도 3은 본 발명의 실시예들이 제안하는 다중-각도 벡터 도플러 방식에 따른 평면파의 송신 시퀀스(sequence)와 합성 방식을 예시한 도면이다. 평면파는 일정한 주기에 따라 펄서(pulser)를 통해 생성되어 트랜스듀서를 통해 대상에 송신되고 그로부터 반사 신호가 발생하게 된다. 이렇게 송신되는 평면파들은 앞서 도 2를 통해 조합된 서로 상이한 각도로 송신되는데, 각각의 입사 신호들은 하나의 세트(set)를 구성하는 일련의 순서인 송신 시퀀스(sequence)에 따라 전달될 수 있다. 이러한 반복 주기의 역수가 펄스 반복 빈도(pulse repetition frequency, PRF)로서, 도 3에는 p1, n1, p2, n2, p3, n3가 하나의 주기를 형성하여 반복되고 있다. 여기서, 대상에 대향하는 기준 방향(예를 들어, 대상에 수직한 방향을 기준 방향으로 설정할 수 있다)을 중심으로 입사 신호와 대상이 이루는 각도를 정의할 수 있으며, p는 양(positive)의 방향, n은 음(negative)의 방향을 나타내고, 각각의 방향별로 3개의 각도를 달리해가며 평면파를 송신하고 있음을 알 수 있다.
도 3을 참조하면, 본 발명의 실시예들이 제안하는 다중-각도 벡터 도플러 방식은, 양의 방향 및 음의 방향별로 각각 3개의 다중-각도 평면파에 따른 반사 신호를 합성하게 된다. 이렇게 합성된 신호가 앙상블 데이터(프레임)로서, 3개의 반사 신호가 1개의 앙상블 데이터를 생성한다. 이때, 연속하는 반사 신호로부터 앙상블 데이터를 생성함에 있어서 다양한 반사 신호의 선택 방식이 활용될 수 있다. 도 3에는 최대한 많은 프레임 레이트를 확보하기 위해 연속하는 반사 신호를 순차적으로 슬라이딩(sliding)하면서 앙상블 데이터의 합성이 이루어지고 있음을 예시하였다. 합성에 필요한 반사 신호의 선택에 따른 프레임 레이트의 차이는 이후 도 7을 통해 구체적으로 설명하도록 한다.
한편, 도 3에는 송신 시퀀스의 일례로서, p1, n1, p2, n2, p3, n3의 순서가 예시되어 있으나, 이러한 송신 시퀀스는 양의 방향 또는 음의 방향, 그리고 교차 순서가 다양하게 조합되어 구성될 수 있다. 예를 들어, n1, p1, n2, p2, n3, p3와 같은 시퀀스가 활용 가능할 뿐만 아니라, p1, p2, p3, n1, n2, n3의 순서 또는 n1, n2, n3, p1, p2, p3의 순서 역시 활용 가능하다.
종래의 평면파를 이용한 도플러 영상이 집속 빔 방식에 비해 송신 집속의 부재에 따른 영상의 해상도 및 민감도가 저하되는 약점을 극복하기 위해, 도 2 및 도 3을 통해 제안한 바와 같이, 본 발명의 실시예들은 다중-각도의 평면파를 이용한 벡터 도플러 영상을 도출하였다. 이하에서는 도면을 참고하여 본 발명의 실시예들을 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 평면파 합성을 이용한 초음파 도플러 영상의 생성 방법을 도시한 흐름도로서, 다음과 같은 과정을 포함한다.
S110 단계에서, 초음파 도플러 영상의 생성 장치는, 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신한다. 펄서(pulser)를 통해 생성된 초음파 신호는 트랜스듀서를 통해 다중-각도의 평면파로서 목표로 하는 대상에 전달된다. 다중-각도의 평면파를 생성하기 위해 다양한 기술적 수단이 활용될 수 있는데, 예를 들어 배열 변환자(array transducer)를 이용하여 각도에 따른 시간 지연을 통해 서로 다른 입사 각도를 형성할 수 있을 것이다.
S120 단계에서, 상기 초음파 도플러 영상의 생성 장치는, 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신한다. 벡터 도플러 기술은 대상의 운동 방향과 속도를 추정하기 위해 적어도 2개의 서로 다른 방향에서 반사 신호를 수신하게 된다. 반사 신호의 수신 역시 다양한 기술적 수단이 활용될 수 있는데, 예를 들어 배열 변환자의 서로 위치의 일부 소자(element)를 활용하거나 서로 다른 위치에서 상기 대상으로부터 반사된 에코(echo) 신호를 집속함으로써 수신할 수 있을 것이다.
S130 단계에서, 상기 초음파 도플러 영상의 생성 장치는, 수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 앙상블(ensemble) 프레임을 생성한다. 이 과정에서는, 상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성함으로써, 상기 앙상블 프레임을 생성하게 된다. 따라서, 상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값이 된다. 구조적으로 다중-각도의 평면파 합성의 경우 영상의 품질과 프레임 레이트는 서로 반비례의 관계를 가지므로, 트레이드오프(tradeoff)를 고려하여 합성에 사용된 반사 신호의 개수를 결정할 필요가 있다.
이때, 상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성할 수 있다. 즉, 반드시 송신 평면파에 대응하는 반사 신호의 순서대로 앙상블 프레임을 합성해야만 하는 것이 아니며, 본 발명의 실시예가 구현되는 환경과 요구 사항에 적합하도록 다양한 프레임 선택 방식과 순서가 활용될 수 있다.
S140 단계에서, 상기 초음파 도플러 영상의 생성 장치는, 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력한다. 이를 위해, 상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하고, 복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하며, 추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성한다.
여기서, 상기 도플러 편이 주파수를 추정하는 과정은, 상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출할 수 있다.
또한, S140 단계는, 생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 과정을 더 포함하는 것이 바람직하다. 즉, 클러터 필터를 이용하여 혈류(또는 적혈구)로부터 반사되는 신호가 아닌, 혈관벽이나 인체조직으로부터 반사되는 클러터 신호를 제거한다. 이러한 클러터 신호는 주파수 스펙트럼 상 매우 낮은 대역에서 존재하는 신호로서, 무한 임펄스 응답 필터(IIR filer)를 이용하여 클러터 필터를 설계할 수 있다. 클러터 필터는 혈류의 도플러 주파수 추정의 오차를 줄이는데 유용하다.
한편, 상기 도플러 편이 주파수를 추정하는 과정은, 위상 편이(phase shift)를 이용한 자기 상관(autocorrelation), 시간 편이(time shift)를 이용한 상호 상관(crosscorrelation), all-pole 모델을 이용한 자기 회귀(auto-regression) 및 고유 벡터를 이용한 고유값 분해(eigen-decomposition)와 같은 다양한 방식 중 적어도 하나를 이용하여 수행될 수 있으며, 개별적인 추정 방식의 자세한 소개는 본 발명의 본질을 흐릴 우려가 있으므로 여기서는 그 설명을 생략한다.
도 5는 평면파를 이용한 벡터 도플러 방식을 설명하기 위한 도면으로서, 양의 방향 및 음의 방향별로 각각 경사각 '+10'도와 '-10'도를 갖는 평면파를 반복하여 송신 시퀀스를 구성함을 예시하고 있다. 여기서, 양의 방향으로 입사된 평면파에 대응하는 반사 신호들(실선으로 표시)로부터 양의 앙상블 데이터가 합성되고, 음의 방향으로 입사된 평면파에 대응하는 반사 신호들(점선으로 표시)로부터 음의 앙상블 데이터가 합성된다. 예를 들어, 도 5에서 펄스 반사 빈도(PRF)가 10KHz인 경우, 첫 번째 '+10'도의 데이터와 다음의 '+10'도의 데이터 사이의 펄스 반사 빈도는 5KHz가 된다.
도 6은 다중-각도의 평면파를 이용한 벡터 도플러 방식을 설명하기 위한 도면으로서, 도 5에 비해 경사각(tilted angle) 외에 합성각(compounding angle)이 제시되었다. 따라서, 2개의 경사각 '+10'도 및 '-10'도에 3개의 합성각 '+4', '0', '-4'를 적용하면, 총 6개의 송신 각도 '+14', '-6', '+10', '-10', '+6', '-14'가 도출되어 하나의 송신 시퀀스를 형성한다. 여기서, 양의 방향으로 입사된 평면파에 대응하는 반사 신호들(실선으로 표시)로부터 양의 앙상블 데이터가 합성되고, 음의 방향으로 입사된 평면파에 대응하는 반사 신호들(점선으로 표시)로부터 음의 앙상블 데이터가 합성된다.
도 7은 반복 송신 시퀀스에서 앙상블 프레임을 생성하는 방식을 설명하기 위한 도면으로서, 동일한 반복 송신 시퀀스에 대해 서로 다른 방식으로 앙상블 데이터를 합성하는 경우를 예시하였다. 시퀀스는 '+14', '-6', '+10', '-10', '+6', '-14'가 하나의 세트를 형성하여 반복적으로 송신되고 있다. 설명의 편의를 위해 양의 앙상블 데이터를 형성하는 과정만을 예시하였으며, 음의 앙상블 데이터에 대해서도 동일한 합성 연산을 수행하게 됨을 밝혀둔다.
첫 번째 경우(A), 송신 시퀀스 내의 하나의 세트 내에서 양의 값을 갖는 각도로 입사된 평면파에 대응하는 반사 신호만으로 양의 앙상블 데이터(프레임)을 합성할 수 있다. 이 경우, 세트별로 하나의 앙상블 데이터가 생성되며, 반사 신호의 재사용은 없다. 도 7을 참조하면, '양의 앙상블 데이터 #1'을 구성하는 반사 신호는 '+14', '+10', '+6'이고, 이에 연속하는 '양의 앙상블 데이터 #2'를 구성하는 반사 신호 역시 '+14', '+10', '+6'이다.
두 번째 경우(B), 송신 시퀀스 내의 하나의 세트 내에서 양의 값을 갖는 각도로 입사된 평면파에 대응하는 반사 신호를 이용하여 양의 앙상블 데이터(프레임)을 합성하되, 이후에 연속하는 양의 앙상블 데이터(프레임)는 하나의 세트 내에 속하는 반사 신호인지 여부를 불문하고 반복 송신 시퀀스를 구성하는 반사 신호를 순차적으로 재사용하여 앙상블 데이터를 합성한다. 즉, 앙상블 데이터를 생성하는 과정은, 수신된 반사 신호 중 미리 설정된 개수(도 7에서는 3개)의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나의 앙상블(ensemble) 프레임을 생성하며, 제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성하게 된다. 도 7을 참조하면, '양의 앙상블 데이터 #1'을 구성하는 반사 신호는 '+14', '+10', '+6'이고, 이에 연속하는 '양의 앙상블 데이터 #2'를 구성하는 반사 신호는 '+10', '+6', '+14'로서 이전과 다르다.
양자를 비교하건대, 첫 번째 경우(A)에는 다음의 수학식 1 및 수학식 2와 같이 펄스 반복 빈도(PRF)가 앙상블 데이터 합성에 관여하는 각도(angle)의 수만큼 저하되는 현상이 나타난다.
Figure 112017040410731-pat00001
여기서 PRFmax는 하나의 주사선에 대해 앙상블 프레임 데이터를 얻기 위해 초음파 신호를 송수신하는 시간 간격인 TPRF의 역수로서 전체 펄스의 반복 빈도를 나타내고, PRFflow는 혈류 속도 추정을 위한 도플러 펄스의 반복 빈도를 나타내며, NAngles은 합성에 관여하는 각도의 개수를 나타낸다.
Figure 112017040410731-pat00002
여기서, Nensembles은 앙상블의 개수를 나타낸다. 수학식 2를 참조하면, 첫 번째 경우(A)에 앙상블 프레임을 위해 합성되는 반사 신호의 개수만큼의 프레임 레이트의 저하뿐만 아니라, 다중-각도의 개수만큼 프레임 레이트의 저하가 발생한다. 즉, 앙상블의 개수 및 다중-각도의 개수의 곱에 반비례하여 프레임 레이트가 변화한다.
이에 반해, 두 번째 경우(B)에는 다음의 수학식 3 및 수학식 4와 같이 합성 후 벡터 도플러 영상에 펄스 반복 빈도의 저하가 없다.
Figure 112017040410731-pat00003
도 7에서 확인할 수 있듯이 반복 송신 시퀀스를 구성하는 반사 신호를 슬라이딩(sliding) 방식을 통해 순차적으로 재사용하게 되므로 혈류 속도 추정을 위한 도플러 펄스의 반복 빈도는 전체 펄스의 반복 빈도와 동일하게 유지된다.
Figure 112017040410731-pat00004
수학식 4를 참조하면, 두 번째 경우(B)에 앙상블 프레임을 위해 합성되는 반사 신호의 개수만큼의 프레임 레이트의 저하가 발생할 뿐이다. 즉, 앙상블의 개수에만 반비례하여 프레임 레이트가 변화한다.
한편, 이러한 본 발명의 실시예들이 제안하는 평면파를 이용한 벡터 도플러 방식에 따라 대상의 운동 속도를 추정하면 다음과 같다.
Figure 112017040410731-pat00005
여기서, VP 및 VN은 각각 P(양)의 데이터 및 N(음)dml 데이터로부터 추정되며, 횡 방향(transverse) 속도 및 축 방향(axial) 속도는 VP 및 VN로부터 산출될 수 있다(경사각은 10도로 예시되었다).
이제 수학식 5로부터 대상의 운동 속도와 방향을 산출하면 다음의 수학식 6과 같다.
Figure 112017040410731-pat00006
도 8은 본 발명의 일 실시예에 따른 평면파 합성을 이용한 초음파 도플러 영상의 생성 장치를 도시한 블록도로서, 도 4의 초음파 도플러 영상의 생성 방법의 각 과정에 대응하는 구성을 하드웨어 구성의 관점에서 재작성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 장치간의 결합 관계를 중심으로 그 개요만을 약술하도록 한다.
펄서(10)는, 일정한 주기로 평면파를 발생시켜 송수신부(20)로 전달한다.
송수신부(20)는, 단일 또는 복수 개의 소자(element)를 포함하는 초음파 트랜스듀서로 구현될 수 있으며, 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하고, 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신한다.
한편, 송수신부(20)는, 배열 변환자(array transducer)(미도시)를 이용하여 각도에 따른 시간 지연을 통해 상기 서로 다른 입사 각도를 형성할 수 있다. 또한, 송수신부(20)는, 배열 변환자(미도시)를 이용하여 서로 다른 위치에서 상기 대상으로부터 반사된 에코(echo) 신호를 집속함으로써 상기 반사 신호를 수신할 수 있다.
처리부(30)는, 수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 앙상블(ensemble) 프레임을 생성하고, 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 디스플레이부(40)로 출력한다.
프레임 레이트를 최대한 확보하기 위하여, 상기 처리부(30)는, 수신된 상기 반사 신호 중 상기 미리 설정된 개수의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나의 앙상블(ensemble) 프레임을 생성하며, 상기 제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성하는 것이 바람직하다.
상기 처리부(30)는, 상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성함으로써 상기 앙상블 프레임을 생성한다. 따라서, 상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값이 될 수 있다. 또한, 상기 처리부(30)는, 상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성할 수 있다.
상기 처리부(30)는, 상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하고, 복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하며, 추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성할 수 있다. 여기서, 상기 처리부(30)는, 상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출할 수 있다. 또한, 상기 처리부(30)는, 생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 클러터 필터(미도시)를 더 포함할 수 있다.
도 9 및 도 10은 단일 각도를 이용한 벡터 도플러 영상과 다중-각도를 이용한 벡터 도플러 영상과 그에 따른 평균 제곱근 오차(RMS error)를 비교한 실험예이다.
도 9를 참조하면, 단일 각도를 이용하는 종래의 벡터 도플러 영상(A)의 경우에 비해 본 발명의 실시예들이 제안하는 다중-각도를 이용한 벡터 도플러 영상(B)이 상대적으로 더 높은 도플러 감도를 보여주고 있음을 확인할 수 있다. 또한, 도 10을 참조하면, 단일 각도를 이용한 벡터 도플러 방식에 비해 다중-각도를 이용한 벡터 도플러 방식이 더욱 정확하게 유동률(flow rate)을 측정할 수 있으며, 도플러 영상의 감도 및 정확도를 향상시킬 수 있음을 보여준다.
상기된 본 발명의 실시예들에 따르면, 집속 빔에 비해 상대적으로 높은 프레임 레이트를 확보할 수 있는 평면파 합성을 이용하여 벡터 초음파 도플러 영상을 구현하되, 다중-각도를 이용해 앙상블 데이터를 합성함으로써 영상의 해상도 및 감도가 향상된 초음파 영상을 제공할 수 있다. 특히, 앙상블 데이터를 합성함에 있어서, 이전 앙상블 프레임에서 사용하였던 반사 신호들 중 최초의 것만을 제외한 나머지 반사 신호를 순차적으로 재사용하고, 마지막 반사 신호의 다음 순서에 해당하는 반사 신호만을 추가하여 새로운 앙상블 프레임을 합성함으로써 프레임 레이트의 저하를 효과적으로 억제할 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 펄서
20: 송수신부
30: 처리부
40: 디스플레이부

Claims (20)

  1. 초음파 도플러 영상의 생성 장치가 서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하는 단계;
    상기 초음파 도플러 영상의 생성 장치가 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신하는 단계;
    상기 초음파 도플러 영상의 생성 장치가 수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 복수 개의 앙상블(ensemble) 프레임을 생성하는 단계; 및
    상기 초음파 도플러 영상의 생성 장치가 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력하는 단계를 포함하는 초음파 도플러 영상의 생성 방법.
  2. 제 1 항에 있어서,
    상기 앙상블 프레임을 생성하는 단계는,
    수신된 상기 반사 신호 중 상기 미리 설정된 개수의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나씩 앙상블(ensemble) 프레임을 생성하며,
    제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 연속하는 복수 개의 반사 신호 중 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  3. 제 1 항에 있어서,
    상기 앙상블 프레임을 생성하는 단계는,
    상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  4. 제 1 항에 있어서,
    상기 앙상블 프레임을 생성하는 단계는,
    상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  5. 제 1 항에 있어서,
    상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값인 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  6. 제 1 항에 있어서,
    상기 벡터 도플러 영상을 출력하는 단계는,
    상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하는 단계;
    복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하는 단계; 및
    추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성하는 단계를 포함하는 초음파 도플러 영상의 생성 방법.
  7. 제 6 항에 있어서,
    상기 도플러 편이 주파수를 추정하는 단계는,
    상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출하는 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  8. 제 6 항에 있어서,
    생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 단계를 더 포함하는 초음파 도플러 영상의 생성 방법.
  9. 제 6 항에 있어서,
    상기 도플러 편이 주파수를 추정하는 단계는,
    위상 편이(phase shift)를 이용한 자기 상관(autocorrelation), 시간 편이(time shift)를 이용한 상호 상관(crosscorrelation), all-pole 모델을 이용한 자기 회귀(auto-regression) 및 고유 벡터를 이용한 고유값 분해(eigen-decomposition) 중 적어도 하나를 이용하여 수행되는 것을 특징으로 하는 초음파 도플러 영상의 생성 방법.
  10. 제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 일정한 주기로 평면파를 발생시키는 펄서;
    서로 다른 입사 각도를 갖는 미리 설정된 개수의 평면파를 송신 시퀀스(sequence)에 따라 순차적으로 반복하여 대상에 송신하고, 서로 다른 위치에서 상기 대상으로부터 반사 신호를 수신하는 송수신부; 및
    수신된 상기 반사 신호 중 상기 대상에 대향하는 기준 방향을 중심으로 양(positive)의 각도 및 음(negative)의 각도 각각에 대하여 상기 미리 설정된 개수의 반사 신호를 합성하여 복수 개의 앙상블(ensemble) 프레임을 생성하고, 복수 개의 앙상블 프레임을 이용하여 생성된 벡터 도플러(vector doppler) 영상을 출력하는 처리부를 포함하는 초음파 도플러 영상의 생성 장치.
  12. 제 11 항에 있어서,
    상기 처리부는,
    수신된 상기 반사 신호 중 상기 미리 설정된 개수의 반사 신호가 중복되는 영역의 데이터 값만을 합성하여 하나씩 앙상블(ensemble) 프레임을 생성하며, 제 1 앙상블 프레임의 합성에 포함된 반사 신호를 재사용하되 연속하는 복수 개의 반사 신호 중 첫 번째 반사 신호를 제외하고 마지막 반사 신호의 다음 순서의 반사 신호를 추가하여 제 1 앙상블 프레임에 시간적으로 연속하는 제 2 앙상블 프레임을 생성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  13. 제 11 항에 있어서,
    상기 처리부는,
    상기 양의 각도 및 상기 음의 각도 각각에 대하여 서로 다른 입사 각도의 평면파에 대응하여 상기 대상의 운동 속도와 방향 정보를 포함하는 반사 신호를 합성함으로써 상기 앙상블 프레임을 생성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  14. 제 11 항에 있어서,
    상기 처리부는,
    상기 반사 신호 중에서 송수신 시퀀스와는 무관하게 미리 설정된 순서에 따라 반사 신호를 선택하여 상기 앙상블 프레임을 합성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  15. 제 11 항에 있어서,
    상기 벡터 도플러 영상의 프레임 레이트(frame rate)는, 상기 평면파의 송신 주파수를 상기 앙상블 프레임의 합성에 사용되는 서로 다른 각도에 따른 반사 신호의 개수로 제산한 값인 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  16. 제 11 항에 있어서,
    상기 처리부는,
    상기 앙상블 프레임을 직각 복조(quadrature demodulation)하여 동상(inphase) 성분 및 이상(quadrature) 성분을 생성하고, 복조된 상기 앙상블 프레임으로부터 도플러 편이 주파수를 추정하며, 추정된 상기 도플러 편이 주파수를 이용하여 산출된 상기 대상의 운동 속도와 방향 정보를 포함하는 벡터 도플러 영상을 생성하는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  17. 제 16 항에 있어서,
    상기 처리부는,
    상기 동상 성분 및 상기 이상 성분으로부터 생성되는 파워 스펙트럼(power spectrum)의 평균 주파수를 추정하고, 추정된 평균 주파수로부터 상기 대상의 운동 속도를 산출하는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  18. 제 16 항에 있어서,
    상기 처리부는,
    생성된 상기 동상 성분 및 상기 이상 성분으로부터 클러터(clutter) 성분을 제거하여 도플러 편이 성분만을 여과하는 클러터 필터를 더 포함하는 초음파 도플러 영상의 생성 장치.
  19. 제 11 항에 있어서,
    상기 서로 다른 입사 각도는,
    배열 변환자(array transducer)를 이용하여 각도에 따른 시간 지연을 통해 형성되는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
  20. 제 11 항에 있어서,
    상기 반사 신호는,
    배열 변환자를 이용하여 서로 다른 위치에서 상기 대상으로부터 반사된 에코(echo) 신호를 집속함으로써 수신되는 것을 특징으로 하는 초음파 도플러 영상의 생성 장치.
KR1020170052863A 2017-04-25 2017-04-25 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법 Expired - Fee Related KR102025328B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17907705.2A EP3513735B1 (en) 2017-04-25 2017-04-25 Device and method for generating ultrasound vector doppler image using plane wave synthesis
US16/343,440 US20200037994A1 (en) 2017-04-25 2017-04-25 Device and method for generating ultrasound vector doppler image using plane wave synthesis
KR1020170052863A KR102025328B1 (ko) 2017-04-25 2017-04-25 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법
PCT/KR2017/004373 WO2018199346A1 (ko) 2017-04-25 2017-04-25 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052863A KR102025328B1 (ko) 2017-04-25 2017-04-25 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180119300A KR20180119300A (ko) 2018-11-02
KR102025328B1 true KR102025328B1 (ko) 2019-09-25

Family

ID=63919031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052863A Expired - Fee Related KR102025328B1 (ko) 2017-04-25 2017-04-25 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법

Country Status (4)

Country Link
US (1) US20200037994A1 (ko)
EP (1) EP3513735B1 (ko)
KR (1) KR102025328B1 (ko)
WO (1) WO2018199346A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110869799B (zh) * 2017-06-15 2024-01-30 皇家飞利浦有限公司 用于处理超声图像的方法和系统
US11284858B1 (en) * 2018-07-02 2022-03-29 Triad National Security, Llc Systems and methods for plane-wave and fan-beam ultrasound-waveform tomography
KR102158177B1 (ko) * 2018-11-15 2020-09-22 서강대학교산학협력단 2D 샘플볼륨 기반의 스펙트럴 도플러 영상에서 Neural Network를 이용하여 움직임을 추적하는 기법 및 이를 이용한 초음파 의료 영상 장치
KR102213449B1 (ko) * 2019-03-06 2021-02-09 (주)엠큐브테크놀로지 초음파 스캐너
CN110632585B (zh) * 2019-09-25 2021-06-29 华中科技大学 一种矢量多普勒效应测量方法和装置
WO2021108953A1 (zh) * 2019-12-02 2021-06-10 云南大学 多角度平面波重复复合的超快超声多普勒血流估计方法
CN110811688B (zh) * 2019-12-02 2021-10-01 云南大学 多角度平面波重复复合的超快超声多普勒血流估计方法
DE102020206622A1 (de) * 2020-05-27 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Geschwindigkeit eines Objektes mit einem Ultraschallpuls
CN111860664B (zh) * 2020-07-24 2024-04-26 东软教育科技集团有限公司 超声平面波复合成像方法、装置及存储介质
CN112754529B (zh) * 2021-01-08 2024-04-19 东软教育科技集团有限公司 基于频域迁移的超声平面波成像方法、系统及存储介质
KR102548308B1 (ko) * 2021-06-09 2023-06-27 주식회사 한소노 초음파 장치 및 이를 포함하는 초음파 시스템
CN113413167B (zh) * 2021-06-28 2022-05-13 云南大学 一种超声平面波复合成像方法及系统
KR102588193B1 (ko) * 2021-12-24 2023-10-11 국립암센터 Rf신호로부터 혈류의 속력을 측정하는 방법
US12189846B1 (en) * 2023-07-04 2025-01-07 Huawei Technologies Co., Ltd. Wearable device with non-optical sensing nodes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141519A (ja) 2012-01-11 2013-07-22 Hitachi Aloka Medical Ltd 超音波診断装置
US20150351720A1 (en) 2013-01-11 2015-12-10 Hitachi Aloka Medical, Ltd. Ultrasonic imaging device
KR101652727B1 (ko) 2015-04-16 2016-09-09 서강대학교산학협력단 초음파 도플러 영상 장치 및 그 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2940487B1 (en) * 2011-10-19 2016-07-20 Verasonics, Inc. Estimation and display for vector doppler imaging using plane wave transmissions
KR20130081626A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 벡터 도플러를 이용한 초음파 장치 및 초음파 영상 생성 방법
KR101433032B1 (ko) 2012-04-13 2014-08-21 서강대학교산학협력단 평면파를 이용한 기능성 혈류 영상 생성 방법 및 장치
KR101555259B1 (ko) * 2013-11-29 2015-09-24 알피니언메디칼시스템 주식회사 초음파 영상 합성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141519A (ja) 2012-01-11 2013-07-22 Hitachi Aloka Medical Ltd 超音波診断装置
US20150351720A1 (en) 2013-01-11 2015-12-10 Hitachi Aloka Medical, Ltd. Ultrasonic imaging device
KR101652727B1 (ko) 2015-04-16 2016-09-09 서강대학교산학협력단 초음파 도플러 영상 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP3513735A4 (en) 2020-06-10
EP3513735B1 (en) 2022-05-25
KR20180119300A (ko) 2018-11-02
US20200037994A1 (en) 2020-02-06
WO2018199346A1 (ko) 2018-11-01
EP3513735A1 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
KR102025328B1 (ko) 평면파 합성을 이용한 초음파 벡터 도플러 영상의 생성 장치 및 방법
CN114375178B (zh) 对微血管进行高空间和时间分辨率超声成像的方法
Deng et al. Ultrasonic shear wave elasticity imaging sequencing and data processing using a verasonics research scanner
JP4722283B2 (ja) 連続データ獲得を用いた超音波フロー・イメージングにおける運動の可視化のための方法および装置
JP5858783B2 (ja) 非集束送信ビームを用いる高フレームレートの量的ドップラーフローイメージング
CN104105449B (zh) 使用基于声脉冲和多孔多普勒超声的运动检测
JP4567842B2 (ja) 超音波診断装置
KR101433032B1 (ko) 평면파를 이용한 기능성 혈류 영상 생성 방법 및 장치
JP4627366B2 (ja) パケット・データ獲得を用いた超音波フロー撮像における運動の可視化のための方法および装置
EP2830508B1 (en) Methods and apparatus for ultrasound imaging
US20110218435A1 (en) Prediction-Based Flow Estimation for Ultrasound Diagnostic Imaging
US20150094579A1 (en) Shear Wave Detection in Medical Ultrasound Imaging
US8951198B2 (en) Methods and apparatus for ultrasound imaging
EP3941358B1 (en) Three dimensional volume flow quantification and measurement
CN112294359B (zh) 用于检测环境中的流体流动的超声系统
EP1021129B1 (en) Ultrasound imaging for displaying strain
KR101652727B1 (ko) 초음파 도플러 영상 장치 및 그 제어 방법
US11644440B2 (en) Shear wave elastography with ultrasound probe oscillation
KR101809358B1 (ko) 새로운 평면파 합성을 이용한 초음파 도플러 영상 장치 및 그 제어 방법
CN115460989A (zh) 用于超声体积流量测量的三维彩色多普勒
EP2853918B1 (en) Shear wave detection in medical ultrasound imaging
JP2008212746A (ja) 超音波診断装置
Ghigo et al. High frame rate vector flow imaging with a convex array in a simulated vessel phantom
Xu Two-dimensional blood flow velocity estimation using ultrasound speckle pattern dependence on scan direction and velocity
Bar-Zion et al. Towards sub-Nyquist tissue Doppler imaging using non-uniformly spaced stream of pulses

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170425

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181029

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190827

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190919

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190920

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220621

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230628

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250630