[go: up one dir, main page]

KR102742549B1 - Electronic device for Optic disc localization in fundus images and method thereof - Google Patents

Electronic device for Optic disc localization in fundus images and method thereof Download PDF

Info

Publication number
KR102742549B1
KR102742549B1 KR1020230017271A KR20230017271A KR102742549B1 KR 102742549 B1 KR102742549 B1 KR 102742549B1 KR 1020230017271 A KR1020230017271 A KR 1020230017271A KR 20230017271 A KR20230017271 A KR 20230017271A KR 102742549 B1 KR102742549 B1 KR 102742549B1
Authority
KR
South Korea
Prior art keywords
blur
image
candidate
optic nerve
radial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230017271A
Other languages
Korean (ko)
Other versions
KR20240124580A (en
Inventor
이익현
Original Assignee
한국공학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국공학대학교산학협력단 filed Critical 한국공학대학교산학협력단
Priority to KR1020230017271A priority Critical patent/KR102742549B1/en
Publication of KR20240124580A publication Critical patent/KR20240124580A/en
Application granted granted Critical
Publication of KR102742549B1 publication Critical patent/KR102742549B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명의 일 실시예에 따른 안저 영상에서 시신경 유두(optic disc)의 위치를 식별하는 전자장치에 있어서, 입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하고, 상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하고, 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하고, 상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 상기 시신경 유두로 식별하고, 상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별하는 프로세서를 포함한다. In one embodiment of the present invention, an electronic device for identifying a position of an optic disc in a fundus image comprises a processor configured to perform motion blur on an input fundus image at different angles to obtain a directional blur image, identify a plurality of candidate optic discs using an extended maximum transform technique from the directional blur image, perform radial blur on the directional blur image with respect to the center of each candidate optic disc as a reference, and, when the radial blur image is normal, identify a first candidate optic disc having the largest maximum intensity value among the plurality of candidate optic discs as the optic disc, and, when the radial blur image is abnormal, identify a second candidate optic disc having the widest intensity distribution when the width of the maximum intensity value is 80% of the maximum intensity value as the optic disc.

Description

안저 영상에서 시신경 유두의 위치를 식별하는 전자장치 및 방법{Electronic device for Optic disc localization in fundus images and method thereof}{Electronic device for Optic disc localization in fundus images and method thereof}

본 발명은 안저 영상에서 시신경 유두의 위치를 식별하는 전자장치 및 방법에 관한 것이다.The present invention relates to an electronic device and method for identifying the position of the optic nerve head in a fundus image.

안질환 진단 및 다양한 해부학적 구조의 위치 파악을 위한 안저(눈의 안쪽 표면으로 수정체의 반대 부분) 영상 분석의 핵심 단계 중 하나는 시신경 유두(Optic disc)의 위치를 파악하는 것이다. One of the key steps in the analysis of fundus images (the inner surface of the eye, opposite the lens) for diagnosing eye diseases and localizing various anatomical structures is to determine the location of the optic disc.

시신경 유두는 시신경과 혈관이 망막으로 진입하는 통로이며 일반적으로 컬러 안저 영상에서 밝은 노란색 또는 흰색 영역으로 나타난다.The optic disc is the passageway through which the optic nerve and blood vessels enter the retina and usually appears as a bright yellow or white area on color fundus images.

그러나, 시신경 유두는 황반(fovea), 삼출물(exudates) 및 망막병증 관련 병변(retinopathy-related lesions)과 같은 다른 해부학적 구조(이하, 병변이라 한다.)와 혼동되기 쉽다.However, the optic nerve head can easily be confused with other anatomical structures (hereinafter referred to as lesions) such as the fovea, exudates, and retinopathy-related lesions.

현재까지 시신경 유두 감지 및 위치 파악은 가장자리, 디스크 모양, 혈관, 색상 공간, 템플릿 일치/형태학적 작업을 포함한 기능과 기술의 조합을 기반으로 하는 다양한 방법을 이용하였다.To date, optic disc detection and localization have utilized a variety of methods based on a combination of features and techniques including edge, disc shape, blood vessels, color space, and template matching/morphological operations.

예를 들어, 이러한 방법 중 하나는 대비 향상, 형태학적 top-hat-transform 사용 및 사후 필터링(Walter, T., Klein, J.-C., 2001. Segmentation of color fundus images of the human retina: detection of the optic disc and the vascular tree using morphological techniques. In: Proceedings of the International Symposium on Medical Data Analysis. Springer, pp. 282-287.)에 의존하고, 다른 하나는 Hausdorff 기반 템플릿 일치 기술, 에지 매핑 및 피라미드 분해를 사용한다(Lalonde, M., Beaulieu, M., Gagnon, L., 2001. Fast and robust optic disc detection using pyramidal decomposition and hausdorff-based template matching. IEEE Trans. Med. Imaging 20, 1193-1200.).For example, one of these methods relies on contrast enhancement, use of the morphological top-hat-transform, and post-filtering (Walter, T., Klein, J.-C., 2001. Segmentation of color fundus images of the human retina: detection of the optic disc and the vascular tree using morphological techniques. In: Proceedings of the International Symposium on Medical Data Analysis. Springer, pp. 282-287.), while another uses Hausdorff-based template matching, edge mapping, and pyramid decomposition (Lalonde, M., Beaulieu, M., Gagnon, L., 2001. Fast and robust optic disc detection using pyramidal decomposition and hausdorff-based template matching. IEEE Trans. Med. Imaging 20, 1193-1200.).

또한 머신 러닝 및 딥 러닝을 이용하여 시신경 유두의 위치를 파악하는 방법이 제안되었다(Staal, J., Abr`amoff, M.D., Niemeijer, M., Viergever, M.A., Ginneken, B. Van, 2004. Ridgebased vessel segmentation in color images of the retina. IEEE Trans. Med. Imaging 23, 501-509.).Additionally, a method to identify the location of the optic nerve head using machine learning and deep learning has been proposed (Staal, J., Abr`amoff, M.D., Niemeijer, M., Viergever, M.A., Ginneken, B. Van, 2004. Ridgebased vessel segmentation in color images of the retina. IEEE Trans. Med. Imaging 23, 501-509.).

머신 러닝 및 딥 러닝 기반 방법은 합리적인 정확도를 제공하지만 모델을 학습하는데 많은 수의 훈련 데이터와 상당한 시간이 필요하다. 또한 효과적인 모델을 얻기 위해 네트워크 깊이, 컨볼루션 및 서브 샘플링 레이어 수, 학습 속도, 감쇠 및 적절한 손실 함수 선택을 포함한 다양한 매개 변수를 조정하여야 하는 바 다소 복잡하다. Machine learning and deep learning-based methods provide reasonable accuracy, but they require a large number of training data and considerable time to learn the model. In addition, it is rather complicated to adjust various parameters including network depth, number of convolutional and sub-sampling layers, learning rate, attenuation, and selecting an appropriate loss function to obtain an effective model.

본 발명의 목적은 보다 정밀하게 시신경 유두의 위치를 식별하는 전자장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an electronic device and method for identifying the position of the optic nerve head more precisely.

본 발명의 목적은 보다 정확하게 시신경 유두의 위치를 식별하는 전자장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an electronic device and method for more accurately identifying the position of the optic nerve head.

본 발명의 목적은 병변이 존재하는 등 안저 영상이 비정상인 경우에도 정확하게 시신경 유두의 위치를 식별하는 전자장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an electronic device and method for accurately identifying the location of the optic nerve head even when the fundus image is abnormal, such as when a lesion is present.

본 발명의 일 실시예에 따른 안저 영상에서 시신경 유두(optic disc)의 위치를 식별하는 전자장치에 있어서, 입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하고, 상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하고, 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하고, 상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 상기 시신경 유두로 식별하고, 상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별하는 프로세서를 포함한다. In one embodiment of the present invention, an electronic device for identifying a position of an optic disc in a fundus image comprises a processor configured to perform motion blur on an input fundus image at different angles to obtain a directional blur image, identify a plurality of candidate optic discs using an extended maximum transform technique from the directional blur image, perform radial blur on the directional blur image with respect to the center of each candidate optic disc as a reference, and, when the radial blur image is normal, identify a first candidate optic disc having the largest maximum intensity value among the plurality of candidate optic discs as the optic disc, and, when the radial blur image is abnormal, identify a second candidate optic disc having the widest intensity distribution when the width of the maximum intensity value is 80% of the maximum intensity value as the optic disc.

상기 프로세서는, 모션 블러를 수행하기 전에 상기 안저 영상의 색공간을 CIELAB 색공간으로 변환할 수 있다. The above processor can convert the color space of the fundus image into the CIELAB color space before performing motion blur.

상기 프로세서는, 상기 안저 영상을 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 제1블러 영상들을 획득하고, 상기 복수의 제1블러 영상들을 합하여 상기 방향성 블러 영상을 획득할 수 있다. The above processor can obtain a plurality of first blur images by performing motion blur on the fundus image at different angles, and obtain the directional blur image by combining the plurality of first blur images.

상기 프로세서는, 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 복수의 제2블러 영상들을 획득하고, 상기 복수의 제2블러 영상들을 합하여 상기 방사형 블러 영상을 획득할 수 있다.The above processor can perform radial blurring with respect to the center of each candidate optic nerve head on the directional blur image to obtain a plurality of second blur images, and combine the plurality of second blur images to obtain the radial blur image.

상기 프로세서는, 상기 방사형 블러 영상을 통해 획득한 각 후보 시신경 유두의 강도 분포로부터 강도 최대값을 식별할 수 있다. The above processor can identify an intensity maximum from the intensity distribution of each candidate optic nerve head acquired through the radial blur image.

상기 프로세서는, 상기 방사형 블러 영상의 크기 대비 병변 영역의 크기의 비율, 병변 영역의 크기 또는 병변 영역의 개수가 임계값을 초과하는지 여부에 따라 상기 방사형 블러 영상의 정상 혹은 비정상을 판단할 수 있다. The above processor can determine whether the radial blur image is normal or abnormal based on whether the ratio of the size of the lesion region to the size of the radial blur image, the size of the lesion region, or the number of lesion regions exceeds a threshold value.

본 발명의 일 실시예에 따른 전자장치에 의해 수행되는 안저 영상에서 시신경 유두(optic disc)의 위치를 식별하는 방법에 있어서, 입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하는 단계; 상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하는 단계; 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하는 단계; 상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 상기 시신경 유두로 식별하는 단계; 상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별하는 단계를 포함한다. In one embodiment of the present invention, a method for identifying a position of an optic disc in a fundus image performed by an electronic device comprises the steps of: performing motion blur on an input fundus image at different angles to obtain a directional blur image; identifying a plurality of candidate optic discs using an extended maximum transform technique from the directional blur image; performing radial blur on the directional blur image with respect to the center of each candidate optic disc as a reference to obtain a radial blur image; identifying a first candidate optic disc having the largest maximum intensity value among the plurality of candidate optic discs as the optic disc when the radial blur image is normal; and identifying a second candidate optic disc having the widest intensity distribution width when the intensity maximum value is 80% of the intensity maximum value as the optic disc when the radial blur image is abnormal.

상기 방향성 블러 영상을 획득하는 단계는, 모션 블러를 수행하기 전에 상기 안저 영상의 색공간을 CIELAB 색공간으로 변환하는 단계를 포함할 수 있다.The step of obtaining the above directional blur image may include the step of converting the color space of the fundus image into the CIELAB color space before performing motion blur.

상기 방향성 블러 영상을 획득하는 단계는, 상기 안저 영상을 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 제1블러 영상들을 획득하는 단계; 상기 복수의 제1블러 영상들을 합하여 상기 방향성 블러 영상을 획득하는 단계를 포함할 수 있다.The step of obtaining the above directional blur image may include the step of obtaining a plurality of first blur images by performing motion blur on the fundus image at different angles; and the step of obtaining the directional blur image by combining the plurality of first blur images.

상기 방사형 블러 영상을 획득하는 단계는, 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 복수의 제2블러 영상들을 획득하는 단계; 상기 복수의 제2블러 영상들을 합하여 상기 방사형 블러 영상을 획득하는 단계를 포함할 수 있다.The step of obtaining the above radial blur image may include the step of performing radial blur on the directional blur image based on the center of each candidate optic nerve head to obtain a plurality of second blur images; and the step of obtaining the radial blur image by combining the plurality of second blur images.

상기 방법은, 상기 방사형 블러 영상을 통해 획득한 각 후보 시신경 유두의 강도 분포로부터 강도 최대값을 식별하는 단계를 더 포함할 수 있다.The method may further include a step of identifying an intensity maximum from an intensity distribution of each candidate optic nerve head acquired through the radial blur image.

상기 방법은, 상기 방사형 블러 영상의 크기 대비 병변 영역의 크기의 비율, 병변 영역의 크기 또는 병변 영역의 개수가 임계값을 초과하는지 여부에 따라 상기 방사형 블러 영상의 정상 혹은 비정상을 판단하는 단계를 더 포함할 수 있다.The method may further include a step of determining whether the radial blur image is normal or abnormal based on whether a ratio of the size of the lesion region to the size of the radial blur image, the size of the lesion region, or the number of lesion regions exceeds a threshold value.

본 발명의 일 실시예에 따르면, 색변환 및 블러링을 기반으로 효과적으로 시신경 유두의 위치를 식별할 수 있다. According to one embodiment of the present invention, the position of the optic nerve head can be effectively identified based on color conversion and blurring.

본 발명의 일 실시예에 따르면, 안저 영상이 정상인 경우뿐만 아니라 병변 등으로 이상이 있는 경우에도 마찬가지로 정밀하게 시신경 유두의 위치를 식별할 수 있다. According to one embodiment of the present invention, the position of the optic nerve head can be precisely identified not only when the fundus image is normal, but also when there is an abnormality such as a lesion.

도 1은 본 발명의 일 실시예에 따른 안저 영상과 시신경 유두의 위치를 식별하는 전자장치를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 도시한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 모션 블러를 수행하는 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시신경 유두의 위치를 식별하는 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 시신경 유두의 위치를 식별하는 전체적인 과정을 도시한 도면이다.
FIG. 1 is a schematic diagram illustrating an electronic device for identifying a fundus image and the position of the optic nerve head according to one embodiment of the present invention.
FIG. 2 is a block diagram illustrating the configuration of an electronic device according to one embodiment of the present invention.
FIG. 3 is a drawing illustrating an operation flow diagram of an electronic device according to one embodiment of the present invention.
FIG. 4 is a drawing illustrating a motion blur performed according to one embodiment of the present invention.
FIG. 5 is a drawing illustrating an example of identifying the position of the optic nerve head according to one embodiment of the present invention.
FIG. 6 is a diagram illustrating an overall process for identifying the position of the optic nerve head according to one embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed below together with the accompanying drawings is intended to explain exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. In the drawings, in order to clearly describe the present invention, parts that are not related to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.

도 1은 본 발명의 일 실시예에 따른 안저 영상과 시신경 유두의 위치를 식별하는 전자장치를 도시한 개략도이다.FIG. 1 is a schematic diagram illustrating an electronic device for identifying a fundus image and the position of the optic nerve head according to one embodiment of the present invention.

본 발명의 일 실시예에 따르면, 안저 영상(10)은 안구의 안쪽면을 촬영하여 획득한 영상을 의미한다. According to one embodiment of the present invention, the fundus image (10) means an image obtained by photographing the inner surface of the eyeball.

본 발명의 일 실시예에 따르면, 전자장치(100)는 입력되는 안저 영상(10)에서 시신경 유두(optic disc)의 위치를 식별하는 장치로써, 컴퓨터, 서버, 스마트폰, 태블릿 PC, 스마트 패드, 노트북 등으로 구현될 수 있다. According to one embodiment of the present invention, the electronic device (100) is a device that identifies the position of the optic disc in an input fundus image (10), and can be implemented as a computer, a server, a smart phone, a tablet PC, a smart pad, a laptop, etc.

시신경 유두는 일반적으로 안저 영상 내의 다른 부분보다 밝기 때문에 높은 계조 변화를 이용하여 그 위치를 식별할 수 있다. 그러나, 병변을 포함하는 영역도 밝고 대비가 좋기 때문에, 이 방식은 병변이 거의 없는 정상적인 영상에서 잘 적용될 수 있다. The optic disc is usually brighter than other parts of the fundus image, so its location can be identified using high-level grayscale changes. However, since the area containing the lesion is also bright and has good contrast, this method can be applied well to normal images with few lesions.

따라서, 병변은 정확한 시신경 유두의 검출을 방해할 뿐 아니라, 그 자체가 시신경 유두의 후보가 될 수 있다. 또한, 조명이 약하거나 대비가 낮은 안저 영상에서는 시신경 유두의 강도가 상대적으로 높지 않을 수 있다. Therefore, not only does the lesion interfere with accurate detection of the optic disc, but it may itself be a candidate for the optic disc. In addition, the intensity of the optic disc may not be relatively high in fundus images with poor illumination or low contrast.

본 발명에서는 안저 영상으로부터 보다 정확하게 시신경 유두의 위치를 검출할 수 있고, 안저 영상이 병변이 존재하는 등 비정상인 경우에도 적용 가능한 전자장치(100) 및 그 방법에 대해서 제안한다. The present invention proposes an electronic device (100) and method thereof that can more accurately detect the position of the optic nerve head from a fundus image and can be applied even when the fundus image is abnormal, such as when a lesion is present.

이하, 도면들을 참조하여 본 발명의 일 실시예에 따른 전자장치의 구성 및 동작에 대해 구체적으로 설명한다. Hereinafter, the configuration and operation of an electronic device according to one embodiment of the present invention will be specifically described with reference to the drawings.

도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 도시한 블럭도이다.FIG. 2 is a block diagram illustrating the configuration of an electronic device according to one embodiment of the present invention.

본 발명의 일 실시예에 따른 전자장치(100)는 입력부(110), 통신부(120), 표시부(130), 저장부(140) 및 프로세서(150)를 포함한다.An electronic device (100) according to one embodiment of the present invention includes an input unit (110), a communication unit (120), a display unit (130), a storage unit (140), and a processor (150).

입력부(110)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 예를 들어, 사용자 입력은 전자장치(100)의 동작을 시작하게 하는 사용자 입력, 안저 영상을 입력하기 위한 사용자 입력, 강도 최대값, 안저 영상의 정상 혹은 비정상을 판단하기 위한 조건에 포함되는 임계값들을 설정하기 위한 사용자 입력 등일 수 있으며, 이 외에도 시신경 유두의 위치를 식별하기 위해 필요한 사용자 입력인 경우 제한하지 않고 적용 가능하다. The input unit (110) generates input data in response to a user input of the electronic device (100). For example, the user input may be a user input for starting the operation of the electronic device (100), a user input for inputting a fundus image, a user input for setting threshold values included in conditions for determining whether a fundus image is normal or abnormal, a maximum intensity value, etc. In addition, if it is a user input necessary for identifying the position of the optic nerve head, it may be applied without limitation.

입력부(110)는 적어도 하나의 입력수단을 포함한다. 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.The input unit (110) includes at least one input means. The input unit (110) may include a keyboard, a key pad, a dome switch, a touch panel, a touch key, a mouse, a menu button, etc.

통신부(120)는 안저 영상, 안저 영상에서 시신경 유두를 식별하기 위해 필요한 연산 프로그램 등을 수신하기 위해 안저 촬영 장비, 서버 등 외부장치와의 통신을 수행한다. The communication unit (120) performs communication with external devices such as fundus photographing equipment and servers to receive fundus images, calculation programs necessary to identify the optic nerve head in the fundus images, etc.

이를 위해, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity), Bluetooth 등의 무선 통신 혹은 LAN(local area network), WAN(Wide Area Network), 전력선 통신 등의 유선 통신을 수행할 수 있다.To this end, the communication unit (120) can perform wireless communication such as 5G (5th generation communication), LTE-A (long term evolution-advanced), LTE (long term evolution), Wi-Fi (wireless fidelity), Bluetooth, or wired communication such as LAN (local area network), WAN (Wide Area Network), and power line communication.

표시부(130)는 전자장치(100)의 동작에 따른 표시 데이터를 표시한다. 표시부(130)는 안저 영상, 방향성 블러 영상, 방사성 블러 영상을 표시하는 화면, 후보 시신경 유두들이 표시된 안저 영상을 표시하는 화면, 식별된 시신경 유두가 표시된 안저 영상을 표시하는 화면, 사용자 입력을 수신하는 화면 등을 표시할 수 있다. The display unit (130) displays display data according to the operation of the electronic device (100). The display unit (130) can display a screen displaying a fundus image, a directional blur image, a radioactive blur image, a screen displaying a fundus image with candidate optic discs displayed, a screen displaying a fundus image with identified optic discs displayed, a screen receiving user input, etc.

표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(130)는 입력부(110)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.The display unit (130) includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a micro electro mechanical systems (MEMS) display, and an electronic paper display. The display unit (130) may be implemented as a touch screen by being combined with the input unit (110).

저장부(140)는 전자장치(100)의 동작 프로그램들을 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터(정보)를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(150)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.The storage (140) stores the operation programs of the electronic device (100). The storage (140) includes non-volatile storage capable of preserving data (information) regardless of whether power is supplied, and volatile memory into which data to be processed by the processor (150) is loaded and which cannot preserving data if power is not supplied. The storage includes flash memory, hard-disc drive (HDD), solid-state drive (SSD), ROM (Read Only Memory), etc., and the memory includes buffer, RAM (Random Access Memory), etc.

저장부(140)는 안저 영상, 방향성 블러 영상, 방사성 블러 영상 등을 저장할 수 있다. 저장부(140)는 방향성 블러 영상 획득, 후보 시신경 유두 식별, 방사성 블러 영상 획득, 강도 최대값 식별, 안저 영상의 정상 여부 판단 등을 수행하는 과정에서 필요한 연산 프로그램 등을 저장할 수 있다. The storage unit (140) can store fundus images, directional blur images, radiometric blur images, etc. The storage unit (140) can store computational programs, etc., required in the process of acquiring directional blur images, identifying candidate optic discs, acquiring radiometric blur images, identifying maximum intensity values, and determining whether or not fundus images are normal.

프로세서(150)는 프로그램 등 소프트웨어를 실행하여 전자장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.The processor (150) can control at least one other component (e.g., hardware or software component) of the electronic device (100) by executing software such as a program, and can perform various data processing or operations.

본 발명의 일 실시예에 따른 프로세서(150)는, 입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하고, 상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하고, 상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하고, 상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 높은 제1후보 시신경 유두를 상기 시신경 유두로 식별하고, 상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별한다. A processor (150) according to one embodiment of the present invention performs motion blur at different angles on an input fundus image to obtain a directional blur image, identifies a plurality of candidate optic nerve heads using an extended maximum transform technique from the directional blur image, performs radial blur on the directional blur image with respect to the center of each candidate optic nerve head as a reference, and, when the radial blur image is normal, identifies a first candidate optic nerve head having the highest maximum intensity value among the plurality of candidate optic nerve heads as the optic nerve head, and, when the radial blur image is abnormal, identifies a second candidate optic nerve head having the widest intensity distribution when the intensity maximum value is 80% of the widest intensity value among the plurality of candidate optic nerve heads as the optic nerve head.

한편, 프로세서(150)는 상기 동작들을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network)과 같은 모델을 포함할 수 있다.Meanwhile, the processor (150) may perform at least some of the data analysis, processing, and result information generation for performing the above operations using at least one of a machine learning, neural network, or deep learning algorithm as a rule-based or artificial intelligence algorithm. Examples of the neural network may include models such as a CNN (Convolutional Neural Network), a DNN (Deep Neural Network), and an RNN (Recurrent Neural Network).

도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.FIG. 3 is a drawing illustrating an operation flow diagram of an electronic device according to one embodiment of the present invention.

본 발명의 일 실시예에 따르면, 프로세서(150)는 입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득한다(S10).According to one embodiment of the present invention, the processor (150) performs motion blur on an input fundus image at different angles to obtain a directional blur image (S10).

본 발명의 일 실시예에 따르면, 프로세서(150)는 안저 영상의 색공간을 시신경 유두 식별에 적합하도록 변환하여 사용할 수 있다. 프로세서(150)는 모션 블러를 수행하기 전에 색공간을 변환한 안저 영상을 획득할 수 있다. According to one embodiment of the present invention, the processor (150) can convert the color space of the fundus image to be suitable for optic nerve head identification and use it. The processor (150) can obtain the fundus image whose color space has been converted before performing motion blur.

색공간은 색 표시계(color system)를 3차원으로 표현한 공간 개념으로, RGB(빨간색, 녹색, 파란색), HSV(색조, 채도, 값), YCbCr(루마, 파란색-루마(B-Y), 빨간색-루마(R-Y)), HSL(색조, 채도, 밝기), CIE L*a*b*(밝기, 빨강/녹색, 파랑/노랑) 등 다양하게 표현할 수 있다. Color space is a spatial concept that expresses a color system in three dimensions, and can be expressed in various ways such as RGB (red, green, blue), HSV (hue, saturation, value), YCbCr (luma, blue-luma (B-Y), red-luma (R-Y)), HSL (hue, saturation, brightness), CIE L*a*b* (brightness, red/green, blue/yellow).

특히, CIE L*a*b*는 인간 시각의 길항 이론에 의거하여, CIE XYZ 색 공간을 비선형 변환하여 만들어진 색공간으로, L* 성분에 의한 병변의 색 및/또는 강도의 효과적인 억제로 인해 최상의 대비를 제공할 수 있다. In particular, CIE L*a*b* is a color space created by nonlinearly transforming the CIE XYZ color space based on the antagonism theory of human vision, and can provide the best contrast due to the effective suppression of the color and/or intensity of the lesion by the L* component.

RGB 색공간으로 이루어진 안저 영상을 CIELAB 색공간으로 변환하는 수학식은 다음과 같다. The mathematical formula for converting a fundus image in RGB color space to CIELAB color space is as follows.

Figure 112023015223967-pat00001
Figure 112023015223967-pat00001

I(p)는 RGB 구성 요소 [IR, IG, IB](p)를 갖는 안저 영상이고, p = (x, y)는 픽셀 위치를 나타낸다. cie(.)는 RGB에서 CIE로의 색공간 변환 연산자이고, 구성 요소 IL(p)는 추가 처리에 사용된다. 이하, 안저 영상은 색공간이 변환된 영상으로 본다. I(p) is a fundus image with RGB components [I R , I G , I B ](p), and p = (x, y) represents a pixel location. cie(.) is a color space conversion operator from RGB to CIE, and component I L (p) is used for further processing. Hereinafter, the fundus image is regarded as a color space-converted image.

한편, 영상 처리의 필수적인 부분 중 하나인 블러링 및 디블러링에 관한 연구들을 통해, 시신경 유두는 블러링된 이미지에서 더 높은 강도의 픽셀을 포함하는 것으로 확인되었다. Meanwhile, studies on blurring and deblurring, which are essential parts of image processing, have confirmed that the optic nerve head contains higher intensity pixels in blurred images.

또한, 균일한 모션 블러에 따라 생성된 방향성 블러 영상은 노이즈가 억제된 일관된 강도를 제공할 수 있는 바, 후보 시신경 유두를 효과적으로 탐색할 수 있다. In addition, the directional blur image generated by the uniform motion blur can provide consistent intensity with noise suppression, so that the candidate optic nerve head can be effectively searched.

따라서, 프로세서(150)는 더 나은 시신경 유두 식별을 위해 안저 영상에 모션 블러를 수행한다. Therefore, the processor (150) performs motion blur on the fundus image for better optic disc identification.

구체적으로, 프로세서(150)는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 블러 영상(이하, 복수의 제1블러 영상이라 한다.)을 획득하고, 복수의 제1블러 영상을 합하여 방향성 블러 영상을 획득할 수 있다. 모션 블러를 수행하여 방향성 블러 영상을 획득하는 구체적인 과정은 도 4를 참조하여 설명한다. Specifically, the processor (150) can perform motion blur on the fundus image at different angles to obtain a plurality of blur images (hereinafter, referred to as a plurality of first blur images), and obtain a directional blur image by combining the plurality of first blur images. A specific process of performing motion blur to obtain a directional blur image is described with reference to FIG. 4.

본 발명의 일 실시예에 따르면, 프로세서(150)는 방향성 블러 영상으로부터 확장된 최대 변환 기법(Extended-maxima transform)을 이용하여 복수의 후보 시신경 유두들을 식별한다(S20).According to one embodiment of the present invention, the processor (150) identifies a plurality of candidate optic nerve heads using an extended-maxima transform technique from a directional blur image (S20).

후보 시신경 유두는 그 속성이 시신경 유두와 유사한 것으로, 확장된 최대 변환 기법을 이용하여 식별될 수 있다. 확장된 최대 변환은 다음 수학식 2 및 수학식 3을 이용하여 H-최대값 변환의 로컬 최대값(REmax)을 기반으로 계산된다. Candidate optic discs can be identified by using the extended maximum transform technique, which has properties similar to those of the optic disc. The extended maximum transform is computed based on the local maximum (RE max ) of the H-max transform using the following equations (2) and (3).

Figure 112023015223967-pat00002
Figure 112023015223967-pat00002

Figure 112023015223967-pat00003
Figure 112023015223967-pat00003

로컬 최대값(REmax)은 방향성 블러 영상(G(p))과 H-최대값(Hmax)의 차이를 계산하여 얻어진다. H-최대값 변환은 강도 이미지에서 주어진 임계값 t 이하의 값을 갖는 모든 최대값을 억제하는 것으로, 다음 수학식 4를 이용하여 연산된다. The local maximum (RE max ) is obtained by calculating the difference between the directional blur image (G(p)) and the H-max (H max ). The H-max transform suppresses all maxima in the intensity image that have values less than a given threshold t, and is calculated using the following mathematical expression 4.

Figure 112023015223967-pat00004
Figure 112023015223967-pat00004

여기서 t 및

Figure 112023015223967-pat00005
는 각각 역치 및 확장 재구성을 나타낸다. 여기에서 이진 영상을 얻기 위해 방향성 블러 영상(G(p))에 8개의 연결된 구성 요소가 있는 확장된 최대 변환을 적용한다. 이 바이너리 맵을 사용하면 후보 시신경 유두의 중심과 그 중심 주변의 영역을 방향성 블러 영상에서 쉽게 추출할 수 있다. 방향성 블러 영상에서 식별된 후보 시신경 유두들을 표시한 일 예는 도 5의 (a)에 도시되어 있다. Here t and
Figure 112023015223967-pat00005
represents threshold and dilated reconstruction, respectively. Here, an dilated maximum transform with eight connected components is applied to the directional blur image (G(p)) to obtain a binary image. Using this binary map, the center of the candidate optic disc and the region around the center can be easily extracted from the directional blur image. An example of indicating the candidate optic discs identified in the directional blur image is shown in Fig. 5 (a).

본 발명의 일 실시예에 따르면, 프로세서(150)는 방향성 블러 영상에 대해 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득한다(S30).According to one embodiment of the present invention, the processor (150) performs radial blurring based on the center of each candidate optic nerve head on the directional blur image to obtain a radial blur image (S30).

구체적으로, 프로세서(150)는 방향성 블러 영상에 대해 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 복수의 블러 영상들(이하, 제2블러 영상들이라 한다.)을 획득하고, 복수의 제2블러 영상들을 합하여 방사형 블러 영상을 획득할 수 있다. 이때, 각 후보 시신경 유두의 중심은, 후보 시신경 유두로 설정된 영역의 중심일 수 있으며, 그 중심을 이루는 적어도 하나의 픽셀을 이용하여 방사형 블러를 수행할 수 있다. Specifically, the processor (150) may perform radial blurring based on the center of each candidate optic nerve head for the directional blur image to obtain a plurality of blur images (hereinafter, referred to as second blur images), and may combine the plurality of second blur images to obtain a radial blur image. At this time, the center of each candidate optic nerve head may be the center of an area set as the candidate optic nerve head, and the radial blur may be performed using at least one pixel forming the center.

각 후보 시신경 유두에 방사형 블러를 수행하면, 해당 영역은 망막 배경에 대해 더 밝게 나타날 수 있다. 반면, 질감이 있는 배경은 억제되고 부드러워진다. 따라서 방사형 블러는 후보 시신경 유두 영역의 특성을 향상시키고, 감지 가능성을 향상시키는 동시에 스무딩 아웃을 통해 영상 전체 변동성의 영향을 최소화할 수 있다. By performing a radial blur on each candidate optic disc, the region can appear brighter against the retinal background, while the textured background is suppressed and smoothed. Therefore, the radial blur can enhance the characteristics of the candidate optic disc region, improve the detectability, and minimize the influence of the overall image variability through smoothing out.

K는 후보 시신경 유두의 수이고, D(ck)는 k번째 후보 시신경 유두(k = {1, 2, ..., K})에 대한 ck = (xk, yk)에 중심을 둔 영상 영역이다. 방사형 블러는 후보 시신경 유두를 포함하는 각 영역에 적용된다.K is the number of candidate optic discs, and D(c k ) is the image region centered at c k = (x k , y k ) for the kth candidate optic disc (k = {1, 2, ..., K}). Radial blur is applied to each region containing the candidate optic disc.

Figure 112023015223967-pat00006
Figure 112023015223967-pat00006

k번째 블러된 영상 B'k(ck)을 생성하기 위해, 수학식 5와 같이, ck를 중심으로 하는 후보 이미지 D(ck)의 회전된 버전인 일련의 영상에 변환 함수를 먼저 적용한다. R은 회전 행렬이며, θi(i = 1, 2, ..., M)은 회전 각도이다. 최대 회전수(M)는 강도 번짐(intensity smearing)의 공간적 범위에 영향을 줄 수 있다. To generate the k-th blurred image B' k (c k ), we first apply a transformation function to a series of images, which are rotated versions of the candidate image D(c k ) centered at c k , as in Equation 5. R is a rotation matrix, and θ i (i = 1, 2, ..., M) is the rotation angle. The maximum rotation number (M) can affect the spatial extent of the intensity smearing.

마지막으로, 제2블러 영상들을 모두 결합하여 누적된 방사형 블러 영상을 획득한다. 방사형 블러 영상은 수학식 6으로 표현할 수 있다. Finally, all the second blur images are combined to obtain an accumulated radial blur image. The radial blur image can be expressed by mathematical expression 6.

Figure 112023015223967-pat00007
Figure 112023015223967-pat00007

앞서 서술한 바와 같이, 안저 영상은 여러가지 병변을 포함할 수 있고, 병변은 시신경 유두와 유사하게 강도가 높아 시신경 유두를 정확하게 식별하는데 방해가 된다. 따라서, 본 발명에서는 방사형 블러 영상의 정상 여부를 판단하여 후보 시신경 유두들 중 최종적으로 시신경 유두를 식별하는 방안을 다르게 적용한다. As described above, the fundus image may contain various lesions, and the lesions have high intensity similar to the optic nerve head, which hinders accurate identification of the optic nerve head. Therefore, in the present invention, a method for ultimately identifying the optic nerve head among candidate optic nerve heads by judging whether the radial blur image is normal is applied differently.

본 발명에서 정상 여부는 방사형 블러 영상에 포함된 병변의 특성에 따라 결정될 수 있으며, 그 구체적인 특성(S1, S2, S3)은 다음과 같다. In the present invention, normality can be determined based on the characteristics of a lesion included in a radial blur image, and the specific characteristics (S1, S2, S3) are as follows.

S1은 방사형 블러 영상의 크기(Total Area) 대비 병변 영역의 크기(Area(segi))의 비율, S2는 병변 영역의 크기, S3는 병변 영역의 개수를 의미한다.S1 represents the ratio of the size of the lesion area (Area(seg i )) to the size of the radial blur image (Total Area), S2 represents the size of the lesion area, and S3 represents the number of lesion areas.

본 발명의 일 실시예에 따르면, 프로세서(150)는 방사형 블러 영상의 크기 대비 병변 영역의 크기의 비율(S1), 병변 영역의 크기(S2) 또는 병변 영역의 개수(S3)가 임계값을 초과하는지 여부에 따라 방사형 블러 영상의 정상 혹은 비정상을 판단할 수 있다. 이때, S1, S2, S3에 대한 임계값은 T1, T2, T3로 각각 설정될 수 있으며, 어느 하나의 특성에 대한 임계값을 초과하더라도 비정상으로 판단한다. According to one embodiment of the present invention, the processor (150) can determine whether the radial blur image is normal or abnormal based on whether the ratio of the size of the lesion region to the size of the radial blur image (S1), the size of the lesion region (S2), or the number of lesion regions (S3) exceeds a threshold value. At this time, the threshold values for S1, S2, and S3 can be set to T1, T2, and T3, respectively, and it is determined as abnormal even if the threshold value for any one characteristic is exceeded.

즉, 프로세서(150)는 S1 > T1 또는 S2 > T2 또는 S3 > T3이면 비정상으로 판단하고, 그렇지 않으면 정상으로 판단한다.That is, the processor (150) determines that it is abnormal if S1 > T1 or S2 > T2 or S3 > T3, and determines that it is normal otherwise.

본 발명의 일 실시예에 따르면, 프로세서(150)는 방사형 블러 영상이 정상인 경우, 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 시신경 유두로 식별한다(S40).According to one embodiment of the present invention, when the radial blur image is normal, the processor (150) identifies the first candidate optic nerve head with the largest maximum intensity value among the plurality of candidate optic nerve heads as the optic nerve head (S40).

강도 최대값은 각 후보 시신경 유두에 대해 방사형 블러를 수행 후 확인되는 강도 분포 상에서 강도가 가장 큰 값을 의미하며, 후보 시신경 유두 별로 강도 최대값이 존재한다. The maximum intensity is the value with the greatest intensity in the intensity distribution confirmed after performing radial blur on each candidate optic nerve head, and there is a maximum intensity value for each candidate optic nerve head.

프로세서(150)는 복수의 후보 시신경 유두들의 강도 최대값들을 비교하여 제일 큰 강도 최대값을 가지는 제1후보 시신경 유두를 시신경 유두로 식별할 수 있다. The processor (150) can compare the maximum intensity values of multiple candidate optic nerve heads and identify the first candidate optic nerve head with the largest maximum intensity value as the optic nerve head.

또한, 방사형 블러 이미지들을 검토해본 결과, 후보 시신경 유두들은 그 강도와 반경이 관련됨을 알 수 있는 바, 후보 시신경 유두들 중 반경이 가장 작은 후보 시신경 유두가 강도 최대값이 가장 크다. 따라서, 반경이 가장 작은 후보 시신경 유두를 시신경 유두로 식별할 수 있다. In addition, by examining the radial blur images, it can be seen that the candidate optic discs are related to their intensity and radius, and the candidate optic disc with the smallest radius among the candidate optic discs has the largest maximum intensity value. Therefore, the candidate optic disc with the smallest radius can be identified as the optic disc.

본 발명의 일 실시예에 따르면, 프로세서(150)는 방사형 블러 영상이 비정상인 경우, 복수의 후보 시신경 유두들 중 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 시신경 유두로 식별한다(S50).According to one embodiment of the present invention, when a radial blur image is abnormal, the processor (150) identifies a second candidate optic nerve head having the widest intensity distribution width when the intensity maximum value is 80% among a plurality of candidate optic nerve heads as the optic nerve head (S50).

본 발명에서는, 방사형 블러 영상이 비정상인 경우라도 시신경 유두를 정확하게 선택하기 위해 시신경 유두의 기하학적 특성을 고려한다. 시신경 유두는 컵과 그 컵 둘레를 둘러싸는 림으로 형성되고, 컵 가장자리 지점이 림 위로 1/5×ΔZ(시신경 유두 중심과 가장자리 지점 사이의 수직 거리)의 표고를 가진다. 시신경 유두의 중심은 영상에서 강도 값이 가장 높은 영역의 기하학적 중심에 위치한다.In the present invention, the geometric characteristics of the optic disc are considered to accurately select the optic disc even when the radial blur image is abnormal. The optic disc is formed by a cup and a rim surrounding the cup, and the edge point of the cup has an elevation of 1/5×ΔZ (the vertical distance between the center of the optic disc and the edge point) above the rim. The center of the optic disc is located at the geometric center of the area with the highest intensity value in the image.

기하학적 모델 관찰을 사용하고 최대 80% 메트릭(FW80M)의 폭을 기준으로 각 후보 시신경 유두를 평가하여 그 폭이 가장 넓은 제2후보 시신경 유두를 시신경 유두로 식별한다. 이에 대해 구체적인 예시는 도 5를 참조하여 설명한다. Using geometric model observations, each candidate optic disc is evaluated based on the width of the maximum 80% metric (FW80M), and the second candidate optic disc with the widest width is identified as the optic disc. A specific example is described with reference to Fig. 5.

본 발명의 일 실시예에 따르면, 색변환 및 블러링을 기반으로 효과적으로 시신경 유두의 위치를 식별할 수 있다. According to one embodiment of the present invention, the position of the optic nerve head can be effectively identified based on color conversion and blurring.

본 발명의 일 실시예에 따르면, 안저 영상이 정상인 경우뿐만 아니라 병변 등으로 이상이 있는 경우에도 마찬가지로 적용가능하여 정밀하게 시신경 유두의 위치를 식별할 수 있다. According to one embodiment of the present invention, it is applicable not only to cases where the fundus image is normal but also to cases where there is an abnormality such as a lesion, so that the position of the optic nerve head can be precisely identified.

도 4는 본 발명의 일 실시예에 따른 모션 블러를 수행하는 모습을 도시한 도면이다.FIG. 4 is a drawing illustrating a motion blur performed according to one embodiment of the present invention.

도 4는 도 3의 S10을 참조하여 설명한 바와 같이 모션 블러를 수행하는 모습을 구체적으로 도시한다. FIG. 4 specifically illustrates performing motion blur as described with reference to S10 of FIG. 3.

본 발명의 일 실시예에 따르면, 프로세서(150)는 안저 영상을 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 블러 영상들을 획득하고, 복수의 블러들을 합하여 방향성 블러 영상을 획득할 수 있다. According to one embodiment of the present invention, the processor (150) can obtain a plurality of blurred images by performing motion blur on the fundus image at different angles, and obtain a directional blurred image by combining the plurality of blurs.

도 4를 참조하면, 프로세서(150)는 안저 영상(410)에 대해 서로 다른 각도 정보(420)에 따라 모션 블러를 수행하여 복수의 블러 영상(430)을 획득할 수 있다. 이때, 안저 영상(410)은 모두 동일하며, 각도 정보(420)는 서로 다른 각도를 가져 각도 별로 모션 블러링된 복수의 블러 영상들(430)이 획득된다. 그리고, 복수의 블러 영상들(430)을 합하여 방향성 블러 영상(440)이 획득된다. Referring to FIG. 4, the processor (150) can perform motion blur on the fundus image (410) according to different angle information (420) to obtain multiple blur images (430). At this time, the fundus images (410) are all the same, and the angle information (420) has different angles, so that multiple blur images (430) motion-blurred for each angle are obtained. Then, a directional blur image (440) is obtained by combining the multiple blur images (430).

이 과정을 수학식으로 나타내면 다음과 같다.This process can be expressed mathematically as follows:

Figure 112023015223967-pat00009
Figure 112023015223967-pat00009

본 발명에서는 더 나은 시신경 유두 검출을 위해 입력 L* 성분에 모션 블러를 유도하였다. 균일한 모션 블러는 L* 성분의 안저 영상(IL(p))을 θ방향으로 n 픽셀만큼 이동으로 정의된 모션 블러 방향 커널(

Figure 112023015223967-pat00010
)을 컨벌루션한다. In the present invention, motion blur is induced on the input L * component for better optic disc detection. Uniform motion blur is induced by a motion blur direction kernel (
Figure 112023015223967-pat00010
) is convolved.

Figure 112023015223967-pat00011
Figure 112023015223967-pat00011

여기서

Figure 112023015223967-pat00012
는 컨벌루션 연산자이고 θ는 블러링 커널의 방향이다. 회전된 커널을 적용하여 N개의 이미지 시퀀스를 얻을 수 있다. Here
Figure 112023015223967-pat00012
is the convolution operator and θ is the direction of the blurring kernel. By applying the rotated kernel, we can obtain a sequence of N images.

Figure 112023015223967-pat00013
Figure 112023015223967-pat00013

수학식 10과 같이 누적된 방향성 블러 영상은 모든 제1블러 영상들을 합하여 획득된다. 방향성 블러링 영상은 노이즈가 억제된 일관된 강도를 제공하며, 시신경 유두 후보에 대한 더 높은 강도 영역을 명확하게 보여줄 수 있다.As in mathematical expression 10, the accumulated directional blur image is obtained by combining all the first blur images. The directional blur image provides consistent intensity with noise suppression, and can clearly show the higher intensity area for the optic nerve head candidate.

도 5는 본 발명의 일 실시예에 따른 시신경 유두의 위치를 식별하는 모습을 도시한 도면이다.FIG. 5 is a drawing illustrating an example of identifying the position of the optic nerve head according to one embodiment of the present invention.

도 3의 S50을 참조하여 설명한 바와 같이, 도 5의 (a)에 도시된 영상에 표시된 복수의 후보 시신경 유두들 중에서 시신경 유두를 식별하는 방안에 대해 구체적으로 설명한다. 이때, 도 5의 (a) 영상은 비정상으로 판단된 것임을 가정하고, 강도 최대값이 가장 큰 후보 시신경 유두는 22번, 실제 시신경 유두는 16번임을 미리 안내한다. With reference to S50 of Fig. 3, a method for identifying an optic nerve head among multiple candidate optic nerve heads displayed in an image illustrated in Fig. 5 (a) is specifically described. At this time, it is assumed that the image of Fig. 5 (a) is judged to be abnormal, and it is informed in advance that the candidate optic nerve head with the highest maximum intensity value is No. 22, and the actual optic nerve head is No. 16.

도 5의 (a)는 도 3의 S20을 참조하여 설명한 바와 같이, 방향성 블러 영상에 확장된 최대 변환 기법을 이용하여 식별된 26개의 후보 시신경 유두들이 표시되어 있다.Fig. 5(a) shows 26 candidate optic discs identified using the extended maximum transform technique on the directional blur image, as described with reference to S20 of Fig. 3.

도 5의 (b)는 22번 후보 시신경 유두의 강도 분포를, (c)는 16번 후보 시신경 유두의 강도 분포를, (d)는 1번 내지 26번의 후보 시신경 유두들 각각의 강도 최대값의 80%일 때의 강도 분포의 폭(FW80M value)을 나타낸다. Figure 5 (b) shows the intensity distribution of candidate optic nerve head number 22, (c) shows the intensity distribution of candidate optic nerve head number 16, and (d) shows the width of the intensity distribution (FW80M value) when it is 80% of the maximum intensity value of each of candidate optic nerve head numbers 1 to 26.

만일 도 5의 (a)에 표시된 후보 시신경 유두들 중 강도 최대값이 제일 큰 후보 시신경 유두를 시신경 유두로 식별하면, 22번 후보 시신경 유두로 판단되는 바 오류가 발생한다. 이러한 오류를 방지하기 위해, 시신경 유두의 형태학적 특성을 반영하여 복수의 후보 시신경 유두들 중 강도 최대값의 80%일 때의 강도 분포의 폭을 고려한다. If the candidate optic nerve head with the highest maximum intensity value among the candidate optic nerve heads shown in (a) of Fig. 5 is identified as the optic nerve head, an error occurs because it is determined to be candidate optic nerve head number 22. To prevent such an error, the width of the intensity distribution when the maximum intensity value is 80% among multiple candidate optic nerve heads is considered by reflecting the morphological characteristics of the optic nerve head.

도 5의 (b) 및 도 5의 (c)를 살펴보면, 강도 분포 상 강도 최대값은 (b)가 더 크나, 강도 최대값의 80%일때의 강도 분포의 폭은 (c)가 더 넓다. Looking at Fig. 5 (b) and Fig. 5 (c), the maximum intensity value in the intensity distribution is larger in (b), but the width of the intensity distribution when it is 80% of the maximum intensity value is wider in (c).

따라서, 도 5의 (d)를 참조하여 강도 최대값의 80%일때의 강도 분포의 폭이 가장 넓은 16번 후보 시신경 유두를 시신경 유두로 식별할 수 있고, 정확하게 시신경 유두를 식별할 수 있다.Therefore, referring to (d) of Fig. 5, the optic nerve head candidate number 16, which has the widest intensity distribution width at 80% of the maximum intensity value, can be identified as the optic nerve head, and the optic nerve head can be accurately identified.

도 6은 본 발명의 일 실시예에 따른 시신경 유두의 위치를 식별하는 전체적인 과정을 도시한 도면이다.FIG. 6 is a diagram illustrating an overall process for identifying the position of the optic nerve head according to one embodiment of the present invention.

도 6은 앞서 도 3 내지 도 5를 참조하여 설명한 내용들을 모식도로 도시한 것으로, 중복되는 내용은 앞서 서술한 내용을 차용한다. Figure 6 is a schematic diagram illustrating the contents explained with reference to Figures 3 to 5 above, and overlapping contents are borrowed from the contents described above.

프로세서(150)는 안저 영상(input image)이 입력되면, 안저 영상의 색공간을 CIELAB 색공간으로 변환(color conversion)한다. 그리고, 방향성 블러 영상을 획득하고, 확장된 최대 변환을 통해 후보 시신경 유두들(optic disc candidates)을 식별한다. When a fundus image (input image) is input, the processor (150) converts the color space of the fundus image into the CIELAB color space (color conversion). Then, a directional blur image is obtained and candidate optic disc candidates are identified through an extended maximum transformation.

후보 시신경 유두들의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득한다. 그리고, 방사형 블러 영상의 정상 여부에 따라, 정상인 경우(Abnormality No) 강도 최대값이 가장 큰 후보 시신경 유두를 시신경 유두로 식별한다. 비정상인 경우(Abnormality Yes), 강도 최대값의 80%일때의 강도 분포의 폭이 가장 넓은 후보 시신경 유두를 시신경 유두로 식별한다. Radial blur is performed based on the centers of candidate optic discs to obtain a radial blur image. Then, depending on whether the radial blur image is normal or not, in the case of normality (Abnormality No), the candidate optic disc with the largest maximum intensity value is identified as the optic disc. In the case of abnormality (Abnormality Yes), the candidate optic disc with the widest intensity distribution when it is 80% of the maximum intensity value is identified as the optic disc.

100: 전자장치
110: 입력부
120: 통신부
130: 표시부
140: 저장부
150: 프로세서
100: Electronic devices
110: Input section
120: Communications Department
130: Display section
140: Storage
150: Processor

Claims (12)

안저 영상에서 시신경 유두(optic disc)의 위치를 식별하는 전자장치에 있어서,
입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하고,
상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하고,
상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하고,
상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 상기 시신경 유두로 식별하고,
상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별하는 프로세서를 포함하는 전자장치.
In an electronic device for identifying the position of the optic disc in a fundus image,
Motion blur is performed on the input fundus image at different angles to obtain a directional blur image.
Using the extended maximum transform technique from the above directional blur image, multiple candidate optic discs are identified,
A radial blur is performed based on the center of each candidate optic nerve head on the above directional blur image to obtain a radial blur image.
If the above radial blur image is normal, the first candidate optic nerve head with the largest maximum intensity value among the multiple candidate optic nerve heads is identified as the optic nerve head.
An electronic device including a processor that identifies a second candidate optic nerve head having the widest intensity distribution when the intensity maximum value is 80% among the plurality of candidate optic nerve heads as the optic nerve head when the radial blur image is abnormal.
제1항에 있어서,
상기 프로세서는,
모션 블러를 수행하기 전에 상기 안저 영상의 색공간을 CIELAB 색공간으로 변환하는 전자장치.
In the first paragraph,
The above processor,
An electronic device that converts the color space of the above fundus image to the CIELAB color space before performing motion blur.
제1항에 있어서,
상기 프로세서는,
상기 안저 영상을 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 제1블러 영상들을 획득하고,
상기 복수의 제1블러 영상들을 합하여 상기 방향성 블러 영상을 획득하는 전자장치.
In the first paragraph,
The above processor,
The above fundus image is subjected to motion blur at different angles to obtain multiple first blur images,
An electronic device that obtains the directional blur image by combining the plurality of first blur images.
제1항에 있어서,
상기 프로세서는,
상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 복수의 제2블러 영상들을 획득하고,
상기 복수의 제2블러 영상들을 합하여 상기 방사형 블러 영상을 획득하는 전자장치.
In the first paragraph,
The above processor,
A plurality of second blur images are obtained by performing radial blur based on the center of each candidate optic nerve head for the above directional blur image,
An electronic device that obtains the radial blur image by combining the plurality of second blur images.
제4항에 있어서,
상기 프로세서는,
상기 방사형 블러 영상을 통해 획득한 각 후보 시신경 유두의 강도 분포로부터 강도 최대값을 식별하는 전자장치.
In paragraph 4,
The above processor,
An electronic device for identifying an intensity maximum from the intensity distribution of each candidate optic nerve head obtained through the above radial blur image.
제1항에 있어서,
상기 프로세서는,
상기 방사형 블러 영상의 크기 대비 병변 영역의 크기의 비율, 병변 영역의 크기 또는 병변 영역의 개수가 임계값을 초과하는지 여부에 따라 상기 방사형 블러 영상의 정상 혹은 비정상을 판단하는 전자장치.
In the first paragraph,
The above processor,
An electronic device that determines whether the radial blur image is normal or abnormal based on whether the ratio of the size of the lesion area to the size of the radial blur image, the size of the lesion area, or the number of lesion areas exceeds a threshold value.
전자장치에 의해 수행되는 안저 영상에서 시신경 유두(optic disc)의 위치를 식별하는 방법에 있어서,
입력되는 안저 영상에 대해 서로 다른 각도에 따라 모션 블러를 수행하여 방향성 블러 영상을 획득하는 단계;
상기 방향성 블러 영상으로부터 확장된 최대 변환 기법을 이용하여 복수의 후보 시신경 유두들을 식별하는 단계;
상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 방사형 블러 영상을 획득하는 단계;
상기 방사형 블러 영상이 정상인 경우, 상기 복수의 후보 시신경 유두들 중 강도 최대값이 제일 큰 제1후보 시신경 유두를 상기 시신경 유두로 식별하는 단계;
상기 방사형 블러 영상이 비정상인 경우, 상기 복수의 후보 시신경 유두들 중 상기 강도 최대값의 80%일 때의 강도 분포의 폭이 가장 넓은 제2후보 시신경 유두를 상기 시신경 유두로 식별하는 단계를 포함하는 방법.
A method for identifying the position of the optic disc in a fundus image performed by an electronic device,
A step of obtaining a directional blur image by performing motion blur at different angles on an input fundus image;
A step of identifying multiple candidate optic nerve heads using an extended maximum transform technique from the above directional blur image;
A step of performing radial blur on the above directional blur image based on the center of each candidate optic nerve head to obtain a radial blur image;
If the above radial blur image is normal, a step of identifying the first candidate optic nerve head having the largest maximum intensity value among the plurality of candidate optic nerve heads as the optic nerve head;
A method comprising the step of identifying a second candidate optic nerve head having the widest intensity distribution width when the intensity maximum value is 80% among the plurality of candidate optic nerve heads as the optic nerve head when the above radial blur image is abnormal.
제7항에 있어서,
상기 방향성 블러 영상을 획득하는 단계는,
모션 블러를 수행하기 전에 상기 안저 영상의 색공간을 CIELAB 색공간으로 변환하는 단계를 포함하는 방법.
In Article 7,
The step of obtaining the above directional blur image is:
A method comprising the step of converting the color space of the fundus image into the CIELAB color space before performing motion blur.
제7항에 있어서,
상기 방향성 블러 영상을 획득하는 단계는,
상기 안저 영상을 서로 다른 각도에 따라 모션 블러를 수행하여 복수의 제1블러 영상들을 획득하는 단계;
상기 복수의 제1블러 영상들을 합하여 상기 방향성 블러 영상을 획득하는 단계를 포함하는 방법.
In Article 7,
The step of obtaining the above directional blur image is:
A step of obtaining a plurality of first blur images by performing motion blur on the above fundus image at different angles;
A method comprising the step of obtaining the directional blur image by combining the plurality of first blur images.
제7항에 있어서,
상기 방사형 블러 영상을 획득하는 단계는,
상기 방향성 블러 영상에 대해 상기 각 후보 시신경 유두의 중심을 기준으로 방사형 블러를 수행하여 복수의 제2블러 영상들을 획득하는 단계;
상기 복수의 제2블러 영상들을 합하여 상기 방사형 블러 영상을 획득하는 단계를 포함하는 방법.
In Article 7,
The step of obtaining the above radial blur image is:
A step of performing radial blurring based on the center of each candidate optic nerve head on the above directional blur image to obtain a plurality of second blur images;
A method comprising the step of obtaining the radial blur image by combining the plurality of second blur images.
제10항에 있어서,
상기 방사형 블러 영상을 통해 획득한 각 후보 시신경 유두의 강도 분포로부터 강도 최대값을 식별하는 단계를 더 포함하는 방법.
In Article 10,
A method further comprising the step of identifying an intensity maximum from the intensity distribution of each candidate optic nerve head obtained through the above radial blur image.
제7항에 있어서,
상기 방사형 블러 영상의 크기 대비 병변 영역의 크기의 비율, 병변 영역의 크기 또는 병변 영역의 개수가 임계값을 초과하는지 여부에 따라 상기 방사형 블러 영상의 정상 혹은 비정상을 판단하는 단계를 더 포함하는 방법.
In Article 7,
A method further comprising a step of determining whether the radial blur image is normal or abnormal based on whether the ratio of the size of the lesion area to the size of the radial blur image, the size of the lesion area, or the number of lesion areas exceeds a threshold value.
KR1020230017271A 2023-02-09 2023-02-09 Electronic device for Optic disc localization in fundus images and method thereof Active KR102742549B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230017271A KR102742549B1 (en) 2023-02-09 2023-02-09 Electronic device for Optic disc localization in fundus images and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230017271A KR102742549B1 (en) 2023-02-09 2023-02-09 Electronic device for Optic disc localization in fundus images and method thereof

Publications (2)

Publication Number Publication Date
KR20240124580A KR20240124580A (en) 2024-08-19
KR102742549B1 true KR102742549B1 (en) 2024-12-12

Family

ID=92567465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230017271A Active KR102742549B1 (en) 2023-02-09 2023-02-09 Electronic device for Optic disc localization in fundus images and method thereof

Country Status (1)

Country Link
KR (1) KR102742549B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195050A1 (en) 2008-10-21 2010-08-05 Canon Kabushiki Kaisha Imaging control apparatus for capturing tomogram of fundus, imaging apparatus, imaging control method, program, and storage medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195050A1 (en) 2008-10-21 2010-08-05 Canon Kabushiki Kaisha Imaging control apparatus for capturing tomogram of fundus, imaging apparatus, imaging control method, program, and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2012 International Conference on Computing, Electronics and Electrical Technologies (ICCEET), G. Brenie Sekar 외, 2012.05.24

Also Published As

Publication number Publication date
KR20240124580A (en) 2024-08-19

Similar Documents

Publication Publication Date Title
US12056883B2 (en) Method for testing skin texture, method for classifying skin texture and device for testing skin texture
Thanh et al. A skin lesion segmentation method for dermoscopic images based on adaptive thresholding with normalization of color models
US20230017425A1 (en) System and method for determining damage on crops
Garnavi et al. Automatic segmentation of dermoscopy images using histogram thresholding on optimal color channels
JP2004326805A (en) Method of detecting and correcting red-eye in digital image
CN105184216A (en) Cardiac second region palm print digital extraction method
JP6578058B2 (en) Image processing apparatus, method for operating image processing apparatus, and operation program for image processing apparatus
WO2017090166A1 (en) Image processing device, image processing method, and program
CN108921836A (en) A kind of method and device for extracting eye fundus image mark
JPWO2018203514A1 (en) Image analysis evaluation method, computer program, image analysis evaluation device
CN113128373B (en) Image processing-based color spot scoring method, color spot scoring device and terminal equipment
KR101667877B1 (en) Feature detecting method for fish image and fish identification method using feature of fish image
Aqeel et al. Automated algorithm for retinal image exudates and drusens detection, segmentation, and measurement
CN115666367A (en) Dynamic adjustment of flash intensity based on retinal pigmentation
US20240312016A1 (en) Classification and improvement of quality of vascular images
Mahmood et al. Optic disc localization in fundus images through accumulated directional and radial blur analysis
KR102742549B1 (en) Electronic device for Optic disc localization in fundus images and method thereof
CN110956623B (en) Wrinkle detection method, wrinkle detection device, wrinkle detection equipment and computer-readable storage medium
Joshi et al. Review of preprocessing techniques for fundus image analysis
US12357149B2 (en) Learning apparatus, learning method, program, trained model, and endoscope system
Poostchi et al. Diabetic retinopathy dark lesion detection: preprocessing phase
EP3048580A1 (en) Method of extracting the optic disc of a retinal image
CN111292296B (en) Training set acquisition method and device based on eye recognition model
Jalil et al. Iris localization using colour segmentation and circular Hough transform
CN113706515A (en) Tongue image abnormality determination method, tongue image abnormality determination device, computer device, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230209

PA0201 Request for examination

Patent event code: PA02011R01I

Patent event date: 20230209

Comment text: Patent Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241120

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241210

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration