[go: up one dir, main page]

KR102852808B1 - System for tracking position and posture of needle - Google Patents

System for tracking position and posture of needle

Info

Publication number
KR102852808B1
KR102852808B1 KR1020200089171A KR20200089171A KR102852808B1 KR 102852808 B1 KR102852808 B1 KR 102852808B1 KR 1020200089171 A KR1020200089171 A KR 1020200089171A KR 20200089171 A KR20200089171 A KR 20200089171A KR 102852808 B1 KR102852808 B1 KR 102852808B1
Authority
KR
South Korea
Prior art keywords
light
needle
detector
wavelength
tracking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200089171A
Other languages
Korean (ko)
Other versions
KR20220010367A (en
Inventor
이현기
임성준
이석중
Original Assignee
재단법인대구경북과학기술원
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 계명대학교 산학협력단 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200089171A priority Critical patent/KR102852808B1/en
Publication of KR20220010367A publication Critical patent/KR20220010367A/en
Application granted granted Critical
Publication of KR102852808B1 publication Critical patent/KR102852808B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/42Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests having means for desensitising skin, for protruding skin to facilitate piercing, or for locating point where body is to be pierced
    • A61M5/427Locating point where body is to be pierced, e.g. vein location means using ultrasonic waves, injection site templates
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/15Devices for taking samples of blood
    • A61B5/153Devices specially adapted for taking samples of venous or arterial blood, e.g. with syringes
    • A61B5/154Devices using pre-evacuated means
    • A61B5/1545Devices using pre-evacuated means comprising means for indicating vein or arterial entry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Clinical applications
    • A61B8/0833Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Clinical applications involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/46Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests having means for controlling depth of insertion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3413Needle locating or guiding means guided by ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Anesthesiology (AREA)
  • Dermatology (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Abstract

본 발명은, 제1 파장을 포함하는 제1 광을 생체에 조사하는 제1 광원과, 제2 파장을 포함하는 제2 광을 상기 생체에 조사하는 제2 광원과, 상기 제1 광을 흡수하여 제3 파장을 포함하는 제3 광을 방출하는 발광물질을 포함하며 상기 생체에 삽입되는 바늘과, 상기 제3 광을 검출하는 제1 검출기와, 상기 생체로부터 반사되며 상기 제2 파장을 중심으로 특정 스펙트럼을 갖는 제4 광을 검출하는 제2 검출기를 포함하는, 바늘의 위치 및 자세 추적 시스템을 제공한다.The present invention provides a needle position and posture tracking system, comprising: a first light source that irradiates a living body with a first light including a first wavelength; a second light source that irradiates the living body with a second light including a second wavelength; a needle that is inserted into the living body and includes a luminescent material that absorbs the first light and emits a third light including a third wavelength; a first detector that detects the third light; and a second detector that detects a fourth light that is reflected from the living body and has a specific spectrum centered on the second wavelength.

Description

바늘의 위치 및 자세 추적 시스템{System for tracking position and posture of needle}System for tracking position and posture of needle

본 발명의 실시예들은, 바늘의 위치 및 자세 추적 시스템에 관한 것으로, 구체적으로 인체에 삽입되는 의료용 바늘의 위치 및 자세 추적 시스템에 관한 것이다.Embodiments of the present invention relate to a needle position and posture tracking system, and more particularly, to a medical needle position and posture tracking system inserted into a human body.

의료 분야에서, 채혈, 약물 투여, 또는 생검 시에 생체에 바늘을 삽입하게 된다. 예를 들면 생체의 특정 혈관 또는 특정 위치에 바늘을 삽입해야 하는 경우, 정확하게 바늘을 핸들링 또는 조정하는 것이 중요하다. In the medical field, needles are inserted into living organisms for purposes such as blood draws, drug administration, or biopsies. For example, when inserting a needle into a specific blood vessel or location within a living organism, precise needle handling and adjustment are crucial.

종래에는 의사 또는 간호사의 감각으로 바늘을 핸들링하거나, 특정 의료영상의 도움을 받아 바늘을 핸들링하였다. 종래에 의료영상(예: 초음파 영상, CT 영상, MRI 영상 등)을 이용하여 바늘을 핸들링하는 경우, 바늘의 위치와 자세를 정확하게 모니터하기 어려운 문제점이 존재하였다. Traditionally, needles were handled by doctors or nurses using their senses or with the assistance of specific medical imaging. However, when using medical imaging (e.g., ultrasound, CT, MRI, etc.) to handle needles, it was difficult to accurately monitor the needle's position and posture.

예를 들어, 종래의 의료영상을 이용하는 경우, 바늘의 위치 및 자세(예: 각도) 등을 실시간으로 모니터하기 어려웠으며, 정확한 바늘의 핸들링이 불가능하였다. For example, when using conventional medical imaging, it was difficult to monitor the position and posture (e.g., angle) of the needle in real time, and precise needle handling was impossible.

구체적으로, 혈관의 특성, 혈관의 굵기, 탄력, 탄성 등에 따라 바늘을 삽입해야 하는 깊이 또는 각도가 달라질 수 있다. 예를 들면 소아의 혈관은 굵기가 가늘며, 노인의 혈관, 정맥, 및 저혈압 환자의 혈관은 탄력이 작아서, 바늘의 핸들링에 어려움이 존재한다. 예를 들면 상기 혈관들은 탄력이 작아서 바늘을 삽입하려 할 때 혈관이 이동해버릴 수 있다. 또한 동맥은 탄성이 커서 바늘이 제대로 삽입되지 못하는 경우가 있다. 따라서 초음파 영상, CT 영상, MRI 영상 등을 이용하여 바늘을 모니터할 경우, 상기와 같은 어려움이 존재하며, 상기 과정에서 바늘의 위치와 자세를 실시간으로 모니터하기 어려운 문제점이 존재한다. Specifically, the depth or angle at which the needle must be inserted may vary depending on the characteristics of the blood vessel, such as its thickness, elasticity, and resilience. For example, the blood vessels of children are thin, and the blood vessels, veins, and blood vessels of patients with low blood pressure have low elasticity, making it difficult to handle the needle. For example, the blood vessels above have low elasticity, so the blood vessel may move when trying to insert the needle. In addition, arteries have high elasticity, so the needle may not be inserted properly in some cases. Therefore, when monitoring the needle using ultrasound images, CT images, MRI images, etc., the above difficulties exist, and there is a problem that it is difficult to monitor the position and posture of the needle in real time during the above process.

또한 방사선을 이용하는 의료영상(예: CT 영상)의 경우, 방사능 노출의 위험이 존재한다. 또한 종래의 의료영상은 2차원 영상이기 때문에 바늘을 식별하더라도 타겟 위치에 바늘이 제대로 삽입되었는지, 아니면 타겟 위치의 전방이나 후방에 바늘이 위치하였는지 여부를 알기 어렵다. Furthermore, medical imaging using radiation (e.g., CT scans) poses a risk of radiation exposure. Furthermore, because conventional medical imaging is two-dimensional, even if a needle is identified, it is difficult to determine whether it has been properly inserted into the target location or whether it is positioned anterior or posterior to the target location.

일본 공개특허공보 특개2015-136494호(2015.07.30.)Japanese Patent Publication No. 2015-136494 (July 30, 2015)

본 발명은, 상기와 같은 문제점을 개선하기 위해 안출된 것으로, 방사능 노출의 위험이 없는 광을 사용하여 실시간으로 바늘의 위치와 자세를 추적해주는 시스템을 제공하는 것을 목적으로 한다. The present invention has been devised to improve the above-mentioned problems, and aims to provide a system that tracks the position and posture of a needle in real time using light without the risk of radiation exposure.

그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.However, these tasks are exemplary and the scope of the present invention is not limited thereby.

본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템은, 제1 파장을 포함하는 제1 광을 생체에 조사하는 제1 광원; 제2 파장을 포함하는 제2 광을 상기 생체에 조사하는 제2 광원; 상기 제1 광을 흡수하여 제3 파장을 포함하는 제3 광을 방출하는 발광물질을 포함하며, 상기 생체에 삽입되는 바늘; 상기 제3 광을 검출하는 제1 검출기; 및 상기 생체로부터 반사되며 상기 제2 파장을 중심으로 특정 스펙트럼을 갖는 제4 광을 검출하는 제2 검출기;를 포함할 수 있다. A needle position and posture tracking system according to one embodiment of the present invention may include: a first light source that irradiates a living body with first light including a first wavelength; a second light source that irradiates the living body with second light including a second wavelength; a needle that is inserted into the living body and includes a luminescent material that absorbs the first light and emits third light including a third wavelength; a first detector that detects the third light; and a second detector that detects fourth light reflected from the living body and having a specific spectrum centered on the second wavelength.

일 실시예에 따르면, 상기 시스템은, 상기 제1 검출기에서 검출된 신호와 상기 제2 검출기에서 검출된 신호를 영상화하여 하나의 화면에 표시해주는 표시 장치;를 더 포함할 수 있다. According to one embodiment, the system may further include a display device that visualizes a signal detected by the first detector and a signal detected by the second detector and displays the image on one screen.

일 실시예에 따르면, 상기 시스템은, 상기 제1 광과 상기 제2 광을 상기 생체의 소정의 면적에 조사하도록, 상기 제1 광과 상기 제2 광의 경로를 소정의 각도 범위 내에서 변화시키는 스캐너;를 더 포함할 수 있다. According to one embodiment, the system may further include a scanner that changes the path of the first light and the second light within a predetermined angular range so as to irradiate the first light and the second light to a predetermined area of the living body.

일 실시예에 따르면, 상기 제1 광의 경로와 상기 제2 광의 경로의 적어도 일부는 겹치며, 상기 제1 광의 경로와 상기 제2 광의 경로는 하프 미러에 의해 합쳐질 수 있다. According to one embodiment, at least a portion of the path of the first light and the path of the second light overlap, and the path of the first light and the path of the second light can be combined by a half mirror.

일 실시예에 따르면, 상기 시스템은, 상기 바늘의 삽입 각도 및 삽입 깊이를 가이드하는 레이저광을 방출하는 광방출기;를 더 포함할 수 있다. According to one embodiment, the system may further include a light emitter that emits laser light to guide the insertion angle and insertion depth of the needle.

일 실시예에 따르면, 상기 광방출기는, 적어도 두 개이며, 상기 바늘의 삽입 각도 및 삽입 깊이를 가이드하기 위해, 상기 적어도 두 개의 광방출기에서 총 세 개의 레이저 광이 방출될 수 있다. In one embodiment, the light emitters are at least two, and a total of three laser lights can be emitted from the at least two light emitters to guide the insertion angle and insertion depth of the needle.

일 실시예에 따르면, 상기 시스템은, 초음파 탐지기; 상기 초음파 탐지기에 연결된 광 추적기; 및 상기 광 추적기, 표시 장치, 및 상기 제1 검출기에 연결된 프로세서;를 더 포함하고, 상기 프로세서는, 상기 초음파 탐지기와 상기 광 추적기를 통해 획득된 초음파 영상에 바늘의 영상을 중첩시켜 표시할 수 있다. According to one embodiment, the system further includes: an ultrasonic detector; an optical tracker connected to the ultrasonic detector; and a processor connected to the optical tracker, a display device, and the first detector; wherein the processor can display an image of a needle by superimposing it on an ultrasonic image obtained through the ultrasonic detector and the optical tracker.

일 실시예에 따르면, 상기 바늘은 OCT (optical coherence tomography) 탐지기를 포함하고, 상기 시스템은, 상기 OCT 탐지기에 연결된 OCT 영상장치; 및 상기 OCT 탐지기, 상기 OCT 영상장치, 상기 제1 검출기에 연결된 프로세서;를 더 포함하고, 상기 프로세서는, 상기 OCT 탐지기를 통해 획득된 OCT 영상에, 상기 제1 검출기를 통해 획득된 상기 OCT 탐지기의 영상을 중첩시켜 표시하도록 상기 OCT 영상장치를 제어할 수 있다. In one embodiment, the needle includes an optical coherence tomography (OCT) detector, and the system further includes an OCT imaging device connected to the OCT detector; and a processor connected to the OCT detector, the OCT imaging device, and the first detector; wherein the processor can control the OCT imaging device to display an image of the OCT detector acquired through the first detector by superimposing it on an OCT image acquired through the OCT detector.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims and detailed description of the invention.

상술한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 생체에 삽입되는 바늘의 위치와 자세를 실시간으로 모니터할 수 있다. According to one embodiment of the present invention as described above, the position and posture of a needle inserted into a living body can be monitored in real time.

또한 일 실시예에 따르면, 방사능에 노출될 위험이 없다. Additionally, in one embodiment, there is no risk of exposure to radiation.

또한, 3차원적으로 바늘과 혈관을 이미징힐 수 있어, 바늘 핸들링의 정확도를 높일 수 있다. Additionally, it can image needles and blood vessels in three dimensions, which can improve the accuracy of needle handling.

또한, 생체의 피부 상에 바늘의 삽입 위치, 삽입 각도, 삽입 깊이를 프로젝션할 수 있어, 바늘 핸들링의 정확도를 더욱 높일 수 있다. In addition, the insertion location, insertion angle, and insertion depth of the needle can be projected onto the skin of the living body, thereby further improving the accuracy of needle handling.

물론 이러한 효과들에 의해 본 발명의 범위가 한정되는 것은 아니다.Of course, the scope of the present invention is not limited by these effects.

도 1은 본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(100)을 개략적으로 도시한다.
도 2는 도 1에 도시돤 바늘(30) 및 혈관(B)의 확대도를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 바늘(30) 및 혈관(B)의 영상을 개략적으로 도시한다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템에서 바늘(30)의 삽입 위치, 삽입 각도, 삽입 깊이를 가이드해주는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(200)을 개략적으로 도시한다.
도 7은 본 발명의 또 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(300)을 개략적으로 도시한다.
FIG. 1 schematically illustrates a needle position and posture tracking system (100) according to one embodiment of the present invention.
Figure 2 schematically illustrates an enlarged view of the needle (30) and blood vessel (B) illustrated in Figure 1.
Figure 3 schematically illustrates an image of a needle (30) and a blood vessel (B) according to one embodiment of the present invention.
FIG. 4 and FIG. 5 are drawings for explaining a method for guiding the insertion position, insertion angle, and insertion depth of a needle (30) in a needle position and posture tracking system according to one embodiment of the present invention.
FIG. 6 schematically illustrates a needle position and posture tracking system (200) according to another embodiment of the present invention.
FIG. 7 schematically illustrates a needle position and posture tracking system (300) according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. The present invention is capable of various modifications and embodiments. Specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention, as well as the methods for achieving them, will become clearer with reference to the embodiments described in detail below, along with the drawings. However, the present invention is not limited to the embodiments disclosed below and can be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. When describing with reference to the drawings, identical or corresponding components are given the same reference numerals and redundant descriptions thereof will be omitted.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. In the examples below, the terms first, second, etc. are not used in a limiting sense, but are used for the purpose of distinguishing one component from another.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the examples below, singular expressions include plural expressions unless the context clearly indicates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the examples below, terms such as “include” or “have” mean that a feature or component described in the specification is present, and do not preclude the possibility that one or more other features or components may be added.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.For convenience of explanation, the sizes of components in the drawings may be exaggerated or reduced. For example, the sizes and thicknesses of each component shown in the drawings are arbitrarily indicated for convenience of explanation, and thus the present invention is not necessarily limited to what is shown.

이하의 실시예에서, 구성요소, 블록, 유닛, 모듈 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 구성요소, 블록, 유닛, 모듈 등이 개재되어 있는 경우도 포함한다. In the following examples, when a part such as a component, block, unit, module, etc. is said to be on or above another part, it includes not only the case where it is directly above the other part, but also the case where another component, block, unit, module, etc. is interposed in between.

이하의 실시예에서, 구성요소, 블록, 유닛, 모듈 등이 연결되었다고 할 때, 구성요소, 블록, 유닛, 모듈들이 직접적으로 연결된 경우뿐만 아니라 구성요소, 블록, 유닛, 모듈들 중간에 다른 구성요소, 블록, 유닛, 모듈들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following examples, when components, blocks, units, modules, etc. are said to be connected, this includes not only cases where the components, blocks, units, and modules are directly connected, but also cases where other components, blocks, units, and modules are interposed between the components, blocks, units, and modules and are indirectly connected.

도 1은 본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(100)을 개략적으로 도시한다. 도 2는 도 1에 도시돤 바늘(30) 및 혈관(B)의 확대도를 개략적으로 도시한다. FIG. 1 schematically illustrates a needle position and posture tracking system (100) according to one embodiment of the present invention. FIG. 2 schematically illustrates an enlarged view of the needle (30) and blood vessel (B) illustrated in FIG. 1.

도 1을 참조하면, 본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(100)은, 제1 광원(11), 제2 광원(12), 제1 검출기(21), 제2 검출기(22), 생체에 삽입되기 위한 바늘(30)을 포함할 수 있다. 다만 본 발명은 이에 한정되지 않으며, 시스템(100)은 다른 구성요소를 더 포함할 수 있다. Referring to FIG. 1, a needle position and posture tracking system (100) according to one embodiment of the present invention may include a first light source (11), a second light source (12), a first detector (21), a second detector (22), and a needle (30) to be inserted into a living body. However, the present invention is not limited thereto, and the system (100) may further include other components.

예를 들면 바늘(30)은, 생체의 피부(skin, S)와 조직(tissue, T)을 뚫고 혈관(blood vessel, B)에 삽입되어야 할 수 있다. 다만 본 발명은 바늘(30)이 혈관(B)에 삽입되는 경우뿐 아니라, 생체 내의 특정 세포, 특정 조직, 또는 특정 위치에 삽입되는 경우도 포함한다. 본 발명에서 바늘(30)은 주사기, 관절경 등을 포함할 수 있으며 이에 한정되지 않는다. 이하에서는 바늘(30)이 혈관(B)삽입되는 경우를 예로 들어 설명하기로 한다. For example, a needle (30) may need to be inserted into a blood vessel (B) by penetrating the skin (S) and tissue (T) of a living body. However, the present invention includes not only a case where the needle (30) is inserted into a blood vessel (B), but also a case where it is inserted into a specific cell, specific tissue, or specific location within a living body. In the present invention, the needle (30) may include a syringe, an arthroscope, etc., but is not limited thereto. Hereinafter, a case where the needle (30) is inserted into a blood vessel (B) will be described as an example.

일 실시예에 따르면, 제1 광원(11)은 제1 파장을 포함하는 제1 광을 방출할 수 있다. 제2 광원(12)은 제2 파장을 포함하는 제2 광을 방출할 수 있다. 예를 들면 제1 광은 제1 파장을 중심으로 하는 소정 대역의 광일 수 있고, 편의상 제1 파장의 광으로 지칭될 수 있다. 제2 광은 제2 파장을 중심으로 하는 소정 대역의 광일 수 있고, 편의상 제2 파장의 광으로 지칭될 수 있다. In one embodiment, the first light source (11) can emit first light including a first wavelength. The second light source (12) can emit second light including a second wavelength. For example, the first light can be light in a predetermined band centered around the first wavelength, and may be conveniently referred to as light of the first wavelength. The second light can be light in a predetermined band centered around the second wavelength, and may be conveniently referred to as light of the second wavelength.

한편 도 2를 참조하면, 바늘(30)은 제1 광을 흡수하여 제3 파장을 포함하는 제3 광을 방출하는 발광물질(33)을 포함할 수 있다. 발광물질(33)은 예를 들면, 양자점(quantum dot, QD)일 수 있다. Meanwhile, referring to FIG. 2, the needle (30) may include a luminescent material (33) that absorbs first light and emits third light including a third wavelength. The luminescent material (33) may be, for example, a quantum dot (QD).

따라서, 제1 파장의 제1 광은 바늘(30)에 포함된 발광물질(33)이 잘 흡수하는 파장대역의 광일 수 있다. 또한, 제2 파장의 제2 광은, 바늘(30)이 삽입될 타겟(예: 혈관(B))이 잘 흡수하는 파장대역의 광일 수 일 수 있다. Accordingly, the first light of the first wavelength may be light of a wavelength band well absorbed by the luminescent material (33) included in the needle (30). In addition, the second light of the second wavelength may be light of a wavelength band well absorbed by the target (e.g., blood vessel (B)) into which the needle (30) is to be inserted.

예를 들면, 제1 파장, 제2 파장, 제3 파장의 광은 단파적외선(short wave infrared, SWIR)일 수 있다. 단파적외선(SWIR)의 파장은 예를 들면 0.9 μm 내지 2.5 μm일 수 있다. 따라서, 제1 광, 제2 광이 생체에 조사되고, 제3 광이 생체 내의 바늘(30)로부터 방출되어도, 생체는 방사능에 노출될 위험이 없을 수 있다. 일 예를 들면 제1 파장은 950 nm일 수 있고, 제2 파장은 1400 nm일 수 있고, 제3 파장은 1100 nm일 수 있다. For example, the light of the first wavelength, the second wavelength, and the third wavelength may be short wave infrared (SWIR). The wavelength of the SWIR may be, for example, 0.9 μm to 2.5 μm. Therefore, even if the first light and the second light are irradiated onto a living body and the third light is emitted from a needle (30) within the living body, the living body may not be at risk of being exposed to radiation. For example, the first wavelength may be 950 nm, the second wavelength may be 1400 nm, and the third wavelength may be 1100 nm.

한편 도 2를 참조하면, 바늘(30)은 중공(32)과, 중공(32)을 둘러싸는 외벽(31)을 포함할 수 있다. 바늘(30)의 외벽(31)에 발광물질(33)이 포함될 수 있다. 발광물질(33)은 단파적외선(예: 950 nm)을 흡수하여 단파적외선(예: 1100 nm)을 방출하는 물질로 구성될 수 있다. 본 발명의 일 실시예에 따르면, 발광물질(33)은, 제1 파장의 입사광(I)을 흡수하여, 제3 파장의 방출광(E)을 방출 또는 방사할 수 있다. 제3 파장은 제1 파장보다 짧다. Meanwhile, referring to FIG. 2, the needle (30) may include a hollow portion (32) and an outer wall (31) surrounding the hollow portion (32). A luminescent material (33) may be included in the outer wall (31) of the needle (30). The luminescent material (33) may be composed of a material that absorbs shortwave infrared rays (e.g., 950 nm) and emits shortwave infrared rays (e.g., 1100 nm). According to one embodiment of the present invention, the luminescent material (33) may absorb incident light (I) of a first wavelength and emit or radiate emitted light (E) of a third wavelength. The third wavelength is shorter than the first wavelength.

일 실시예에 따르면 발광물질(33)은 양자점(예: 단파적외선 양자점)일 수 있으며, 바늘(30)의 외벽(31)의 표면에 양자점이 코팅될 수 있다. 상기 코팅은 고분자 기반의 코팅일 수 있다. 양자점은, 10 nm 미만의 구형 반도체 입자일 수 있다. 양자점은 예를 들면, 양자점을 둘러싸는 표면 물질에 따라 다양한 매질 속에 섞일 수 있다. 일 예를 들면, 바늘(30)의 외벽(31)을 둘러싸는 고분자 코팅에 양자점을 함유시킴으로써 바늘(30)을 제작할 수 있다. 일 예를 들면, 바늘(30)의 외벽(31)을 상기 양자점으로 코팅함으로써 바늘(30)을 제작할 수 있다.According to one embodiment, the luminescent material (33) may be a quantum dot (e.g., a shortwave infrared quantum dot), and the quantum dots may be coated on the surface of the outer wall (31) of the needle (30). The coating may be a polymer-based coating. The quantum dots may be spherical semiconductor particles of less than 10 nm. The quantum dots may be mixed into various media, for example, depending on the surface material surrounding the quantum dots. For example, the needle (30) may be manufactured by incorporating quantum dots into the polymer coating surrounding the outer wall (31) of the needle (30). For example, the needle (30) may be manufactured by coating the outer wall (31) of the needle (30) with the quantum dots.

다시 도 1을 참조하면, 제1 검출기(21)는 제3 파장의 제3 광을 검출할 수 있다. 제2 검출기(22)는 제2 파장(예: 1400 nm)을 중심으로 하는 제4 광을 검출할 수 있다. Referring again to FIG. 1, the first detector (21) can detect a third light having a third wavelength. The second detector (22) can detect a fourth light centered around a second wavelength (e.g., 1400 nm).

제3 광은 바늘(30)의 발광물질(33)에 의해 방사된 광이다. 따라서 제1 검출기(21)는 바늘(30)의 위치 및 자세를 검출할 수 있다. 예를 들면, 제1 검출기(21)에서 검출된 신호를 영상화하면, 바늘(30)의 형상이 식별될 수 있다. The third light is light emitted by the luminescent material (33) of the needle (30). Therefore, the first detector (21) can detect the position and posture of the needle (30). For example, by imaging the signal detected by the first detector (21), the shape of the needle (30) can be identified.

제4 광은, 제2 광이 타겟(예: 혈관)에 흡수되고 남은 광, 또는 반사광일 수 있다. 일 예를 들면, 바늘이 삽입될 타겟은 제2 파장에 대한 흡수율이 높을 수 있다. 예를 들어 타겟이 혈관(B)인 경우, 혈관(B)은 제2 파장에서 높은 흡수율을 가져, 제2 검출기(22)에서 검출된 신호(즉, 제4 광에 대응하는 신호)를 영상화하면, 혈관(B)이 있는 부분만 어둡게(예를 들면 검정색으로) 보일 수 있다. 따라서, 제2 검출기(22)는 혈관(B)의 위치 및 형상을 검출할 수 있다. The fourth light may be the remaining light or reflected light after the second light is absorbed by the target (e.g., a blood vessel). For example, the target into which the needle is to be inserted may have a high absorption rate for the second wavelength. For example, if the target is a blood vessel (B), the blood vessel (B) has a high absorption rate for the second wavelength, so when the signal detected by the second detector (22) (i.e., the signal corresponding to the fourth light) is imaged, only the area where the blood vessel (B) is present may appear dark (e.g., black). Accordingly, the second detector (22) can detect the location and shape of the blood vessel (B).

일 실시예에 따르면, 제2 파장(예: 1400 nm)은 물에 대한 흡수율이 높기 때문에 혈관에 다량 흡수될 수 있다. In one embodiment, the second wavelength (e.g., 1400 nm) may be highly absorbed by blood vessels due to its high absorption rate in water.

따라서 예를 들면 제4 광은 제2 파장의 광을 포함하는 것이 아니라, 제2 파장을 중심으로 하는 특정 스펙트럼의 광일 수 있다. 왜냐하면, 제4 광은, 제2 광에서 제2 파장의 대역이 혈관에 흡수되고 남은 광일 수 있기 때문이다. Therefore, for example, the fourth light may not be light of the second wavelength, but rather light of a specific spectrum centered around the second wavelength. This is because the fourth light may be light remaining after the second wavelength band of the second light is absorbed by the blood vessels.

일 실시예에 따르면, 제1 광원(11) 및 제2 광원(12)은 멀티스펙트럼 단파적외선 LED(light emitting diode)일 수 있다. 일 실시예에 따르면, 제1 검출기(21) 및 제2 검출기(22)는 멀티스펙트럼 단파적외선 디텍터일 수 있다. 제1 검출기(21) 및 제2 검출기(22)는 예를 들면 카메라일 수 있다. 다만 이에 한정되지 않는다. In one embodiment, the first light source (11) and the second light source (12) may be multispectral shortwave infrared light emitting diodes (LEDs). In one embodiment, the first detector (21) and the second detector (22) may be multispectral shortwave infrared detectors. The first detector (21) and the second detector (22) may be, for example, cameras. However, the present invention is not limited thereto.

일 실시예에 따르면, 제1 광과 제2 광의 출발 위치는 다르지만, 일 지점에서 제1 광과 제2 광의 경로가 겹쳐질 수 있다. In one embodiment, the starting positions of the first light and the second light are different, but the paths of the first light and the second light may overlap at one point.

일 예를 들면 제1 광의 출발 광과 제2 광의 출발 광이 90도를 이루도록 제1 광원(11)과 제2 광원(12)이 배치될 수 있다. 제1 광과 제2 광이 90도로 만나는 지점에 하프 미러(half-mirror)(13)가 구비될 수 있다. 하프 미러(13)는 제1 광과 제2 광에 대하여 45도로 배치될 수 있다. 예를 들면 하프 미러(13)는 제1 파장의 광은 통과시키되, 제2 파장의 광은 반사시킬 수 있다. 따라서, 하프 미러(13)에 의해 제1 광과 제2 광의 경로가 합쳐질 수 있다. For example, a first light source (11) and a second light source (12) may be arranged so that the starting light of the first light and the starting light of the second light form a 90-degree angle. A half-mirror (13) may be provided at a point where the first light and the second light meet at a 90-degree angle. The half-mirror (13) may be arranged at a 45-degree angle with respect to the first light and the second light. For example, the half-mirror (13) may allow light of the first wavelength to pass through, but may reflect light of the second wavelength. Therefore, the paths of the first light and the second light may be combined by the half-mirror (13).

하프 미러(13)에서 합쳐진 제1 광과 제2 광은, 소정의 광학계(예: 미러(14))를 통해 스캐너(15)로 입사될 수 있다. 스캐너(15)는 예를 들면 미러를 포함할 수 있다. 스캐너(15)에서 반사된 제1 광과 제2 광은, 피부(S)를 향해 조사될 수 있다. 예를 들면, 제1 광과 제2 광은 경로가 겹쳐진 상태로 함께 피부(S)에 조사될 수 있다. The first light and the second light combined in the half mirror (13) can be incident on the scanner (15) through a predetermined optical system (e.g., mirror (14)). The scanner (15) may include, for example, a mirror. The first light and the second light reflected from the scanner (15) can be irradiated toward the skin (S). For example, the first light and the second light can be irradiated together on the skin (S) with their paths overlapping.

한편, 일 예를 들면 스캐너(15)는 소정의 각도 범위 내에서 회전(rotate)할 수 있다. 스캐너(15)의 동작에 따라, 제1 광과 제2 광이 피부에 조사되는 위치가 변화될 수 있다. 예를 들면, 제1 광과 제2 광의 합쳐진 경로는, 스캐너(15)의 회전에 의해, 소정의 각도(A) 범위 내에서 변화될 수 있다. 따라서, 제1 광과 제2 광은, 피부(S) 상의 소정의 면적 내에서 이동되며 조사될 수 있다. Meanwhile, for example, the scanner (15) can rotate within a predetermined angular range. Depending on the operation of the scanner (15), the positions at which the first light and the second light are irradiated onto the skin can change. For example, the combined path of the first light and the second light can change within a predetermined angular range (A) by the rotation of the scanner (15). Accordingly, the first light and the second light can move and be irradiated within a predetermined area on the skin (S).

한편, 바늘(30)로부터 방출된 제3 광의 일부와, 혈관에 의해 흡수되고 남은 제4 광의 일부는 각각, 제1 검출기(21)와 제2 검출기(22)로 입사될 수 있다. Meanwhile, a portion of the third light emitted from the needle (30) and a portion of the fourth light absorbed by the blood vessel and remaining can be incident on the first detector (21) and the second detector (22), respectively.

일 실시예에 따르면, 빔 스플리터(23)에 의해 제3 광과 제4 광의 경로가 나뉠 수 있다. 빔 스플리터(23)는 예를 들면, 제3 파장의 광은 통과시키고, 제2 파장을 중심으로 하는 소정 대역의 광은 반사시킬 수 있다. 따라, 빔 스플리터(23)에 의해 제3 광과 제4 광이 나뉠 수 있고, 제3 광은 제1 검출기(21)로 입사되고, 제4 광은 제2 검출기(22)로 입사될 수 있다. According to one embodiment, the paths of the third light and the fourth light can be split by the beam splitter (23). The beam splitter (23) can, for example, allow light of the third wavelength to pass through and reflect light of a predetermined band centered on the second wavelength. Accordingly, the third light and the fourth light can be split by the beam splitter (23), and the third light can be incident on the first detector (21) and the fourth light can be incident on the second detector (22).

한편 도 1의 광학계(예: 하프 미러(13), 미러(14), 스캐너(15), 빔 스플리터(23))는 간략한 예시로써 나타낸 것일 뿐, 본 발명은 이에 한정되지 않는다. 본 발명은 상기 기능을 실현시킬 수 있는 다양한 구성의 광학계를 포함할 수 있다. Meanwhile, the optical system of Fig. 1 (e.g., half mirror (13), mirror (14), scanner (15), beam splitter (23)) is only shown as a simple example, and the present invention is not limited thereto. The present invention may include optical systems of various configurations capable of realizing the above functions.

상술한 바와 같은 시스템(100)의 다양한 구성들의 동작에 의해, 본 발명에 따른 시스템(100)은 실시간으로 및 연속적으로, 혈관(B)의 위치와 모양 및 바늘(30)의 위치와 자세(예: 각도)를 검출할 수 있다. By the operation of various components of the system (100) as described above, the system (100) according to the present invention can detect the position and shape of the blood vessel (B) and the position and position (e.g., angle) of the needle (30) in real time and continuously.

일 예를 들면 제1 검출기(21) 및 제2 검출기(22)는 광을 수신하여 전기 신호로 변환한 뒤, 디지털 신호로 변환할 수 있다. 다만 이에 한정되지 않는다. 일 실시예에 따른 시스템(100)은, 상기 제1 검출기(21)에서 검출된 신호(예: 디지털 신호)와 제2 검출기(22)에서 검출된 신호(예: 디지털 신호)를 영상화하여, 하나의 화면에 표시해주는 표시 장치(미도시)(예: 디스플레이)를 더 포함할 수 있다. 표시 장치는 제어 회로를 포함할 수 있다. 다만 본 발명은 이에 한정되지 않는다. For example, the first detector (21) and the second detector (22) can receive light, convert it into an electrical signal, and then convert it into a digital signal. However, the present invention is not limited thereto. The system (100) according to one embodiment may further include a display device (not shown) (e.g., a display) that visualizes a signal (e.g., a digital signal) detected by the first detector (21) and a signal (e.g., a digital signal) detected by the second detector (22) and displays the image on a single screen. The display device may include a control circuit. However, the present invention is not limited thereto.

예를 들면 도 3은 본 발명의 일 실시예에 따른 바늘(30) 및 혈관(B)의 영상을 개략적으로 도시한다. 일 실시예에 따르면, 상기 표시 장치(미도시)는, 제1 검출기(21)에서 검출된 신호를 영상화하여 바늘의 영상(39)을 표시하고, 제2 검출기(22)에서 검출된 신호를 영상화하여 혈관의 영상(BI)를 표시할 수 있다. For example, FIG. 3 schematically illustrates an image of a needle (30) and a blood vessel (B) according to one embodiment of the present invention. According to one embodiment, the display device (not shown) can display an image (39) of a needle by visualizing a signal detected by a first detector (21), and can display an image (BI) of a blood vessel by visualizing a signal detected by a second detector (22).

광학계, 표시 장치, 및 제어 회로의 동작에 의해, 바늘 영상(39)과 혈관 영상(BI)이 한 화면에 실시간으로 표시될 수 있으며, 3차원적으로 표시될 수 있다. 상기 화면에 표시된 바늘 영상(39)과 혈관 영상(BI)은, 실제 바늘(30)과 실제 혈관(B)의 상대적 위치를 3차원적으로 및 실시간으로 나타낼 수 있다. 또한, 바늘 영상(39)은 바늘(30)의 자세(예: 각도)를 3차원적으로 나타내며, 혈관 영상(BI)은 혈관(B)의 모양을 3차원적으로 나타낼 수 있다. By the operation of the optical system, the display device, and the control circuit, the needle image (39) and the blood vessel image (BI) can be displayed on one screen in real time and three-dimensionally. The needle image (39) and the blood vessel image (BI) displayed on the screen can three-dimensionally and in real time represent the relative positions of the actual needle (30) and the actual blood vessel (B). In addition, the needle image (39) can three-dimensionally represent the position (e.g., angle) of the needle (30), and the blood vessel image (BI) can three-dimensionally represent the shape of the blood vessel (B).

도 4 및 도 5는 본 발명의 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템에서 바늘(30)의 삽입 위치, 삽입 각도, 삽입 깊이를 가이드해주는 방법을 설명하기 위한 도면이다. FIG. 4 and FIG. 5 are drawings for explaining a method for guiding the insertion position, insertion angle, and insertion depth of a needle (30) in a needle position and posture tracking system according to one embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 시스템(100)은, 혈관의 위치 및 형상을 생체의 피부(S) 상에 투영해주는 프로젝터(미도시)를 더 포함할 수 있다. 상기 프로젝터는, 예를 들면, 제2 검출기(22)와 연결(예: 전기적 연결 또는 통신 연결)될 수 있다. 프로젝터는, 제2 검출기(22)가 검출한 제4 광에 대한 신호를 영상화하여, 피부(S) 상의 해당 위치에 투영할 수 있다. Referring to FIG. 4, a system (100) according to one embodiment of the present invention may further include a projector (not shown) that projects the location and shape of blood vessels onto the skin (S) of a living body. The projector may be connected (e.g., electrically or via communication) to, for example, a second detector (22). The projector may visualize a signal for the fourth light detected by the second detector (22) and project it onto a corresponding location on the skin (S).

한편, 본 발명의 일 실시예에 따른 시스템(100)은 바늘의 삽입 위치, 삽입 각도, 및 삽입 깊이를 가이드하는 레이저광(41, 42, 43)을 방출하는 광방출기(예: 40)를 더 포함할 수 있다. 본 문서에서 바늘의 삽입 위치란, 타겟(예: 혈관(B)) 상의 지점이 아닌, 피부(S) 상에 표시되는 엔트리 포인트(entry-point)를 지칭한다. Meanwhile, a system (100) according to one embodiment of the present invention may further include a light emitter (e.g., 40) that emits laser light (41, 42, 43) that guides the insertion position, insertion angle, and insertion depth of the needle. In this document, the insertion position of the needle refers to an entry point displayed on the skin (S), not a point on a target (e.g., a blood vessel (B)).

일 실시예에 따르면, 상기 광방출기는, 제1 레이저광(41)으로 피부 상에 바늘의 삽입 위치를 표시할 수 있고, 제3 레이저광(43)으로 바늘의 삽입 깊이를 가이드할 수 있는 광방출기(40)를 포함할 수 있다. 상기 광방출기는, 제2 레이저광(42)으로 바늘의 삽입 각도를 가이드해주는 광방출기(미도시)를 더 포함할 수 있다. 따라서 예를 들면, 상기 광방출기는 적어도 두 개일 수 있다. 다만 이에 한정되지 않는다, 광방출기는 일부 병합되거나 일부 분리될 수 있음은 물론이다. According to one embodiment, the light emitter may include a light emitter (40) that can mark the insertion position of the needle on the skin with a first laser light (41) and guide the insertion depth of the needle with a third laser light (43). The light emitter may further include a light emitter (not shown) that guides the insertion angle of the needle with a second laser light (42). Therefore, for example, there may be at least two light emitters. However, the present invention is not limited thereto, and it goes without saying that the light emitters may be partially merged or partially separated.

일 실시예에 따르면, 광방출기(40)는 피부(S) 상에 바늘의 삽입 위치를 제1 점(51)으로 표시해주는 제1 레이저광(41)을 방출할 수 있다. According to one embodiment, the light emitter (40) can emit a first laser light (41) that indicates the insertion location of the needle on the skin (S) as a first point (51).

일 실시예에 따르면, 광방출기(미도시)는 바늘의 삽입 각도를 가이드해주는 제2 레이저광(42)을 방출할 수 있다. 예를 들면, 제2 레이저광(42)의 각도에 상응하도록 바늘(30) 각도를 조정한 채, 바늘(30)을 피부(S)에 인입할 수 있다. 예를 들면, 바늘(30)의 길이방향을 따라 상기 제2 레이저광(42)이 보이도록(즉, 비치도록) 바늘(30)의 삽입 각도를 조정할 수 있다. 제2 레이저광(42)은 상기 제1 점(51)을 가리킬 수 있다. 즉 제1 레이저광(41)과 제2 레이저광(42)은 하나의 제1 점(51)에서 모일 수 있다. According to one embodiment, the light emitter (not shown) can emit a second laser light (42) that guides the insertion angle of the needle. For example, the needle (30) can be inserted into the skin (S) while adjusting the angle of the needle (30) to correspond to the angle of the second laser light (42). For example, the insertion angle of the needle (30) can be adjusted so that the second laser light (42) is visible (i.e., shines) along the longitudinal direction of the needle (30). The second laser light (42) can point to the first point (51). That is, the first laser light (41) and the second laser light (42) can converge at one first point (51).

일 실시예에 따르면, 광방출기(예: 40)는 제2 레이저광(42)의 경로 상의 제2 점(52)을 통과하는 제3 레이저광(43)을 방출할 수 있다. 제2 점(52)은, 제2 레이저광(42)과 제3 레이저광(43)이 교차하는 점일 수 있다. 제2 점(52)은, 바늘(30)의 삽입 깊이를 가이드할 수 있다. 제2 점(52)이 바늘의 삽입 깊이를 가이드하는 방법은 도 5를 통해 상세히 후술된다. According to one embodiment, the light emitter (e.g., 40) can emit a third laser light (43) that passes through a second point (52) on the path of the second laser light (42). The second point (52) can be a point where the second laser light (42) and the third laser light (43) intersect. The second point (52) can guide the insertion depth of the needle (30). The method by which the second point (52) guides the insertion depth of the needle is described in detail below with reference to FIG. 5.

한편, 상기 제1, 2, 3 레이저광(41, 42, 43)을 가이더로 이용하여 바늘(30)을 삽입하는 와중에도, 전술한 광원(11, 12), 검출기(21, 22), 및 그 외의 광학계(예; 13, 14, 15, 23)를 통해 측정된 혈관의 3차원 영상(예: BI)과 바늘(30)의 3차원 영상(예: 39)은, 별도의 표시 장치를 통해 실시간으로 표시될 수 있다. Meanwhile, even while inserting the needle (30) using the first, second, and third laser beams (41, 42, 43) as guides, the three-dimensional image (e.g., BI) of the blood vessel measured through the aforementioned light source (11, 12), detector (21, 22), and other optical systems (e.g., 13, 14, 15, 23) and the three-dimensional image (e.g., 39) of the needle (30) can be displayed in real time through a separate display device.

또한, 상기 제1, 2, 3 레이저광(41, 42, 43)을 가이더로 이용하여 바늘(30)을 삽입하는 와중에도, 전술한 제2 검출기(22)를 통해 혈관(B)이 영상화되어, 피부(S) 상에 계속 투영(project)될 수 있다. 상기 투영(projection)은, 혈관(B)의 위치 및 형상을 나타낼 수 있다. In addition, even while inserting the needle (30) using the first, second, and third laser beams (41, 42, 43) as a guide, the blood vessel (B) can be imaged through the second detector (22) described above and continuously projected onto the skin (S). The projection can indicate the location and shape of the blood vessel (B).

한편 도 5를 참조하면, 바늘(30) 상에, 제2 레이저광(42)과 제3 레이저광(43)이 만나는 제2 점(52)이 표시될 수 있다. 사용자(예: 의사 또는 간호사)는, 바늘(30)의 외벽(31) 상의 소정의 표시(예: 눈금)(35)가 상기 제2 점(52)과 겹쳐질 때까지 바늘을 삽입할 수 있다. 이를 통해 제2 점(52)이 바늘의 삽입 깊이를 가이드할 수 있는 것이다. 즉, 지정된 깊이까지 바늘(30)을 삽입하게 되면, 바늘(30) 상의 특정 표시(예: 특정 눈금)(35)가 제2 점(52)과 겹쳐질 수 있다. Meanwhile, referring to FIG. 5, a second point (52) where a second laser light (42) and a third laser light (43) meet can be displayed on the needle (30). A user (e.g., a doctor or nurse) can insert the needle until a predetermined mark (e.g., a graduation) (35) on the outer wall (31) of the needle (30) overlaps with the second point (52). In this way, the second point (52) can guide the insertion depth of the needle. That is, when the needle (30) is inserted to a designated depth, a specific mark (e.g., a specific graduation) (35) on the needle (30) can overlap with the second point (52).

한편 일 실시예에 따르면, 같은 혈관에 삽입하더라도, 바늘(30)의 종류에 따라 삽입 깊이나, 바늘(30)에 표시된 눈금이 다를 수 있다. 따라서 일 실시예에 따르면, 시스템(100)은, 바늘(30)에 표시된 별도의 식별정보를 인식할 수 있는 판독기(미도시)를 더 포함할 수 있다. 판독기(미도시)는, 바늘(30)의 식별정보(예: 바코드 또는 QR 코드)를 인식하여, 시스템(100)의 적어도 일부가 공유하는 프로세서(미도시)로 송신할 수 있다. 프로세서(미도시)는, 수신된 식별정보에 따라 바늘(30)의 종류나 바늘(30) 상의 특정 표시(예: 특정 눈금)의 위치를 식별할 수 있다. 프로세서(미도시)는, 식별정보에 따라 바늘의 종류나 바늘 상의 특정 표시(예: 특정 눈금)의 위치를 고려하여, 제1 점(51) 및 제2 점(52)를 표시하도록 광방출기(예: 40)를 제어할 수 있다. Meanwhile, according to one embodiment, even if inserted into the same blood vessel, the insertion depth or the markings marked on the needle (30) may be different depending on the type of needle (30). Therefore, according to one embodiment, the system (100) may further include a reader (not shown) capable of recognizing separate identification information marked on the needle (30). The reader (not shown) may recognize the identification information (e.g., barcode or QR code) of the needle (30) and transmit it to a processor (not shown) shared by at least a portion of the system (100). The processor (not shown) may identify the type of needle (30) or the position of a specific mark (e.g., a specific marking) on the needle (30) according to the received identification information. The processor (not shown) may control the light emitter (e.g., 40) to display the first point (51) and the second point (52) by considering the type of needle or the position of a specific mark (e.g., a specific marking) on the needle according to the identification information.

도 6은 본 발명의 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(200)을 개략적으로 도시한다. FIG. 6 schematically illustrates a needle position and posture tracking system (200) according to another embodiment of the present invention.

도 6을 참조하면, 본 발명의 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(200)은, 도 1에 도시된 시스템(100)에 비하여, 초음파 탐지기(61) 및 광 추적기(62)를 더 포함할 수 있다. Referring to FIG. 6, a needle position and posture tracking system (200) according to another embodiment of the present invention may further include an ultrasonic detector (61) and an optical tracker (62) compared to the system (100) illustrated in FIG. 1.

광 추적기(optical tracker)(62)는, 초음파 탐지기(probe)(61) 및 제1, 2 검출기(21, 22)와 연결(예: 전기적 연결 또는 통신 연결)될 수 있다. 광 추적기(62)는, 초음파 탐지기(61)로부터 수신된 신호에 따라 초음파 영상을 표시하도록 제어할 수 있다. 광 추적기(62)는, 제1, 2 검출기(21, 22)로부터 수신된 디지털 신호에 따라, 타겟(예: 혈관)의 3차원적 형상 및 바늘(30)의 3차원적 위치 및 자세를 탐지할 수 있다. An optical tracker (62) can be connected (e.g., electrically or via communication) to an ultrasonic probe (61) and the first and second detectors (21, 22). The optical tracker (62) can be controlled to display an ultrasonic image based on a signal received from the ultrasonic probe (61). The optical tracker (62) can detect a three-dimensional shape of a target (e.g., a blood vessel) and a three-dimensional position and posture of a needle (30) based on digital signals received from the first and second detectors (21, 22).

광 추적기(62) 및 별도의 표시 장치(미도시)에 연결된 프로세서(미도시)는, 상기 초음파 영상에 바늘(30)의 실제 위치를 대응시켜 표시하도록 표시 장치를 제어할 수 있다. 예를 들면, 표시 장치는 프로세서의 제어에 따라, 초음파 영상에 바늘(30)의 3차원적 영상이 중첩된 영상(63)을 표시할 수 있다. A processor (not shown) connected to an optical tracker (62) and a separate display device (not shown) can control the display device to display the actual position of the needle (30) in correspondence with the ultrasound image. For example, the display device can display an image (63) in which a three-dimensional image of the needle (30) is superimposed on the ultrasound image, under the control of the processor.

도 7은 본 발명의 또 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(300)을 개략적으로 도시한다. FIG. 7 schematically illustrates a needle position and posture tracking system (300) according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(300)에서는, 도 1에 도시된 시스템(100)에서 바늘(30)이 OCT(optical coherence tomography) 탐지기(probe)(72)로 구현될 수 있다. 또한 본 발명의 다른 일 실시예에 따른 바늘의 위치 및 자세 추적 시스템(300)은, 도 1에 도시된 시스템(100)에 비하여, OCT 영상장치(71)를 더 포함할 수 있다. Referring to FIG. 7, in a needle position and posture tracking system (300) according to another embodiment of the present invention, the needle (30) in the system (100) illustrated in FIG. 1 may be implemented as an optical coherence tomography (OCT) detector (probe) (72). In addition, the needle position and posture tracking system (300) according to another embodiment of the present invention may further include an OCT imaging device (71) compared to the system (100) illustrated in FIG. 1.

OCT 영상은, 광간섭 단층영상으로, 예를 들면 생체 조직의 단층영상 또는 횡단면을 나타낼 수 있다. OCT images are optical coherence tomography images and can represent, for example, cross-sectional images or cross-sections of biological tissue.

일 실시예에 따르면, 시스템(300)은, 바늘(30)로써 OCT 탐지기(72)를 사용할 수 있다. OCT 탐지기(72)는 예를 들면 바늘(30)과 마찬가지로 발광물질(33)을 포함할 수 있다. 따라서 광원(11, 12)과 검출기(21, 22)를 포함하는 광학계(예: 13, 14, 15, 23)는, 바늘(30)과 마찬가지로 OCT 탐지기(72)의 실시간 위치 및 자세를 검출할 수 있다. According to one embodiment, the system (300) can use an OCT detector (72) as a needle (30). The OCT detector (72) can include, for example, a luminescent material (33) like the needle (30). Accordingly, an optical system (e.g., 13, 14, 15, 23) including a light source (11, 12) and a detector (21, 22) can detect the real-time position and orientation of the OCT detector (72) like the needle (30).

OCT 탐지기(72), OCT 영상장치(71), 및 제1 검출기(21)에 연결(예: 전기적 연결 또는 통신 연결)된 프로세서(미도시)는, OCT 영상에 OCT 탐지기(72)의 실제 위치를 대응시켜 표시하도록 OCT 영상장치(71)를 제어할 수 있다. 예를 들면, OCT 영상장치(71)는 프로세서의 제어에 따라, OCT 영상에 OCT 탐지기(72)의 영상이 중첩된 영상을 표시할 수 있다. A processor (not shown) connected (e.g., electrically or communicationally) to the OCT detector (72), the OCT imaging device (71), and the first detector (21) can control the OCT imaging device (71) to display the actual position of the OCT detector (72) in correspondence with the OCT image. For example, the OCT imaging device (71) can display an image in which the image of the OCT detector (72) is superimposed on the OCT image according to the control of the processor.

본 발명은 도면에 도시된 일 실시예를 참고로 하여 설명하였으나, 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to one embodiment illustrated in the drawings, this is merely exemplary, and those skilled in the art will appreciate that various modifications and variations of the embodiments are possible. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the appended claims.

Claims (8)

제1 파장을 포함하는 제1 광을 생체에 조사하는 제1 광원;
제2 파장을 포함하는 제2 광을 상기 생체에 조사하는 제2 광원;
상기 제1 광을 흡수하여 제3 파장을 포함하는 제3 광을 방출하는 발광물질을 포함하며, 상기 생체에 삽입되는 바늘;
상기 제3 광을 검출하는 제1 검출기;
상기 생체로부터 반사되며 상기 제2 파장을 중심으로 특정 스펙트럼을 갖는 제4 광을 검출하는 제2 검출기;를 포함하고,
상기 바늘은 중공과 상기 중공을 둘러싸는 외벽을 포함하며,
상기 발광물질은 상기 외벽을 따라 배치되는,
바늘의 위치 및 자세 추적 시스템.
A first light source that irradiates a living body with a first light containing a first wavelength;
A second light source that irradiates the living body with a second light containing a second wavelength;
A needle inserted into the living body, comprising a luminescent material that absorbs the first light and emits a third light having a third wavelength;
A first detector for detecting the third light;
A second detector that detects fourth light reflected from the living body and having a specific spectrum centered on the second wavelength;
The above needle includes a hollow body and an outer wall surrounding the hollow body,
The above luminescent material is arranged along the outer wall,
Needle position and posture tracking system.
제1항에 있어서,
상기 제1 검출기에서 검출된 신호와 상기 제2 검출기에서 검출된 신호를 영상화하여 하나의 화면에 표시해주는 표시 장치;를 더 포함하는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
A display device that further includes a display device that visualizes the signal detected by the first detector and the signal detected by the second detector and displays them on one screen;
Needle position and posture tracking system.
제1항에 있어서,
상기 제1 광과 상기 제2 광을 상기 생체의 소정의 면적에 조사하도록, 상기 제1 광과 상기 제2 광의 경로를 소정의 각도 범위 내에서 변화시키는 스캐너;를 더 포함하는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
A scanner further comprising: a scanner that changes the path of the first light and the second light within a predetermined angular range so as to irradiate the first light and the second light to a predetermined area of the living body;
Needle position and posture tracking system.
제1항에 있어서,
상기 제1 광의 경로와 상기 제2 광의 경로의 적어도 일부는 겹치며,
상기 제1 광의 경로와 상기 제2 광의 경로는 하프 미러에 의해 합쳐지는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
At least a portion of the path of the first light and the path of the second light overlap,
The first light path and the second light path are combined by a half mirror.
Needle position and posture tracking system.
제1 항에 있어서,
상기 바늘의 삽입 각도 및 삽입 깊이를 가이드하는 레이저광을 방출하는 광방출기;를 더 포함하는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
Further comprising a light emitter that emits laser light to guide the insertion angle and insertion depth of the needle;
Needle position and posture tracking system.
제5항에 있어서,
상기 광방출기는, 적어도 두 개이며,
상기 바늘의 삽입 각도 및 삽입 깊이를 가이드하기 위해, 상기 적어도 두 개의 광방출기에서 총 세 개의 레이저 광이 방출되는,
바늘의 위치 및 자세 추적 시스템.
In paragraph 5,
The above light emitters are at least two,
In order to guide the insertion angle and insertion depth of the needle, a total of three laser lights are emitted from at least two light emitters.
Needle position and posture tracking system.
제1항에 있어서,
초음파 탐지기;
상기 초음파 탐지기에 연결된 광 추적기; 및
상기 광 추적기, 표시 장치, 및 상기 제1 검출기에 연결된 프로세서;를 더 포함하고,
상기 프로세서는, 상기 초음파 탐지기와 상기 광 추적기를 통해 획득된 초음파 영상에 바늘의 영상을 중첩시켜 표시하는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
Ultrasonic detector;
an optical tracker connected to the ultrasonic detector; and
further comprising a processor connected to the optical tracker, the display device, and the first detector;
The above processor displays an image of a needle by superimposing it on an ultrasound image obtained through the ultrasound detector and the optical tracker.
Needle position and posture tracking system.
제1항에 있어서,
상기 바늘은 OCT (optical coherence tomography) 탐지기를 포함하고,
상기 시스템은,
상기 OCT 탐지기에 연결된 OCT 영상장치; 및
상기 OCT 탐지기, 상기 OCT 영상장치, 상기 제1 검출기에 연결된 프로세서;를 더 포함하고,
상기 프로세서는, 상기 OCT 탐지기를 통해 획득된 OCT 영상에, 상기 제1 검출기를 통해 획득된 상기 OCT 탐지기의 영상을 중첩시켜 표시하도록 상기 OCT 영상장치를 제어하는,
바늘의 위치 및 자세 추적 시스템.
In the first paragraph,
The needle includes an optical coherence tomography (OCT) detector,
The above system,
An OCT imaging device connected to the OCT detector; and
Further comprising a processor connected to the OCT detector, the OCT imaging device, and the first detector;
The processor controls the OCT imaging device to display an image of the OCT detector acquired through the first detector by overlaying the image acquired through the OCT detector.
Needle position and posture tracking system.
KR1020200089171A 2020-07-17 2020-07-17 System for tracking position and posture of needle Active KR102852808B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200089171A KR102852808B1 (en) 2020-07-17 2020-07-17 System for tracking position and posture of needle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200089171A KR102852808B1 (en) 2020-07-17 2020-07-17 System for tracking position and posture of needle

Publications (2)

Publication Number Publication Date
KR20220010367A KR20220010367A (en) 2022-01-25
KR102852808B1 true KR102852808B1 (en) 2025-08-29

Family

ID=80049256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200089171A Active KR102852808B1 (en) 2020-07-17 2020-07-17 System for tracking position and posture of needle

Country Status (1)

Country Link
KR (1) KR102852808B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024060296A (en) * 2022-10-19 2024-05-02 富士フイルム株式会社 ULTRASONIC DIAGNOSTIC APPARATUS AND METHOD FOR CONTROLLING ULTRASONIC DIAGNOSTIC APPARATUS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006130201A (en) 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd Blood vessel and injection needle position presentation device, and blood vessel and injection needle position presentation method
JP2008540017A (en) * 2005-05-18 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
JP2013009949A (en) * 2011-06-28 2013-01-17 Christie Digital Systems Usa Inc Method and apparatus for detection of catheter location for intravenous access
JP2014501143A (en) * 2010-12-23 2014-01-20 バード・アクセス・システムズ,インコーポレーテッド System and method for guiding medical devices
JP2015126885A (en) 2014-12-26 2015-07-09 国立大学法人高知大学 Medical instrument emitting near infrared fluorescence and medical instrument position confirmation system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938807B1 (en) * 2011-02-15 2019-04-10 가톨릭대학교 산학협력단 Position guiding apparatus for needle for ultrasonic operation
JP6309282B2 (en) 2014-01-22 2018-04-11 キヤノンメディカルシステムズ株式会社 Medical diagnostic imaging equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006130201A (en) 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd Blood vessel and injection needle position presentation device, and blood vessel and injection needle position presentation method
JP2008540017A (en) * 2005-05-18 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
JP2014501143A (en) * 2010-12-23 2014-01-20 バード・アクセス・システムズ,インコーポレーテッド System and method for guiding medical devices
JP2013009949A (en) * 2011-06-28 2013-01-17 Christie Digital Systems Usa Inc Method and apparatus for detection of catheter location for intravenous access
JP2015126885A (en) 2014-12-26 2015-07-09 国立大学法人高知大学 Medical instrument emitting near infrared fluorescence and medical instrument position confirmation system

Also Published As

Publication number Publication date
KR20220010367A (en) 2022-01-25

Similar Documents

Publication Publication Date Title
US12178520B2 (en) Model registration system and method
US10932689B2 (en) Model registration system and method
US12166953B2 (en) Optical imaging system and methods thereof
US20220395159A1 (en) Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
KR101572487B1 (en) System and Method For Non-Invasive Patient-Image Registration
US6873867B2 (en) Referencing or registering a patient or a patient body part in a medical navigation system by means of irradiation of light points
RU2556518C2 (en) System for detecting global displacement in patient during visualisation procedures
EP3076892B1 (en) A medical optical tracking system
US6694164B2 (en) Method and system to improve projected images during image guided surgery
EP3232975B1 (en) Ureter detection using waveband-selective imaging
RU2464931C2 (en) Device for determining position of first object inside second object
US9782078B2 (en) Device, system and method for blood vessel imaging and marking
CN101410070B (en) Image guided surgery system
US20150117601A1 (en) X-ray source with module and detector for optical radiation
US20090076380A1 (en) Compact feature location and display system
US20080285724A1 (en) X-ray diagnostic imaging system with a plurality of coded markers
US20220409290A1 (en) Method and system for reproducing an insertion point for a medical instrument
US20080146915A1 (en) Systems and methods for visualizing a cannula trajectory
JP2001245880A (en) Method of judging position of medical instrument
JP2013508039A (en) Imaging system using markers
CN104755136A (en) Patient monitor
US20090234370A1 (en) Method and marking out apparatus for marking out a guide line for a penetration instrument, control device and recording system
US20200015781A1 (en) Systems providing images guiding surgery
KR101923927B1 (en) Image registration system and method using subject-specific tracker
KR102852808B1 (en) System for tracking position and posture of needle

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000