[go: up one dir, main page]

KR102272909B1 - Sugical navigation system - Google Patents

Sugical navigation system Download PDF

Info

Publication number
KR102272909B1
KR102272909B1 KR1020190152583A KR20190152583A KR102272909B1 KR 102272909 B1 KR102272909 B1 KR 102272909B1 KR 1020190152583 A KR1020190152583 A KR 1020190152583A KR 20190152583 A KR20190152583 A KR 20190152583A KR 102272909 B1 KR102272909 B1 KR 102272909B1
Authority
KR
South Korea
Prior art keywords
surgical
surgical site
wearable
orthosis
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190152583A
Other languages
Korean (ko)
Other versions
KR20210063913A (en
Inventor
김준영
최창혁
류홍종
주일원
박수완
Original Assignee
(주)리얼디멘션
대구가톨릭대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼디멘션, 대구가톨릭대학교산학협력단 filed Critical (주)리얼디멘션
Priority to KR1020190152583A priority Critical patent/KR102272909B1/en
Publication of KR20210063913A publication Critical patent/KR20210063913A/en
Application granted granted Critical
Publication of KR102272909B1 publication Critical patent/KR102272909B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 수술부위 일측의 신체부위에 착용된 제1착용 보조기와; 수술부위의 타측의 신체부위에 착용된 제2착용 보조기와; 상기 제1착용 보조기에 서로 이격되어 설치되며, EM 좌표계의 기준인 EM 송신기 및 AR 좌표계의 기준인 AR 마커와; 상기 제2착용 보조기에 설치된 보조기용 EM 수신기를 포함하고, 연산처리장치를 통해, 상기 보조기용 EM 수신기로부터 전송된 EM 수신 데이터를 기초로 상기 수술부위의 위치 정보가 산출되고, 카메라를 통한 촬영 영상 내의 상기 AR 마커를 참조하여 상기 수술부위에 중첩되어 AR 디스플레이 장치에 표시되는 수술용 AR 컨텐츠 영상이 생성되도록 구성된 수술 내비게이션 시스템을 제공한다.The present invention, a first wearing orthosis worn on a body part on one side of the surgical site; a second wearable orthosis worn on the body part on the other side of the surgical site; an EM transmitter as a reference of the EM coordinate system and an AR marker as a reference in the AR coordinate system, which are installed to be spaced apart from each other in the first wearable orthosis; and an EM receiver for an orthosis installed in the second wearable orthosis, and through an arithmetic processing unit, the location information of the surgical site is calculated based on the received EM data transmitted from the EM receiver for the orthosis, and the image captured by the camera Provided is a surgical navigation system configured to generate an AR content image for surgery that is superimposed on the surgical site and displayed on an AR display device with reference to the AR marker inside.

Description

수술 내비게이션 시스템{Sugical navigation system}Surgical navigation system

본 발명은 수술 내비게이션 시스템에 관한 것이다.The present invention relates to a surgical navigation system.

수술의 정확도를 향상시키기 위해, 영상을 활용한 수술 내비게이션 시스템이 제안된바 있다.In order to improve the accuracy of surgery, a surgical navigation system using an image has been proposed.

종래의 수술 내비게이션 시스템에서는, 환부 위치 및 환자와 수술도구 간의 상호 위치를 파악하기 위해, 환자 뼈에 기둥을 고정하고 기둥에 위치 추적용 마커를 설치하며 수술도구에도 위치 추적용 마커를 설치하게 된다. 그리고, 마커를 추적하기 위한 카메라와, 카메라에 의해 촬영된 영상을 기초로 수술을 가이드하기 위한 컴퓨터 및 모니터가 구비된다.In the conventional surgical navigation system, in order to determine the location of the affected area and the mutual location between the patient and the surgical tool, a post is fixed to the patient's bone, a marker for location tracking is installed on the post, and a marker for location tracking is also installed on the surgical tool. And, a camera for tracking the marker, and a computer and monitor for guiding surgery based on the image taken by the camera are provided.

이처럼, 종래의 시스템은, 환부 위치 파악을 위한 마커 설치를 위해 환자의 정상 신체부위가 불가피하게 손상되는 문제가 발생한다. 그리고, 마커와 카메라 서로 간에 가림이 발생하게 되면 위치 추적이 이루어지지 않아, 시스템 구성요소들의 설치에 상당한 제약이 존재한다. 또한, 대체적으로 특정 영상각에서 위치 및 각도값의 정보 정도만이 모니터 화면으로 제공되는 정도에 불과하여, 수술 내비게이션으로 사용하기에 상당히 부족하다.As such, in the conventional system, there is a problem that the normal body part of the patient is inevitably damaged in order to install a marker for locating the affected part. In addition, when occlusion between the marker and the camera occurs, location tracking is not performed, and there is a significant limitation in the installation of system components. In addition, in general, only the degree of information about the position and angle value at a specific image angle is only provided to the monitor screen, which is quite insufficient to be used as a surgical navigation.

본 발명은 신체 손상이 실질적으로 없고 정밀하며 신뢰성 있는 수술 내비게이션 정보를 제공하는 방안을 제공하는 것에 과제가 있다.An object of the present invention is to provide a method for providing precise and reliable surgical navigation information that is substantially free from bodily damage.

본 발명은, 수술부위 일측의 신체부위에 착용된 제1착용 보조기와; 수술부위의 타측의 신체부위에 착용된 제2착용 보조기와; 상기 제1착용 보조기에 서로 이격되어 설치되며, EM 좌표계의 기준인 EM 송신기 및 AR 좌표계의 기준인 AR 마커와; 상기 제2착용 보조기에 설치된 보조기용 EM 수신기를 포함하고, 연산처리장치를 통해, 상기 보조기용 EM 수신기로부터 전송된 EM 수신 데이터를 기초로 상기 수술부위의 위치 정보가 산출되고, 카메라를 통한 촬영 영상 내의 상기 AR 마커를 참조하여 상기 수술부위에 중첩되어 AR 디스플레이 장치에 표시되는 수술용 AR 컨텐츠 영상이 생성되도록 구성된 수술 내비게이션 시스템을 제공한다.The present invention, a first wearing orthosis worn on a body part on one side of the surgical site; a second wearable orthosis worn on the body part on the other side of the surgical site; an EM transmitter as a reference of the EM coordinate system and an AR marker as a reference in the AR coordinate system, which are installed to be spaced apart from each other in the first wearable orthosis; and an EM receiver for an orthosis installed in the second wearable orthosis, and through an arithmetic processing unit, the location information of the surgical site is calculated based on the received EM data transmitted from the EM receiver for the orthosis, and the image captured by the camera Provided is a surgical navigation system configured to generate an AR content image for surgery that is superimposed on the surgical site and displayed on an AR display device with reference to the AR marker inside.

수술도구에 설치된 수술도구용 EM 수신기를 더 포함하고, 연산처리장치를 통해, 상기 수술도구용 EM 수신기로부터 전송된 EM 수신 데이터를 기초로 상기 수술도구의 위치 정보가 산출되도록 구성될 수 있다.It may be configured to further include an EM receiver for a surgical tool installed in the surgical tool, and to calculate the position information of the surgical tool based on the received EM data transmitted from the EM receiver for the surgical tool through an arithmetic processing unit.

상기 제2착용 보조기는, 상기 수술부위의 타측에 위치하는 관절을 기준으로 분리된 제1,2착용부와, 상기 제1,2착용부를 서로 연결하는 링크부를 포함하고, 상기 보조기용 EM 수신기는, 상기 제1,2착용부 각각에 설치된 제1,2보조기용 EM 수신기를 포함할 수 있다.The second wearable orthosis includes first and second wearable parts separated based on a joint located on the other side of the surgical site, and a link part for connecting the first and second wearable parts to each other, the EM receiver for the orthosis , may include an EM receiver for the first and second assistive devices installed in each of the first and second wearing units.

상기 AR 디스플레이 장치는, 술자가 착용하는 수술용 고글로 구성되고, 상기 AR 디스플레이 장치에, 상기 수술부위를 촬영하는 상기 카메라가 설치될 수 있다.The AR display device may include surgical goggles worn by an operator, and the camera for photographing the surgical site may be installed in the AR display device.

상기 수술용 AR 컨텐츠 영상에는, 수술전 검사 영상을 기초로 생성된 상기 수술부위의 내부 조직 영상이 포함되고, 수술도구 가이드 정보를 포함한 수술 관련 정보가 표시될 수 있다.The AR content image for surgery may include an image of an internal tissue of the surgical site generated based on a pre-operative examination image, and may display surgery-related information including surgical tool guide information.

상기 연산처리장치를 통해, 상기 AR 좌표계 및 EM 좌표계의 정합을 기반으로 술자의 시선에 따른 상기 수술용 AR 컨텐츠 영상을 생성하도록 구성될 수 있다.The operation processing device may be configured to generate the AR content image for surgery according to the operator's gaze based on the matching of the AR coordinate system and the EM coordinate system.

본 발명에 따르면, 수술 내비게이션의 위치 정보를 제공하기 위한 관련 구성들인 AR 마커와 EM 송신기와 EM 수신기는 환자에 직접 장착되지 않고 환자에 착용되는 보조기에 장착되도록 구성될 수 있다. 이에 따라, 종래와 같이 불필요한 신체 손상을 발생되지 않게 된다.According to the present invention, the AR marker, the EM transmitter, and the EM receiver, which are related components for providing location information of the surgical navigation, may be configured to be mounted on an orthosis worn on the patient, not directly on the patient. Accordingly, unnecessary damage to the body does not occur as in the prior art.

그리고, 본 발명에 따르면, 정밀한 위치 측정이 가능한 EM 송수신기를 사용하고 이를 AR 마커와 좌표 정합하게 되므로, 정밀하고 신뢰성 있는 수술 내비게이션 정보를 제공할 수 있다.And, according to the present invention, since the EM transceiver capable of precise position measurement is used and coordinates are matched with the AR marker, precise and reliable surgical navigation information can be provided.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 개략적으로 도시한 도면.
도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 제2착용 보조기를 측면 방향에서 바라본 모습을 개략적으로 도시한 도면.
도 3은 본 발명의 실시예에 따른 연산처리장치의 구성을 개략적으로 도시한 도면.1 is a diagram schematically illustrating a surgical navigation system according to an embodiment of the present invention;
2 is a view schematically showing a second wearable device of the surgical navigation system according to an embodiment of the present invention as viewed from the side.
3 is a diagram schematically showing the configuration of an arithmetic processing apparatus according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 개략적으로 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 제2착용 보조기를 측면 방향에서 바라본 모습을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a surgical navigation system according to an embodiment of the present invention, and FIG. 2 is a schematic view of a second wearing aid of the surgical navigation system according to an embodiment of the present invention viewed from the side. It is a drawing.

도 1을 참조하면, 본 발명의 실시예에 따른 수술 내비게이션 시스템은, AR 디스플레이 장치(100)와, AR 마커(110)와, EM(electromagnetic) 송신기(transmitter)(120)와, 다수의 EM 수신기(receiver)(131,132,133)와, 연산처리장치(140)와, 제1,2착용 보조기(210,220)를 포함할 수 있다.Referring to FIG. 1 , the surgical navigation system according to an embodiment of the present invention includes an AR display device 100 , an AR marker 110 , an electromagnetic (EM) transmitter 120 , and a plurality of EM receivers. (receivers) 131 , 132 , 133 , an arithmetic processing unit 140 , and first and second wearing aids 210 and 220 may be included.

한편, 본 실시예에서는, 설명의 편의를 위해, 수술 내비게이션이 적용되는 환자의 수술부위가 상완의 상부인 경우를 예로 든다.Meanwhile, in this embodiment, for convenience of explanation, a case where the surgical site of the patient to which the surgical navigation is applied is the upper part of the upper arm is taken as an example.

AR 디스플레이 장치(100)는 수술용 AR 컨텐츠 영상을 화면에 표시하는 표시장치이다. 이에 대해 예를 들면, 수술용 고글, 스마트기기 등이 AR 디스플레이 장치(100)로서 사용될 수 있다.The AR display device 100 is a display device that displays an AR content image for surgery on a screen. In this regard, for example, surgical goggles, smart devices, etc. may be used as the AR display device 100 .

한편, 본 실시예에서는, 설명의 편의를 위해, 술자가 착용하는 수술용 고글이 사용되는 경우를 예로 든다.Meanwhile, in this embodiment, for convenience of explanation, a case in which surgical goggles worn by the operator is used is taken as an example.

AR 디스플레이 장치(100)에는 전방의 수술부위(또는 수술영역)를 촬영하는 카메라가 장착될 수 있다.The AR display device 100 may be equipped with a camera for photographing a front surgical site (or surgical area).

AR 디스플레이 장치(100)에 표시되는 수술용 AR 컨텐츠 영상은, 수술을 시각적으로 가이드(또는 내비게이션) 하기 위해 수술부위에 중첩되어 표시되는 영상으로서, 예를 들면 CT, MRI 등의 수술전 검사 영상을 기초로 하여 생성된 수술부위 내부 조직 영상을 포함할 수 있고, 또한 수술 도구의 위치 및 각도 정보 등의 수술 도구 가이드 정보 를 포함한 다양한 수술 관련 정보가 포함되어 표시될 수 있다.The AR content image for surgery displayed on the AR display device 100 is an image displayed overlaid on the surgical site to visually guide (or navigate) the operation, for example, a preoperative examination image such as CT or MRI. It may include an image of the internal tissue of the surgical site generated based on it, and may also include and display various surgical-related information including surgical tool guide information such as position and angle information of the surgical tool.

한편, AR 디스플레이 장치(100)에 표시되는 AR 컨텐츠 영상은 별도의 수술 참고용 모니터에도 표시될 수 있는데, 이에 대해 카메라를 통해 촬영된 수술부위가 포함된 촬영 영상에 AR 컨텐츠 영상이 수술부위에 중첩되어 모니터에 표시될 수 있다.On the other hand, the AR content image displayed on the AR display device 100 may also be displayed on a separate monitor for reference for surgery. In contrast, the AR content image is superimposed on the surgical site on the captured image including the surgical site photographed through the camera. can be displayed on the monitor.

AR 마커(110)는, AR 디스플레이 장치(100)에 수술용 AR 컨텐츠 영상을 표시하기 위한 참조 표식에 해당된다. 이와 같은 AR 마커(110)를 기준으로 즉 원점으로, 수술용 AR 컨텐츠 영상의 좌표 정보의 기반인 AR 좌표계가 설정될 수 있다.The AR marker 110 corresponds to a reference mark for displaying an AR content image for surgery on the AR display device 100 . Based on the AR marker 110 , that is, as the origin, the AR coordinate system that is the basis of the coordinate information of the AR content image for surgery may be set.

이에 관해, AR 디스플레이 장치(100)의 카메라를 통해 촬영된 촬영 영상 내에 AR 마커(110)가 인식되면, AR 마커(110)를 참조하여 수술용 AR 컨텐츠 영상이 AR 디스플레이 장치(100)에 표시될 수 있다.In this regard, when the AR marker 110 is recognized in the captured image captured by the camera of the AR display device 100 , the AR content image for surgery will be displayed on the AR display device 100 with reference to the AR marker 110 . can

이와 같은 AR 마커(110)는, 수술부위 일측의 신체부위에 착용된 제1착용 보조기(210)에 설치될 수 있다.Such an AR marker 110 may be installed on the first wearing aid 210 worn on a body part on one side of the surgical site.

EM 송신기(120)는 전자기파를 발생시켜 전송하는 신호 송신장치에 해당된다. 이와 같은 EM 송신기(120)를 기준으로 즉 원점으로, 수술부위와 수술도구(300)의 위치 정보의 기반인 EM 좌표계가 설정될 수 있다.The EM transmitter 120 corresponds to a signal transmitter that generates and transmits electromagnetic waves. Based on the EM transmitter 120 , that is, as the origin, the EM coordinate system that is the basis of position information of the surgical site and the surgical tool 300 may be set.

이와 같은 EM 송신기(120)는 수술부위 일측의 제1착용 보조기(210)에 설치될 수 있다. 그리고, EM 송신기(120)는 AR 마커(110)와 일정 간격 이격된 근거리에 배치될 수 있다.Such an EM transmitter 120 may be installed in the first wearing aid 210 on one side of the surgical site. In addition, the EM transmitter 120 may be disposed in a short distance spaced apart from the AR marker 110 by a predetermined interval.

다수의 EM 수신기(131,132,133) 각각은, EM 송신기(120)에서 발생된 전자기파를 수신하는 신호 수신장치 즉 신호 수신 센서에 해당된다.Each of the plurality of EM receivers 131 , 132 , and 133 corresponds to a signal receiving device that receives electromagnetic waves generated by the EM transmitter 120 , that is, a signal receiving sensor.

여기서, 다수의 EM 수신기(131,132,133)는, 수술부위의 위치 정보(또는 위치 정보 및 자세 정보) 등을 파악하기 위해 수술부위 타측의 신체부위에 착용된 제2착용 보조기(220)에 설치된 적어도 하나의 보조기용 EM 수신기를 포함할 수 있다. Here, the plurality of EM receivers (131, 132, 133) is installed in the second wearable orthosis 220 worn on the other side of the surgical site in order to grasp the location information (or location information and posture information) of the surgical site, etc. It may include an EM receiver for assistive devices.

본 실시예에서는, 제2착용 보조기(220)에 2개의 보조기용 EM 수신기(131,132)로서 제1,2보조기용 EM 수신기(131,132)가 설치된 경우를 예로 든다.In this embodiment, the case in which the EM receivers 131 and 132 for the first and second assistive devices are installed as the two EM receivers 131 and 132 for the assistive device in the second wearing assistive device 220 is exemplified.

더욱이, 다수의 EM 수신기(131,132,133)는, 수술도구(300)의 위치 정보(또는 위치 정보 및 기울기 정보) 등을 파악하기 위해 수술도구(300)에 설치된 수술도구용 EM 수신기(133)를 포함할 수 있다.Moreover, the plurality of EM receivers 131 , 132 , 133 may include an EM receiver 133 for a surgical tool installed in the surgical tool 300 to determine location information (or location information and tilt information) of the surgical tool 300 . have.

이처럼, EM 송신기(120)와 EM 수신기(131,132,133)를 이용함에 따라, 수술부위와 수술도구(300)에 대한 정밀한 위치 정보가 획득될 수 있다. As such, by using the EM transmitter 120 and the EM receivers 131 , 132 , and 133 , precise location information about the surgical site and the surgical tool 300 can be obtained.

제1,2착용 보조기(210,220)는, 수술용 AR 컨테츠 영상을 수술부위에 정밀하게 표시하기 위해 기초가 되는 좌표 정보들인 AR 좌표 정보와 EM 좌표 정보를 생성하기 위한 구성들에 해당되는 AR 마커(110)와 EM 송신기(120)와 보조기용 EM 수신기(131,132)가 고정 설치되는 구조물로서, 이와 같은 착용 보조기(210,220)를 활용함에 따라 수술 내비게이션을 구현하는 좌표 정보 관련 구성들을 신체에 직접 장착하지 않아도 되는 장점이 있다.The first and second wearable aids 210 and 220 include AR markers corresponding to components for generating AR coordinate information and EM coordinate information, which are coordinate information that is a basis for precisely displaying an AR content image for surgery on a surgical site. 110), the EM transmitter 120, and the EM receivers 131 and 132 for the orthosis are fixedly installed, and by using the wearing aids 210 and 220, the coordinate information-related components that implement surgical navigation are not directly mounted on the body. has the advantage of being

좌표계를 정의하는 AR 마커(120)와 EM 송신기(120)가 설치된 제1착용 보조기(210)는, 예를 들면, 수술부위 보다 신체의 중심에 보다 가까운 신체부위로서 움직임이 최소화되는 부위에 착용될 수 있다. 본 실시예에 따르면, 제1착용 보조기(210)는 가슴 및 어깨를 따라 착용될 수 있다.The AR marker 120 defining the coordinate system and the EM transmitter 120 are installed, for example, the first wearable orthosis 210 is a body part closer to the center of the body than the surgical part, and is to be worn on a part where movement is minimized. can According to the present embodiment, the first wearable orthosis 210 may be worn along the chest and shoulders.

수술부위의 위치를 정밀하게 파악하기 위한 보조기용 EM 수신기(131,132)가 설치된 제2착용 보조기(220)는, 예를 들면, 수술부위 보다 신체의 중심에서 보다 먼 신체부위로서 수술부위 아래 부분인 상완의 하부와 하완에 착용될 수 있다.The second wearable orthosis 220, in which the EM receivers 131 and 132 for the orthosis are installed to precisely grasp the position of the surgical site, for example, is a body part farther from the center of the body than the surgical site, and the lower part of the surgical site is the upper arm. It can be worn on the lower part of the body and the lower arm.

제2착용 보조기(220)에 대해 도 2를 함께 참조하여 살펴보면, 제2착용 보조기(220)는 상완 및 하완 사이의 관절을 기준으로 하여 분리된 2개의 착용부인 제1착용부(221)와 제2착용부(222)를 포함할 수 있고, 제1,2착용부(221,222)를 연결하는 링크부(223)를 포함할 수 있다.Referring to FIG. 2 together with respect to the second wearable brace 220, the second wearable brace 220 includes the first wearable part 221 and the second wearable part, which are two separate wearable parts based on the joint between the upper and lower arms. It may include two wearable parts 222 , and may include a link part 223 connecting the first and second wearable parts 221 and 222 .

이에 대해, 제1착용부(221)는 상완 측에 위치하여 상완의 하부에 착용되고, 제2착용부(222)는 하완 측에 위치하여 하완에 착용될 수 있다. 그리고, 링크부(223)는, 관절 양측 외부에 각각 위치하여 제1,2착용부(221,222)를 서로 연결하도록 구성될 수 있다.In contrast, the first wearing part 221 may be positioned on the upper arm and worn under the upper arm, and the second wearing part 222 may be positioned on the lower arm and worn on the lower arm. In addition, the link unit 223 may be configured to be located on the outside of both sides of the joint to connect the first and second wearing units 221 and 222 to each other.

이와 같이 제2착용 보조기(220)는 수술부위 하부의 팔의 구조를 반영한 구조로 형성되므로, 제2착용 보조기(220)가 착용되더라도 팔의 움직임에 대한 자유도가 확보될 수 있어, 환자 편의성이 향상될 수 있다.As described above, since the second wearable brace 220 is formed in a structure that reflects the structure of the arm under the surgical site, freedom of movement of the arm can be secured even when the second wearable brace 220 is worn, improving patient convenience can be

한편, 제1착용부(221)에는 제1보조기용 EM 수신기(131)가 설치될 수 있고, 제2착용부(222)에는 제2보조기용 EM 수신기(132)가 설치될 수 있다.Meanwhile, the EM receiver 131 for the first assistive device may be installed in the first wearing unit 221 , and the EM receiver 132 for the second assistive device may be installed in the second wearing unit 222 .

이처럼, 제1,2착용부(221,222) 각각에 해당 제1,2보조기 EM 수신기(131,132)가 개별적으로 장착되므로, 수술부위의 위치 정보와 함께 팔의 상하 접힘이나 좌우 뒤틀림에 따른 수술부위의 자세 정보 또한 획득될 수 있다.In this way, since the first and second orthosis EM receivers 131 and 132 are individually mounted to each of the first and second wearing parts 221 and 222, the position of the surgical site due to vertical folding or left and right twisting of the arm together with the location information of the surgical site Information may also be obtained.

한편, 본 실시예에서는, 제1,2착용 보조기(210,220)의 형태 및 위치 등의 설계 요소, 그리고 이에 설치되는 AR 마커(110)와 EM 송신기(120)와 보조기용 EM 수신기(131,132)의 위치는, 사전에 결정될 수 있다.On the other hand, in the present embodiment, design elements such as the shape and position of the first and second wearing aids 210 and 220, and the AR marker 110, the EM transmitter 120, and the EM receivers 131 and 132 for the assistive device installed therein. may be determined in advance.

이와 관련하여, 수술부위에 대한 검사영상을 기초로 수술계획이 수립되고, 이를 기초로 하여 제1,2착용 보조기(210,220)의 설계 요소와 AR 마커(110)와 EM 송신기(120)와 보조기용 EM 수신기(131,132)의 위치가 설정될 수 있다.In this regard, a surgical plan is established based on the examination image of the surgical site, and based on this, the design elements of the first and second wearing braces 210 and 220, the AR marker 110, the EM transmitter 120, and the orthosis The positions of the EM receivers 131 and 132 may be set.

이와 같이, AR 좌표계의 기준인 AR 마커(110)와 EM 좌표계의 기준인 EM 송신기(120)의 위치가 사전에 정의되므로, AR 좌표계와 EM 좌표계가 정합될 수 있게 된다. As described above, since the positions of the AR marker 110 that is the reference of the AR coordinate system and the EM transmitter 120 that is the reference of the EM coordinate system are defined in advance, the AR coordinate system and the EM coordinate system can be matched.

이와 같은 AR/EM 좌표계 정합을 기반으로, 술자의 시선 또는 위치(카메라의 시선 또는 위치)에 부합하는 수술용 AR 컨텐츠 영상이 수술부위에 정밀하게 중첩하여 표시할 수 있게 되므로, 정밀하고 신뢰성 있는 수술 내비게이션이 술자에게 제공될 수 있다.Based on such AR/EM coordinate system matching, AR content images for surgery that match the operator's gaze or location (camera's gaze or location) can be displayed overlaid precisely on the surgical site, allowing for precise and reliable surgery. Navigation may be provided to the operator.

연산처리장치(140)는, AR 디스플레이 장치(100)와 EM 송신기(120)와 다수의 EM 수신기(131,132,133)의 동작을 전반적으로 제어하고 또한, 수술 내비게이션 애플리케이션을 실행하여 수술용 AR 컨텐츠 영상을 생성하고 AR 디스플레이 장치(110)에 제공할 수 있다.The arithmetic processing unit 140 controls the overall operation of the AR display device 100, the EM transmitter 120, and the plurality of EM receivers 131, 132, 133, and also executes a surgical navigation application to generate an AR content image for surgery. and may be provided to the AR display device 110 .

이와 같은 연산처리장치(140)에 대해 도 3을 참조하여 살펴보면, 연산처리장치(140)는 제어부(141)와 통신부(142)와 저장부(143)와 애플리케이션 실행부(144)를 포함할 수 있다.Referring to FIG. 3 for such an arithmetic processing device 140 , the arithmetic processing device 140 may include a control unit 141 , a communication unit 142 , a storage unit 143 , and an application execution unit 144 . have.

제어부(141)는, 연산처리장치(140)에 포함된 구성요소들의 동작을 제어하는 구성에 해당된다.The control unit 141 corresponds to a configuration that controls operations of components included in the arithmetic processing unit 140 .

통신부(142)는, 수술 내비게이션 시스템의 다른 구성들과 유선 및/또는 무선 통신을 수행할 수 있는데, 이에 대해 AR 디스플레이 장치(100)와 EM 송신기(120)와 다수의 EM 수신기(131,132,133)와 통신을 수행하여 신호를 송수신할 수 있다.The communication unit 142 may perform wired and/or wireless communication with other components of the surgical navigation system, and for this, the AR display device 100 and the EM transmitter 120 and a plurality of EM receivers 131 , 132 and 133 communicate with each other. can be performed to transmit and receive a signal.

이와 관련하여, AR 디스플레이 장치(110)로부터 이의 카메라를 통해 촬영된 AR 마커(110)와 수술부위가 포함된 촬영 영상 데이터를 전송받을 수 있고, 다수의 EM 수신기(131,132,133) 각각으로부터 해당 EM 수신 데이터를 전송받을 수 있다.In this regard, image data including the AR marker 110 and the surgical site photographed through the camera of the AR display device 110 may be transmitted from the AR display device 110 , and the corresponding EM received data from each of the plurality of EM receivers 131 , 132 , and 133 . can be transmitted.

저장부(143)에는, 수술 내비게이션 애플리케이션과 수술 내비게이션 관련 데이터가 저장될 수 있다. 여기서, 수술 내비게이션 관련 데이터는, AR 마커(110)의 설치 위치 정보와 EM 송신기(110)의 설치 위치 정보 등이 포함될 수 있다.The storage unit 143 may store a surgical navigation application and surgical navigation-related data. Here, the surgical navigation-related data may include installation location information of the AR marker 110 and installation location information of the EM transmitter 110 .

애플리케이션 실행부(144)는, 수술 내비게이션 애플리케이션을 실행하는 것으로서 소프트웨어 및/또는 하드웨어로 구성될 수 있다.The application execution unit 144 executes a surgical navigation application and may be configured as software and/or hardware.

애플리케이션 실행부(144)에 의해 실행된 수술 내비게이션 애플리케이션의 연산처리를 통해, 수술용 AR 컨텐츠 영상이 생성될 수 있다.Through the operation processing of the surgical navigation application executed by the application execution unit 144, an AR content image for surgery may be generated.

이와 관련하여 예를 들면, 제1,2보조기용 EM 수신기(131,132)로부터 전송된 EM 수신 데이터를 기초로 수술부위의 위치 정보를 산출하고, 수술도구용 EM 수신기(133)로부터 전송된 EM 수신 데이터를 기초로 수술도구의 위치 정보를 산출할 수 있다. 그리고, AR 디스플레이 장치(110)로부터 전송된 촬영 영상 내의 AR 마커(110)를 참조하여 수술부위에 대한 수술용 AR 컨텐츠 영상을 생성할 수 있으며, 이 AR 컨텐츠 영상은 AR 디스플레이 장치(110)에서 수술부위에 중첩되어 표시될 수 있다. 이때, AR 좌표계와 EM 좌표계는 사전에 정합되어 있는바, 애플리케이션 실행부(144)에서 AR/EM 좌표계 정합을 이용하여 수술부위의 위치에 정밀하게 부합하는 수술용 AR 컨텐츠 영상이 생성됨으로써 수술부위에 올바르게 중첩되어 표시될 수 있다.In this regard, for example, the position information of the surgical site is calculated based on the EM received data transmitted from the EM receivers 131 and 132 for the first and second assistive devices, and the EM received data transmitted from the EM receiver 133 for the surgical tool is calculated. Based on the position information of the surgical tool can be calculated. Then, by referring to the AR marker 110 in the captured image transmitted from the AR display device 110 , an AR content image for surgery for the surgical site may be generated, and the AR content image is performed on the AR display device 110 by the AR display device 110 . It may be displayed superimposed on the region. At this time, since the AR coordinate system and the EM coordinate system are matched in advance, the AR/EM coordinate system matching is used in the application execution unit 144 to generate an AR content image for surgery that precisely matches the position of the surgical site, thereby providing the surgical site. It can be displayed correctly nested.

전술한 바와 같이 본 발명의 실시예에 따르면, 수술 내비게이션의 위치 정보를 제공하기 위한 관련 구성들인 AR 마커와 EM 송신기와 EM 수신기는 환자에 직접 장착되지 않고 환자에 착용되는 보조기에 장착되도록 구성될 수 있다. 이에 따라, 종래와 같이 불필요한 신체 손상을 발생되지 않게 된다.As described above, according to the embodiment of the present invention, the AR marker, the EM transmitter, and the EM receiver, which are related components for providing location information of the surgical navigation, are not directly mounted on the patient, but can be configured to be mounted on an orthosis worn on the patient. have. Accordingly, unnecessary damage to the body does not occur as in the prior art.

그리고, AR 마커만을 사용하는 경우에 각도 위치의 오차율이 빈번하여 수술 내비게이션에 적합하지 않게 되는데, 본 실시예에 따르면 정밀한 위치 측정이 가능한 EM 송수신기를 사용하고 이를 AR 마커와 좌표 정합하게 되므로, 정밀하고 신뢰성 있는 수술 내비게이션 정보를 제공할 수 있다.And, when only AR markers are used, the error rate of the angular position is frequent, making it unsuitable for surgical navigation. According to this embodiment, an EM transceiver capable of precise position measurement is used and coordinates are matched with the AR marker, so it is precise and It can provide reliable surgical navigation information.

전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.The above-described embodiment of the present invention is an example of the present invention, and free modifications are possible within the scope included in the spirit of the present invention. Accordingly, the present invention includes modifications of the present invention provided they come within the scope of the appended claims and their equivalents.

100: AR 디스플레이 장치 110: AR 마커
120: EM 송신기 131,132,133: EM 수신기
140: 연산처리장치 210,220: 제1,2착용 보조기
300: 수술 도구100: AR display device 110: AR marker
120: EM transmitter 131,132,133: EM receiver
140: arithmetic processing unit 210, 220: first and second wear assistive device
300: surgical tool

Claims (6)

수술부위 일측의 신체부위에 착용된 제1착용 보조기와;
수술부위의 타측의 신체부위에 착용된 제2착용 보조기와;
상기 제1착용 보조기에 서로 이격되어 설치되며, EM 좌표계의 기준인 EM 송신기 및 AR 좌표계의 기준인 AR 마커와;
상기 제2착용 보조기에 설치되고, 상기 EM 송신기에서 발생된 전자기파를 수신하는 보조기용 EM 수신기
를 포함하고,
연산처리장치를 통해, 상기 보조기용 EM 수신기로부터 전송된 EM 수신 데이터를 기초로 상기 수술부위의 위치 정보가 산출되고, 카메라를 통한 촬영 영상 내의 상기 AR 마커를 참조하여 상기 수술부위에 중첩되어 AR 디스플레이 장치에 표시되는 수술용 AR 컨텐츠 영상이 생성되도록 구성된
수술 내비게이션 시스템.
a first wearable orthosis worn on one side of the surgical site;
a second wearable orthosis worn on the body part on the other side of the surgical site;
an EM transmitter, which is a reference of the EM coordinate system, and an AR marker, which is a reference of the AR coordinate system, which are installed to be spaced apart from each other in the first wearing aid;
The EM receiver for the assistive device is installed on the second wearable aid and receives the electromagnetic wave generated by the EM transmitter.
including,
Through the arithmetic processing device, the position information of the surgical site is calculated based on the EM received data transmitted from the EM receiver for the orthosis, and the AR marker is superimposed on the surgical site by referring to the AR marker in the image captured by the camera to display AR configured to create an image of AR content for surgery displayed on the device.
Surgical navigation system.
 제 1 항에 있어서,
수술도구에 설치된 수술도구용 EM 수신기
를 더 포함하고,
연산처리장치를 통해, 상기 수술도구용 EM 수신기로부터 전송된 EM 수신 데이터를 기초로 상기 수술도구의 위치 정보가 산출되도록 구성된
수술 내비게이션 시스템.
The method of claim 1,
EM receiver for surgical instruments installed in surgical instruments
further comprising,
configured to calculate the position information of the surgical tool based on the received EM data transmitted from the EM receiver for the surgical tool through the arithmetic processing device
Surgical navigation system.
 제 1 항에 있어서,
상기 제2착용 보조기는, 상기 수술부위의 타측에 위치하는 관절을 기준으로 분리된 제1,2착용부와, 상기 제1,2착용부를 서로 연결하는 링크부를 포함하고,
상기 보조기용 EM 수신기는, 상기 제1,2착용부 각각에 설치된 제1,2보조기용 EM 수신기를 포함하는
수술 내비게이션 시스템.
The method of claim 1,
The second wearable orthosis includes first and second wearable parts separated based on a joint positioned on the other side of the surgical site, and a link part for connecting the first and second wearable parts to each other,
The EM receiver for the assistive device includes EM receivers for the first and second assistive devices installed in each of the first and second wearing units.
Surgical navigation system.
 제 1 항에 있어서,
상기 AR 디스플레이 장치는, 술자가 착용하는 수술용 고글로 구성되고,
상기 AR 디스플레이 장치에, 상기 수술부위를 촬영하는 상기 카메라가 설치된
수술 내비게이션 시스템.
The method of claim 1,
The AR display device is composed of surgical goggles worn by the operator,
In the AR display device, the camera for photographing the surgical site is installed
Surgical navigation system.
 제 1 항에 있어서,
상기 수술용 AR 컨텐츠 영상에는, 수술전 검사 영상을 기초로 생성된 상기 수술부위의 내부 조직 영상이 포함되고, 수술도구 가이드 정보를 포함한 수술 관련 정보가 표시되는
수술 내비게이션 시스템.
The method of claim 1,
The AR content image for surgery includes an image of the internal tissue of the surgical site generated based on the pre-operative examination image, and surgery-related information including surgical tool guide information is displayed.
Surgical navigation system.
 제 1 항에 있어서,
상기 연산처리장치를 통해, 상기 AR 좌표계 및 EM 좌표계의 정합을 기반으로 술자의 시선에 따른 상기 수술용 AR 컨텐츠 영상을 생성하도록 구성된
수술 내비게이션 시스템.The method of claim 1,
configured to generate the AR contents image for surgery according to the operator's gaze based on the matching of the AR coordinate system and the EM coordinate system through the operation processing device
Surgical navigation system.
KR1020190152583A 2019-11-25 2019-11-25 Sugical navigation system Active KR102272909B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152583A KR102272909B1 (en) 2019-11-25 2019-11-25 Sugical navigation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152583A KR102272909B1 (en) 2019-11-25 2019-11-25 Sugical navigation system

Publications (2)

Publication Number Publication Date
KR20210063913A KR20210063913A (en) 2021-06-02
KR102272909B1 true KR102272909B1 (en) 2021-07-05

Family

ID=76373031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152583A Active KR102272909B1 (en) 2019-11-25 2019-11-25 Sugical navigation system

Country Status (1)

Country Link
KR (1) KR102272909B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018185729A1 (en) * 2017-04-07 2018-10-11 Orthosoft Inc. Non-invasive system and method for tracking bones

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108778179A (en) * 2016-02-26 2018-11-09 思想外科有限公司 Method and system for instructing a user to position a robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018185729A1 (en) * 2017-04-07 2018-10-11 Orthosoft Inc. Non-invasive system and method for tracking bones

Also Published As

Publication number Publication date
KR20210063913A (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US11717351B2 (en) Navigation surgical system, registration method thereof and electronic device
US20160128783A1 (en) Surgical navigation system with one or more body borne components and method therefor
US20180116732A1 (en) Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
US11944508B1 (en) Augmented reality surgical assistance system
JP7662627B2 (en) ENT PROCEDURE VISUALIZATION SYSTEM AND METHOD
US20210052348A1 (en) An Augmented Reality Surgical Guidance System
CN103211655B (en) A kind of orthopaedics operation navigation system and air navigation aid
US6216029B1 (en) Free-hand aiming of a needle guide
KR102005751B1 (en) A tooth implant system comprising a patient-interaction device
US20140343395A1 (en) System and method for providing magnetic based navigation system in dental implant surgery
KR102274167B1 (en) Robot positioning guide apparautus, method therof and system comprising the same
US12262959B2 (en) Method for determining the spatial position of objects
US12279834B2 (en) Detection of unintentional movement of a reference marker and automatic re-registration
CN102727309A (en) Surgical navigation system combined with endoscope image and surgical navigation method
US12201379B2 (en) X-wing enhanced guidance system for distal targeting
JP2023502759A (en) Osteotomy calibration method, calibration tool, readable storage medium, and orthopedic surgical system
US20120310075A1 (en) Medical measurement system and method
CN118285917B (en) Surgical navigation system and method for improving navigation precision
JP6372784B2 (en) A system that provides the position of creating a screw insertion hole in surgery in real time
WO2019037605A1 (en) AR glasses and their tracking system
CN111407370A (en) A Navigation Device and CT Vision Navigation System for Precise Tumor Puncture
US11684426B2 (en) System and method for tracking bones
KR102272909B1 (en) Sugical navigation system
KR100925641B1 (en) Display system for internal image output
US12082896B2 (en) Surgical navigation system on wearable computer combining augmented reality and robotics

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5