[go: up one dir, main page]

KR102447480B1 - Low-resolution insertion hole image processing method - Google Patents

Low-resolution insertion hole image processing method Download PDF

Info

Publication number
KR102447480B1
KR102447480B1 KR1020200156505A KR20200156505A KR102447480B1 KR 102447480 B1 KR102447480 B1 KR 102447480B1 KR 1020200156505 A KR1020200156505 A KR 1020200156505A KR 20200156505 A KR20200156505 A KR 20200156505A KR 102447480 B1 KR102447480 B1 KR 102447480B1
Authority
KR
South Korea
Prior art keywords
insertion hole
resolution
information
low
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200156505A
Other languages
Korean (ko)
Other versions
KR20220070107A (en
Inventor
홍성선
조효준
이창준
장승연
최재혁
Original Assignee
주식회사 엔가든
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔가든 filed Critical 주식회사 엔가든
Priority to KR1020200156505A priority Critical patent/KR102447480B1/en
Publication of KR20220070107A publication Critical patent/KR20220070107A/en
Application granted granted Critical
Publication of KR102447480B1 publication Critical patent/KR102447480B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/16—Instruments for performing osteoclasis; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/16—Instruments for performing osteoclasis; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1717—Guides or aligning means for drills, mills, pins or wires for applying intramedullary nails or pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T12/00—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Urology & Nephrology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Printers Or Recording Devices Using Electromagnetic And Radiation Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습하고, 저해상도로 검출되는 삽입홀과, 동일한 장면에서, 고해상도로 검출되는 삽입홀이 매칭되도록 학습하여 학습 모델을 생성하고, 학습 모델에 기초하여, 영상 정보로부터 검출되는 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출하며, 잠금 나사에 삽입홀 정보를 적용하여 가상 정보를 생성하여 출력하는, 저해상도 삽입홀 영상 처리 방법을 제공한다.For the insertion hole provided for inserting the locking screw, the shape of the insertion hole detected from image information is learned, and the insertion hole detected at low resolution and the insertion hole detected at high resolution in the same scene are matched to match the learning model. Low-resolution insertion hole image processing method for generating and outputting virtual information by generating, based on the learning model, extracting insertion hole information matching the shape of the insertion hole detected from the image information, and applying the insertion hole information to the lock screw provides

Description

저해상도 삽입홀 영상 처리 방법{LOW-RESOLUTION INSERTION HOLE IMAGE PROCESSING METHOD}Low-resolution insertion hole image processing method {LOW-RESOLUTION INSERTION HOLE IMAGE PROCESSING METHOD}

본 발명은 저해상도 삽입홀 영상 처리 방법에 관한 것으로, 보다 상세하게는, 저해상도로 촬영된 삽입홀의 영상을 처리하는 저해상도 삽입홀 영상 처리 방법에 관한 것이다.The present invention relates to a low-resolution insertion hole image processing method, and more particularly, to a low-resolution insertion hole image processing method for processing an insertion hole image taken at a low resolution.

골수정을 이용하는 정형 외과 수술은 환자의 골에 위치된 골수정에 잠금 나사를 삽입하여 환자의 골을 고정하는 방식으로 진행된다.Orthopedic surgery using a bone marrow nail is performed by inserting a locking screw into the bone marrow nail positioned in the patient's bone to fix the patient's bone.

종래에는 C-arm 영상을 다수 촬영하여 의료진의 경험과 판단에 따라 골수정의 삽입홀과 잠금 나사가 고정된 드릴을 정렬하여 잠금 나사를 삽입홀에 삽입하게 된다.Conventionally, multiple C-arm images are taken, and the lock screw is inserted into the insertion hole by aligning the insertion hole of the bone marrow nail and the drill to which the lock screw is fixed according to the experience and judgment of the medical staff.

그러나, 이와 같은 경우에, C-arm 영상을 다수 촬영하는 과정에서 수술에 참여한 의료진이 방사능에 피폭되는 위험성이 존재하며, 더욱이, 환자의 환부에 잠금 나사를 잘못 삽입하는 경우에 잠금 나사가 삽입되는 골이 부서지거나, 골의 잠금 나사가 삽입되는 영역이 넓어져 잠금 나사가 고정되지 않는 문제가 발생하기도 한다.However, in this case, there is a risk that the medical staff participating in the surgery will be exposed to radiation in the process of taking a large number of C-arm images. The bone is broken or the area where the locking screw of the bone is inserted is widened, so that the locking screw is not fixed.

이에 따라, 의료진의 방사능 피폭 가능성을 줄이며, 잠금 나사를 보다 정확히 삽입할 수 있는 방안이 요구되는 실정이다.Accordingly, there is a need for a method to reduce the possibility of radiation exposure of medical personnel and to insert the locking screw more accurately.

본 발명이 해결하고자 하는 기술적 과제는 골수정의 삽입홀이 촬영된 방사선 영상으로부터 삽입홀을 검출하고, 저해상도의 영상에서 검출된 삽입홀을 고해상도 영상으로 처리하는 저해상도 삽입홀 영상 처리 방법을 제공하는 것이다.The technical problem to be solved by the present invention is to provide a low-resolution insertion hole image processing method for detecting an insertion hole from a radiographic image of a bone marrow nail insertion hole and processing the insertion hole detected from a low-resolution image into a high-resolution image. .

본 발명의 일측면은, 저해상도 삽입홀 영상 처리 장치에서의 저해상도 삽입홀 영상 처리 방법에 있어서, 촬영부가 방사선을 투과하여 영상 정보를 생성하는 단계; 학습부가 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 상기 영상 정보로부터 검출되는 상기 삽입홀의 형상을 학습하고, 사전에 설정되는 해상도 미만인 저해상도로 생성된 영상 정보로부터 검출되는 삽입홀과, 상기 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상인 고해상도로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습하여 학습 모델을 생성하는 단계; 사전 설정부가 상기 학습 모델에 기초하여, 상기 영상 정보로부터 상기 삽입홀의 형상을 검출하고, 상기 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출하는 단계; 사전 설정부가 저해상도로 생성된 영상 정보로부터 검출된 삽입홀에 상기 고해상도의 삽입홀을 적용하여 고해상도 정보를 생성하는 단계; 및 고해상도 정보 출력부가 상기 고해상도 정보를 출력하는 단계;를 포함할 수 있다.According to an aspect of the present invention, there is provided a method for processing a low-resolution insertion hole image in a low-resolution insertion hole image processing apparatus, the method comprising: generating image information by a photographing unit through radiation; An insertion hole detected from image information generated at a low resolution that is less than a preset resolution by learning the shape of the insertion hole detected from the image information, and the image information generating a learning model by learning to match an insertion hole detected from image information captured to represent the same scene as , and generated with a high resolution equal to or higher than a preset resolution; detecting, by a presetting unit, the shape of the insertion hole from the image information based on the learning model, and extracting a high-resolution insertion hole matching the shape of the insertion hole; generating high-resolution information by applying the high-resolution insertion hole to the insertion hole detected from the image information generated at the low resolution by a preset unit; and outputting the high-resolution information by a high-resolution information output unit.

또한, 상기 학습 모델을 생성하는 단계는, 임의의 가상 환경에서 상기 삽입홀이 나타나도록 생성되는 복수개의 영상 정보를 수집할 수 있다.In addition, the generating of the learning model may include collecting a plurality of image information generated so that the insertion hole appears in an arbitrary virtual environment.

또한, 상기 학습 모델을 생성하는 단계는, 임의의 실제 환경에서 상기 삽입홀이 나타나도록 생성되는 복수개의 영상 정보를 더 수집할 수 있다.In addition, the generating of the learning model may further collect a plurality of image information generated so that the insertion hole appears in an arbitrary real environment.

또한, 상기 학습 모델을 생성하는 단계는, 상기 복수개의 영상 정보에 대해 설정되는 상기 삽입홀의 형상을 학습할 수 있다.In addition, the generating of the learning model may include learning the shape of the insertion hole set for the plurality of image information.

또한, 상기 학습 모델을 생성하는 단계는, 상기 영상 정보에 대해 설정되는 상기 삽입홀의 픽셀 수와, 상기 학습 모델에 기초하여 상기 영상 정보로부터 검출되는 상기 삽입홀의 픽셀 수를 비교하여 정확도를 산출할 수 있다.In addition, the generating of the learning model may include comparing the number of pixels of the insertion hole set for the image information with the number of pixels of the insertion hole detected from the image information based on the learning model to calculate accuracy. have.

또한, 상기 학습 모델을 생성하는 단계는, 상기 정확도가 사전에 설정되는 목표 값 이상이 되도록 상기 학습 모델을 생성할 수 있다.In addition, the generating of the learning model may include generating the learning model so that the accuracy is equal to or greater than a preset target value.

또한, 상기 학습 모델은, 상기 학습부가, 상기 잠금 나사가 상기 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 상기 삽입홀의 형상에 매칭되는 상기 삽입홀 정보를 학습하여 생성될 수 있다.In addition, the learning model may be generated by learning, by the learning unit, the insertion hole information matching the shape of the insertion hole with respect to the insertion hole information provided to indicate a condition in which the lock screw is inserted into the insertion hole. have.

또한, 사전 설정부가 상기 학습 모델에 기초하여, 상기 고해상도 정보로부터 상기 삽입홀의 형상을 검출하고, 상기 삽입홀의 형상에 매칭되는 상기 삽입홀 정보를 추출하는 단계를 더 포함할 수 있다.The method may further include: a presetting unit detecting a shape of the insertion hole from the high-resolution information based on the learning model, and extracting the insertion hole information matching the shape of the insertion hole.

또한, 사전 설정부가 임의의 가상 환경에 마련되는 잠금 나사에 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계를 더 포함할 수 있다.The method may further include generating virtual information by the presetting unit applying the insertion hole information to a lock screw provided in an arbitrary virtual environment.

또한, 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계는, 상기 삽입홀 정보에 따른 삽입홀의 방향과 동일한 방향을 나타내도록 상기 잠금 나사의 방향을 설정할 수 있다.In addition, the generating virtual information by applying the insertion hole information may set the direction of the lock screw to indicate the same direction as the direction of the insertion hole according to the insertion hole information.

또한, 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계는, 상기 삽입홀 정보에 따른 삽입홀의 위치로부터, 상기 삽입홀의 방향에 따라 일정 거리 이격된 위치에 상기 잠금 나사의 위치를 설정할 수 있다.In addition, the generating of the virtual information by applying the insertion hole information may include setting the position of the lock screw at a position spaced apart by a predetermined distance according to the direction of the insertion hole from the position of the insertion hole according to the insertion hole information.

또한, 상기 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출하는 단계는, 상기 영상 정보로부터 검출된 복수개의 삽입홀의 형상과 상기 영상 정보가 생성되는 과정에서 설정된 초점의 위치에 따라 상기 삽입홀 정보를 산출할 수 있다.In addition, the step of extracting the insertion hole information matching the shape of the insertion hole, calculating the insertion hole information according to the shape of the plurality of insertion holes detected from the image information and the position of the focus set in the process of generating the image information can do.

상술한 본 발명의 일측면에 따르면, 저해상도 삽입홀 영상 처리 방법을 제공함으로써, 골수정의 삽입홀이 촬영된 방사선 영상으로부터 삽입홀을 검출하고, 저해상도의 영상에서 검출된 삽입홀을 고해상도 영상으로 처리할 수 있다.According to one aspect of the present invention described above, by providing a low-resolution insertion hole image processing method, the insertion hole is detected from the radiographic image of the bone marrow nail insertion hole taken, and the insertion hole detected from the low-resolution image is processed into a high-resolution image. can do.

도1은 본 발명의 일 실시예에 따른 저해상도 삽입홀 영상 처리 방법이 수행되는 잠금 나사 삽입 유도 시스템의 개략도이다.
도2는 도1의 잠금 나사 삽입 유도 시스템에 마련되는 저해상도 삽입홀 영상 처리 장치의 제어블록도이다.
도3은 도2의 사전 설정부에서 학습 모델에 기초하여 삽입홀 정보를 생성하는 과정을 나타낸 블록도이다.
도4 내지 도8은 도1의 저해상도 삽입홀 영상 처리 장치가 영상 정보로부터 삽입홀을 검출하는 일 실시예를 나타낸 개략도이다.
도9는 본 발명의 일 실시예에 따른 저해상도 삽입홀 영상 처리 방법의 순서도이다.1 is a schematic diagram of a lock screw insertion guidance system in which a low-resolution insertion hole image processing method is performed according to an embodiment of the present invention.
FIG. 2 is a control block diagram of a low-resolution insertion hole image processing apparatus provided in the lock screw insertion guidance system of FIG. 1 .
3 is a block diagram illustrating a process of generating insertion hole information based on a learning model in the preset unit of FIG. 2 .
4 to 8 are schematic diagrams illustrating an embodiment in which the low-resolution insertion hole image processing apparatus of FIG. 1 detects an insertion hole from image information.
9 is a flowchart of a low-resolution insertion hole image processing method according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0014] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0016] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도1은 본 발명의 일 실시예에 따른 저해상도 삽입홀 영상 처리 방법이 수행되는 잠금 나사 삽입 유도 시스템의 개략도이다.1 is a schematic diagram of a lock screw insertion guidance system in which a low-resolution insertion hole image processing method is performed according to an embodiment of the present invention.

잠금 나사 삽입 유도 시스템(1)은 골절 수술 등의 정형 외과 수술 과정에서 신체의 골을 고정하도록 마련되는 골수정을 촬영하여 골수정의 삽입홀을 검출할 수 있다.The locking screw insertion guidance system 1 may detect the insertion hole of the bone marrow nail by photographing the bone marrow nail provided to fix the bone of the body during orthopedic surgery such as fracture surgery.

이에 따라, 잠금 나사 삽입 유도 시스템(1)은 검출된 삽입홀의 형상에 따라 잠금 나사가 삽입홀에 삽입되도록 잠금 나사에 대한 삽입홀 정보를 생성할 수 있다.Accordingly, the lock screw insertion guidance system 1 may generate insertion hole information for the lock screw so that the lock screw is inserted into the insertion hole according to the detected shape of the insertion hole.

여기에서, 잠금 나사는 신체의 골에 삽입된 골수정과 신체의 골을 고정시키도록 마련될 수 있으며, 이를 위해, 잠금 나사는 골수정에 마련된 삽입홀에 삽입되도록 마련될 수 있다.Here, the locking screw may be provided to fix the bone marrow tablet inserted into the bone of the body and the bone of the body, and for this, the lock screw may be provided to be inserted into the insertion hole provided in the bone marrow tablet.

또한, 삽입홀 정보는 삽입홀의 사전에 설정되는 공간 내에서의 삽입홀의 위치, 삽입홀의 방향을 나타내도록 마련될 수 있으며, 이때, 사전에 설정되는 공간은 생성된 영상 정보 내의 공간을 의미할 수 있고, 또는, 삽입홀 정보는 영상 정보가 촬영되는 영역에 임의의 마커를 설정하여, 해당 마커의 위치를 기준으로 삽입홀의 위치, 삽입홀의 방향을 나타내도록 마련될 수 있다.In addition, the insertion hole information may be provided to indicate the position of the insertion hole and the direction of the insertion hole in a space set in advance of the insertion hole, in this case, the preset space may mean a space in the generated image information, , or, the insertion hole information may be provided to indicate the position of the insertion hole and the direction of the insertion hole based on the position of the marker by setting an arbitrary marker in the area where the image information is captured.

한편, 잠금 나사 삽입 유도 시스템(1)은 생성된 삽입홀 정보에 따라 잠금 나사가 골수정의 삽입홀에 삽입될 수 있도록 마련될 수 있다.On the other hand, the lock screw insertion guide system 1 may be provided so that the lock screw can be inserted into the insertion hole of the bone marrow nail according to the generated insertion hole information.

이때, 잠금 나사 삽입 유도 시스템(1)은 임의의 가상 환경에서 삽입홀 정보에 따라 잠금 나사가 제어되는 상황 또는 결과가 출력되도록 마련될 수 있다.In this case, the lock screw insertion guidance system 1 may be provided to output a situation or result in which the lock screw is controlled according to the insertion hole information in an arbitrary virtual environment.

여기에서, 잠금 나사가 제어되는 상황은 삽입홀 정보에 따른 삽입홀의 방향과 동일한 방향을 나타내도록 잠금 나사의 방향이 설정되고, 삽입홀 정보에 따른 삽입홀의 위치로부터, 삽입홀에 방향에 따라 일정 거리 이격된 위치에 잠금 나사의 위치가 설정되는 것을 의미할 수 있다.Here, in a situation in which the locking screw is controlled, the direction of the locking screw is set to indicate the same direction as the direction of the insertion hole according to the insertion hole information, and a predetermined distance from the position of the insertion hole according to the insertion hole information to the insertion hole according to the direction It may mean that the position of the locking screw is set at a spaced apart position.

이를 위해, 잠금 나사 삽입 유도 시스템(1)은 저해상도 삽입홀 영상 처리 장치(100) 및 저해상도 삽입홀 영상 처리 장치(200)를 포함할 수 있다.To this end, the lock screw insertion guidance system 1 may include the low-resolution insertion hole image processing apparatus 100 and the low-resolution insertion hole image processing apparatus 200 .

또한, 잠금 나사 삽입 유도 시스템(1)은 도 1에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 또는, 잠금 나사 삽입 유도 시스템(1)은 잠금 나사 삽입 유도 시스템(1)에 마련되는 적어도 두 개의 구성요소가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.In addition, the lock screw insertion guidance system 1 may be implemented by more components than the components shown in FIG. 1 , and may be implemented by fewer components. Alternatively, in the lock screw insertion guide system 1, at least two components provided in the lock screw insertion guide system 1 may be integrated into one component, so that one component may perform a complex function. Hereinafter, the above-described components will be described in detail.

저해상도 삽입홀 영상 처리 장치(100)는 방사선을 투과하여 영상 정보를 생성할 수 있다. 이때, 저해상도 삽입홀 영상 처리 장치(100)는 C-arm(10) 등의 공지된 기기를 이용하여 생성된 영상 정보를 입력 받을 수도 있다.The low-resolution insertion hole image processing apparatus 100 may generate image information by transmitting radiation. In this case, the low-resolution insertion hole image processing apparatus 100 may receive image information generated by using a known device such as the C-arm 10 .

이때, C-arm(10)은 약 20 Cm의 시야 범위에서 방사선 투시를 수행하는 기기일 수 있으며, 이에 따라, C-arm(10)을 이용하여 생성된 영상 정보는 방사선 투시 영상을 의미할 수 있다.In this case, the C-arm 10 may be a device that performs radiofluoroscopy in a field of view of about 20 Cm. Accordingly, image information generated using the C-arm 10 may mean a radioscopic image. have.

이에 따라, 영상 정보는 신체의 골에 삽입된 골수정이 나타나도록 촬영된 영상을 의미할 수 있으며, 이때, 영상 정보는 골수정의 삽입홀이 나타나도록 촬영된 영상을 의미할 수 있다.Accordingly, the image information may mean an image photographed to show the bone marrow nail inserted into the bone of the body, and in this case, the image information may mean an image photographed to show the insertion hole of the bone marrow nail.

저해상도 삽입홀 영상 처리 장치(100)는 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습할 수 있고, 저해상도 삽입홀 영상 처리 장치(100)는 잠금 나사가 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 삽입홀의 형상에 매칭되는 삽입홀 정보를 학습하여 학습 모델을 생성할 수 있다.The low-resolution insertion hole image processing apparatus 100 may learn a shape of an insertion hole detected from image information for an insertion hole provided for inserting a locking screw, and the low-resolution insertion hole image processing apparatus 100 has a locking screw inserted therein. With respect to the insertion hole information provided to indicate the condition to be inserted into the hole, the learning model may be generated by learning the insertion hole information matching the shape of the insertion hole.

여기에서, 학습 모델은 관리자에 의해 분류된 복수개의 정보에 따라 임의의 정보를 분류 가능 하도록 학습 모델을 생성하는 지도 학습(Supervised Learning)이 이용될 수 있으며, 예를 들어, 학습 모델은 CNN(Convolution Neural Network), R-CNN(Region-CNN), Fast R-CNN, Faster R-CNN 등의 기법이 이용되어 생성될 수 있다. 이때, R-CNN은 특정 개체를 검출하도록 마련되는 기법으로 이해할 수 있다.Here, as the learning model, supervised learning that generates a learning model to be able to classify arbitrary information according to a plurality of pieces of information classified by the manager may be used, for example, the learning model is CNN (Convolution). Neural Network), R-CNN (Region-CNN), Fast R-CNN, Faster R-CNN, and the like may be used to generate it. In this case, R-CNN can be understood as a technique prepared to detect a specific entity.

이를 위해, 저해상도 삽입홀 영상 처리 장치(100)는 영상 정보에 그레이 스케일(Gray Scale) 등의 기법을 적용하여 명암의 차이가 일정 수준을 초과하는 경계를 검출할 수 있으며, 이를 통해, 저해상도 삽입홀 영상 처리 장치(100)는 경계의 형상에 따라 삽입홀을 검출할 수 있다.To this end, the low-resolution insertion hole image processing apparatus 100 may detect a boundary where the difference in contrast exceeds a certain level by applying a technique such as gray scale to the image information, and through this, the low-resolution insertion hole The image processing apparatus 100 may detect the insertion hole according to the shape of the boundary.

이때, 저해상도 삽입홀 영상 처리 장치(100)는 임의의 가상 환경에서 삽입홀이 나타나도록 생성되는 복수개의 영상 정보와 임의의 실제 환경에서 삽입홀이 나타나도록 생성되는 복수개의 영상 정보를 수집할 수 있고, 저해상도 삽입홀 영상 처리 장치(100)는 수집된 복수개의 영상 정보에 대해 설정되는 삽입홀의 형상을 학습할 수 있다.At this time, the low-resolution insertion hole image processing apparatus 100 may collect a plurality of image information generated so that the insertion hole appears in an arbitrary virtual environment and a plurality of image information generated so that the insertion hole appears in an arbitrary real environment, and , The low-resolution insertion hole image processing apparatus 100 may learn a shape of an insertion hole set for a plurality of pieces of collected image information.

여기에서, 수집된 복수개의 영상 정보에 대해 삽입홀의 형상이 학습되는 것은 학습 모델이 생성되도록 관리자가 영상 정보에 따라 삽입홀의 형상을 입력하는 것으로 이해할 수 있다.Here, the learning of the shape of the insertion hole with respect to the collected plurality of image information may be understood as an administrator inputting the shape of the insertion hole according to the image information to generate a learning model.

또한, 임의의 가상 환경은 3D 가상 환경을 구축하도록 마련되는 소프트웨어 또는 기기 등을 이용하여 생성된 것으로 이해할 수 있으며, 예를 들어, 가상 환경은 유니티(Unity 3D) 등의 공지된 소프트웨어를 이용하여 생성된 것일 수 있다.In addition, it may be understood that an arbitrary virtual environment is generated using software or a device provided to build a 3D virtual environment, for example, the virtual environment is generated using well-known software such as Unity (Unity 3D). it may have been

이때, 임의의 가상 환경은 골절 수술 등의 정형 외과 수술이 수행되는 환경을 나타내도록 마련될 수 있으며, 이러한 경우에, 임의의 가상 환경은 신체의 골, 골수정, 삽입홀 및 잠금 나사 삽입 유도 시스템(1)이 나타나도록 마련될 수 있다.In this case, an arbitrary virtual environment may be provided to represent an environment in which orthopedic surgery such as fracture surgery is performed. (1) may be arranged to appear.

이를 통해, 임의의 가상 환경은 골수정이 이용되는 서로 다른 상황이 생성되도록 마련될 수 있으며, 이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 임의의 가상 환경에서 골수정의 삽입홀이 촬영된 서로 다른 상황의 영상 정보를 수집할 수 있다.Through this, an arbitrary virtual environment may be provided to create different situations in which the bone marrow is used, and accordingly, the low-resolution insertion hole image processing apparatus 100 is a virtual environment where the insertion hole of the bone marrow is taken in an arbitrary virtual environment. It is possible to collect video information in different situations.

또한, 임의의 실제 환경은 실제 골수정을 이용하여 수행되는 정형 외과 수술의 환경을 의미할 수 있으며, 이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 실제 골수정의 삽입홀이 촬영된 서로 다른 상황의 영상 정보를 수집할 수 있다.In addition, any actual environment may mean an environment of orthopedic surgery performed using an actual bone marrow nail, and accordingly, the low-resolution insertion hole image processing apparatus 100 is different from each other in which the actual bone marrow insertion hole is photographed. It is possible to collect video information of the situation.

한편, 저해상도 삽입홀 영상 처리 장치(100)는 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수와, 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수를 비교하여 정확도를 산출할 수 있고, 저해상도 삽입홀 영상 처리 장치(100)는 정확도가 사전에 설정되는 목표 값 이상이 되도록 학습 모델을 생성할 수 있다.On the other hand, the low-resolution insertion hole image processing apparatus 100 can calculate the accuracy by comparing the number of pixels of the insertion hole set for the image information by the administrator with the number of pixels of the insertion hole detected from the image information based on the learning model. In addition, the low-resolution insertion hole image processing apparatus 100 may generate a learning model such that the accuracy is greater than or equal to a preset target value.

이때, 정확도는 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수와, 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수의 비율을 의미할 수 있다.In this case, the accuracy may mean a ratio between the number of pixels of the insertion hole set for the image information by the administrator and the number of pixels of the insertion hole detected from the image information based on the learning model.

이와 관련하여, 저해상도 삽입홀 영상 처리 장치(100)는 사전에 설정되는 해상도 미만인 저해상도로 생성된 영상 정보로부터 검출되는 삽입홀과, 해당 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상인 고해상도로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습할 수 있다.In this regard, the low-resolution insertion hole image processing apparatus 100 is photographed to represent an insertion hole detected from image information generated at a low resolution that is less than a preset resolution and the same scene as the corresponding image information, and a preset resolution It is possible to learn to match the insertion hole detected from the image information generated with the above high resolution.

이는, 저해상도 삽입홀 영상 처리 장치(100)가 SR-GAN(Super Resolution-Generative Adversarial Networks) 기법을 이용하여 저해상도의 삽입홀 영상과 고해상도의 삽입홀 영상을 학습하는 것일 수 있다.This may be that the low-resolution insertion hole image processing apparatus 100 learns a low-resolution insertion hole image and a high-resolution insertion hole image by using a Super Resolution-Generative Adversarial Networks (SR-GAN) technique.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 정확도에 대해 사전에 설정되는 목표 값에 따라, 영상 정보에 대한 기준 해상도를 설정할 수 있다.Accordingly, the low-resolution insertion hole image processing apparatus 100 may set a reference resolution for image information according to a target value set in advance for accuracy.

이러한 경우에, 저해상도 삽입홀 영상 처리 장치(100)는 영상 정보로부터 나타나는 삽입홀의 영상이 기준 해상도보다 낮은 것으로 판단되는 경우에, 학습 모델에 기초하여, 기준 해상도보다 낮은 삽입홀의 영상을 기준 해상도보다 높거나 같은 해상도로 나타나는 삽입홀의 영상으로 대체할 수 있다.In this case, when it is determined that the image of the insertion hole appearing from the image information is lower than the reference resolution, the low-resolution insertion hole image processing apparatus 100 raises the image of the insertion hole lower than the reference resolution to higher than the reference resolution, based on the learning model. Or, it can be replaced with an image of the insertion hole that appears at the same resolution.

다시 말해서, 저해상도 삽입홀 영상 처리 장치(100)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출하고, 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출할 수 있다.In other words, the low-resolution insertion hole image processing apparatus 100 may detect the shape of the insertion hole from the image information based on the learning model and extract a high-resolution insertion hole matching the shape of the insertion hole.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 저해상도로 생성된 영상 정보로부터 검출된 삽입홀에 추출된 고해상도의 삽입홀을 적용하여 고해상도 정보를 생성할 수 있다.Accordingly, the low-resolution insertion hole image processing apparatus 100 may generate high-resolution information by applying the high-resolution insertion hole extracted to the insertion hole detected from the low-resolution generated image information.

여기에서, 고해상도 정보는 저해상도로 생성된 영상 정보 내의 삽입홀의 형상이 고해상도의 삽입홀의 형상으로 대체된 영상을 의미할 수 있다.Here, the high-resolution information may refer to an image in which the shape of the insertion hole in the low-resolution image information is replaced with the shape of the high-resolution insertion hole.

이를 위해, 저해상도 삽입홀 영상 처리 장치(100)는 Mask R-CNN 기법을 이용하여 임의의 영상 정보로부터 삽입홀의 영상을 추출할 수 있다.To this end, the low-resolution insertion hole image processing apparatus 100 may extract an image of the insertion hole from arbitrary image information by using the Mask R-CNN technique.

예를 들어, 저해상도 삽입홀 영상 처리 장치(100)는 삽입홀이 나타나는 영상 정보가 1024*1024 Pixel로 나타나는 경우에, 학습 모델에 기초하여 삽입홀의 영상을 4096*4096 Pixel로 나타나는 영상 정보에 마련된 삽입홀의 영상으로 대체할 수 있다.For example, the low-resolution insertion hole image processing apparatus 100 inserts the image of the insertion hole into the image information represented by 4096 * 4096 pixels based on the learning model when the image information in which the insertion hole appears is 1024 * 1024 Pixels. It can be replaced with an image of the hall.

한편, 삽입홀 정보는 사전에 설정되는 공간 내에서의 삽입홀의 위치와 삽입홀의 방향을 나타내도록 마련될 수 있다.Meanwhile, the insertion hole information may be provided to indicate the position of the insertion hole and the direction of the insertion hole in a space set in advance.

또한, 삽입홀 정보는 잠금 나사가 고정되도록 마련되는 프레임의 위치 또는 각도를 나타내도록 마련되는 정보일 수도 있으며, 이러한 경우에, 삽입홀 정보는 프레임이 임의의 위치에서 임의의 각도로 고정되도록 제어되는 이동 거리 또는 회전 각도를 나타낼 수 있다.In addition, the insertion hole information may be information provided to indicate the position or angle of a frame provided to be fixed with a locking screw, and in this case, the insertion hole information is controlled so that the frame is fixed at an arbitrary position at an arbitrary angle. It can represent a movement distance or an angle of rotation.

이와 관련하여, 프레임은 하나 이상의 이동 유닛과 하나 이상의 회전 유닛이 마련될 수 있으며, 이에 따라, 삽입홀 정보는 각각의 이동 유닛이 이동하는 거리와 각각의 회전 유닛이 회전하는 각도를 나타낼 수 있다. 또한, 삽입홀 정보는 하나 이상의 이동 유닛과 하나 이상의 회전 유닛이 제어되는 순서를 나타낼 수도 있다.In this regard, the frame may be provided with one or more moving units and one or more rotating units, and accordingly, the insertion hole information may indicate a distance at which each moving unit moves and an angle at which each rotating unit rotates. In addition, the insertion hole information may indicate an order in which one or more mobile units and one or more rotation units are controlled.

저해상도 삽입홀 영상 처리 장치(100)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출할 수 있고, 저해상도 삽입홀 영상 처리 장치(100)는 검출된 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출할 수 있으며, 저해상도 삽입홀 영상 처리 장치(100)는 임의의 가상 환경에 마련되는 잠금 나사에 삽입홀 정보를 적용하여 가상 정보를 생성할 수 있다.The low-resolution insertion hole image processing apparatus 100 may detect the shape of the insertion hole from image information based on the learning model, and the low-resolution insertion hole image processing apparatus 100 provides insertion hole information matching the detected insertion hole shape. may be extracted, and the low-resolution insertion hole image processing apparatus 100 may generate virtual information by applying the insertion hole information to a lock screw provided in an arbitrary virtual environment.

여기에서, 가상 정보는 임의의 가상 환경에 마련되는 가상 프레임에 임의의 삽입홀 정보에 따른 위치 또는 각도가 적용된 것을 나타내도록 마련될 수 있으며, 이와 같은, 가상 정보는 임의의 가상 환경을 기반으로 하는 3D 이미지 또는 3D 영상 등으로 나타날 수 있다.Here, the virtual information may be provided to indicate that a position or an angle according to any insertion hole information is applied to a virtual frame provided in an arbitrary virtual environment, and such virtual information is based on an arbitrary virtual environment. It may appear as a 3D image or a 3D image.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 가상 정보를 출력할 수 있으며, 또한, 저해상도 삽입홀 영상 처리 장치(100)는 고해상도 정보를 출력할 수 있다.Accordingly, the low resolution insertion hole image processing apparatus 100 may output virtual information, and the low resolution insertion hole image processing apparatus 100 may output high resolution information.

이를 위해, 저해상도 삽입홀 영상 처리 장치(100)는 디스플레이, 모니터 등의 출력 모듈이 마련될 수 있다.To this end, the low-resolution insertion hole image processing apparatus 100 may be provided with an output module such as a display or a monitor.

한편, 저해상도 삽입홀 영상 처리 장치(100)는 영상 정보로부터 검출된 복수개의 삽입홀의 형상과 영상 정보가 생성되는 과정에서 설정된 초점(f)의 위치에 따라 삽입홀의 방향을 산출할 수 있다.Meanwhile, the low-resolution insertion hole image processing apparatus 100 may calculate the direction of the insertion hole according to the shape of the plurality of insertion holes detected from the image information and the position of the focal point f set in the process of generating the image information.

구체적으로, 저해상도 삽입홀 영상 처리 장치(100)는 타원 형상으로 검출된 복수개의 삽입홀에 대해, 각각의 삽입홀 단축의 연장선을 설정할 수 있으며, 저해상도 삽입홀 영상 처리 장치(100)는 복수개의 연장선의 교점(h_c)과 초점(f)을 연결하여 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)를 산출할 수 있다. 이때, 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)는 초점(f)과 교점(h_c)의 위치 차이로 나타날 수 있다.Specifically, the low-resolution insertion hole image processing apparatus 100 may set an extension line of the short axis of each insertion hole for a plurality of insertion holes detected in an elliptical shape, and the low-resolution insertion hole image processing apparatus 100 includes a plurality of extension lines A vector value Z_h that appears perpendicular to the insertion hole can be calculated by connecting the intersection h_c and the focal point f of . In this case, the vector value Z_h that appears perpendicular to the insertion hole may be expressed as a position difference between the focal point f and the intersection point h_c.

또한, 저해상도 삽입홀 영상 처리 장치(100)는 초점(f)와, 검출된 복수개의 삽입홀의 중심 점(h_0, h_1)에 따른 평면(M)의 법선 벡터(N_m)를 산출할 수 있으며, 저해상도 삽입홀 영상 처리 장치(100)는 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)과 법선 벡터(N_m)을 이용하여 삽입홀의 중심 점을 연결하는 벡터 값(Y_h)를 산출할 수 있다.In addition, the low-resolution insertion hole image processing apparatus 100 may calculate the normal vector N_m of the plane M according to the focus f and the detected center points h_0 and h_1 of the plurality of insertion holes, and the low resolution The insertion hole image processing apparatus 100 may calculate a vector value Y_h connecting the center points of the insertion hole by using a vector value Z_h that appears perpendicular to the insertion hole and a normal vector N_m.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 초점(f)과, 삽입홀의 중심 점을 연결하는 벡터 값(Y_h)에 의해 생성되는 삼각형으로부터 각각의 삽입홀 측의 각도(beta, gamma)를 산출할 수 있다.Accordingly, the low-resolution insertion hole image processing apparatus 100 calculates the angles (beta, gamma) of each insertion hole from the triangle generated by the vector value (Y_h) connecting the focal point f and the center point of the insertion hole. can be calculated.

이때, 저해상도 삽입홀 영상 처리 장치(100)는 공지된 삼각 함수 또는 공지된 삼각형의 특성을 이용하여 초점으로부터 각각의 삽입홀까지의 거리를 산출할 수 있다.In this case, the low-resolution insertion hole image processing apparatus 100 may calculate the distance from the focal point to each insertion hole by using a known trigonometric function or a characteristic of a known triangle.

도2는 도1의 잠금 나사 삽입 유도 시스템에 마련되는 저해상도 삽입홀 영상 처리 장치의 제어블록도이다.FIG. 2 is a control block diagram of a low-resolution insertion hole image processing apparatus provided in the lock screw insertion guidance system of FIG. 1 .

저해상도 삽입홀 영상 처리 장치(100)는 촬영부(110), 학습부(120), 사전 설정부(130) 및 고해상도 정보 출력부(140)를 포함할 수 있다.The low-resolution insertion hole image processing apparatus 100 may include a photographing unit 110 , a learning unit 120 , a presetting unit 130 , and a high-resolution information output unit 140 .

또한, 저해상도 삽입홀 영상 처리 장치(100)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 또는, 저해상도 삽입홀 영상 처리 장치(100)는 저해상도 삽입홀 영상 처리 장치(100)에 마련되는 적어도 두 개의 구성요소가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.In addition, the low-resolution insertion hole image processing apparatus 100 may be implemented by more components than the components shown in FIG. 2 , and may be implemented by fewer components than the components shown in FIG. 2 . Alternatively, in the low resolution insertion hole image processing apparatus 100 , at least two components provided in the low resolution insertion hole image processing apparatus 100 may be integrated into one component, so that one component may perform a complex function. . Hereinafter, the above-described components will be described in detail.

촬영부(110)는 방사선을 투과하여 영상 정보를 생성할 수 있다. 이때, 촬영부(110)는 C-arm(10) 등의 기기를 의미할 수도 있다.The photographing unit 110 may generate image information by transmitting radiation. In this case, the photographing unit 110 may refer to a device such as the C-arm 10 .

학습부(120)는 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습할 수 있고, 학습부(120)는 잠금 나사가 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 삽입홀의 형상에 매칭되는 삽입홀 정보를 학습하여 학습 모델을 생성할 수 있다.The learning unit 120 may learn the shape of the insertion hole detected from the image information for the insertion hole in which the lock screw is inserted, and the learning unit 120 may indicate a condition in which the lock screw is inserted into the insertion hole. With respect to the provided insertion hole information, it is possible to generate a learning model by learning the insertion hole information matching the shape of the insertion hole.

이때, 학습부(120)는 임의의 가상 환경에서 삽입홀이 나타나도록 생성되는 복수개의 영상 정보와 임의의 실제 환경에서 삽입홀이 나타나도록 생성되는 복수개의 영상 정보를 수집할 수 있고, 학습부(120)는 수집된 복수개의 영상 정보에 대해 설정되는 삽입홀의 형상을 학습할 수 있다.At this time, the learning unit 120 may collect a plurality of image information generated so that the insertion hole appears in an arbitrary virtual environment and a plurality of image information generated so that the insertion hole appears in an arbitrary real environment, and the learning unit ( 120) may learn a shape of an insertion hole set for a plurality of collected image information.

이와 같이, 학습부(120)는 임의의 가상 환경에서 골수정의 삽입홀이 촬영된 서로 다른 상황의 영상 정보를 수집할 수 있다.In this way, the learning unit 120 may collect image information of different situations in which the insertion hole of the bone marrow nail is photographed in an arbitrary virtual environment.

한편, 학습부(120)는 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수와, 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수를 비교하여 정확도를 산출할 수 있고, 학습부(120)는 정확도가 사전에 설정되는 목표 값 이상이 되도록 학습 모델을 생성할 수 있다.On the other hand, the learning unit 120 can calculate the accuracy by comparing the number of pixels of the insertion hole set for the image information by the administrator and the number of pixels of the insertion hole detected from the image information based on the learning model based on the learning model, 120 may generate a learning model such that the accuracy is greater than or equal to a preset target value.

또한, 학습부(120)는 사전에 설정되는 해상도 미만인 저해상도로 생성된 영상 정보로부터 검출되는 삽입홀과, 해당 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상인 고해상도로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습할 수 있다.In addition, the learning unit 120 captures an insertion hole detected from image information generated at a low resolution that is less than a preset resolution, and the same scene as the corresponding image information, and an image generated with a high resolution equal to or higher than a preset resolution. It can learn to match the insertion hole detected from the information.

사전 설정부(130)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출할 수 있고, 사전 설정부(130)는 검출된 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출할 수 있으며, 사전 설정부(130)는 임의의 가상 환경에 마련되는 잠금 나사에 삽입홀 정보를 적용하여 가상 정보를 생성할 수 있다.The preset unit 130 may detect the shape of the insertion hole from the image information based on the learning model, and the preset unit 130 may extract insertion hole information matching the detected shape of the insertion hole, The setting unit 130 may generate virtual information by applying insertion hole information to a lock screw provided in an arbitrary virtual environment.

한편, 사전 설정부(130)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출하고, 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출할 수 있다.Meanwhile, the preset unit 130 may detect the shape of the insertion hole from the image information based on the learning model and extract a high-resolution insertion hole matching the shape of the insertion hole.

이에 따라, 사전 설정부(130)는 저해상도로 생성된 영상 정보로부터 검출된 삽입홀에 추출된 고해상도의 삽입홀을 적용하여 고해상도 정보를 생성할 수 있다.Accordingly, the preset unit 130 may generate high-resolution information by applying the high-resolution insertion hole extracted from the low-resolution generated image information to the extracted insertion hole.

고해상도 정보 출력부(140)는 가상 정보를 출력할 수 있으며, 또한, 저해상도 삽입홀 영상 처리 장치(100)는 고해상도 정보를 출력할 수 있다.The high-resolution information output unit 140 may output virtual information, and the low-resolution insertion hole image processing apparatus 100 may output high-resolution information.

도3은 도2의 사전 설정부에서 학습 모델에 기초하여 삽입홀 정보를 생성하는 과정을 나타낸 블록도이다.3 is a block diagram illustrating a process of generating insertion hole information based on a learning model in the preset unit of FIG. 2 .

도3을 참조하면, 촬영부(110)는 방사선을 투과하여 영상 정보를 생성할 수 있다. 또한, 학습부(120)는 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습할 수 있고, 학습부(120)는 잠금 나사가 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 삽입홀의 형상에 매칭되는 삽입홀 정보를 학습하여 학습 모델을 생성할 수 있다.Referring to FIG. 3 , the photographing unit 110 may generate image information by transmitting radiation. In addition, the learning unit 120 may learn the shape of the insertion hole detected from the image information for the insertion hole in which the locking screw is inserted, and the learning unit 120 determines the conditions under which the locking screw is inserted into the insertion hole. With respect to the insertion hole information provided to indicate, it is possible to generate a learning model by learning the insertion hole information matching the shape of the insertion hole.

이에 따라, 사전 설정부(130)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출할 수 있고, 사전 설정부(130)는 검출된 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출할 수 있으며, 사전 설정부(130)는 임의의 가상 환경에 마련되는 가상 프레임에 삽입홀 정보를 적용하여 가상 정보를 생성할 수 있다.Accordingly, the preset unit 130 may detect the shape of the insertion hole from the image information based on the learning model, and the preset unit 130 may extract insertion hole information matching the detected shape of the insertion hole. In addition, the preset unit 130 may generate virtual information by applying the insertion hole information to a virtual frame provided in an arbitrary virtual environment.

또한, 고해상도 정보 출력부(140)는 가상 정보를 출력할 수 있다.Also, the high-resolution information output unit 140 may output virtual information.

한편, 학습부(120)는 사전에 설정되는 해상도 미만인 저해상도로 생성된 영상 정보로부터 검출되는 삽입홀과, 해당 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상인 고해상도로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습할 수 있다.On the other hand, the learning unit 120 is an insertion hole detected from image information generated at a low resolution that is less than a preset resolution, and an image taken to represent the same scene as the corresponding image information, and an image generated with a high resolution equal to or higher than a preset resolution. It can learn to match the insertion hole detected from the information.

이러한 경우에, 사전 설정부(130)는 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출하고, 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출할 수 있다.In this case, the preset unit 130 may detect the shape of the insertion hole from the image information based on the learning model and extract a high-resolution insertion hole matching the shape of the insertion hole.

이에 따라, 사전 설정부(130)는 저해상도로 생성된 영상 정보로부터 검출된 삽입홀에 추출된 고해상도의 삽입홀을 적용하여 고해상도 정보를 생성할 수 있다.Accordingly, the preset unit 130 may generate high-resolution information by applying the high-resolution insertion hole extracted from the low-resolution generated image information to the extracted insertion hole.

또한, 고해상도 정보 출력부(140)는 고해상도 정보를 출력할 수 있다.Also, the high-resolution information output unit 140 may output high-resolution information.

도4 내지 도8은 도1의 저해상도 삽입홀 영상 처리 장치가 영상 정보로부터 삽입홀을 검출하는 일 실시예를 나타낸 개략도이다.4 to 8 are schematic diagrams illustrating an embodiment in which the low-resolution insertion hole image processing apparatus of FIG. 1 detects an insertion hole from image information.

도4는 방사선을 투과하여 생성된 영상 정보인 것으로 이해할 수 있으며, 이에 따라, 도5는 영상 정보로부터 나타나는 골수정에서 삽입홀이 검출되는 것을 확인할 수 있다.Figure 4 can be understood to be image information generated by transmitting radiation, and accordingly, Figure 5 can confirm that the insertion hole is detected in the bone marrow vesicles appearing from the image information.

이를 위해, 저해상도 삽입홀 영상 처리 장치(100)는 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습할 수 있다.To this end, the low-resolution insertion hole image processing apparatus 100 may learn the shape of the insertion hole detected from the image information with respect to the insertion hole in which the lock screw is inserted.

한편, 저해상도 삽입홀 영상 처리 장치(100)는 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수와, 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수를 비교하여 정확도를 산출할 수 있고, 저해상도 삽입홀 영상 처리 장치(100)는 정확도가 사전에 설정되는 목표 값 이상이 되도록 학습 모델을 생성할 수 있다.On the other hand, the low-resolution insertion hole image processing apparatus 100 can calculate the accuracy by comparing the number of pixels of the insertion hole set for the image information by the administrator with the number of pixels of the insertion hole detected from the image information based on the learning model. In addition, the low-resolution insertion hole image processing apparatus 100 may generate a learning model such that the accuracy is greater than or equal to a preset target value.

이와 관련하여, 도6은 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수를 나타내는 것으로 이해할 수 있고, 도7은 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수를 나타내는 것으로 이해할 수 있다.In this regard, Fig. 6 can be understood as representing the number of pixels of the insertion hole set for the image information by the administrator, and Fig. 7 can be understood as representing the number of pixels of the insertion hole detected from the image information based on the learning model. have.

이에 따라, 정확도는 관리자에 의해, 영상 정보에 대해 설정되는 삽입홀의 픽셀 수와, 학습 모델에 기초하여 영상 정보로부터 검출되는 삽입홀의 픽셀 수의 비율을 의미할 수 있다.Accordingly, the accuracy may mean a ratio between the number of pixels of the insertion hole set for the image information by the administrator and the number of pixels of the insertion hole detected from the image information based on the learning model.

이와 관련하여, 저해상도 삽입홀 영상 처리 장치(100)는 사전에 설정되는 해상도 미만으로 생성된 영상 정보로부터 검출되는 삽입홀과, 해당 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상으로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습할 수 있다.In this regard, the low-resolution insertion hole image processing apparatus 100 is photographed to represent the same scene as the insertion hole detected from image information generated below the preset resolution and the corresponding image information, and has a resolution higher than or equal to the preset resolution. It is possible to learn to match the insertion hole detected from the generated image information.

한편, 저해상도 삽입홀 영상 처리 장치(100)는 영상 정보로부터 검출된 복수개의 삽입홀의 형상과 영상 정보가 생성되는 과정에서 설정된 초점(f)의 위치에 따라 삽입홀의 방향을 산출할 수 있다.Meanwhile, the low-resolution insertion hole image processing apparatus 100 may calculate the direction of the insertion hole according to the shape of the plurality of insertion holes detected from the image information and the position of the focal point f set in the process of generating the image information.

이와 관련하여, 도8은 영상 정보로부터 검출된 복수개의 삽입홀을 나타내는 것으로 이해할 수 있으며, 이에 따라, 타원 형상으로 검출된 복수개의 삽입홀에 대해, 각각의 삽입홀 단축의 연장선을 확인할 수 있고, 복수개의 연장선의 교점(h_c)을 확인할 수 있다.In this regard, FIG. 8 can be understood as showing a plurality of insertion holes detected from image information, and accordingly, for a plurality of insertion holes detected in an elliptical shape, an extension line of a minor axis of each insertion hole can be identified, The intersection point h_c of the plurality of extension lines can be checked.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 복수개의 연장선의 교점(h_c)과 초점(f)을 연결하여 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)를 산출할 수 있다. 이때, 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)는 초점(f)과 교점(h_c)의 위치 차이로 나타날 수 있다.Accordingly, the low-resolution insertion hole image processing apparatus 100 may calculate a vector value Z_h that appears perpendicular to the insertion hole by connecting the intersection point h_c and the focal point f of the plurality of extension lines. In this case, the vector value Z_h that appears perpendicular to the insertion hole may be expressed as a position difference between the focal point f and the intersection point h_c.

또한, 저해상도 삽입홀 영상 처리 장치(100)는 초점(f)와, 검출된 복수개의 삽입홀의 중심 점(h_0, h_1)에 따른 평면(M)의 법선 벡터(N_m)를 산출할 수 있으며, 저해상도 삽입홀 영상 처리 장치(100)는 삽입홀에 대해 수직으로 나타나는 벡터 값(Z_h)과 법선 벡터(N_m)을 이용하여 삽입홀의 중심 점을 연결하는 벡터 값(Y_h)를 산출할 수 있다.In addition, the low-resolution insertion hole image processing apparatus 100 may calculate the normal vector N_m of the plane M according to the focus f and the detected center points h_0 and h_1 of the plurality of insertion holes, and the low resolution The insertion hole image processing apparatus 100 may calculate a vector value Y_h connecting the center points of the insertion hole by using a vector value Z_h that appears perpendicular to the insertion hole and a normal vector N_m.

이에 따라, 저해상도 삽입홀 영상 처리 장치(100)는 초점(f)과, 삽입홀의 중심 점을 연결하는 벡터 값(Y_h)에 의해 생성되는 삼각형으로부터 각각의 삽입홀 측의 각도(beta, gamma)를 산출할 수 있다.Accordingly, the low-resolution insertion hole image processing apparatus 100 calculates the angles (beta, gamma) of each insertion hole from the triangle generated by the vector value (Y_h) connecting the focal point f and the center point of the insertion hole. can be calculated.

이때, 저해상도 삽입홀 영상 처리 장치(100)는 삼각 함수를 이용하여 초점으로부터 각각의 삽입홀까지의 거리를 산출할 수 있다.In this case, the low-resolution insertion hole image processing apparatus 100 may calculate a distance from the focal point to each insertion hole using a trigonometric function.

도9는 본 발명의 일 실시예에 따른 저해상도 삽입홀 영상 처리 방법의 순서도이다.9 is a flowchart of a low-resolution insertion hole image processing method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 저해상도 삽입홀 영상 처리 방법은 도 1에 도시된 저해상도 삽입홀 영상 처리 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 저해상도 삽입홀 영상 처리 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.Since the low-resolution insertion hole image processing method according to an embodiment of the present invention proceeds in substantially the same configuration as the low-resolution insertion hole image processing apparatus 100 shown in FIG. 1 , the low-resolution insertion hole image processing apparatus 100 of FIG. 1 ) The same reference numerals are assigned to the same components as described above, and repeated descriptions will be omitted.

저해상도 삽입홀 영상 처리 방법은 영상 정보를 생성하는 단계(800), 학습 모델을 생성하는 단계(810), 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출하는 단계(820), 고해상도의 삽입홀을 적용하여 고해상도 정보를 생성하는 단계(830) 및 고해상도 정보를 출력하는 단계(840)를 포함할 수 있다.The low-resolution insertion hole image processing method includes generating image information (800), generating a learning model (810), extracting a high-resolution insertion hole matching the shape of the insertion hole (820), and forming a high-resolution insertion hole. It may include a step of generating (830) high-resolution information by applying it and a step of outputting (840) of the high-resolution information.

영상 정보를 생성하는 단계(800)는 촬영부(110)가 방사선을 투과하여 영상 정보를 생성하는 단계일 수 있다.The step 800 of generating the image information may be a step in which the imaging unit 110 transmits radiation to generate the image information.

학습 모델을 생성하는 단계(810)는 학습부(120)가 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 영상 정보로부터 검출되는 삽입홀의 형상을 학습하고, 잠금 나사가 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 삽입홀의 형상에 매칭되는 삽입홀 정보를 학습하여 학습 모델을 생성하는 단계일 수 있다.In the step 810 of generating the learning model, the learning unit 120 learns the shape of the insertion hole detected from the image information with respect to the insertion hole in which the lock screw is inserted, and determines the conditions under which the lock screw is inserted into the insertion hole. It may be a step of generating a learning model by learning the insertion hole information matching the shape of the insertion hole with respect to the insertion hole information provided to be displayed.

삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출하는 단계(820)는 사전 설정부(130)가 학습 모델에 기초하여, 영상 정보로부터 삽입홀의 형상을 검출하고, 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출하는 단계일 수 있다.In step 820 of extracting a high-resolution insertion hole matching the shape of the insertion hole, the preset unit 130 detects the shape of the insertion hole from the image information based on the learning model, and insertion hole information matching the shape of the insertion hole may be a step of extracting

고해상도의 삽입홀을 적용하여 고해상도 정보를 생성하는 단계(830)는 사전 설정부(130)가 임의의 가상 환경에 마련되는 잠금 나사에 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계일 수 있다.The step 830 of generating high-resolution information by applying the high-resolution insertion hole may be a step in which the preset unit 130 applies the insertion hole information to a lock screw provided in an arbitrary virtual environment to generate virtual information.

고해상도 정보를 출력하는 단계(840)는 고해상도 정보 출력부(140)가 가상 정보를 출력하는 단계일 수 있다.The step of outputting the high-resolution information 840 may be a step of outputting the virtual information by the high-resolution information output unit 140 .

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following claims. will be able

1: 잠금 나사 삽입 유도 시스템
10: C-arm
100: 저해상도 삽입홀 영상 처리 장치1: Locking screw insertion guidance system
10: C-arm
100: low-resolution insertion hole image processing device

Claims (12)

저해상도 삽입홀 영상 처리 장치에서의 저해상도 삽입홀 영상 처리 방법에 있어서,
촬영부가 방사선을 투과하여 영상 정보를 생성하는 단계;
학습부가 잠금 나사가 삽입되도록 마련되는 삽입홀에 대해, 상기 영상 정보로부터 검출되는 상기 삽입홀의 형상을 학습하고, 사전에 설정되는 해상도 미만인 저해상도로 생성된 영상 정보로부터 검출되는 삽입홀과, 상기 영상 정보와 동일한 장면을 나타내도록 촬영되고, 사전에 설정되는 해상도 이상인 고해상도로 생성된 영상 정보로부터 검출되는 삽입홀이 매칭되도록 학습하여 학습 모델을 생성하는 단계;
사전 설정부가 상기 학습 모델에 기초하여, 상기 영상 정보로부터 상기 삽입홀의 형상을 검출하고, 상기 삽입홀의 형상에 매칭되는 고해상도의 삽입홀을 추출하는 단계;
사전 설정부가 저해상도로 생성된 영상 정보로부터 검출된 삽입홀을 상기 고해상도의 삽입홀로 대체하여 고해상도 정보를 생성하는 단계; 및
고해상도 정보 출력부가 상기 고해상도 정보를 출력하는 단계;를 포함하는, 저해상도 삽입홀 영상 처리 방법.
In the low-resolution insertion hole image processing method in the low-resolution insertion hole image processing apparatus,
generating image information by transmitting radiation by a photographing unit;
An insertion hole detected from image information generated at a low resolution that is less than a preset resolution by learning the shape of the insertion hole detected from the image information, and the image information generating a learning model by learning to match an insertion hole detected from image information captured to represent the same scene as , and generated with a high resolution equal to or higher than a preset resolution;
detecting, by a presetting unit, the shape of the insertion hole from the image information based on the learning model, and extracting a high-resolution insertion hole matching the shape of the insertion hole;
generating high-resolution information by a presetting unit replacing the insertion hole detected from the low-resolution image information with the high-resolution insertion hole; and
Including, a low-resolution insertion hole image processing method; outputting the high-resolution information by a high-resolution information output unit.
 제1항에 있어서, 상기 학습 모델을 생성하는 단계는,
임의의 가상 환경에서 상기 삽입홀이 나타나도록 생성되는 복수개의 영상 정보를 수집하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 1, wherein generating the learning model comprises:
A low-resolution insertion hole image processing method for collecting a plurality of image information generated so that the insertion hole appears in an arbitrary virtual environment.
 삭제delete 제2항에 있어서, 상기 학습 모델을 생성하는 단계는,
상기 복수개의 영상 정보에 대해 설정되는 상기 삽입홀의 형상을 학습하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 2, wherein generating the learning model comprises:
A low-resolution insertion hole image processing method for learning the shape of the insertion hole set for the plurality of image information.
 제1항에 있어서, 상기 학습 모델을 생성하는 단계는,
상기 영상 정보에 대해 설정되는 상기 삽입홀의 픽셀 수와, 상기 학습 모델에 기초하여 상기 영상 정보로부터 검출되는 상기 삽입홀의 픽셀 수를 비교하여 정확도를 산출하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 1, wherein generating the learning model comprises:
A low-resolution insertion hole image processing method for calculating accuracy by comparing the number of pixels of the insertion hole set for the image information with the number of pixels of the insertion hole detected from the image information based on the learning model.
 제5항에 있어서, 상기 학습 모델을 생성하는 단계는,
상기 정확도가 사전에 설정되는 목표 값 이상이 되도록 상기 학습 모델을 생성하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 5, wherein generating the learning model comprises:
A low-resolution insertion hole image processing method for generating the learning model so that the accuracy is greater than or equal to a preset target value.
 제1항에 있어서, 상기 학습 모델은,
상기 학습부가, 상기 잠금 나사가 상기 삽입홀에 삽입되는 조건을 나타내도록 마련되는 삽입홀 정보에 대해, 상기 삽입홀의 형상에 매칭되는 상기 삽입홀 정보를 학습하여 생성되는, 저해상도 삽입홀 영상 처리 방법.
According to claim 1, wherein the learning model,
The low-resolution insertion hole image processing method, wherein the learning unit is generated by learning the insertion hole information matching the shape of the insertion hole with respect to insertion hole information provided to indicate a condition in which the lock screw is inserted into the insertion hole.
 제7항에 있어서,
사전 설정부가 상기 학습 모델에 기초하여, 상기 고해상도 정보로부터 상기 삽입홀의 형상을 검출하고, 상기 삽입홀의 형상에 매칭되는 상기 삽입홀 정보를 추출하는 단계를 더 포함하는, 저해상도 삽입홀 영상 처리 방법.
8. The method of claim 7,
Based on the learning model, the presetting unit detecting the shape of the insertion hole from the high-resolution information, and further comprising the step of extracting the insertion hole information matching the shape of the insertion hole, low-resolution insertion hole image processing method.
 제8항에 있어서,
사전 설정부가 임의의 가상 환경에 마련되는 잠금 나사에 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계를 더 포함하는, 저해상도 삽입홀 영상 처리 방법.
9. The method of claim 8,
The method further comprising the step of generating virtual information by applying the insertion hole information to a lock screw provided in an arbitrary virtual environment by a presetting unit, the low resolution insertion hole image processing method.
 제9항에 있어서, 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계는,
상기 삽입홀 정보에 따른 삽입홀의 방향과 동일한 방향을 나타내도록 상기 잠금 나사의 방향을 설정하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 9, wherein the step of generating virtual information by applying the insertion hole information comprises:
A low-resolution insertion hole image processing method for setting the direction of the lock screw to indicate the same direction as the direction of the insertion hole according to the insertion hole information.
 제9항에 있어서, 상기 삽입홀 정보를 적용하여 가상 정보를 생성하는 단계는,
상기 삽입홀 정보에 따른 삽입홀의 위치로부터, 상기 삽입홀의 방향에 따라 일정 거리 이격된 위치에 상기 잠금 나사의 위치를 설정하는, 저해상도 삽입홀 영상 처리 방법.
The method of claim 9, wherein the step of generating virtual information by applying the insertion hole information comprises:
A low-resolution insertion hole image processing method for setting the position of the lock screw at a position spaced apart by a predetermined distance from the position of the insertion hole according to the insertion hole information according to the direction of the insertion hole.
 제8항에 있어서, 상기 삽입홀의 형상에 매칭되는 삽입홀 정보를 추출하는 단계는,
상기 영상 정보로부터 검출된 복수개의 삽입홀의 형상과 상기 영상 정보가 생성되는 과정에서 설정된 초점의 위치에 따라 상기 삽입홀 정보를 산출하는, 저해상도 삽입홀 영상 처리 방법.


The method of claim 8, wherein the extracting of the insertion hole information matching the shape of the insertion hole comprises:
A low-resolution insertion hole image processing method for calculating the insertion hole information according to a shape of a plurality of insertion holes detected from the image information and a position of a focus set in a process of generating the image information.
KR1020200156505A 2020-11-20 2020-11-20 Low-resolution insertion hole image processing method Active KR102447480B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200156505A KR102447480B1 (en) 2020-11-20 2020-11-20 Low-resolution insertion hole image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200156505A KR102447480B1 (en) 2020-11-20 2020-11-20 Low-resolution insertion hole image processing method

Publications (2)

Publication Number Publication Date
KR20220070107A KR20220070107A (en) 2022-05-30
KR102447480B1 true KR102447480B1 (en) 2022-09-27

Family

ID=81799798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200156505A Active KR102447480B1 (en) 2020-11-20 2020-11-20 Low-resolution insertion hole image processing method

Country Status (1)

Country Link
KR (1) KR102447480B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025146886A1 (en) * 2024-01-05 2025-07-10 전북대학교병원 Method for inspecting wear of hip joint using high-resolution image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102676159B1 (en) * 2021-11-10 2024-06-19 주식회사 엔가든 Insertion guidance system for locking screw and locking screw guidance method using the same, and a computer-readable storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020169680A (en) 2019-04-03 2020-10-15 株式会社Ｉｈｉインフラシステム Bolt fastening state detection device and method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100338974B1 (en) * 1999-03-15 2002-05-31 최은백, 이찬경 Simulation method for identifying bone density of mandible or maxilla and recording media storing program to perform the same
AU2005216091B2 (en) * 2004-02-20 2009-09-17 Hector O. Pacheco Method for improving pedicle screw placement in spinal surgery
KR102117936B1 (en) * 2018-10-17 2020-06-02 한국항공우주연구원 Image processing system and method based on deep learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020169680A (en) 2019-04-03 2020-10-15 株式会社Ｉｈｉインフラシステム Bolt fastening state detection device and method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025146886A1 (en) * 2024-01-05 2025-07-10 전북대학교병원 Method for inspecting wear of hip joint using high-resolution image

Also Published As

Publication number Publication date
KR20220070107A (en) 2022-05-30

Similar Documents

Publication Publication Date Title
US12213740B2 (en) System and method for medical device placement
KR102894184B1 (en) Method and apparatus for providing ar images
JP7204663B2 (en) Systems, apparatus, and methods for improving surgical accuracy using inertial measurement devices
Esfandiari et al. A deep learning framework for segmentation and pose estimation of pedicle screw implants based on C-arm fluoroscopy
EP4662634A1 (en) A computer-implemented method, device, system and computer program product for processing anatomic imaging data
Pokhrel et al. A novel augmented reality (AR) scheme for knee replacement surgery by considering cutting error accuracy
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN113613562B (en) Device for positioning an X-ray imaging system, medical imaging apparatus, and method for performing X-ray imaging of a spinal structure
WO2018037314A1 (en) Orthopedic fixation control and manipulation
CN110956633A (en) Rapid CT scanning method and system based on virtual stereotactic image
KR102447480B1 (en) Low-resolution insertion hole image processing method
CN115348846B (en) Hinge testing for fixation in orthopedic surgery
CN109925053B (en) Method, device and system for determining surgical path and readable storage medium
CN107752979A (en) Automatically generated to what is manually projected
JP6493877B2 (en) Reference point evaluation apparatus, method and program, and alignment apparatus, method and program
KR102517398B1 (en) Lock screw insertion hole detection method
DE112016001224T5 (en) Image processing apparatus, method and program
EP2164042A1 (en) Method for testing the relative position of bone structures
JP7414432B2 (en) Image processing device, image processing method, and program
KR20160057024A (en) Markerless 3D Object Tracking Apparatus and Method therefor
KR102204309B1 (en) X-ray Image Display Method Based On Augmented Reality
EP3459044B1 (en) Motion compensation in hybrid x-ray/camera interventions
CN117078630B (en) A spatial positioning method and device for X-ray images based on navigation scale
DE102009032060A1 (en) Method for determining spatial position and/or orientation of e.g. medical instrument at patient during performing operative surgery, involves calculating spatial position of object points and/or orientation of object from image coordinates
KR20250115649A (en) Automatic medical image alignment device, medical image storage and transmission system equipped with the same, and operating method of the automatic medical image alignment device

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000