[go: up one dir, main page]

KR102176196B1 - Real-time detection device and method of superficial vein - Google Patents

Real-time detection device and method of superficial vein Download PDF

Info

Publication number
KR102176196B1
KR102176196B1 KR1020190082808A KR20190082808A KR102176196B1 KR 102176196 B1 KR102176196 B1 KR 102176196B1 KR 1020190082808 A KR1020190082808 A KR 1020190082808A KR 20190082808 A KR20190082808 A KR 20190082808A KR 102176196 B1 KR102176196 B1 KR 102176196B1
Authority
KR
South Korea
Prior art keywords
image
real
module
blood vessel
superficial vein
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020190082808A
Other languages
Korean (ko)
Inventor
공성호
정성호
이도희
Original Assignee
(주)메디센텍
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메디센텍, 경북대학교 산학협력단 filed Critical (주)메디센텍
Priority to KR1020190082808A priority Critical patent/KR102176196B1/en
Application granted granted Critical
Publication of KR102176196B1 publication Critical patent/KR102176196B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)의 형태를 검출하고, 고속 영상처리 알고리즘을 적용하여 혈관이 위치한 원래의 피부표면에 실시간으로 투사(投射, Projection)하는 표재정맥 실시간 탐지 장치 및 방법에 관한 것이다.The present invention detects the shape of superficial veins by analyzing the reaction specificity of hemoglobin in blood in a specific wavelength range in a near-infrared (N-IR) irradiation environment, and applies a high-speed image processing algorithm to reduce blood vessels. It relates to an apparatus and method for real-time detection of superficial veins that are projected on the original skin surface in real time.

Description

표재정맥 실시간 탐지 장치 및 방법{Real-time detection device and method of superficial vein}Real-time detection device and method of superficial vein}

본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)의 형태를 검출하고, 고속 영상처리 알고리즘을 적용하여 혈관이 위치한 원래의 피부표면에 실시간으로 투사(投射, Projection)하는 표재정맥 실시간 탐지 장치 및 방법에 관한 것이다.The present invention detects the shape of superficial veins by analyzing the reaction specificity of hemoglobin in blood in a specific wavelength range in a near-infrared (N-IR) irradiation environment, and applies a high-speed image processing algorithm to reduce blood vessels. It relates to an apparatus and method for real-time detection of superficial veins that are projected on the original skin surface in real time.

혈관주사(IV Injection)는 많은 의료영역에서 행해지는 중요한 의료시술의 하나로, 대부분의 경우 숙련된 의료인력이 큰 무리없이 IV 주사 시술을 하고 있으나, 간혹 혈관을 육안으로 파악하기 어려운 비만환자나 특이체질 환자, 아동 환자 등의 경우에는 IV 주사 시술에 어려움을 겪고 있다.IV injection is one of the important medical procedures performed in many medical fields.In most cases, skilled medical personnel perform IV injection without much difficulty, but sometimes obese patients or peculiar constitutions that are difficult to identify blood vessels with the naked eye. In the case of patients and child patients, IV injections are difficult.

특히 중증의 질병으로 장기 입원하는 환자의 경우, 링거 수액을 거의 24시간 투여해야 하므로 항상 IV 주사가 되어 있는 상태로 있어야 하고, 이 경우 반복된 수액투여로 혈관이 약해지고 약한 부위를 피해서 반복 주사하다 보면 결국 팔, 손, 발목 등에서 더 이상 IV 주사를 실시할 위치를 찾지 못하게 되며, 종국에는 중심정맥관(Central Venous Line) 삽입을 통하여 약물을 주입하는 경우가 발생한다.In particular, in the case of a patient who is hospitalized for a long time due to a serious disease, it is necessary to administer Ringer's fluid for almost 24 hours, so it must be kept in an IV injection state. In this case, if the blood vessel is weakened by repeated infusion and repeated injections avoiding weak areas, Eventually, the arm, hand, and ankle are no longer able to find a location for IV injection, and eventually, a case of injecting drugs through the insertion of a central venous line occurs.

이러한 이유로 IV 주사과정에서 혈관이 아닌 곳에 약물을 주입할 경우, 침윤, 혈종, 신경 손상, 급성 구획 증후군 등의 증상이 발생된다.For this reason, when a drug is injected into a place other than a blood vessel during the IV injection process, symptoms such as infiltration, hematoma, nerve damage, and acute compartment syndrome may occur.

상기에서 침윤[Infiltration]은 정맥주사액이 정맥 밖의 주위조직들로 새어나가는 것을 뜻하고, 혈종[Hematoma]은 정맥주사 부위의 주변조직으로의 출혈이 일어나 형성되는 좌상을 말하며, 신경 손상[Nerve damage]은 바늘 삽입 시 신경초를 실질적으로 침범하는 경우 혹은 오랜 기간 동안 정맥주사 카테터(catheter)에 의해 신경이 압박된 경우에 발생되며, 급성 구획 증후군[acute compartment syndrome]은 외상에 의해 한정된 공간의 압력이 한계범위까지 증가하여 혈류의 감소로 이어지는 것으로 조직의 허혈과 괴사 및 기능적 손상이 발생하는 것을 말한다.In the above, infiltration refers to the leakage of intravenous fluid to surrounding tissues outside the vein, and hematoma refers to a left injury formed by bleeding to the surrounding tissues at the site of the intravenous injection, and nerve damage [Nerve damage] It occurs when the nerve sheath is actually invaded when the needle is inserted or when the nerve is compressed by an intravenous catheter for a long period of time. Acute compartment syndrome is limited to the pressure in the space confined by trauma. It increases to the range and leads to a decrease in blood flow, which means that tissue ischemia, necrosis, and functional damage occur.

한편, 성형외과/피부과 영역의 경우에는 미용 시술시 혈관을 피해야 하는 경우가 대부분으로, 최근 유행하고 있는 필러(충전재) 시술의 경우 미세혈관과 신경이 다량으로 분포하고 있는 얼굴에 시술을 해야 하는데, 잘못된 시술로 인한 사고가 자주 발생하는 편이다.On the other hand, in the case of plastic surgery/dermatology, blood vessels must be avoided during cosmetic procedures in most cases, and in the case of filler (filler) treatment, which is popular in recent years, the procedure must be performed on the face where a large amount of microvessels and nerves are distributed. Accidents due to incorrect procedures tend to occur frequently.

따라서 정확한 혈관 위치와 상태를 파악할 수 있는 기술의 개발이 절실히 요구되고 있다.Therefore, there is an urgent need to develop a technology capable of grasping the exact location and state of blood vessels.

등록특허 10-1494638Registered Patent 10-1494638

본 발명의 목적은 근적외선(N-IR)의 반사원리를 이용해 혈관정보를 파악하고, 파악된 혈관정보를 가시(Visible) 영역의 이미지로 재구성하여 측정된 원위치(In-Situ)에 실시간으로 정확하게 투사(Projection)함으로써, 육안으로는 판별되지 않는 혈관의 위치와 형태 등을 실제 모습 그대로 파악하면서 IV주사(또는 필러시술 등)를 할 수 있게 되어, IV주사과정 및 성형시술에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하는 표재정맥 실시간 탐지장치 및 방법을 제공하는 데 있다.An object of the present invention is to grasp blood vessel information using the reflection principle of near-infrared (N-IR), reconstruct the detected blood vessel information into an image in the visible area, and accurately project the measured in-situ in real time. Through (Projection), IV injection (or filler surgery, etc.) can be performed while grasping the location and shape of blood vessels that cannot be identified with the naked eye, and medical accidents occurring in the IV injection process and plastic surgery It is to provide a real-time superficial vein detection device and method that can dramatically reduce the side effects and reduce the burden on medical personnel, thereby enabling active treatment for patients.

또한 표재정맥 탐지 과정에서 왜곡이나 노이즈가 발생하지 않도록 하여 정확하고 선명한 혈관 영상이 출력되도록 하는 표재정맥 실시간 탐지 장치 및 방법을 제공하는 데 있다.In addition, to provide an apparatus and method for detecting a superficial vein in real time to output an accurate and clear blood vessel image by preventing distortion or noise from occurring during the superficial vein detection process.

상기한 목적을 달성하기 위한 본 발명의 특징은, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈; 피하혈관의 영상을 획득하는 하나 이상의 렌즈와 상기 렌즈로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서를 포함하여 구성되어 피하혈관 데이터를 획득하는 카메라 모듈; 상기 카메라모듈로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈; 상기 이미지 프로세서 모듈에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP) 모듈; 을 포함하여 구성되는 표재정맥 실시간 탐지 장치에 있다.A feature of the present invention for achieving the above object is a near-infrared light source module for irradiating the near-infrared ray of 800 ~ 950nm band to the skin; A camera module configured to include at least one lens for obtaining an image of a subcutaneous blood vessel and a near-infrared (IR) image sensor on which an image obtained from the lens is formed to obtain subcutaneous blood vessel data; An image processor module for image processing the subcutaneous blood vessel data transmitted from the camera module; A digital light processing (DLP) module for outputting a blood vessel image output from the image processor module on a photographed skin area in real time; There is a superficial vein real-time detection device comprising a.

그리고, 본 발명의 다른 특징은 상기 표재정맥 실시간 탐지 장치를 사용하여, 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 표재정맥 실시간 탐지 방법에 있다.In addition, another feature of the present invention is a pre-processing process of correcting optical distortion of a lens and correcting a projection angle error of a DLP using the superficial vein real-time detection device: the pre-processing Geometric transformation process that performs geometric transformation including perspective transformation in the image acquired through the process: Histogram equalization (increase the contrast of the acquired image) by setting a separate Contrast Limiting value for each block to equalize Equalization [CLAHE (Contrast Limited Adaptive Histogram Equalization)] process that performs (Equalization): Noise removal [Median Blur] process that removes increased noise after applying CLAHE: Invert [Invert] process that reverses the contrast of the darkened blood vessel image : Image segmentation and shape detection through binarization [Binarization] process: It is in a method of real-time detection of superficial veins, including.

상기와 같은 구성을 갖는 본 발명에 의하면 혈관 이미지가 원위치(In-Situ)에 정확하게 실시간 투사(Projection)됨으로써, IV주사과정에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 혈관을 피해서 주사할 필요가 있는 경우에 혈관을 손상시키지 않도록 하여 IV 주사 또는 성형시술 상황에서 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하며, 환자의 경우에도 정확한 시술로 의료진에 대한 신뢰감을 높일 수 있는 효과가 있다.According to the present invention having the configuration as described above, the blood vessel image is accurately projected in-situ in real time, thereby significantly reducing medical accidents and side effects that occur during the IV injection process, and avoiding the blood vessels to be injected. By not damaging blood vessels when necessary, it can reduce the burden of medical personnel in the situation of IV injections or plastic surgery, enabling active treatment for patients, and increasing confidence in medical staff through accurate procedures even for patients. It works.

이에 따라, 채혈실에서 노인 및 아동 등의 정맥을 찾기 힘든 환자의 정맥 찾는 것을 도움으로써, 채혈자의 실수에 대한 부담감 감소로 일의 효율을 높이고, 환자 및 보호자가 육안으로 확인을 할 수 있어 안정감을 줄 수 있고, 경험이 부족한 채혈자도 채혈을 간편하게 할 수 있기 때문에 채혈 시간을 단축할 수 있는 효과가 있다.Accordingly, it helps to find veins of patients who are difficult to find veins in the blood collection room, such as the elderly and children, to increase work efficiency by reducing the burden of blood collector's mistakes, and to have a sense of stability as patients and guardians can check them with the naked eye. It has the effect of shortening the blood collection time because it can be given, and because even an inexperienced blood collector can easily collect blood.

그리고 혈관기형클리닉에서 시술 시 초음파를 이용하여 병변의 위치를 확인하고 마킹 한 뒤 시술하거나 초음파를 보면서 시술하는 것보다 피부 아래를 직접 관찰하면서 시술할 수 있어 보다 직관적이며 시술자의 편의성을 증대시킬 수 있고, 수술 시 육안으로 구별 불가능한 혈관 및 조직들을 간편하게 구별함으로써, 수술 성공률을 높이는데 기여할 수 있다.In addition, during the procedure at the vascular malformation clinic, the location of the lesion can be checked and marked using ultrasound, and the procedure can be performed while directly observing the skin under the skin rather than performing the procedure or performing the procedure while watching the ultrasound, which is more intuitive and increases the operator's convenience. , By easily distinguishing blood vessels and tissues that cannot be distinguished with the naked eye during surgery, it can contribute to increasing the surgical success rate.

또한 성형외과에서 정맥주사, 근육주사, 피하주사 등의 주사 시술 시 피하 층을 정확히 구분할 수 있기 때문에 주사의 부작용을 방지할 수 있다.In addition, since injection procedures such as intravenous, intramuscular, and subcutaneous injection in plastic surgery can accurately distinguish the subcutaneous layer, side effects of injection can be prevented.

아울러, 혈류 패턴 분석은 말초 혈관 질환의 진단에 도움을 줌으로써, 저렴한 비용으로 간단한 판별 검사로써 사용될 수 있으며, 혈관계 질환 예방에 도움을 줄 수 있다.In addition, blood flow pattern analysis may be used as a simple discriminant test at low cost by helping to diagnose peripheral vascular disease, and may help prevent vascular disease.

도 1은 본 발명에 따른 표재정맥 실시간 탐지 장치를 나타내는 도면
도 2는 LED 파장별 혈관 검출 이미지를 나타내는 도면
도 3은 가시광선필터의 동작을 나타내는 도면
도 4 및 도 5는 본 발명에 따른 가시광선필터의 작용을 나타내는 도면
도 6 내지 도 9는 모바일기기용 사용자 인터페이스의 구동예를 나타내는 도면
도 10 내지 도 15는 본 발명에 따른 표재정맥 실시간 탐지 방법을 나타내는 도면
도 16 내지 도 18은 혈류변화 실시간 탐지 방법의 실시예를 나타내는 도면
1 is a view showing an apparatus for real-time superficial vein detection according to the present invention
2 is a diagram showing a blood vessel detection image by LED wavelength
3 is a diagram showing an operation of a visible light filter
4 and 5 are views showing the action of the visible light filter according to the present invention
6 to 9 are views showing an example of driving a user interface for a mobile device
10 to 15 are views showing a method for real-time superficial vein detection according to the present invention
16 to 18 are diagrams showing an embodiment of a method for real-time detection of changes in blood flow

이하 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 설명한다.
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명에 따른 표재정맥 실시간 탐지 장치는 도 1에 나타내는 바와 같이, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈(100); 피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200); 상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300); 상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성된다.As shown in Figure 1, the superficial vein real-time detection apparatus according to the present invention includes a near-infrared light source module 100 that irradiates the skin with near-infrared rays in a band of 800 to 950 nm; A camera module 200 comprising at least one lens 210 for obtaining an image of a subcutaneous blood vessel and a near-infrared (IR) image sensor 220 on which an image obtained from the lens 210 is formed; An image processor module 300 for image processing the subcutaneous blood vessel data transmitted from the camera module 200; And a digital light processing (DLP) module (hereinafter referred to as a DLP module) 400 that outputs a blood vessel image output from the image processor module 300 on a photographed skin area in real time. .

도면중 미설명부호 500은 외부기기와 통신을 위한 통신모듈을 나타내고, 600은 전원온/오프 등의 메뉴선택버튼과 충전이나 데이터전송 등을 위한 커넥터 등의 입/출력모듈을 나타낸다.
In the drawings, reference numeral 500 denotes a communication module for communication with an external device, and 600 denotes an input/output module such as a menu selection button for power on/off and a connector for charging or data transmission.

상기에서 근적외선 광원 모듈(100)은 800-950nm LED 소자를 사용하는데, 최적의 근적외선 파장을 확인하기 위하여, 시판되는 근적외선 LED를 각각 다른 파장으로 다수개 사용하여 피하혈관 영상을 측정하였으며, 그 결과 도 2에 나타내는 바와 같이 850nm LED 소자(확산각 45°)에서 우수한 영상이 획득되었다.In the above, the near-infrared light source module 100 uses an 800-950nm LED element, and in order to check the optimal near-infrared wavelength, a number of commercially available near-infrared LEDs with different wavelengths were used to measure subcutaneous blood vessel images. As shown in Fig. 2, excellent images were obtained in a 850nm LED device (diffusion angle 45°).

한편, 상기 근적외선 광원모듈(100)의 출력을 조정하고 이에 따라 근적외선 이미지 센서의 감도를 조정하여 세밀한 영상 제어가 가능하도록 하는데, 그 예로 근적외선 광원모듈의 출력을 강하게 하면 혈관의 선명도는 높일 수 있으나 세밀함(Detail)이 사라져서 미세혈관을 볼 수가 없고, 미세혈관을 보려고 근적외선 광원모듈의 출력을 약하게 하면 큰 혈관의 선명도가 약해지는 상관관계가 있다. 따라서, 목적하고자 하는 용도에 따라 사용자가 근적외선 광원모듈의 출력과 근적외선 이미지 센서의 감도를 조정할 수 있도록 한다.Meanwhile, the output of the near-infrared light source module 100 is adjusted and the sensitivity of the near-infrared image sensor is adjusted accordingly to enable detailed image control. For example, if the output of the near-infrared light source module is increased, the clarity of blood vessels can be increased, but Since the detail disappears, microvessels cannot be seen, and if the output of the near-infrared light source module is weakened to see microvessels, there is a correlation that the sharpness of large blood vessels is weakened. Accordingly, the user can adjust the output of the near-infrared light source module and the sensitivity of the near-infrared image sensor according to the intended use.

상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 렌즈로, 렌즈에서 IR 대역이 충분히 투과될 수 있도록 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 짧은 거리에서도 적외선(IR) 이미지 센서(220)에 상이 맺힐 수 있도록 최소 초점거리는 15cm이하로 하며, DLP 모듈(400)로부터 프로젝션되는 혈관이미지가 IR 이미지 센서(220)에 간섭을 일으키는 현상(플리커링, Flickering)을 방지하기 위해, 도 1 및 도 3에 나타내는 바와 같이 렌즈(210)에 별도의 720nm 로우컷(Low-cut) 필터인 가시광선필터(230)를 구비한다.The lens 210 constituting the camera module 200 is a C-Mount type lens. Non-IR Coating Lenses are used so that the IR band can be sufficiently transmitted through the lens, and even at a short distance. A phenomenon in which the minimum focal length is 15 cm or less so that an image can be formed on the infrared (IR) image sensor 220, and the blood vessel image projected from the DLP module 400 interferes with the IR image sensor 220 (flickering). In order to prevent this, as shown in FIGS. 1 and 3, a visible light filter 230 which is a separate 720 nm low-cut filter is provided on the lens 210.

상기 가시광선필터(230)는 렌즈후면에 가시광선 차단물질을 코팅한 것으로, 종래에는 렌즈 및 LED광원 전면에 필터를 부착하는 방법을 사용하였으나 이 경우 필터 자체의 산란효과로 출력 LED광량의 손실과 획득이미지의 해상도 저하 현상을 발생시키므로, 본 발명에서는 렌즈후면에 가시광선 차단물질을 코팅하여 필터링함으로써 LED광량의 손실과 획득이미지의 해상도 저하 현상없이 선명한 이미지를 획득할 수 있는 것이다.The visible light filter 230 is coated with a visible light blocking material on the rear surface of the lens, and conventionally, a method of attaching a filter to the front of the lens and the LED light source was used, but in this case, the loss of output LED light due to the scattering effect of the filter itself and Since the resolution of the acquired image is lowered, in the present invention, a clear image can be obtained without loss of LED light intensity and resolution of the acquired image by coating and filtering a visible light blocking material on the rear surface of the lens.

따라서 상기 가시광선필터(230)를 적용하면 햇빛이나 램프빛 등 주변광원(Ambience Light)의 빛과 플리커링 이미지 및 자기이미지(Self Image of Vein) 무한반복을 차단하고, 혈관의 근적외선 이미지(N-IR Image of Vein)만 통과시킬 수 있게 된다. Therefore, when the visible light filter 230 is applied, the light of the ambient light such as sunlight or lamp light, the flickering image, and infinite repetition of the Self Image of Vein are blocked, and the near-infrared image (N- IR Image of Vein) can be passed.

상기에서 플리커링은 DLP 모듈이 영상의 RGB 각 광원을 회전하는 미러로 출력하는데서 기인하는 구조적인 문제이고, 자기이미지 무한반복은 측정되는 원위치에 영상을 재현하면서 발생하는 문제, 즉 재현되는 영상이 다시 측정과정에 유입되는 문제이다.In the above, flickering is a structural problem caused by the DLP module outputting each RGB light source of the image to a rotating mirror, and the infinite repetition of self-image is a problem that occurs while reproducing the image in the original position to be measured, that is, the reproduced image again It is a problem that flows into the measurement process.

이러한 상기 가시광선 필터(230)의 성능을 광학분광기(spectroscope)로 측정한 결과 도 4에 나타내는 바와 같이 720nm 이하의 광간섭이 완벽하게 차단됨을 알 수 있고, 도 5는 가시광선 필터 사용 전/후 영상을 나타내는 것으로 사용 후 간섭이 사라짐을 알 수 있다.As a result of measuring the performance of the visible light filter 230 with an optical spectroscope, it can be seen that optical interference of 720 nm or less is completely blocked as shown in FIG. 4, and FIG. 5 shows before/after using the visible light filter. It shows an image, and it can be seen that the interference disappears after use.

상기 이미지 센서(220)는 N-IR CMOS 센서로, 근적외선(N-IR) 파장대에서 Bayer Color 또는 Monochrome type 이미지 센서 대비 약 2배 높은 QE(Quantum Efficiency) 특성을 가지는 특화된 이미지센서로 ISP(Image signal Processor)를 내장하여 ROI(Random Programmable Region of Interest) 기능으로 외부 Processor에 부하를 주지 않고 이미지 영역을 잘라서 사용할 수 있으며 AEC(Automatic Exposure Control), HDR(High Dynamic Range) 등의 기능을 지원하여 정밀한 혈관 영상 촬영이 가능하도록 함으로써, 표재정맥 영역에서의 보다 높은 해상력을 가진 이미지를 재구성할 수 있게 되어 기존 혈관탐지장비로는 잘 파악되지 않는 미세혈관까지 파악이 가능하게 된다.The image sensor 220 is an N-IR CMOS sensor, which is a specialized image sensor having a QE (Quantum Efficiency) characteristic that is about twice as high as a Bayer Color or Monochrome type image sensor in a near-infrared (N-IR) wavelength band. Processor) built-in ROI (Random Programmable Region of Interest) function allows you to cut and use the image area without putting a load on the external processor, and it supports functions such as AEC (Automatic Exposure Control) and HDR (High Dynamic Range) to provide precise blood vessels. By enabling imaging, it is possible to reconstruct an image with a higher resolution in the superficial vein region, and thus it is possible to grasp even microvessels that are not well recognized by conventional vascular detection equipment.

이때 양자효율(QE)은 물질 중에서 빛을 양자화한 광자(photon, 光子) 또는 전자(electron, 電子)가 다른 에너지의 광자 또는 전자로 변환되는 비율을 말하는 것으로, 이미지 센서 분야에서는 주로 CMOS 등의 감광성 장치에서 흡수된 광자와 전환된 전자의 비율을 말하며, 이미지 센서에서의 양자효율은 이미지의 해상력(Visiability)과 채도력(Saturation Capacity)을 의미한다.At this time, quantum efficiency (QE) refers to the rate at which photons or electrons of light quantized among materials are converted into photons or electrons of different energy. It refers to the ratio of the photons absorbed by the device and the converted electrons, and the quantum efficiency in the image sensor refers to the visibility and saturation capacity of the image.

또한 상기 이미지 센서(220)는 HDMI영상출력을 병렬 24비트로 변경하고, 카메라 영상입력 또한 기존 직렬입력방식인 MIPI 방식에서 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하여 그래픽 가속 기능을 구현하고, 이에 따른 충돌발생을 방지하기 위하여 다른 모든 핀의 포트 리맵핑 및 OS 커널 설정을 변경한다.
In addition, the image sensor 220 changes the HDMI image output to parallel 24-bit, and the camera image input also performs a graphic acceleration function by pin mapping from the MIPI method, which is a conventional serial input method, to a parallel 12-bit gray scale. And change the OS kernel configuration and port remapping of all other pins to prevent collisions.

이미지 프로세서 모듈(300)은 I.MX6Quad 프로세서를 사용하는데, 이는 높은 Performance와 저전력 소비에 초점을 맞춘 Freescale Semiconductor의 최상위 멀티미디어 전용 프로세서로, HD급 비디오처리가 필요한 하이엔드 포터블 미디어 플레이어(portable media players with HD video capability)에 최적화된 솔루션이며, ARM Cortex-A9 MPCore 플랫폼기반으로 설계된다.The image processor module 300 uses an I.MX6Quad processor, which is Freescale Semiconductor's top-level multimedia processor focused on high performance and low power consumption, and is a high-end portable media player with HD-level video processing. HD video capability) and is designed based on the ARM Cortex-A9 MPCore platform.

그리고, 상기 이미지 프로세서 모듈(300)은 별도의 배터리타입 전원관리를 위한 PMIC를 포함하여 구성된다.
In addition, the image processor module 300 is configured to include a PMIC for separate battery type power management.

DLP모듈(400)은 이미지 프로젝션 광원을 조정하는 드라이버부분과 실제 이미지영상을 출력하게 되는 엔진파트로 구성된다.The DLP module 400 is composed of a driver part that adjusts an image projection light source and an engine part that outputs an actual image image.

그리고, 프로젝션의 촛점거리가 15cm 이하로 조정될 수 있도록 경통부를 제작하고, 영상신호의 포트 매핑(Port Mapping)을 변경하여 DLP 컨트롤러 보드에 구현하며, 전용 디바이스 드라이버(Device Driver)를 개발하여 컨트롤러 보드에 포팅(Porting)한다.
In addition, the lens tube is manufactured so that the focal length of the projection can be adjusted to be less than 15cm, and the port mapping of the video signal is changed to be implemented on the DLP controller board, and a dedicated device driver is developed to the controller board. Porting.

이와 같이 구성된 본 발명에서 카메라 모듈(200)의 인식영영과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여 카메라 모듈(200)과 DLP 모듈(400)의 광축을 어긋나게 하여 카메라 모듈(200)의 인식영역과 DLP 모듈(400)의 프로젝션 영역을 일치시키고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정한다.In the present invention configured as described above, recognition of the camera module 200 by shifting the optical axis of the camera module 200 and the DLP module 400 to match the recognition image of the camera module 200 and the projection area of the DLP module 400 The area and the projection area of the DLP module 400 are matched, and distortion caused by this is corrected by the image processor module 300.

다른 방법으로 상기 카메라 모듈의 인식영영과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 광학미러를 장착하여 광축을 일치시킨다.
Alternatively, in order to match the recognition image of the camera module and the projection area of the DLP module, an optical mirror is mounted to match the optical axis.

한편, 상기 표재정맥 실시간 탐지 장치에는 와이파이 및 블루투스 등의 통신모듈(500)이 더 구비되어 획득된 표재정맥 이미지를 외부기기 즉, 휴대폰 등의 모바일기기나 담당자 단말기(데스크탑, 노트북 등), 서버 등에 전송하고, 그 동작을 모바일기기나 담당자 단말기로 제어할 수 있도록 하는데, 이를 위한 모바일기기용 사용자 인터페이스의 예를 하기에서 도 6을 참조하여 살펴본다.On the other hand, the superficial vein real-time detection device is further provided with a communication module 500 such as Wi-Fi and Bluetooth to transfer the obtained superficial vein image to an external device, that is, a mobile device such as a mobile phone, a person in charge terminal (desktop, laptop, etc.), a server, etc. It transmits and allows the operation to be controlled by a mobile device or a person in charge terminal. An example of a user interface for a mobile device for this will be described below with reference to FIG. 6.

상기 모바일기기용 사용자 인터페이스에는 표재정맥 실시간 탐지 장치의 배터리잔량, 이미지의 확대와 축소, 도 7에 나타내는 바와 같이 검출된 표재정맥 이미지의 출력을 다양하게 조정하여 출력하는 메뉴 즉, Universal 메뉴는 실시간 혈관 검출 알고리즘이 적용된 스트리밍 메뉴이고, Fine Detail메뉴는 정밀분석을 위해 해상도를 높인 스트리밍 메뉴(혈관 검출 알고리즘은 CLAHE 2단계까지만 적용)이나 실시간은 아니며, Blook Flow 메뉴는 혈류의 상대적 변화량 관찰을 위해 해상도를 높은 스트리밍 메뉴로 770nm LED와 850nm LED의 교차 점등을 통해서 획득된 영상으로 실시간이미지는 아니다.The user interface for the mobile device includes a menu that variously adjusts and outputs the output of the detected superficial vein image, as shown in FIG. 7, and the remaining battery capacity of the superficial vein real-time detection device, enlargement and reduction of an image. It is a streaming menu with detection algorithm applied, and the Fine Detail menu is a streaming menu with higher resolution for precise analysis (blood vessel detection algorithm only applies up to CLAHE stage 2), but not in real time, and the Blook Flow menu sets the resolution to observe the relative change in blood flow. This is an image acquired through cross-lighting of 770nm LED and 850nm LED with a high streaming menu, not a real-time image.

또한 상기 모바일기기용 사용자 인터페이스에는 도 8에 나타내는 바와 같이 표재정맥 이미지를 촬영된 영상 그대로 혈관을 검게 표시(Display)하거나, 영상을 반전시켜 혈관을 밝게 표시하는 메뉴가 구비되고, 도 9에 나타내는 바와 같이 밝은 부분에 사용할 색상 선택(Option : Green(Default)/Blue/Red)메뉴가 구비되며, LED 광원의 광량 조절과 상기 표재정맥 탐지장치와 연동을 위한 연동설정메뉴 등이 구비된다.In addition, as shown in FIG. 8, the user interface for the mobile device includes a menu for displaying blood vessels in black or inverting the image to brighten blood vessels, as shown in FIG. Likewise, a color selection (Option: Green (Default)/Blue/Red) menu to be used for the bright part is provided, and an interlocking setting menu for controlling the amount of light of the LED light source and interlocking with the superficial vein detection device is provided.

아울러, 상기 표재정맥 실시간 탐지 장치는 자연공냉 방식을 채택함으로써, 수술실 등에서도 사용할 수 있게 되고, 고해상도로 처리된 혈관이미지를 태블릿등 모바일기기에 실시간으로 스트리밍할 수 있어, 표재정맥의 상세 분석자료로 활용할 수 있으며, 혈관 기형분석, 개복수술에서 내부 장기의 혈관파악, 안과에서 망막혈관 변성 파악 등에 사용이 가능하다.In addition, by adopting a natural air cooling method, the superficial vein real-time detection device can be used in an operating room, etc., and a blood vessel image processed in high resolution can be streamed in real time to a mobile device such as a tablet, as detailed analysis data of the superficial vein. It can be used for vascular malformation analysis, vascular identification of internal organs in open surgery, and retinal vascular degeneration in ophthalmology.

그리고, 상기 표재정맥 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 본 발명의 표재정맥 실시간 탐지 장치로 전송되어 DLP 모듈을 통해서 해당 피부상에 투사된다.In addition, the superficial vein image acquired through the superficial vein real-time detection device is transmitted to the server, and by applying an artificial intelligence (AI) learning technique specialized for medical image analysis in the server, it is optimal for IV injection. The location of the puncture (centesis) is recommended, but the optimal puncture location is suggested by weighting through the puncture image obtained during the actual puncture and the expert's puncture location recommendation, and the puncture location proposed from the server is the superficial vein of the present invention in real time. It is transmitted to the detection device and projected onto the skin through the DLP module.

상기 장치를 이용한 표재정맥 실시간 탐지 방법을 하기에서 살펴본다.A method for real-time superficial vein detection using the device will be described below.

상기 표재정맥 실시간 탐지 방법은 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 Equalization을 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성된다.
The superficial vein real-time detection method is a pre-processing process of correcting the optical distortion of the lens and correcting the projection angle error of the DLP: Perspective transformation in the image obtained through the pre-processing process. Geometric transformation process that performs geometric transformation including (Transform): Histogram equalization (contrast limited adaptive histogram (CLAHE (Contrast Limited Adaptive Histogram)) that performs equalization by setting a separate Contrast Limiting value for each block as a method of leveling the histogram Equalization)] Process: Noise removal [Median Blur] process of removing increased noise after applying CLAHE: Inversion [Invert] process of inverting the contrast of the darkly displayed blood vessel image: Shape detection through image segmentation and binarization [Binarization] process: Consists of including.

상기 전처리과정에서 광학적 왜곡 보정(Distortion Correction)에 대하여 설명한다.Optical distortion correction in the pre-processing process will be described.

렌즈를 통해 획득된 이미지는 기본적으로 왜곡(Distortion) 현상이 발생하며, 주요 왜곡으로 방사 왜곡(Radial Distortion) 및 접선 왜곡(Tangential Distortion)이 있다.An image acquired through a lens basically has a distortion phenomenon, and major distortions include radial distortion and tangential distortion.

이 중 방사 왜곡(Radial Distortion)이란 볼록렌즈의 굴절률에 의해 발생하며, 영상의 왜곡 정도는 중심에서의 거리에 의해 결정되는데(이미지 중심에서 멀어질수록 직선이 곡선으로 왜곡), 이러한 방사 왜곡은 아래의 수학식 1로 보정한다.Among them, radial distortion is caused by the refractive index of the convex lens, and the degree of distortion of the image is determined by the distance from the center (the distance from the center of the image, the more the straight line is distorted into a curve). It is corrected with Equation 1.

수학식 1Equation 1

Figure 112019070336171-pat00001
Figure 112019070336171-pat00001

접선 왜곡(Tangential Distortion)은 카메라 제조(조립) 과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않거나, 렌즈 자체의 Centering이 맞지 않는 경우 발생하며, 이미지의 일부 영역이 예상보다 가깝게 보일 수 있는 왜곡으로, 수학식 2로 보정한다.Tangential Distortion is a distortion that occurs when the camera lens and the image sensor are not horizontally aligned or the centering of the lens itself is not aligned during the manufacturing (assembly) process of the camera, and some areas of the image may appear closer than expected. Corrected by Equation 2.

수학식 2Equation 2

Figure 112019070336171-pat00002
Figure 112019070336171-pat00002

기타 발생하는 물리적 왜곡 요소들은 Brown-Conrady Model을 적용하여 추가로 보정한다.Other physical distortion factors that occur are additionally corrected by applying the Brown-Conrady Model.

수학식 3Equation 3

Figure 112019070336171-pat00003
Figure 112019070336171-pat00003

투사각 오차 보정은 렌즈각도에 의한 이미지의 왜곡이 발생하지 않도록 하는 것으로, 혈관측정 전 DLP 모듈을 이용해 먼저 기준점(또는 기준라인)을 검출하고자 하는 위치에 조사하고, 이미지센서를 통해 수집된 영상 데이터에서 상기 기준점의 좌표를 획득하여, 이를 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.Projection angle error correction is to prevent distortion of the image due to the lens angle. Before measuring blood vessels, the DLP module first irradiates the position to detect the reference point (or reference line), acquires the coordinates of the reference point from the image data collected through the image sensor, and uses the camera module and the DLP module as reference coordinates. Align and apply to blood vessel detection.

그 예로, 도 10에 나타내는 바와 같이 DLP 모듈로 투사한 체커보드(Checker Board) 영상을 카메라에서 촬영하여 기준점 즉, 모서리 각 4지점(빨간점으로 표시)의 좌표를 획득한 후, 상기 획득된 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.As an example, as shown in FIG. 10, a reference point, that is, coordinates of each of the four corners (indicated by red dots) by photographing a checker board image projected by the DLP module with a camera, is obtained, and the obtained reference The camera module and the DLP module are aligned with coordinates and applied to blood vessel detection.

즉, 상기 카메라 모듈의 인식영역과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 상기 카메라 모듈의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록하고, 이로 인해 발생되는 왜곡현상은 이후 이미지 프로세서 모듈에서 보정한다.
That is, in order to match the recognition area of the camera module with the projection area of the DLP module, the optical axis of the camera module is shifted by about 16° so that the blood vessel recognition area of the camera module and the projection area of the DLP module coincide. The distortion is then corrected in the image processor module.

상기와 같은 카메라 모듈의 인식영역 및 DLP 모듈의 투사영역이 일치되도록 한 후, 카메라 모듈로부터 획득된 2D 이미지에 대하여 기하학적 변형과정을 수행하는데, 이는 카메라 모듈과 DLP 모듈의 광축이 일치하지 않아서 발생하는 원근감 변형 등을 보정하는 것으로, 상기 기하학적 변형에는 원근(Perspective), 크기(Scaling), 위치(Translation), 회전(Rotation) 등이 있으며, 그 예는 도 11과 같다.
After making the recognition area of the camera module and the projection area of the DLP module coincide as described above, a geometric transformation process is performed on the 2D image acquired from the camera module, which occurs because the optical axes of the camera module and the DLP module do not coincide. Perspective transformation is corrected, and the geometric transformation includes perspective, scaling, translation, rotation, and the like, as shown in FIG. 11.

균일화 과정은 히스토그램 평준화방법으로 수행되는데, 히스토그램 평준화(Histogram Equalization)는 도 12에 나타내는 바와 같이 2D 이미지의 명암 대비를 증가시키는 것으로, 히스토그램(Histogram)의 강도를 더 잘 분산시킬 수 있고, 이로 인해 낮은 명암비의 이미지 영역이 더 높아지게 된다.The homogenization process is performed by the histogram equalization method, and histogram equalization increases the contrast of the 2D image, as shown in FIG. 12, thereby better dispersing the intensity of the histogram, and thereby lowering The image area of the contrast ratio becomes higher.

따라서 일반적인 히스토그램 평준화는 밝거나 어두운 배경 및 전경이 있는 이미지에 유용하며, 특히 과다 노출 또는 과소 노출된 이미지를 더욱 자세히 묘사할 수 있으나, 전체 영역에서 적용되므로 명암 대비가 향상되면서 과도한 밝기에 의해 이미지의 세부영역 정보가 손실되는 문제점이 발생한다.Therefore, general histogram leveling is useful for images with bright or dark backgrounds and foregrounds, especially for overexposed or underexposed images. However, since it is applied over the entire area, the contrast is improved and the image is There is a problem that detailed area information is lost.

따라서, 이러한 문제를 해결하기 위해 도 13에 나타내는 바와 같이 히스토그램 평준화 기법을 변형한 CLAHE기법으로 변경하여 적용하며, CLAHE는 필요에 따라 복수회 반복하여 복수해 실시한다.Therefore, in order to solve this problem, as shown in FIG. 13, the histogram leveling technique is changed and applied to the modified CLAHE technique, and the CLAHE is repeated a plurality of times as necessary to perform multiple times.

상기 CLAHE(Contrast Limited Adaptive Histogram Equalization)는 이미지를 작은 블록(타일, Tile)으로 나눈 후, 각 블록에 대해서 각각 히스토그램 평준화(Histogram Equalization)를 실시하는 것으로, 다만 이미지에 노이즈(Noise)가 많을 경우에는 노이즈 또한 함께 증폭되기 때문에, 별도의 콘트라스트 리미팅(Contrast Limiting) 값을 설정하여 해결한다. 그리고 타일(Tile)의 경계 부분에서 발생하는 Artifact는 이중선형 보간기법(Bilinear Interpolation)을 적용하여 제거한다.
The Contrast Limited Adaptive Histogram Equalization (CLAHE) divides the image into small blocks (tiles) and then performs histogram equalization for each block. However, if there is a lot of noise in the image, Since noise is also amplified together, it is solved by setting a separate contrast limiting value. In addition, artifacts occurring at the boundary of the tile are removed by applying a bilinear interpolation technique.

그리고 CLAHE를 적용한 이후 증가된 노이즈(Noise)를 제거하기 위해 도 14에 나타내는 바와 같이 노이즈 제거과정인 Median Blur를 수행하는데, 이는 주변 픽셀들의 값과 자신의 값들을 크기에 따라 정렬하고 중간값(Median)을 선택해서 자신의 픽셀값으로 선택하는 알고리즘이다.
In order to remove the increased noise after applying CLAHE, as shown in FIG. 14, Median Blur, which is a noise removal process, is performed, which aligns the values of surrounding pixels and their own values according to the size and ) Is an algorithm to select as its own pixel value.

이후 도 14에 나타내는 바와 같이 반전과정(Invert)을 수행하여, 어둡게 표시되는 혈관을 밝게 표현하되도록 이미지의 명암을 역상시킨다.
Thereafter, as shown in FIG. 14, an inverting process is performed to reverse the contrast of the image so that dark blood vessels are expressed brightly.

마지막으로 형상검출과정(Binarization) 즉, 이미지를 분할하여 원하는 부분 혹은 물체의 형상을 검출하는데, 이는 입력된 영상 전체를 스캔하면서 픽셀값보다 트레스홀드(Threshold) 값이 크면 해당 위치의 픽셀값을 흰색(1 또는 255)로 하고, 픽셀값이 트레스홀드(Threshold)값보다 작으면 검은색으로 설정하여 출력하고, 이를 원위치(In-Situ)에 실시간으로 투사(Projection)하는 것으로, 형상검출과정을 거친 이미지와 실제 투사 이미지를 도 15에 나타낸다.
Finally, the shape detection process (Binarization), that is, the shape of the desired part or object is detected by segmenting the image, which scans the entire input image and if the threshold value is larger than the pixel value, the pixel value at the corresponding location is white. (1 or 255), and if the pixel value is less than the threshold, it is set to black and output, and it is projected to the original position (In-Situ) in real time. The image and the actual projected image are shown in FIG. 15.

한편, 상기와 같이 검출된 표재정맥 이미지를 이용하여 혈류변화를 실시간으로 탐지할 수 있으며, 이러한 혈류변화 실시간 탐지는 통신모듈을 이용하여 외부기기로 표재혈관 이미지를 전송하여 외부기기에서 혈류변화를 탐지하거나, 상기 표재정맥 실시간 탐지장치에서 자체적으로 탐지할 수도 있다.On the other hand, it is possible to detect changes in blood flow in real time using the superficial vein image detected as described above, and this real-time detection of blood flow changes detects changes in blood flow from an external device by transmitting a superficial blood vessel image to an external device using a communication module. Alternatively, the superficial vein real-time detection device may detect itself.

이러한 혈류변화 실시간 탐지를 위해서는 상기 LED모듈에 760-790nm LED 소자를 더 추가하여, 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하고, 상기 획득된 LED소자별 혈관이미지에서 도 16에 나타내는 바와 같이 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 기준치(정상이라고 판단할 기준치)를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력한다.For real-time detection of such changes in blood flow, a 760-790nm LED element is added to the LED module, and a plurality of 760-790nm LED elements and 800-950nm LED elements are alternately arranged, and each LED element is alternately lit by a camera module. A blood vessel image including concentration information of Hb for each device is acquired, and as shown in FIG. 16 in the obtained blood vessel image for each LED device, a change in the state of blood flow at a plurality of points in the same blood vessel, that is, a relative change in blood flow or an oxidized Hb band The difference in the concentration ratio of the reduced Hb is determined, and when the relative change in the blood flow or the difference in the concentration ratio of each hemoglobin exceeds a reference value (a reference value to be determined to be normal), it is determined as a blood vessel abnormality and output to the display unit.

이때 표시부는 외부기기의 표시부이거나 표재정맥 실시간 탐지 장치에 구비된 표시부이거나 원위치에 DLP모듈로 표시하는 것 중에서 택일된다.At this time, the display unit is selected from a display unit of an external device, a display unit provided in a real-time superficial vein detection device, or a DLP module displayed at the original position.

한편, 상기에서 혈류의 상태변화 측정은 770nm와 850nm LED를 교차 점등하여 실시간으로 탐지되는 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여 혈류(Blood Flow)의 상태변화를 파악하는 것이다.On the other hand, in the measurement of changes in the state of blood flow, the concentrations of Oxide and Deoxide hemoglobin (Hb) in the blood flow detected in real time by alternately lighting 770 nm and 850 nm LEDs are gradated (Scalarize), respectively. This is to grasp the change in the state of blood flow.

그리고 혈류량은 환원 및 산화 Hb의 합으로 추론할 수 있으며, 측정하고자 하는 지점의 계조변화의 차이를 RGB888인터페이스에 의한 24비트 체계로 계조화한 수치로 합산함으로써 두 지점 간의 상대적 변화 정도를 도출하게 된다.And the blood flow can be deduced from the sum of the reduction and oxidation Hb, and the relative degree of change between the two points is derived by summing the difference in the grayscale change of the point to be measured with a value obtained by gradation in a 24-bit system using the RGB888 interface. .

아울러, 복수 개 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론할 수 있는데, 이러한 농도비율변화 측정으로 확인 가능한 질환에는 동정맥루, 동정맥기형, 정맥기형, 모세혈관 동정맥기형, 하지정맥류 등이 있다.In addition, specific diseases or lesions can be inferred by grasping the difference in the concentration ratio of oxidized and reduced hemoglobin at multiple measurement points. Diseases that can be identified by measuring these concentration ratio changes include arteriovenous fistulas, arteriovenous malformations, venous malformations, capillaries. Vascular arteriovenous malformations, varicose veins, etc.

상기에서 동정맥루는 동정맥문합지를 통하지 않고 동맥과 정맥이 이상 단락한 증상으로, 동맥과 정맥을 연결하는 수술시 농도비율 변화를 측정하여 동맥과 정맥의 단락부위 판별에 사용할 수 있다.In the above, arteriovenous fistula is a symptom of an abnormal short circuit between an artery and a vein without passing through an arteriovenous anastomosis, and can be used to determine the area of a short circuit between an artery and a vein by measuring the change in concentration ratio during surgery connecting arteries and veins.

그리고, 동정맥기형은 동맥과 정맥이 서로 엉켜 모세혈관과 연결되지 않은 선천적 결함을 의미하는 것으로, 모세혈관의 부족으로 피가 빨리 흐르게 되며, 기형화된 혈관으로 피를 보내게 되므로, 동정맥 기형 부분의 혈류변화량을 측정할 수 있으면, 진단 및 치료계획을 수립하는데 도움을 줄 수 있다.In addition, arteriovenous malformation refers to a congenital defect that is not connected to capillaries due to the entanglement of arteries and veins, and blood flows quickly due to lack of capillaries, and blood is sent to deformed blood vessels. If the amount of change can be measured, it can help to establish a diagnosis and treatment plan.

하지정맥류는 도 17에 나타내는 바와 같이 다리에서 올라오는 혈액이 다시 내려가지 못하게 차단하는 판막이 제 기능을 못해서 혈액이 역류하여 혈관이 비정상적으로 확장/돌출되는 질환으로, 중년 여성에서 주로 발병하며, 미용적인 문제와 함께 다양한 합병증, 부종, 가려움, 경련조직괴사 등을 일으키나, 혈관의 변색이나 돌출이 발생하기 전에는 외견상 소견이 없어 일반적으로는 초기 진단에 어려움이 있었다.Varicose veins, as shown in FIG. 17, is a disease in which blood vessels are abnormally expanded/protruded due to reflux of blood because a valve that blocks blood from the leg from falling down again does not function properly. It mainly occurs in middle-aged women. It causes various complications, swelling, itchiness, and spasmodic tissue necrosis, along with common problems. However, there are no external findings before discoloration or protrusion of blood vessels, so initial diagnosis was generally difficult.

또한 확장된 혈관은 복원되지 않으므로 근본적인 치료가 어려우며 증상이 심할 경우 혈관을 제거하거나 경화요법을 사용하여야 하므로 초기에 이를 검출하는 방법이 절실히 요구된다.In addition, since the dilated blood vessels are not restored, fundamental treatment is difficult, and if the symptoms are severe, the blood vessels must be removed or sclerotherapy must be used. Therefore, a method of detecting them in the early stage is urgently required.

이에 따라 본 발명은 도 18에 나타내는 바와 같이 복수개 지점에서 측정한 각 산화 Hb와 환원 Hb의 농도 차이가 해당 복수개 지점에서 구성비율이 특정지점에서의 구성비율과 유의미하게 차이가 나는 경우, 하지정맥류로 판단하며, 이에 따라 혈관돌출, 변색 등 외형적인 소견이 발생하기 전에 조기 진단할 수 있게 된다.Accordingly, the present invention relates to varicose veins when the difference in concentration of each oxidized Hb and reduced Hb measured at a plurality of points is significantly different from the composition ratio at a specific point at the plurality of points, as shown in FIG. It is determined, and accordingly, it is possible to diagnose early before external findings such as blood vessel protrusion and discoloration occur.

100 : 근적외선 광원 모듈
200 : 카메라 모듈
210 : 렌즈
220 : 근적외선(IR) 이미지센서
300 : 이미지 프로세서 모듈
400 : 디지털광원처리(Digital Light Processing, DLP)모듈
100: near infrared light source module
200: camera module
210: lens
220: Near infrared (IR) image sensor
300: image processor module
400: Digital Light Processing (DLP) module

Claims (10)

피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈(100);
피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200);
상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300);
상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성되어,
혈관 이미지 검출 전 DLP 모듈에서 기준점 또는 기준라인을 피부에 조사하고 카메라 모듈로부터 획득된 영상에서 상기 이미지 프로세서 모듈은 기준점 또는 기준라인을 기준으로 이미지 처리하여 DLP 모듈에서 해당 기준점 또는 기준라인을 기준으로 이미지를 출력하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
Near-infrared light source module 100 for irradiating the near-infrared rays of the 800 ~ 950nm band to the skin;
A camera module 200 comprising at least one lens 210 for obtaining an image of a subcutaneous blood vessel and a near-infrared (IR) image sensor 220 on which an image obtained from the lens 210 is formed;
An image processor module 300 for image processing the subcutaneous blood vessel data transmitted from the camera module 200;
And a digital light processing (DLP) module (hereinafter referred to as a DLP module) 400 that outputs a blood vessel image output from the image processor module 300 on a photographed skin area in real time. ,
Before the blood vessel image is detected, the DLP module irradiates a reference point or reference line to the skin, and in the image acquired from the camera module, the image processor module processes the image based on the reference point or reference line, and the DLP module performs an image based on the reference point or line Superficial vein real-time detection device, characterized in that outputting.
제 1항에 있어서, 상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 최소 초점거리는 15cm이하로 하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The method of claim 1, wherein the lens 210 constituting the camera module 200 uses a C-Mount type non-IR coating lens, and the minimum focal length is 15 cm or less. Superficial vein real-time detection device. 제 1항에 있어서, 상기 렌즈(210)의 뒷면에 가시광선차단물질을 코팅하여 가시광선필터(230)를 구비한 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The apparatus of claim 1, wherein a visible light filter (230) is provided by coating a visible light blocking material on the rear surface of the lens (210). 제 1항에 있어서, 상기 이미지 센서(220)는 N-IR CMOS 이미지 센서를 사용하고, HDMI영상출력을 병렬 24비트로 변경하며, 카메라 영상입력은 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The method of claim 1, wherein the image sensor 220 uses an N-IR CMOS image sensor, converts the HDMI image output into parallel 24-bit, and the camera image input is pin-mapping in parallel 12-bit gray scale. Pin mapping) superficial vein real-time detection device, characterized in that. 삭제delete 제 1항에 있어서, 상기 표재정맥 실시간 탐지 장치에는 통신 모듈이 더 구비되어 획득된 혈관영상이 외부기기로 실시간 전송되는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The real-time superficial vein detection apparatus according to claim 1, wherein the real-time superficial vein detection apparatus further comprises a communication module to transmit the acquired blood vessel image to an external device in real time. 제 1항에 있어서, 상기 카메라 모듈(200)의 인식영영과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여, 상기 카메라 모듈(200)의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록 하고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The method of claim 1, wherein in order to match the recognition image of the camera module 200 and the projection area of the DLP module 400, the optical axis of the camera module 200 is shifted by about 16° to match the blood vessel recognition area of the camera module. A superficial vein real-time detection device, characterized in that the projection area of the DLP module is matched, and the distortion caused by this is corrected by the image processor module (300). 제 1항에 있어서, 상기 표재정맥 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 표재정맥 실시간 탐지 장치로 전송되어 DLP 모듈을 통해서 해당 피부 상에 투사되는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.The method of claim 1, wherein the superficial vein image acquired through the superficial vein real-time detection device is transmitted to a server, and by applying an artificial intelligence (AI) learning technique specialized for medical image analysis in the server, IV injection During the procedure, the optimal puncture (centesis) position is recommended, but the optimal puncture position is suggested by weighting through the puncture image acquired during the actual puncture and the expert's puncture position recommendation, and the puncture position suggested from the server is superficial vein. Superficial vein real-time detection device, characterized in that transmitted to the real-time detection device and projected onto the skin through the DLP module. 청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 6, 청구항 7 또는 청구항 8의 어느 하나에 따른 표재정맥 실시간 탐지 장치를 사용하여,
렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 :
상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 :
히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 :
CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 :
이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 것을 특징으로 하는 표재정맥 실시간 탐지 방법.
Using the superficial vein real-time detection device according to any one of claims 1, 2, 3, 4, 6, 7 or 8,
Pre-Processing process of correcting the optical distortion of the lens and correcting the projection angle error of the DLP:
Geometric transformation process for performing geometric transformation including perspective transformation in the image acquired through the preprocessing process:
Equalization [CLAHE (Contrast Limited Adaptive Histogram Equalization)] process by setting a separate Contrast Limiting value for each block as a method of leveling histogram (increases the contrast of the acquired image):
Noise removal [Median Blur] process of removing increased noise after applying CLAHE: Inverting [Invert] process of inverting the contrast of the darkened blood vessel image:
[Binarization] process through image segmentation and binarization: Real-time superficial vein detection method, comprising a.
제 9항에 있어서, 표재정맥 실시간 탐지 장치를 구성하는 근적외선 광원 모듈은 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하고, 상기 획득된 LED소자별 혈관이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 정상이라고 판단할 기준치를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력하는 것을 특징으로 하는 표재정맥 실시간 탐지 방법.The method of claim 9, wherein the near-infrared light source module constituting the superficial vein real-time detection device includes a plurality of 760-790nm LED devices and 800-950nm LED devices, respectively, and alternately lighting them to generate Hb for each LED device as a camera module. A blood vessel image including the concentration information of is obtained, and a change in the state of blood flow at a plurality of points of the same blood vessel in the obtained blood vessel image for each LED element, that is, the relative change in blood flow or the difference in the concentration ratio of oxidized Hb versus reduced Hb is determined. And, when the relative change in blood flow or the difference in the concentration ratio of each hemoglobin deviates from a reference value to be determined as normal, it is determined as a blood vessel abnormality and output to a display unit.
KR1020190082808A 2019-07-09 2019-07-09 Real-time detection device and method of superficial vein Expired - Fee Related KR102176196B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190082808A KR102176196B1 (en) 2019-07-09 2019-07-09 Real-time detection device and method of superficial vein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190082808A KR102176196B1 (en) 2019-07-09 2019-07-09 Real-time detection device and method of superficial vein

Publications (1)

Publication Number Publication Date
KR102176196B1 true KR102176196B1 (en) 2020-11-09

Family

ID=73429592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190082808A Expired - Fee Related KR102176196B1 (en) 2019-07-09 2019-07-09 Real-time detection device and method of superficial vein

Country Status (1)

Country Link
KR (1) KR102176196B1 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023091424A1 (en) * 2021-11-16 2023-05-25 Bard Access Systems, Inc. Temperature monitoring for vessel detection
CN116439740A (en) * 2023-04-12 2023-07-18 岱特智能科技(上海)有限公司 Quality management method and related device for arm vascular access
CN116649918A (en) * 2023-07-25 2023-08-29 安徽康沐医疗器械科技有限公司 Vein imaging instrument collection and reduction system
US11759166B2 (en) 2019-09-20 2023-09-19 Bard Access Systems, Inc. Automatic vessel detection tools and methods
US11813442B2 (en) 2021-12-14 2023-11-14 Jason Kim Intravenous injection aid for indicating vein
WO2024080773A1 (en) * 2022-10-14 2024-04-18 주식회사 에어스 메디컬 Method, program, and apparatus for searching for blood collection candidate
US11992363B2 (en) 2020-09-08 2024-05-28 Bard Access Systems, Inc. Dynamically adjusting ultrasound-imaging systems and methods thereof
US12048491B2 (en) 2020-12-01 2024-07-30 Bard Access Systems, Inc. Ultrasound probe with target tracking capability
US12165315B2 (en) 2020-12-01 2024-12-10 Bard Access Systems, Inc. Ultrasound system with pressure and flow determination capability
US12213746B2 (en) 2020-11-24 2025-02-04 Bard Access Systems, Inc. Ultrasound system with target and medical instrument awareness
US12232910B2 (en) 2020-09-10 2025-02-25 Bard Access Systems, Inc. Ultrasound probe with pressure measurement capability
US12287403B2 (en) 2021-04-15 2025-04-29 Bard Access Systems, Inc. Ultrasound imaging system having near-infrared/infrared detection
US12376817B2 (en) 2021-11-03 2025-08-05 Bard Access Systems, Inc. Optimized functionality through interoperation of doppler and image based vessel differentiation
US12433567B2 (en) 2022-03-16 2025-10-07 Bard Access Systems, Inc. Ultrasound imaging system
US12514532B2 (en) 2022-03-01 2026-01-06 Bard Access Systems, Inc. Ultrasound imaging system
US12514533B2 (en) 2022-03-01 2026-01-06 Bard Access Systems, Inc. Ultrasound imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212386A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Blood vessel display device
KR101494638B1 (en) 2013-02-19 2015-03-02 서강대학교산학협력단 Vein visualization method using estimated reflectance spectrums, guide apparatus for vascular access using the method thereof and user authentication apparatus using the method thereof
KR20150061793A (en) * 2013-11-28 2015-06-05 주식회사 디앤디케이 Vascular Venous Identification System And Its Methods
CN108703745A (en) * 2018-06-07 2018-10-26 中国计量大学 Vein developing method based on structure light and vein imaging system
KR20190060488A (en) * 2017-11-24 2019-06-03 주식회사 엔씨테크론 apparatus for projecting blood vessel using infrared rays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212386A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Blood vessel display device
KR101494638B1 (en) 2013-02-19 2015-03-02 서강대학교산학협력단 Vein visualization method using estimated reflectance spectrums, guide apparatus for vascular access using the method thereof and user authentication apparatus using the method thereof
KR20150061793A (en) * 2013-11-28 2015-06-05 주식회사 디앤디케이 Vascular Venous Identification System And Its Methods
KR20190060488A (en) * 2017-11-24 2019-06-03 주식회사 엔씨테크론 apparatus for projecting blood vessel using infrared rays
CN108703745A (en) * 2018-06-07 2018-10-26 中国计量大学 Vein developing method based on structure light and vein imaging system

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12138108B2 (en) 2019-09-20 2024-11-12 Bard Access Systems, Inc. Automatic vessel detection tools and methods
US11759166B2 (en) 2019-09-20 2023-09-19 Bard Access Systems, Inc. Automatic vessel detection tools and methods
US12369882B2 (en) 2020-09-08 2025-07-29 Bard Access Systems, Inc. Dynamically adjusting ultrasound-imaging systems and methods thereof
US11992363B2 (en) 2020-09-08 2024-05-28 Bard Access Systems, Inc. Dynamically adjusting ultrasound-imaging systems and methods thereof
US12232910B2 (en) 2020-09-10 2025-02-25 Bard Access Systems, Inc. Ultrasound probe with pressure measurement capability
US12213746B2 (en) 2020-11-24 2025-02-04 Bard Access Systems, Inc. Ultrasound system with target and medical instrument awareness
US12165315B2 (en) 2020-12-01 2024-12-10 Bard Access Systems, Inc. Ultrasound system with pressure and flow determination capability
US12048491B2 (en) 2020-12-01 2024-07-30 Bard Access Systems, Inc. Ultrasound probe with target tracking capability
US12287403B2 (en) 2021-04-15 2025-04-29 Bard Access Systems, Inc. Ultrasound imaging system having near-infrared/infrared detection
US12376817B2 (en) 2021-11-03 2025-08-05 Bard Access Systems, Inc. Optimized functionality through interoperation of doppler and image based vessel differentiation
WO2023091424A1 (en) * 2021-11-16 2023-05-25 Bard Access Systems, Inc. Temperature monitoring for vessel detection
US11813442B2 (en) 2021-12-14 2023-11-14 Jason Kim Intravenous injection aid for indicating vein
US12514532B2 (en) 2022-03-01 2026-01-06 Bard Access Systems, Inc. Ultrasound imaging system
US12514533B2 (en) 2022-03-01 2026-01-06 Bard Access Systems, Inc. Ultrasound imaging system
US12433567B2 (en) 2022-03-16 2025-10-07 Bard Access Systems, Inc. Ultrasound imaging system
WO2024080773A1 (en) * 2022-10-14 2024-04-18 주식회사 에어스 메디컬 Method, program, and apparatus for searching for blood collection candidate
CN116439740A (en) * 2023-04-12 2023-07-18 岱特智能科技(上海)有限公司 Quality management method and related device for arm vascular access
CN116649918A (en) * 2023-07-25 2023-08-29 安徽康沐医疗器械科技有限公司 Vein imaging instrument collection and reduction system

Similar Documents

Publication Publication Date Title
KR102176196B1 (en) Real-time detection device and method of superficial vein
KR102265702B1 (en) Real-time detection device of superficial vein and blood flow
US9364147B2 (en) System, method and device for automatic noninvasive screening for diabetes and pre-diabetes
US12185905B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
JP7346693B2 (en) Medical image processing device, processor device, endoscope system, operating method of medical image processing device, and program
JP7411772B2 (en) endoscope system
US11877720B2 (en) Enhanced fluorescence imaging for imaging system
US20150294463A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
US12521010B2 (en) Portable system for identifying potential cases of diabetic macular oedema using image processing and artificial intelligence
US20180214004A1 (en) Image processing apparatus, endoscope system, and image processing method
CN105748029A (en) Imaging system of endoscope
US20180218499A1 (en) Image processing apparatus, endoscope system, and image processing method
CN112584741B (en) Medical Image Processing System
CN112969403B (en) Medical image processing device, medical image processing method, diagnosis auxiliary device and recording medium
CN112512398B (en) Medical image processing apparatus
WO2006087981A1 (en) Medical image processing device, lumen image processing device, lumen image processing method, and programs for them
US12052526B2 (en) Imaging system having structural data enhancement for non-visible spectra
US20220164947A1 (en) Image processing system and image processing method
US20200121175A1 (en) Image processing device, endoscope apparatus, and operating method of image processing device
KR102176200B1 (en) Real-time detection and method of blood flow
JP2016140428A (en) Ophthalmologic apparatus, image processing method, and program
KR102363603B1 (en) Diabetic retinopathy diagnosis device using image processing algorithm
CN112584740B (en) Medical image processing apparatus
CN113038868A (en) Medical image processing system
JP5372540B2 (en) Functional imaging ophthalmic apparatus and mask forming method

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20241104

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20241104

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20241104

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000