KR102176196B1 - Real-time detection device and method of superficial vein - Google Patents
Real-time detection device and method of superficial vein Download PDFInfo
- Publication number
- KR102176196B1 KR102176196B1 KR1020190082808A KR20190082808A KR102176196B1 KR 102176196 B1 KR102176196 B1 KR 102176196B1 KR 1020190082808 A KR1020190082808 A KR 1020190082808A KR 20190082808 A KR20190082808 A KR 20190082808A KR 102176196 B1 KR102176196 B1 KR 102176196B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- real
- module
- blood vessel
- superficial vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)의 형태를 검출하고, 고속 영상처리 알고리즘을 적용하여 혈관이 위치한 원래의 피부표면에 실시간으로 투사(投射, Projection)하는 표재정맥 실시간 탐지 장치 및 방법에 관한 것이다.The present invention detects the shape of superficial veins by analyzing the reaction specificity of hemoglobin in blood in a specific wavelength range in a near-infrared (N-IR) irradiation environment, and applies a high-speed image processing algorithm to reduce blood vessels. It relates to an apparatus and method for real-time detection of superficial veins that are projected on the original skin surface in real time.
Description
본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)의 형태를 검출하고, 고속 영상처리 알고리즘을 적용하여 혈관이 위치한 원래의 피부표면에 실시간으로 투사(投射, Projection)하는 표재정맥 실시간 탐지 장치 및 방법에 관한 것이다.The present invention detects the shape of superficial veins by analyzing the reaction specificity of hemoglobin in blood in a specific wavelength range in a near-infrared (N-IR) irradiation environment, and applies a high-speed image processing algorithm to reduce blood vessels. It relates to an apparatus and method for real-time detection of superficial veins that are projected on the original skin surface in real time.
혈관주사(IV Injection)는 많은 의료영역에서 행해지는 중요한 의료시술의 하나로, 대부분의 경우 숙련된 의료인력이 큰 무리없이 IV 주사 시술을 하고 있으나, 간혹 혈관을 육안으로 파악하기 어려운 비만환자나 특이체질 환자, 아동 환자 등의 경우에는 IV 주사 시술에 어려움을 겪고 있다.IV injection is one of the important medical procedures performed in many medical fields.In most cases, skilled medical personnel perform IV injection without much difficulty, but sometimes obese patients or peculiar constitutions that are difficult to identify blood vessels with the naked eye. In the case of patients and child patients, IV injections are difficult.
특히 중증의 질병으로 장기 입원하는 환자의 경우, 링거 수액을 거의 24시간 투여해야 하므로 항상 IV 주사가 되어 있는 상태로 있어야 하고, 이 경우 반복된 수액투여로 혈관이 약해지고 약한 부위를 피해서 반복 주사하다 보면 결국 팔, 손, 발목 등에서 더 이상 IV 주사를 실시할 위치를 찾지 못하게 되며, 종국에는 중심정맥관(Central Venous Line) 삽입을 통하여 약물을 주입하는 경우가 발생한다.In particular, in the case of a patient who is hospitalized for a long time due to a serious disease, it is necessary to administer Ringer's fluid for almost 24 hours, so it must be kept in an IV injection state. In this case, if the blood vessel is weakened by repeated infusion and repeated injections avoiding weak areas, Eventually, the arm, hand, and ankle are no longer able to find a location for IV injection, and eventually, a case of injecting drugs through the insertion of a central venous line occurs.
이러한 이유로 IV 주사과정에서 혈관이 아닌 곳에 약물을 주입할 경우, 침윤, 혈종, 신경 손상, 급성 구획 증후군 등의 증상이 발생된다.For this reason, when a drug is injected into a place other than a blood vessel during the IV injection process, symptoms such as infiltration, hematoma, nerve damage, and acute compartment syndrome may occur.
상기에서 침윤[Infiltration]은 정맥주사액이 정맥 밖의 주위조직들로 새어나가는 것을 뜻하고, 혈종[Hematoma]은 정맥주사 부위의 주변조직으로의 출혈이 일어나 형성되는 좌상을 말하며, 신경 손상[Nerve damage]은 바늘 삽입 시 신경초를 실질적으로 침범하는 경우 혹은 오랜 기간 동안 정맥주사 카테터(catheter)에 의해 신경이 압박된 경우에 발생되며, 급성 구획 증후군[acute compartment syndrome]은 외상에 의해 한정된 공간의 압력이 한계범위까지 증가하여 혈류의 감소로 이어지는 것으로 조직의 허혈과 괴사 및 기능적 손상이 발생하는 것을 말한다.In the above, infiltration refers to the leakage of intravenous fluid to surrounding tissues outside the vein, and hematoma refers to a left injury formed by bleeding to the surrounding tissues at the site of the intravenous injection, and nerve damage [Nerve damage] It occurs when the nerve sheath is actually invaded when the needle is inserted or when the nerve is compressed by an intravenous catheter for a long period of time. Acute compartment syndrome is limited to the pressure in the space confined by trauma. It increases to the range and leads to a decrease in blood flow, which means that tissue ischemia, necrosis, and functional damage occur.
한편, 성형외과/피부과 영역의 경우에는 미용 시술시 혈관을 피해야 하는 경우가 대부분으로, 최근 유행하고 있는 필러(충전재) 시술의 경우 미세혈관과 신경이 다량으로 분포하고 있는 얼굴에 시술을 해야 하는데, 잘못된 시술로 인한 사고가 자주 발생하는 편이다.On the other hand, in the case of plastic surgery/dermatology, blood vessels must be avoided during cosmetic procedures in most cases, and in the case of filler (filler) treatment, which is popular in recent years, the procedure must be performed on the face where a large amount of microvessels and nerves are distributed. Accidents due to incorrect procedures tend to occur frequently.
따라서 정확한 혈관 위치와 상태를 파악할 수 있는 기술의 개발이 절실히 요구되고 있다.Therefore, there is an urgent need to develop a technology capable of grasping the exact location and state of blood vessels.
본 발명의 목적은 근적외선(N-IR)의 반사원리를 이용해 혈관정보를 파악하고, 파악된 혈관정보를 가시(Visible) 영역의 이미지로 재구성하여 측정된 원위치(In-Situ)에 실시간으로 정확하게 투사(Projection)함으로써, 육안으로는 판별되지 않는 혈관의 위치와 형태 등을 실제 모습 그대로 파악하면서 IV주사(또는 필러시술 등)를 할 수 있게 되어, IV주사과정 및 성형시술에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하는 표재정맥 실시간 탐지장치 및 방법을 제공하는 데 있다.An object of the present invention is to grasp blood vessel information using the reflection principle of near-infrared (N-IR), reconstruct the detected blood vessel information into an image in the visible area, and accurately project the measured in-situ in real time. Through (Projection), IV injection (or filler surgery, etc.) can be performed while grasping the location and shape of blood vessels that cannot be identified with the naked eye, and medical accidents occurring in the IV injection process and plastic surgery It is to provide a real-time superficial vein detection device and method that can dramatically reduce the side effects and reduce the burden on medical personnel, thereby enabling active treatment for patients.
또한 표재정맥 탐지 과정에서 왜곡이나 노이즈가 발생하지 않도록 하여 정확하고 선명한 혈관 영상이 출력되도록 하는 표재정맥 실시간 탐지 장치 및 방법을 제공하는 데 있다.In addition, to provide an apparatus and method for detecting a superficial vein in real time to output an accurate and clear blood vessel image by preventing distortion or noise from occurring during the superficial vein detection process.
상기한 목적을 달성하기 위한 본 발명의 특징은, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈; 피하혈관의 영상을 획득하는 하나 이상의 렌즈와 상기 렌즈로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서를 포함하여 구성되어 피하혈관 데이터를 획득하는 카메라 모듈; 상기 카메라모듈로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈; 상기 이미지 프로세서 모듈에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP) 모듈; 을 포함하여 구성되는 표재정맥 실시간 탐지 장치에 있다.A feature of the present invention for achieving the above object is a near-infrared light source module for irradiating the near-infrared ray of 800 ~ 950nm band to the skin; A camera module configured to include at least one lens for obtaining an image of a subcutaneous blood vessel and a near-infrared (IR) image sensor on which an image obtained from the lens is formed to obtain subcutaneous blood vessel data; An image processor module for image processing the subcutaneous blood vessel data transmitted from the camera module; A digital light processing (DLP) module for outputting a blood vessel image output from the image processor module on a photographed skin area in real time; There is a superficial vein real-time detection device comprising a.
그리고, 본 발명의 다른 특징은 상기 표재정맥 실시간 탐지 장치를 사용하여, 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 표재정맥 실시간 탐지 방법에 있다.In addition, another feature of the present invention is a pre-processing process of correcting optical distortion of a lens and correcting a projection angle error of a DLP using the superficial vein real-time detection device: the pre-processing Geometric transformation process that performs geometric transformation including perspective transformation in the image acquired through the process: Histogram equalization (increase the contrast of the acquired image) by setting a separate Contrast Limiting value for each block to equalize Equalization [CLAHE (Contrast Limited Adaptive Histogram Equalization)] process that performs (Equalization): Noise removal [Median Blur] process that removes increased noise after applying CLAHE: Invert [Invert] process that reverses the contrast of the darkened blood vessel image : Image segmentation and shape detection through binarization [Binarization] process: It is in a method of real-time detection of superficial veins, including.
상기와 같은 구성을 갖는 본 발명에 의하면 혈관 이미지가 원위치(In-Situ)에 정확하게 실시간 투사(Projection)됨으로써, IV주사과정에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 혈관을 피해서 주사할 필요가 있는 경우에 혈관을 손상시키지 않도록 하여 IV 주사 또는 성형시술 상황에서 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하며, 환자의 경우에도 정확한 시술로 의료진에 대한 신뢰감을 높일 수 있는 효과가 있다.According to the present invention having the configuration as described above, the blood vessel image is accurately projected in-situ in real time, thereby significantly reducing medical accidents and side effects that occur during the IV injection process, and avoiding the blood vessels to be injected. By not damaging blood vessels when necessary, it can reduce the burden of medical personnel in the situation of IV injections or plastic surgery, enabling active treatment for patients, and increasing confidence in medical staff through accurate procedures even for patients. It works.
이에 따라, 채혈실에서 노인 및 아동 등의 정맥을 찾기 힘든 환자의 정맥 찾는 것을 도움으로써, 채혈자의 실수에 대한 부담감 감소로 일의 효율을 높이고, 환자 및 보호자가 육안으로 확인을 할 수 있어 안정감을 줄 수 있고, 경험이 부족한 채혈자도 채혈을 간편하게 할 수 있기 때문에 채혈 시간을 단축할 수 있는 효과가 있다.Accordingly, it helps to find veins of patients who are difficult to find veins in the blood collection room, such as the elderly and children, to increase work efficiency by reducing the burden of blood collector's mistakes, and to have a sense of stability as patients and guardians can check them with the naked eye. It has the effect of shortening the blood collection time because it can be given, and because even an inexperienced blood collector can easily collect blood.
그리고 혈관기형클리닉에서 시술 시 초음파를 이용하여 병변의 위치를 확인하고 마킹 한 뒤 시술하거나 초음파를 보면서 시술하는 것보다 피부 아래를 직접 관찰하면서 시술할 수 있어 보다 직관적이며 시술자의 편의성을 증대시킬 수 있고, 수술 시 육안으로 구별 불가능한 혈관 및 조직들을 간편하게 구별함으로써, 수술 성공률을 높이는데 기여할 수 있다.In addition, during the procedure at the vascular malformation clinic, the location of the lesion can be checked and marked using ultrasound, and the procedure can be performed while directly observing the skin under the skin rather than performing the procedure or performing the procedure while watching the ultrasound, which is more intuitive and increases the operator's convenience. , By easily distinguishing blood vessels and tissues that cannot be distinguished with the naked eye during surgery, it can contribute to increasing the surgical success rate.
또한 성형외과에서 정맥주사, 근육주사, 피하주사 등의 주사 시술 시 피하 층을 정확히 구분할 수 있기 때문에 주사의 부작용을 방지할 수 있다.In addition, since injection procedures such as intravenous, intramuscular, and subcutaneous injection in plastic surgery can accurately distinguish the subcutaneous layer, side effects of injection can be prevented.
아울러, 혈류 패턴 분석은 말초 혈관 질환의 진단에 도움을 줌으로써, 저렴한 비용으로 간단한 판별 검사로써 사용될 수 있으며, 혈관계 질환 예방에 도움을 줄 수 있다.In addition, blood flow pattern analysis may be used as a simple discriminant test at low cost by helping to diagnose peripheral vascular disease, and may help prevent vascular disease.
도 1은 본 발명에 따른 표재정맥 실시간 탐지 장치를 나타내는 도면
도 2는 LED 파장별 혈관 검출 이미지를 나타내는 도면
도 3은 가시광선필터의 동작을 나타내는 도면
도 4 및 도 5는 본 발명에 따른 가시광선필터의 작용을 나타내는 도면
도 6 내지 도 9는 모바일기기용 사용자 인터페이스의 구동예를 나타내는 도면
도 10 내지 도 15는 본 발명에 따른 표재정맥 실시간 탐지 방법을 나타내는 도면
도 16 내지 도 18은 혈류변화 실시간 탐지 방법의 실시예를 나타내는 도면1 is a view showing an apparatus for real-time superficial vein detection according to the present invention
2 is a diagram showing a blood vessel detection image by LED wavelength
3 is a diagram showing an operation of a visible light filter
4 and 5 are views showing the action of the visible light filter according to the present invention
6 to 9 are views showing an example of driving a user interface for a mobile device
10 to 15 are views showing a method for real-time superficial vein detection according to the present invention
16 to 18 are diagrams showing an embodiment of a method for real-time detection of changes in blood flow
이하 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 설명한다.
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
본 발명에 따른 표재정맥 실시간 탐지 장치는 도 1에 나타내는 바와 같이, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈(100); 피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200); 상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300); 상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성된다.As shown in Figure 1, the superficial vein real-time detection apparatus according to the present invention includes a near-infrared
도면중 미설명부호 500은 외부기기와 통신을 위한 통신모듈을 나타내고, 600은 전원온/오프 등의 메뉴선택버튼과 충전이나 데이터전송 등을 위한 커넥터 등의 입/출력모듈을 나타낸다.
In the drawings,
상기에서 근적외선 광원 모듈(100)은 800-950nm LED 소자를 사용하는데, 최적의 근적외선 파장을 확인하기 위하여, 시판되는 근적외선 LED를 각각 다른 파장으로 다수개 사용하여 피하혈관 영상을 측정하였으며, 그 결과 도 2에 나타내는 바와 같이 850nm LED 소자(확산각 45°)에서 우수한 영상이 획득되었다.In the above, the near-infrared
한편, 상기 근적외선 광원모듈(100)의 출력을 조정하고 이에 따라 근적외선 이미지 센서의 감도를 조정하여 세밀한 영상 제어가 가능하도록 하는데, 그 예로 근적외선 광원모듈의 출력을 강하게 하면 혈관의 선명도는 높일 수 있으나 세밀함(Detail)이 사라져서 미세혈관을 볼 수가 없고, 미세혈관을 보려고 근적외선 광원모듈의 출력을 약하게 하면 큰 혈관의 선명도가 약해지는 상관관계가 있다. 따라서, 목적하고자 하는 용도에 따라 사용자가 근적외선 광원모듈의 출력과 근적외선 이미지 센서의 감도를 조정할 수 있도록 한다.Meanwhile, the output of the near-infrared
상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 렌즈로, 렌즈에서 IR 대역이 충분히 투과될 수 있도록 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 짧은 거리에서도 적외선(IR) 이미지 센서(220)에 상이 맺힐 수 있도록 최소 초점거리는 15cm이하로 하며, DLP 모듈(400)로부터 프로젝션되는 혈관이미지가 IR 이미지 센서(220)에 간섭을 일으키는 현상(플리커링, Flickering)을 방지하기 위해, 도 1 및 도 3에 나타내는 바와 같이 렌즈(210)에 별도의 720nm 로우컷(Low-cut) 필터인 가시광선필터(230)를 구비한다.The
상기 가시광선필터(230)는 렌즈후면에 가시광선 차단물질을 코팅한 것으로, 종래에는 렌즈 및 LED광원 전면에 필터를 부착하는 방법을 사용하였으나 이 경우 필터 자체의 산란효과로 출력 LED광량의 손실과 획득이미지의 해상도 저하 현상을 발생시키므로, 본 발명에서는 렌즈후면에 가시광선 차단물질을 코팅하여 필터링함으로써 LED광량의 손실과 획득이미지의 해상도 저하 현상없이 선명한 이미지를 획득할 수 있는 것이다.The
따라서 상기 가시광선필터(230)를 적용하면 햇빛이나 램프빛 등 주변광원(Ambience Light)의 빛과 플리커링 이미지 및 자기이미지(Self Image of Vein) 무한반복을 차단하고, 혈관의 근적외선 이미지(N-IR Image of Vein)만 통과시킬 수 있게 된다. Therefore, when the
상기에서 플리커링은 DLP 모듈이 영상의 RGB 각 광원을 회전하는 미러로 출력하는데서 기인하는 구조적인 문제이고, 자기이미지 무한반복은 측정되는 원위치에 영상을 재현하면서 발생하는 문제, 즉 재현되는 영상이 다시 측정과정에 유입되는 문제이다.In the above, flickering is a structural problem caused by the DLP module outputting each RGB light source of the image to a rotating mirror, and the infinite repetition of self-image is a problem that occurs while reproducing the image in the original position to be measured, that is, the reproduced image again It is a problem that flows into the measurement process.
이러한 상기 가시광선 필터(230)의 성능을 광학분광기(spectroscope)로 측정한 결과 도 4에 나타내는 바와 같이 720nm 이하의 광간섭이 완벽하게 차단됨을 알 수 있고, 도 5는 가시광선 필터 사용 전/후 영상을 나타내는 것으로 사용 후 간섭이 사라짐을 알 수 있다.As a result of measuring the performance of the
상기 이미지 센서(220)는 N-IR CMOS 센서로, 근적외선(N-IR) 파장대에서 Bayer Color 또는 Monochrome type 이미지 센서 대비 약 2배 높은 QE(Quantum Efficiency) 특성을 가지는 특화된 이미지센서로 ISP(Image signal Processor)를 내장하여 ROI(Random Programmable Region of Interest) 기능으로 외부 Processor에 부하를 주지 않고 이미지 영역을 잘라서 사용할 수 있으며 AEC(Automatic Exposure Control), HDR(High Dynamic Range) 등의 기능을 지원하여 정밀한 혈관 영상 촬영이 가능하도록 함으로써, 표재정맥 영역에서의 보다 높은 해상력을 가진 이미지를 재구성할 수 있게 되어 기존 혈관탐지장비로는 잘 파악되지 않는 미세혈관까지 파악이 가능하게 된다.The
이때 양자효율(QE)은 물질 중에서 빛을 양자화한 광자(photon, 光子) 또는 전자(electron, 電子)가 다른 에너지의 광자 또는 전자로 변환되는 비율을 말하는 것으로, 이미지 센서 분야에서는 주로 CMOS 등의 감광성 장치에서 흡수된 광자와 전환된 전자의 비율을 말하며, 이미지 센서에서의 양자효율은 이미지의 해상력(Visiability)과 채도력(Saturation Capacity)을 의미한다.At this time, quantum efficiency (QE) refers to the rate at which photons or electrons of light quantized among materials are converted into photons or electrons of different energy. It refers to the ratio of the photons absorbed by the device and the converted electrons, and the quantum efficiency in the image sensor refers to the visibility and saturation capacity of the image.
또한 상기 이미지 센서(220)는 HDMI영상출력을 병렬 24비트로 변경하고, 카메라 영상입력 또한 기존 직렬입력방식인 MIPI 방식에서 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하여 그래픽 가속 기능을 구현하고, 이에 따른 충돌발생을 방지하기 위하여 다른 모든 핀의 포트 리맵핑 및 OS 커널 설정을 변경한다.
In addition, the
이미지 프로세서 모듈(300)은 I.MX6Quad 프로세서를 사용하는데, 이는 높은 Performance와 저전력 소비에 초점을 맞춘 Freescale Semiconductor의 최상위 멀티미디어 전용 프로세서로, HD급 비디오처리가 필요한 하이엔드 포터블 미디어 플레이어(portable media players with HD video capability)에 최적화된 솔루션이며, ARM Cortex-A9 MPCore 플랫폼기반으로 설계된다.The
그리고, 상기 이미지 프로세서 모듈(300)은 별도의 배터리타입 전원관리를 위한 PMIC를 포함하여 구성된다.
In addition, the
DLP모듈(400)은 이미지 프로젝션 광원을 조정하는 드라이버부분과 실제 이미지영상을 출력하게 되는 엔진파트로 구성된다.The
그리고, 프로젝션의 촛점거리가 15cm 이하로 조정될 수 있도록 경통부를 제작하고, 영상신호의 포트 매핑(Port Mapping)을 변경하여 DLP 컨트롤러 보드에 구현하며, 전용 디바이스 드라이버(Device Driver)를 개발하여 컨트롤러 보드에 포팅(Porting)한다.
In addition, the lens tube is manufactured so that the focal length of the projection can be adjusted to be less than 15cm, and the port mapping of the video signal is changed to be implemented on the DLP controller board, and a dedicated device driver is developed to the controller board. Porting.
이와 같이 구성된 본 발명에서 카메라 모듈(200)의 인식영영과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여 카메라 모듈(200)과 DLP 모듈(400)의 광축을 어긋나게 하여 카메라 모듈(200)의 인식영역과 DLP 모듈(400)의 프로젝션 영역을 일치시키고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정한다.In the present invention configured as described above, recognition of the
다른 방법으로 상기 카메라 모듈의 인식영영과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 광학미러를 장착하여 광축을 일치시킨다.
Alternatively, in order to match the recognition image of the camera module and the projection area of the DLP module, an optical mirror is mounted to match the optical axis.
한편, 상기 표재정맥 실시간 탐지 장치에는 와이파이 및 블루투스 등의 통신모듈(500)이 더 구비되어 획득된 표재정맥 이미지를 외부기기 즉, 휴대폰 등의 모바일기기나 담당자 단말기(데스크탑, 노트북 등), 서버 등에 전송하고, 그 동작을 모바일기기나 담당자 단말기로 제어할 수 있도록 하는데, 이를 위한 모바일기기용 사용자 인터페이스의 예를 하기에서 도 6을 참조하여 살펴본다.On the other hand, the superficial vein real-time detection device is further provided with a
상기 모바일기기용 사용자 인터페이스에는 표재정맥 실시간 탐지 장치의 배터리잔량, 이미지의 확대와 축소, 도 7에 나타내는 바와 같이 검출된 표재정맥 이미지의 출력을 다양하게 조정하여 출력하는 메뉴 즉, Universal 메뉴는 실시간 혈관 검출 알고리즘이 적용된 스트리밍 메뉴이고, Fine Detail메뉴는 정밀분석을 위해 해상도를 높인 스트리밍 메뉴(혈관 검출 알고리즘은 CLAHE 2단계까지만 적용)이나 실시간은 아니며, Blook Flow 메뉴는 혈류의 상대적 변화량 관찰을 위해 해상도를 높은 스트리밍 메뉴로 770nm LED와 850nm LED의 교차 점등을 통해서 획득된 영상으로 실시간이미지는 아니다.The user interface for the mobile device includes a menu that variously adjusts and outputs the output of the detected superficial vein image, as shown in FIG. 7, and the remaining battery capacity of the superficial vein real-time detection device, enlargement and reduction of an image. It is a streaming menu with detection algorithm applied, and the Fine Detail menu is a streaming menu with higher resolution for precise analysis (blood vessel detection algorithm only applies up to CLAHE stage 2), but not in real time, and the Blook Flow menu sets the resolution to observe the relative change in blood flow. This is an image acquired through cross-lighting of 770nm LED and 850nm LED with a high streaming menu, not a real-time image.
또한 상기 모바일기기용 사용자 인터페이스에는 도 8에 나타내는 바와 같이 표재정맥 이미지를 촬영된 영상 그대로 혈관을 검게 표시(Display)하거나, 영상을 반전시켜 혈관을 밝게 표시하는 메뉴가 구비되고, 도 9에 나타내는 바와 같이 밝은 부분에 사용할 색상 선택(Option : Green(Default)/Blue/Red)메뉴가 구비되며, LED 광원의 광량 조절과 상기 표재정맥 탐지장치와 연동을 위한 연동설정메뉴 등이 구비된다.In addition, as shown in FIG. 8, the user interface for the mobile device includes a menu for displaying blood vessels in black or inverting the image to brighten blood vessels, as shown in FIG. Likewise, a color selection (Option: Green (Default)/Blue/Red) menu to be used for the bright part is provided, and an interlocking setting menu for controlling the amount of light of the LED light source and interlocking with the superficial vein detection device is provided.
아울러, 상기 표재정맥 실시간 탐지 장치는 자연공냉 방식을 채택함으로써, 수술실 등에서도 사용할 수 있게 되고, 고해상도로 처리된 혈관이미지를 태블릿등 모바일기기에 실시간으로 스트리밍할 수 있어, 표재정맥의 상세 분석자료로 활용할 수 있으며, 혈관 기형분석, 개복수술에서 내부 장기의 혈관파악, 안과에서 망막혈관 변성 파악 등에 사용이 가능하다.In addition, by adopting a natural air cooling method, the superficial vein real-time detection device can be used in an operating room, etc., and a blood vessel image processed in high resolution can be streamed in real time to a mobile device such as a tablet, as detailed analysis data of the superficial vein. It can be used for vascular malformation analysis, vascular identification of internal organs in open surgery, and retinal vascular degeneration in ophthalmology.
그리고, 상기 표재정맥 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 본 발명의 표재정맥 실시간 탐지 장치로 전송되어 DLP 모듈을 통해서 해당 피부상에 투사된다.In addition, the superficial vein image acquired through the superficial vein real-time detection device is transmitted to the server, and by applying an artificial intelligence (AI) learning technique specialized for medical image analysis in the server, it is optimal for IV injection. The location of the puncture (centesis) is recommended, but the optimal puncture location is suggested by weighting through the puncture image obtained during the actual puncture and the expert's puncture location recommendation, and the puncture location proposed from the server is the superficial vein of the present invention in real time. It is transmitted to the detection device and projected onto the skin through the DLP module.
상기 장치를 이용한 표재정맥 실시간 탐지 방법을 하기에서 살펴본다.A method for real-time superficial vein detection using the device will be described below.
상기 표재정맥 실시간 탐지 방법은 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 Equalization을 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성된다.
The superficial vein real-time detection method is a pre-processing process of correcting the optical distortion of the lens and correcting the projection angle error of the DLP: Perspective transformation in the image obtained through the pre-processing process. Geometric transformation process that performs geometric transformation including (Transform): Histogram equalization (contrast limited adaptive histogram (CLAHE (Contrast Limited Adaptive Histogram)) that performs equalization by setting a separate Contrast Limiting value for each block as a method of leveling the histogram Equalization)] Process: Noise removal [Median Blur] process of removing increased noise after applying CLAHE: Inversion [Invert] process of inverting the contrast of the darkly displayed blood vessel image: Shape detection through image segmentation and binarization [Binarization] process: Consists of including.
상기 전처리과정에서 광학적 왜곡 보정(Distortion Correction)에 대하여 설명한다.Optical distortion correction in the pre-processing process will be described.
렌즈를 통해 획득된 이미지는 기본적으로 왜곡(Distortion) 현상이 발생하며, 주요 왜곡으로 방사 왜곡(Radial Distortion) 및 접선 왜곡(Tangential Distortion)이 있다.An image acquired through a lens basically has a distortion phenomenon, and major distortions include radial distortion and tangential distortion.
이 중 방사 왜곡(Radial Distortion)이란 볼록렌즈의 굴절률에 의해 발생하며, 영상의 왜곡 정도는 중심에서의 거리에 의해 결정되는데(이미지 중심에서 멀어질수록 직선이 곡선으로 왜곡), 이러한 방사 왜곡은 아래의 수학식 1로 보정한다.Among them, radial distortion is caused by the refractive index of the convex lens, and the degree of distortion of the image is determined by the distance from the center (the distance from the center of the image, the more the straight line is distorted into a curve). It is corrected with Equation 1.
수학식 1Equation 1
접선 왜곡(Tangential Distortion)은 카메라 제조(조립) 과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않거나, 렌즈 자체의 Centering이 맞지 않는 경우 발생하며, 이미지의 일부 영역이 예상보다 가깝게 보일 수 있는 왜곡으로, 수학식 2로 보정한다.Tangential Distortion is a distortion that occurs when the camera lens and the image sensor are not horizontally aligned or the centering of the lens itself is not aligned during the manufacturing (assembly) process of the camera, and some areas of the image may appear closer than expected. Corrected by
수학식 2
기타 발생하는 물리적 왜곡 요소들은 Brown-Conrady Model을 적용하여 추가로 보정한다.Other physical distortion factors that occur are additionally corrected by applying the Brown-Conrady Model.
수학식 3
투사각 오차 보정은 렌즈각도에 의한 이미지의 왜곡이 발생하지 않도록 하는 것으로, 혈관측정 전 DLP 모듈을 이용해 먼저 기준점(또는 기준라인)을 검출하고자 하는 위치에 조사하고, 이미지센서를 통해 수집된 영상 데이터에서 상기 기준점의 좌표를 획득하여, 이를 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.Projection angle error correction is to prevent distortion of the image due to the lens angle. Before measuring blood vessels, the DLP module first irradiates the position to detect the reference point (or reference line), acquires the coordinates of the reference point from the image data collected through the image sensor, and uses the camera module and the DLP module as reference coordinates. Align and apply to blood vessel detection.
그 예로, 도 10에 나타내는 바와 같이 DLP 모듈로 투사한 체커보드(Checker Board) 영상을 카메라에서 촬영하여 기준점 즉, 모서리 각 4지점(빨간점으로 표시)의 좌표를 획득한 후, 상기 획득된 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.As an example, as shown in FIG. 10, a reference point, that is, coordinates of each of the four corners (indicated by red dots) by photographing a checker board image projected by the DLP module with a camera, is obtained, and the obtained reference The camera module and the DLP module are aligned with coordinates and applied to blood vessel detection.
즉, 상기 카메라 모듈의 인식영역과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 상기 카메라 모듈의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록하고, 이로 인해 발생되는 왜곡현상은 이후 이미지 프로세서 모듈에서 보정한다.
That is, in order to match the recognition area of the camera module with the projection area of the DLP module, the optical axis of the camera module is shifted by about 16° so that the blood vessel recognition area of the camera module and the projection area of the DLP module coincide. The distortion is then corrected in the image processor module.
상기와 같은 카메라 모듈의 인식영역 및 DLP 모듈의 투사영역이 일치되도록 한 후, 카메라 모듈로부터 획득된 2D 이미지에 대하여 기하학적 변형과정을 수행하는데, 이는 카메라 모듈과 DLP 모듈의 광축이 일치하지 않아서 발생하는 원근감 변형 등을 보정하는 것으로, 상기 기하학적 변형에는 원근(Perspective), 크기(Scaling), 위치(Translation), 회전(Rotation) 등이 있으며, 그 예는 도 11과 같다.
After making the recognition area of the camera module and the projection area of the DLP module coincide as described above, a geometric transformation process is performed on the 2D image acquired from the camera module, which occurs because the optical axes of the camera module and the DLP module do not coincide. Perspective transformation is corrected, and the geometric transformation includes perspective, scaling, translation, rotation, and the like, as shown in FIG. 11.
균일화 과정은 히스토그램 평준화방법으로 수행되는데, 히스토그램 평준화(Histogram Equalization)는 도 12에 나타내는 바와 같이 2D 이미지의 명암 대비를 증가시키는 것으로, 히스토그램(Histogram)의 강도를 더 잘 분산시킬 수 있고, 이로 인해 낮은 명암비의 이미지 영역이 더 높아지게 된다.The homogenization process is performed by the histogram equalization method, and histogram equalization increases the contrast of the 2D image, as shown in FIG. 12, thereby better dispersing the intensity of the histogram, and thereby lowering The image area of the contrast ratio becomes higher.
따라서 일반적인 히스토그램 평준화는 밝거나 어두운 배경 및 전경이 있는 이미지에 유용하며, 특히 과다 노출 또는 과소 노출된 이미지를 더욱 자세히 묘사할 수 있으나, 전체 영역에서 적용되므로 명암 대비가 향상되면서 과도한 밝기에 의해 이미지의 세부영역 정보가 손실되는 문제점이 발생한다.Therefore, general histogram leveling is useful for images with bright or dark backgrounds and foregrounds, especially for overexposed or underexposed images. However, since it is applied over the entire area, the contrast is improved and the image is There is a problem that detailed area information is lost.
따라서, 이러한 문제를 해결하기 위해 도 13에 나타내는 바와 같이 히스토그램 평준화 기법을 변형한 CLAHE기법으로 변경하여 적용하며, CLAHE는 필요에 따라 복수회 반복하여 복수해 실시한다.Therefore, in order to solve this problem, as shown in FIG. 13, the histogram leveling technique is changed and applied to the modified CLAHE technique, and the CLAHE is repeated a plurality of times as necessary to perform multiple times.
상기 CLAHE(Contrast Limited Adaptive Histogram Equalization)는 이미지를 작은 블록(타일, Tile)으로 나눈 후, 각 블록에 대해서 각각 히스토그램 평준화(Histogram Equalization)를 실시하는 것으로, 다만 이미지에 노이즈(Noise)가 많을 경우에는 노이즈 또한 함께 증폭되기 때문에, 별도의 콘트라스트 리미팅(Contrast Limiting) 값을 설정하여 해결한다. 그리고 타일(Tile)의 경계 부분에서 발생하는 Artifact는 이중선형 보간기법(Bilinear Interpolation)을 적용하여 제거한다.
The Contrast Limited Adaptive Histogram Equalization (CLAHE) divides the image into small blocks (tiles) and then performs histogram equalization for each block. However, if there is a lot of noise in the image, Since noise is also amplified together, it is solved by setting a separate contrast limiting value. In addition, artifacts occurring at the boundary of the tile are removed by applying a bilinear interpolation technique.
그리고 CLAHE를 적용한 이후 증가된 노이즈(Noise)를 제거하기 위해 도 14에 나타내는 바와 같이 노이즈 제거과정인 Median Blur를 수행하는데, 이는 주변 픽셀들의 값과 자신의 값들을 크기에 따라 정렬하고 중간값(Median)을 선택해서 자신의 픽셀값으로 선택하는 알고리즘이다.
In order to remove the increased noise after applying CLAHE, as shown in FIG. 14, Median Blur, which is a noise removal process, is performed, which aligns the values of surrounding pixels and their own values according to the size and ) Is an algorithm to select as its own pixel value.
이후 도 14에 나타내는 바와 같이 반전과정(Invert)을 수행하여, 어둡게 표시되는 혈관을 밝게 표현하되도록 이미지의 명암을 역상시킨다.
Thereafter, as shown in FIG. 14, an inverting process is performed to reverse the contrast of the image so that dark blood vessels are expressed brightly.
마지막으로 형상검출과정(Binarization) 즉, 이미지를 분할하여 원하는 부분 혹은 물체의 형상을 검출하는데, 이는 입력된 영상 전체를 스캔하면서 픽셀값보다 트레스홀드(Threshold) 값이 크면 해당 위치의 픽셀값을 흰색(1 또는 255)로 하고, 픽셀값이 트레스홀드(Threshold)값보다 작으면 검은색으로 설정하여 출력하고, 이를 원위치(In-Situ)에 실시간으로 투사(Projection)하는 것으로, 형상검출과정을 거친 이미지와 실제 투사 이미지를 도 15에 나타낸다.
Finally, the shape detection process (Binarization), that is, the shape of the desired part or object is detected by segmenting the image, which scans the entire input image and if the threshold value is larger than the pixel value, the pixel value at the corresponding location is white. (1 or 255), and if the pixel value is less than the threshold, it is set to black and output, and it is projected to the original position (In-Situ) in real time. The image and the actual projected image are shown in FIG. 15.
한편, 상기와 같이 검출된 표재정맥 이미지를 이용하여 혈류변화를 실시간으로 탐지할 수 있으며, 이러한 혈류변화 실시간 탐지는 통신모듈을 이용하여 외부기기로 표재혈관 이미지를 전송하여 외부기기에서 혈류변화를 탐지하거나, 상기 표재정맥 실시간 탐지장치에서 자체적으로 탐지할 수도 있다.On the other hand, it is possible to detect changes in blood flow in real time using the superficial vein image detected as described above, and this real-time detection of blood flow changes detects changes in blood flow from an external device by transmitting a superficial blood vessel image to an external device using a communication module. Alternatively, the superficial vein real-time detection device may detect itself.
이러한 혈류변화 실시간 탐지를 위해서는 상기 LED모듈에 760-790nm LED 소자를 더 추가하여, 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하고, 상기 획득된 LED소자별 혈관이미지에서 도 16에 나타내는 바와 같이 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 기준치(정상이라고 판단할 기준치)를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력한다.For real-time detection of such changes in blood flow, a 760-790nm LED element is added to the LED module, and a plurality of 760-790nm LED elements and 800-950nm LED elements are alternately arranged, and each LED element is alternately lit by a camera module. A blood vessel image including concentration information of Hb for each device is acquired, and as shown in FIG. 16 in the obtained blood vessel image for each LED device, a change in the state of blood flow at a plurality of points in the same blood vessel, that is, a relative change in blood flow or an oxidized Hb band The difference in the concentration ratio of the reduced Hb is determined, and when the relative change in the blood flow or the difference in the concentration ratio of each hemoglobin exceeds a reference value (a reference value to be determined to be normal), it is determined as a blood vessel abnormality and output to the display unit.
이때 표시부는 외부기기의 표시부이거나 표재정맥 실시간 탐지 장치에 구비된 표시부이거나 원위치에 DLP모듈로 표시하는 것 중에서 택일된다.At this time, the display unit is selected from a display unit of an external device, a display unit provided in a real-time superficial vein detection device, or a DLP module displayed at the original position.
한편, 상기에서 혈류의 상태변화 측정은 770nm와 850nm LED를 교차 점등하여 실시간으로 탐지되는 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여 혈류(Blood Flow)의 상태변화를 파악하는 것이다.On the other hand, in the measurement of changes in the state of blood flow, the concentrations of Oxide and Deoxide hemoglobin (Hb) in the blood flow detected in real time by alternately lighting 770 nm and 850 nm LEDs are gradated (Scalarize), respectively. This is to grasp the change in the state of blood flow.
그리고 혈류량은 환원 및 산화 Hb의 합으로 추론할 수 있으며, 측정하고자 하는 지점의 계조변화의 차이를 RGB888인터페이스에 의한 24비트 체계로 계조화한 수치로 합산함으로써 두 지점 간의 상대적 변화 정도를 도출하게 된다.And the blood flow can be deduced from the sum of the reduction and oxidation Hb, and the relative degree of change between the two points is derived by summing the difference in the grayscale change of the point to be measured with a value obtained by gradation in a 24-bit system using the RGB888 interface. .
아울러, 복수 개 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론할 수 있는데, 이러한 농도비율변화 측정으로 확인 가능한 질환에는 동정맥루, 동정맥기형, 정맥기형, 모세혈관 동정맥기형, 하지정맥류 등이 있다.In addition, specific diseases or lesions can be inferred by grasping the difference in the concentration ratio of oxidized and reduced hemoglobin at multiple measurement points. Diseases that can be identified by measuring these concentration ratio changes include arteriovenous fistulas, arteriovenous malformations, venous malformations, capillaries. Vascular arteriovenous malformations, varicose veins, etc.
상기에서 동정맥루는 동정맥문합지를 통하지 않고 동맥과 정맥이 이상 단락한 증상으로, 동맥과 정맥을 연결하는 수술시 농도비율 변화를 측정하여 동맥과 정맥의 단락부위 판별에 사용할 수 있다.In the above, arteriovenous fistula is a symptom of an abnormal short circuit between an artery and a vein without passing through an arteriovenous anastomosis, and can be used to determine the area of a short circuit between an artery and a vein by measuring the change in concentration ratio during surgery connecting arteries and veins.
그리고, 동정맥기형은 동맥과 정맥이 서로 엉켜 모세혈관과 연결되지 않은 선천적 결함을 의미하는 것으로, 모세혈관의 부족으로 피가 빨리 흐르게 되며, 기형화된 혈관으로 피를 보내게 되므로, 동정맥 기형 부분의 혈류변화량을 측정할 수 있으면, 진단 및 치료계획을 수립하는데 도움을 줄 수 있다.In addition, arteriovenous malformation refers to a congenital defect that is not connected to capillaries due to the entanglement of arteries and veins, and blood flows quickly due to lack of capillaries, and blood is sent to deformed blood vessels. If the amount of change can be measured, it can help to establish a diagnosis and treatment plan.
하지정맥류는 도 17에 나타내는 바와 같이 다리에서 올라오는 혈액이 다시 내려가지 못하게 차단하는 판막이 제 기능을 못해서 혈액이 역류하여 혈관이 비정상적으로 확장/돌출되는 질환으로, 중년 여성에서 주로 발병하며, 미용적인 문제와 함께 다양한 합병증, 부종, 가려움, 경련조직괴사 등을 일으키나, 혈관의 변색이나 돌출이 발생하기 전에는 외견상 소견이 없어 일반적으로는 초기 진단에 어려움이 있었다.Varicose veins, as shown in FIG. 17, is a disease in which blood vessels are abnormally expanded/protruded due to reflux of blood because a valve that blocks blood from the leg from falling down again does not function properly. It mainly occurs in middle-aged women. It causes various complications, swelling, itchiness, and spasmodic tissue necrosis, along with common problems. However, there are no external findings before discoloration or protrusion of blood vessels, so initial diagnosis was generally difficult.
또한 확장된 혈관은 복원되지 않으므로 근본적인 치료가 어려우며 증상이 심할 경우 혈관을 제거하거나 경화요법을 사용하여야 하므로 초기에 이를 검출하는 방법이 절실히 요구된다.In addition, since the dilated blood vessels are not restored, fundamental treatment is difficult, and if the symptoms are severe, the blood vessels must be removed or sclerotherapy must be used. Therefore, a method of detecting them in the early stage is urgently required.
이에 따라 본 발명은 도 18에 나타내는 바와 같이 복수개 지점에서 측정한 각 산화 Hb와 환원 Hb의 농도 차이가 해당 복수개 지점에서 구성비율이 특정지점에서의 구성비율과 유의미하게 차이가 나는 경우, 하지정맥류로 판단하며, 이에 따라 혈관돌출, 변색 등 외형적인 소견이 발생하기 전에 조기 진단할 수 있게 된다.Accordingly, the present invention relates to varicose veins when the difference in concentration of each oxidized Hb and reduced Hb measured at a plurality of points is significantly different from the composition ratio at a specific point at the plurality of points, as shown in FIG. It is determined, and accordingly, it is possible to diagnose early before external findings such as blood vessel protrusion and discoloration occur.
100 : 근적외선 광원 모듈
200 : 카메라 모듈
210 : 렌즈
220 : 근적외선(IR) 이미지센서
300 : 이미지 프로세서 모듈
400 : 디지털광원처리(Digital Light Processing, DLP)모듈100: near infrared light source module
200: camera module
210: lens
220: Near infrared (IR) image sensor
300: image processor module
400: Digital Light Processing (DLP) module
Claims (10)
피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200);
상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300);
상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성되어,
혈관 이미지 검출 전 DLP 모듈에서 기준점 또는 기준라인을 피부에 조사하고 카메라 모듈로부터 획득된 영상에서 상기 이미지 프로세서 모듈은 기준점 또는 기준라인을 기준으로 이미지 처리하여 DLP 모듈에서 해당 기준점 또는 기준라인을 기준으로 이미지를 출력하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.Near-infrared light source module 100 for irradiating the near-infrared rays of the 800 ~ 950nm band to the skin;
A camera module 200 comprising at least one lens 210 for obtaining an image of a subcutaneous blood vessel and a near-infrared (IR) image sensor 220 on which an image obtained from the lens 210 is formed;
An image processor module 300 for image processing the subcutaneous blood vessel data transmitted from the camera module 200;
And a digital light processing (DLP) module (hereinafter referred to as a DLP module) 400 that outputs a blood vessel image output from the image processor module 300 on a photographed skin area in real time. ,
Before the blood vessel image is detected, the DLP module irradiates a reference point or reference line to the skin, and in the image acquired from the camera module, the image processor module processes the image based on the reference point or reference line, and the DLP module performs an image based on the reference point or line Superficial vein real-time detection device, characterized in that outputting.
렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 :
상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 :
히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 :
CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 :
이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 것을 특징으로 하는 표재정맥 실시간 탐지 방법.Using the superficial vein real-time detection device according to any one of claims 1, 2, 3, 4, 6, 7 or 8,
Pre-Processing process of correcting the optical distortion of the lens and correcting the projection angle error of the DLP:
Geometric transformation process for performing geometric transformation including perspective transformation in the image acquired through the preprocessing process:
Equalization [CLAHE (Contrast Limited Adaptive Histogram Equalization)] process by setting a separate Contrast Limiting value for each block as a method of leveling histogram (increases the contrast of the acquired image):
Noise removal [Median Blur] process of removing increased noise after applying CLAHE: Inverting [Invert] process of inverting the contrast of the darkened blood vessel image:
[Binarization] process through image segmentation and binarization: Real-time superficial vein detection method, comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190082808A KR102176196B1 (en) | 2019-07-09 | 2019-07-09 | Real-time detection device and method of superficial vein |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190082808A KR102176196B1 (en) | 2019-07-09 | 2019-07-09 | Real-time detection device and method of superficial vein |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102176196B1 true KR102176196B1 (en) | 2020-11-09 |
Family
ID=73429592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190082808A Expired - Fee Related KR102176196B1 (en) | 2019-07-09 | 2019-07-09 | Real-time detection device and method of superficial vein |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102176196B1 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023091424A1 (en) * | 2021-11-16 | 2023-05-25 | Bard Access Systems, Inc. | Temperature monitoring for vessel detection |
| CN116439740A (en) * | 2023-04-12 | 2023-07-18 | 岱特智能科技(上海)有限公司 | Quality management method and related device for arm vascular access |
| CN116649918A (en) * | 2023-07-25 | 2023-08-29 | 安徽康沐医疗器械科技有限公司 | Vein imaging instrument collection and reduction system |
| US11759166B2 (en) | 2019-09-20 | 2023-09-19 | Bard Access Systems, Inc. | Automatic vessel detection tools and methods |
| US11813442B2 (en) | 2021-12-14 | 2023-11-14 | Jason Kim | Intravenous injection aid for indicating vein |
| WO2024080773A1 (en) * | 2022-10-14 | 2024-04-18 | 주식회사 에어스 메디컬 | Method, program, and apparatus for searching for blood collection candidate |
| US11992363B2 (en) | 2020-09-08 | 2024-05-28 | Bard Access Systems, Inc. | Dynamically adjusting ultrasound-imaging systems and methods thereof |
| US12048491B2 (en) | 2020-12-01 | 2024-07-30 | Bard Access Systems, Inc. | Ultrasound probe with target tracking capability |
| US12165315B2 (en) | 2020-12-01 | 2024-12-10 | Bard Access Systems, Inc. | Ultrasound system with pressure and flow determination capability |
| US12213746B2 (en) | 2020-11-24 | 2025-02-04 | Bard Access Systems, Inc. | Ultrasound system with target and medical instrument awareness |
| US12232910B2 (en) | 2020-09-10 | 2025-02-25 | Bard Access Systems, Inc. | Ultrasound probe with pressure measurement capability |
| US12287403B2 (en) | 2021-04-15 | 2025-04-29 | Bard Access Systems, Inc. | Ultrasound imaging system having near-infrared/infrared detection |
| US12376817B2 (en) | 2021-11-03 | 2025-08-05 | Bard Access Systems, Inc. | Optimized functionality through interoperation of doppler and image based vessel differentiation |
| US12433567B2 (en) | 2022-03-16 | 2025-10-07 | Bard Access Systems, Inc. | Ultrasound imaging system |
| US12514532B2 (en) | 2022-03-01 | 2026-01-06 | Bard Access Systems, Inc. | Ultrasound imaging system |
| US12514533B2 (en) | 2022-03-01 | 2026-01-06 | Bard Access Systems, Inc. | Ultrasound imaging system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011212386A (en) * | 2010-04-02 | 2011-10-27 | Seiko Epson Corp | Blood vessel display device |
| KR101494638B1 (en) | 2013-02-19 | 2015-03-02 | 서강대학교산학협력단 | Vein visualization method using estimated reflectance spectrums, guide apparatus for vascular access using the method thereof and user authentication apparatus using the method thereof |
| KR20150061793A (en) * | 2013-11-28 | 2015-06-05 | 주식회사 디앤디케이 | Vascular Venous Identification System And Its Methods |
| CN108703745A (en) * | 2018-06-07 | 2018-10-26 | 中国计量大学 | Vein developing method based on structure light and vein imaging system |
| KR20190060488A (en) * | 2017-11-24 | 2019-06-03 | 주식회사 엔씨테크론 | apparatus for projecting blood vessel using infrared rays |
-
2019
- 2019-07-09 KR KR1020190082808A patent/KR102176196B1/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011212386A (en) * | 2010-04-02 | 2011-10-27 | Seiko Epson Corp | Blood vessel display device |
| KR101494638B1 (en) | 2013-02-19 | 2015-03-02 | 서강대학교산학협력단 | Vein visualization method using estimated reflectance spectrums, guide apparatus for vascular access using the method thereof and user authentication apparatus using the method thereof |
| KR20150061793A (en) * | 2013-11-28 | 2015-06-05 | 주식회사 디앤디케이 | Vascular Venous Identification System And Its Methods |
| KR20190060488A (en) * | 2017-11-24 | 2019-06-03 | 주식회사 엔씨테크론 | apparatus for projecting blood vessel using infrared rays |
| CN108703745A (en) * | 2018-06-07 | 2018-10-26 | 中国计量大学 | Vein developing method based on structure light and vein imaging system |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12138108B2 (en) | 2019-09-20 | 2024-11-12 | Bard Access Systems, Inc. | Automatic vessel detection tools and methods |
| US11759166B2 (en) | 2019-09-20 | 2023-09-19 | Bard Access Systems, Inc. | Automatic vessel detection tools and methods |
| US12369882B2 (en) | 2020-09-08 | 2025-07-29 | Bard Access Systems, Inc. | Dynamically adjusting ultrasound-imaging systems and methods thereof |
| US11992363B2 (en) | 2020-09-08 | 2024-05-28 | Bard Access Systems, Inc. | Dynamically adjusting ultrasound-imaging systems and methods thereof |
| US12232910B2 (en) | 2020-09-10 | 2025-02-25 | Bard Access Systems, Inc. | Ultrasound probe with pressure measurement capability |
| US12213746B2 (en) | 2020-11-24 | 2025-02-04 | Bard Access Systems, Inc. | Ultrasound system with target and medical instrument awareness |
| US12165315B2 (en) | 2020-12-01 | 2024-12-10 | Bard Access Systems, Inc. | Ultrasound system with pressure and flow determination capability |
| US12048491B2 (en) | 2020-12-01 | 2024-07-30 | Bard Access Systems, Inc. | Ultrasound probe with target tracking capability |
| US12287403B2 (en) | 2021-04-15 | 2025-04-29 | Bard Access Systems, Inc. | Ultrasound imaging system having near-infrared/infrared detection |
| US12376817B2 (en) | 2021-11-03 | 2025-08-05 | Bard Access Systems, Inc. | Optimized functionality through interoperation of doppler and image based vessel differentiation |
| WO2023091424A1 (en) * | 2021-11-16 | 2023-05-25 | Bard Access Systems, Inc. | Temperature monitoring for vessel detection |
| US11813442B2 (en) | 2021-12-14 | 2023-11-14 | Jason Kim | Intravenous injection aid for indicating vein |
| US12514532B2 (en) | 2022-03-01 | 2026-01-06 | Bard Access Systems, Inc. | Ultrasound imaging system |
| US12514533B2 (en) | 2022-03-01 | 2026-01-06 | Bard Access Systems, Inc. | Ultrasound imaging system |
| US12433567B2 (en) | 2022-03-16 | 2025-10-07 | Bard Access Systems, Inc. | Ultrasound imaging system |
| WO2024080773A1 (en) * | 2022-10-14 | 2024-04-18 | 주식회사 에어스 메디컬 | Method, program, and apparatus for searching for blood collection candidate |
| CN116439740A (en) * | 2023-04-12 | 2023-07-18 | 岱特智能科技(上海)有限公司 | Quality management method and related device for arm vascular access |
| CN116649918A (en) * | 2023-07-25 | 2023-08-29 | 安徽康沐医疗器械科技有限公司 | Vein imaging instrument collection and reduction system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102176196B1 (en) | Real-time detection device and method of superficial vein | |
| KR102265702B1 (en) | Real-time detection device of superficial vein and blood flow | |
| US9364147B2 (en) | System, method and device for automatic noninvasive screening for diabetes and pre-diabetes | |
| US12185905B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
| JP7346693B2 (en) | Medical image processing device, processor device, endoscope system, operating method of medical image processing device, and program | |
| JP7411772B2 (en) | endoscope system | |
| US11877720B2 (en) | Enhanced fluorescence imaging for imaging system | |
| US20150294463A1 (en) | Image processing device, endoscope apparatus, image processing method, and information storage device | |
| US12521010B2 (en) | Portable system for identifying potential cases of diabetic macular oedema using image processing and artificial intelligence | |
| US20180214004A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| CN105748029A (en) | Imaging system of endoscope | |
| US20180218499A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| CN112584741B (en) | Medical Image Processing System | |
| CN112969403B (en) | Medical image processing device, medical image processing method, diagnosis auxiliary device and recording medium | |
| CN112512398B (en) | Medical image processing apparatus | |
| WO2006087981A1 (en) | Medical image processing device, lumen image processing device, lumen image processing method, and programs for them | |
| US12052526B2 (en) | Imaging system having structural data enhancement for non-visible spectra | |
| US20220164947A1 (en) | Image processing system and image processing method | |
| US20200121175A1 (en) | Image processing device, endoscope apparatus, and operating method of image processing device | |
| KR102176200B1 (en) | Real-time detection and method of blood flow | |
| JP2016140428A (en) | Ophthalmologic apparatus, image processing method, and program | |
| KR102363603B1 (en) | Diabetic retinopathy diagnosis device using image processing algorithm | |
| CN112584740B (en) | Medical image processing apparatus | |
| CN113038868A (en) | Medical image processing system | |
| JP5372540B2 (en) | Functional imaging ophthalmic apparatus and mask forming method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| P14-X000 | Amendment of ip right document requested |
St.27 status event code: A-5-5-P10-P14-nap-X000 |
|
| P14-X000 | Amendment of ip right document requested |
St.27 status event code: A-5-5-P10-P14-nap-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20241104 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| H13 | Ip right lapsed |
Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE Effective date: 20241104 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20241104 |
|
| R18 | Changes to party contact information recorded |
Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |


