[go: up one dir, main page]

CN118710819B - 一种体表静脉血管3d成像方法及系统 - Google Patents

一种体表静脉血管3d成像方法及系统 Download PDF

Info

Publication number
CN118710819B
CN118710819B CN202411195432.2A CN202411195432A CN118710819B CN 118710819 B CN118710819 B CN 118710819B CN 202411195432 A CN202411195432 A CN 202411195432A CN 118710819 B CN118710819 B CN 118710819B
Authority
CN
China
Prior art keywords
body surface
vein
model
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411195432.2A
Other languages
English (en)
Other versions
CN118710819A (zh
Inventor
黄海涛
曾国军
赵纪春
冯会芳
何长涛
胡磊
黄斌
陈东祥
陈家琪
刘文广
徐珂
任思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Bocheng Zhiyi Software Technology Co ltd
West China Hospital of Sichuan University
Chengdu College of University of Electronic Science and Technology of China
Original Assignee
Chengdu Bocheng Zhiyi Software Technology Co ltd
West China Hospital of Sichuan University
Chengdu College of University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Bocheng Zhiyi Software Technology Co ltd, West China Hospital of Sichuan University, Chengdu College of University of Electronic Science and Technology of China filed Critical Chengdu Bocheng Zhiyi Software Technology Co ltd
Priority to CN202411195432.2A priority Critical patent/CN118710819B/zh
Publication of CN118710819A publication Critical patent/CN118710819A/zh
Application granted granted Critical
Publication of CN118710819B publication Critical patent/CN118710819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种体表静脉血管3D成像方法及系统，属于体表静脉血管3D成像技术领域，方法包括：向受检部位体表发射红外光；获取静脉血管红外特征图；对静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图；获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型；获取受检部位的3D模型；将体表静脉血管3D模型和受检部位的3D模型进行三维映射变为一个组合模型，并进行上色贴图、透明材质填充、渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。本方法具有实时成像、3D成像、便于操作、结果可视化程度高的特点。

Description

一种体表静脉血管3D成像方法及系统
技术领域
本发明涉及体表静脉血管3D成像技术领域，尤其是涉及一种体表静脉血管3D成像方法及系统。
背景技术
目前体表血管静脉成像在医疗领域的应用有血管重建手术、皮肤病诊断与治疗（静脉曲张等）、静脉穿刺治疗、静脉输液、血液采集等。目前现有常用的体表静脉血管成像产品有激光血管成像仪、近红外血管成像仪、CT血管造影、彩超检查、光学相干断层扫描OCT等，但是这些产品都存在一定缺陷：
激光血管成像仪：通过激光处理技术将图像照射到皮肤表面，图像呈红色。可视化程度高但是显示区域小。使用Ⅱ类激光，有辐射，直视对人体有伤害，无法3D成像，单次扫描无法获取完整血管网络信息。
近红外血管成像仪：通过近红外光检测静脉血管，使用DLP技术等将图像投影在皮肤表面。可视化程度高但是显示区域小。无法3D成像，单次扫描无法获取完整血管网络信息。
CT血管造影：利用计算机断层扫描技术CT和静脉内注射造影剂的方式来生成血管系统的影像。单次扫描可获得完整的3D血管网络信息，可视化程度高，效果好。但是操作难，需要专业培训；需要注射造影剂，具有一定侵入性；非实时成像。
彩超检查：通过超声探头向身体发送超声波脉冲，然后探头接收反射回来的超声波信号。这些信号被转换成图像，显示出血管的结构；单次扫描可以获得完整血管网络信息，无法3D成像；可视化程度一般；操作需要专业培训；需要涂抹耦合剂，具有一定侵入性。
光学相干断层扫描OCT：利用光学干涉原理来测量光的反射。一束光被分成两部分，一部分用于与被成像的组织相互作用，另一部分用作参考光。当这两束光重新结合时，它们会产生干涉图样，根据干涉图样的变化可以推断出组织的反射性质。操作需要专业培训；单次扫描无法获取完整血管网络信息；可视化程度低。
发明内容
本发明提供一种体表静脉血管3D成像方法及系统，具有实时成像、3D成像、便于操作、结果可视化程度高的特点。
本说明书实施例公开了一种体表静脉血管3D成像方法，包括：
向受检部位体表发射红外光；
获取由受检部位体表反射的红外光得到的静脉血管红外特征图；
对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图；
使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型；
获取受检部位的3D模型；
将体表静脉血管3D模型和受检部位的3D模型进行三维映射变为一个组合模型，并对组合模型的静脉血管部分进行上色贴图，对受检部位结构的部分进行透明材质填充，最后进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。
本说明书的一些实施例中，所述预处理滤波采用中值滤波，以通过计算像素周围领域内像素值的中值来减少像素的噪声，并能保存图像的边缘信息。
本说明书的一些实施例中，所述深度学习图像特征提取分割算法使用拥有对称的编码器-解码器结构的U-Net网络。
本说明书的一些实施例中，所述对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图的具体过程如下：
输入静脉血管红外特征图，使用一个3x3大小的卷积核在静脉血管红外特征图上沿着每个像素Z字形步进，步长为1，填充为0，计算每个像素周围的8个像素点与该像素的灰度值进行排序并取中位数作为输出图像该位置的像素灰度值；
接着经过滤波的图像进入了U-Net的编码器，首先进行卷积操作，对图像的特征进行提取，卷积结构统一使用3x3的卷积核，k=3，填充为p=0，步长为s=1，根据计算卷积层输出特征公式如下所示：
；
得到：；为卷积层输出，为卷积层输入，p为填充，k为卷积核尺寸，s为步长；
经过卷积之后，使用ReLU作为激活函数对卷积输出进行非线性映射，ReLU函数为：
；
每层经过2次卷积操作后，经过一个最大池化操作进入到编码器的下一层，各池化层的核大小均为k=2，填充均为p=0，步长均为s=2，得到：
；
进行5层的卷积和4次最大池化后，得到了32x22x1024的特征图，将该特征图送入U-Net解码器；
通过U-Net解码器恢复特征图的原始尺寸，该过程由卷积、上采样和跳级结构组成，首先将特征图进行2x2上采样，公式为：
；
得到64x44x512的特征图，对该特征图进行跳级连接操作，对应镜像层的特征图裁剪、与来自上层的特征图拼接在一起，形成通道数更多的特征，即与来自U-Net编码器第五层经过上采样的特征图拼接，生成尺寸为64x44x1024的特征图，对该特征图进行卷积再激活操作，如此往复操作4次，在第一层得到452x292x1的特征图，即得到体表静脉血管特征2D图。
本说明书的一些实施例中，所述使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型的具体过程如下：
使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图；
对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图；
将所述二值特征图和中轴线图进行图像重叠，得到中轴线映射图；
基于中轴线映射图，在图上根据步长长度依次取采样点，并且获得该采样点距离静脉血管边缘的距离作为该点静脉血管的半径数据；
基于所述中轴线图中的中轴线和半径数据重建3D模型，先将2D的中轴线根据其方向信息旋转和平移，从而在3D空间中确定每条静脉血管的位置，再根据2D的半径数据，将中轴线放样拉伸为管状结构，再将不同静脉血管对应的管状结构进行连接，得到体表静脉血管3D模型。
本说明书的一些实施例中，所述使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图的过程如下：
通过两个3x3的Sobel算子对图像进行卷积操作，如下：
；
将特征图看做是二维函数，Sobel算子为图像在垂直和水平方向上变化的梯度，即Sobel算子为二维对象，二维对象的元素分别是横竖两个方向的函数一阶导数：
；
其中，表示图像的梯度向量，包含水平方向和垂直方向的导数；表示图像在水平方向 (x方向) 的一阶导数，即图像在水平方向（x 方向）的梯度，即灰度值的变化率；表示图像在垂直方向(y方向)的一阶导数，即图像在垂直方向(y方向)的梯度；表示向量的转置，将行向量转为列向量，在图像处理中，梯度通常表示为列向量形式以便于计算和表示；
Sobel算子在水平和垂直方向上做像素值的差分，得到图像梯度的近似值,将使用两个Sobel算子在原图上进行卷积获取边缘特征所得到的两个特征图进行组合，得到垂直和水平方向的综合结果，计算Sobel的范数，计算公式如下：
；
其中表示图像梯度的范数；
计算水平和垂直方向上的梯度近似值，得到每个像素点的梯度大小和方向，对其进行二值化，得到具有明显边缘的二值特征图。
本说明书的一些实施例中，所述对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图的过程如下:
基于所述二值特征图，将静脉血管的轮廓细化到一个像素宽度，使用Zhang-Suen算法进行中轴线提取，算法循环迭代时，遍历图像上不为0的像素，在对每个中心的待操作像素进行删除或保留的判断时，根据其周围的8个像素的值进行判断，Zhang-Suen算法的算子如下：
；
每次迭代经过两步运算,满足每个阶段的所有要求，以将待操作像素清零，阶段一的运算规则为：
；
其中B(P1)代表着8个邻居中非零邻居的数量，A(P1)是指从P2到P8，0-1变化了几次；
阶段二运算规则为：
；
直到没有新的像素被删除，算法结束，得到能够描述受检部位体表静脉血管走向特征的中轴线，即得到静脉血管的中轴线图。
本说明书的一些实施例中，所述获取受检部位的3D模型的过程如下:
对双目深度相机进行自校准，以确保能够准确地捕捉到三维空间中的物体；
使用双目深度相机对受检部位进行扫描，得到深度图；
使用特征点检测算法来识别和定位手部的各个特征点；
利用深度卷积神经网络将深度图转化为3D模型。
将特征点绑定到生成的3D模型的骨骼上，以便当受检部位运动或姿态变换时所显示的受检部位模型能实时匹配变换，得到受检部位的3D模型。
本说明书的一些实施例中，所述得到受检部位体表静脉血管的3D成像图的过程如下：
对体表静脉血管3D模型和受检部位的3D模型进行预处理，进行缩放、旋转和平移，以确保两者的尺寸和位置匹配，能在同一坐标系中对齐；
预处理后，使用U-Net深度学习网络进行特征提取，以便对体表静脉血管3D模型和受检部位的3D模型进行绑定；
对体表静脉血管3D模型和受检部位的3D模型进行微调，融合成一个能够反映受检部位结构和静脉血管分布走向的模型；
对该模型的静脉血管部分进行上色贴图，对受检部位结构的部分填充透明材质，并进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。
本说明书实施例还公开了一种体表静脉血管3D成像系统，包括：
主机，内置有处理模块；
显示屏，与所述主机连接；
底部背景板，设有支架；
成像模块，设于所述支架上，并与所述主机连接；
其中，所述成像模块包括近红外相机、双目深度相机和红外补光灯；
所述红外补光灯用于向受检部位体表发射红外光；所述近红外相机用于获取静脉血管红外特征图；所述双目深度相机用于获取深度图；所述处理模块用于执行上述中任一项所述的体表静脉血管3D成像方法。
本说明书实施例至少可以实现以下有益效果：
一、实时成像：得益于本发明系统的流传输和流处理功能，最后的成像可以实时查看，便于精准诊断与治疗皮肤病（静脉曲张等）以及精确实施静脉穿刺、输液、抽血。同时也可以保存再查看，便于实现精准设计血管重建手术。
二、3D成像、无伤害、无侵入：与传统的成像方式不同，本发明系统采用了近红外相机+深度相机的数据获取来源，这种方式可以快速准确地获取体表静脉血管的3D网络信息。近红外光和可见光对人体无害，从原理上杜绝了一切有可能对人体造成直接伤害的机会，适用于儿童、老人、孕妇等不同年龄不同人群。
三、便于操作，单次扫描即可获取完整血管网络信息：只需要将检测模块与主机连接，打开成像软件，等待完成自校准，点击“开始扫描”后将受检部位在扫描区域旋转即可扫描，也可将成像模块从支架上拆下，手持成像模块对受检部位进行扫描。单次扫描即可获取完整血管网络信息，不必多次扫描操作，操作便捷，人机交互效果良好，可以在无专业培训情况下进行单人操作，可适用于远程医疗的情景。
四、结果可视化程度高：最终的结果可以以多种方式显示，不仅可以在本系统软件上以高交互性、高可视化查看受检部位的外形3D模型和静脉血管分布走向的3D模型所组合成的综合模型，同时支持输出不同格式的文件方便转到其他软件进行综合分析。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一些实施例所涉及的体表静脉血管3D成像方法的示意图。
图2为本发明一些实施例所涉及的体表静脉血管3D成像系统的示意图。
图3为本发明一些实施例所涉及的成像模块的示意图。
图4为本发明一些实施例所涉及的成像模块的工作示意图。
图5a为本发明一些实施例所涉及的体表静脉血管3D成像方法的文字流程示意图。
图5b为本发明一些实施例所涉及的体表静脉血管3D成像方法的实物流程示意图。
图6为本发明一些实施例所涉及的U-Net编码器和U-Net解码器的示意图。
图7为本发明一些实施例所涉及的三维建模的示意图。
附图标记：
1、主机；2、显示屏；3、成像模块；4、支架；5、底部背景板；
31、双目深度相机；32、红外补光灯；33、近红外相机；34、USB3接口；35、千兆网口；36、USB-C接口。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结构。为了简化本发明实施例的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明实施例。此外，本发明实施例可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面结合附图对本发明的实施例进行详细说明。
如图1所示，本说明书实施例公开了一种体表静脉血管3D成像方法，包括：
向受检部位体表发射红外光；
获取由受检部位体表反射的红外光得到的静脉血管红外特征图；
对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图；
使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型；
获取受检部位的3D模型；
将体表静脉血管3D模型和受检部位的3D模型进行三维映射变为一个组合模型，并对组合模型的静脉血管部分进行上色贴图，对受检部位结构的部分进行透明材质填充，最后进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。
本说明书的一些实施例中，所述预处理滤波采用中值滤波，以通过计算像素周围领域内像素值的中值来减少像素的噪声，并能保存图像的边缘信息。
本说明书的一些实施例中，所述深度学习图像特征提取分割算法使用拥有对称的编码器-解码器结构的U-Net网络。
本说明书的一些实施例中，所述对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图的具体过程如下：
输入静脉血管红外特征图，使用一个3x3大小的卷积核在静脉血管红外特征图上沿着每个像素Z字形步进，步长为1，填充为0，计算每个像素周围的8个像素点与该像素的灰度值进行排序并取中位数作为输出图像该位置的像素灰度值；
接着经过滤波的图像进入了U-Net的编码器，首先进行卷积操作，对图像的特征进行提取，卷积结构统一使用3x3的卷积核，k=3，填充为p=0，步长为s=1，根据计算卷积层输出特征公式如下所示：
；
得到：；
为卷积层输出，为卷积层输入，p为填充，k为卷积核尺寸，s为步长；
经过卷积之后，使用ReLU作为激活函数对卷积输出进行非线性映射，ReLU函数为：
；
每层经过2次卷积操作后，经过一个最大池化操作进入到编码器的下一层，各池化层的核大小均为k=2，填充均为p=0，步长均为s=2，得到：
；
进行5层的卷积和4次最大池化后，得到了32x22x1024的特征图，将该特征图送入U-Net解码器；
通过U-Net解码器恢复特征图的原始尺寸，该过程由卷积、上采样和跳级结构组成，首先将特征图进行2x2上采样，公式为：
；
得到64x44x512的特征图，对该特征图进行跳级连接操作，对应镜像层的特征图裁剪、与来自上层的特征图拼接在一起，形成通道数更多的特征，即与来自U-Net编码器第五层经过上采样的特征图拼接，生成尺寸为64x44x1024的特征图，对该特征图进行卷积再激活操作，如此往复操作4次，在第一层得到452x292x1的特征图，即得到体表静脉血管特征2D图。
本说明书的一些实施例中，所述使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型的具体过程如下：
使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图；
对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图；
将所述二值特征图和中轴线图进行图像重叠，得到中轴线映射图；
基于中轴线映射图，在图上根据步长长度依次取采样点，并且获得该采样点距离静脉血管边缘的距离作为该点静脉血管的半径数据；
基于所述中轴线图中的中轴线和半径数据重建3D模型，先将2D的中轴线根据其方向信息旋转和平移，从而在3D空间中确定每条静脉血管的位置，再根据2D的半径数据，将中轴线放样拉伸为管状结构，再将不同静脉血管对应的管状结构进行连接，得到体表静脉血管3D模型。
本说明书的一些实施例中，所述使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图的过程如下：
通过两个3x3的Sobel算子对图像进行卷积操作，如下：
；
将特征图看做是二维函数，Sobel算子为图像在垂直和水平方向上变化的梯度，即Sobel算子为二维对象，二维对象的元素分别是横竖两个方向的函数一阶导数：
；
计算水平和垂直方向上的梯度近似值，得到每个像素点的梯度大小和方向，对其进行二值化，得到具有明显边缘的二值特征图。
本说明书的一些实施例中，所述对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图的过程如下:
基于所述二值特征图，将静脉血管的轮廓细化到一个像素宽度，使用Zhang-Suen算法进行中轴线提取，算法循环迭代时，遍历图像上不为0的像素，在对每个中心的待操作像素进行删除或保留的判断时，根据其周围的8个像素的值进行判断，Zhang-Suen算法的算子如下：
；
每次迭代经过两步运算,满足每个阶段的所有要求，以将待操作像素清零，阶段一的运算规则为：
；
其中B(P1)代表着8个邻居中非零邻居的数量，A(P1)是指从P2到P8，0-1变化了几次；
阶段二运算规则为：
；
直到没有新的像素被删除，算法结束，得到能够描述受检部位体表静脉血管走向特征的中轴线，即得到静脉血管的中轴线图。
本说明书的一些实施例中，所述获取受检部位的3D模型的过程如下:
对双目深度相机31进行自校准，以确保能够准确地捕捉到三维空间中的物体；
使用双目深度相机31对受检部位进行扫描，得到深度图；
使用特征点检测算法来识别和定位手部的各个特征点；
利用深度卷积神经网络将深度图转化为3D模型。
将特征点绑定到生成的3D模型的骨骼上，以便当受检部位运动或姿态变换时所显示的受检部位模型能实时匹配变换，得到受检部位的3D模型。
本说明书的一些实施例中，所述得到受检部位体表静脉血管的3D成像图的过程如下：
对体表静脉血管3D模型和受检部位的3D模型进行预处理，进行缩放、旋转和平移，以确保两者的尺寸和位置匹配，能在同一坐标系中对齐；
预处理后，使用U-Net深度学习网络进行特征提取，以便对体表静脉血管3D模型和受检部位的3D模型进行绑定；
对体表静脉血管3D模型和受检部位的3D模型进行微调，融合成一个能够反映受检部位结构和静脉血管分布走向的模型；
对该模型的静脉血管部分进行上色贴图，对受检部位结构的部分填充透明材质，并进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。
本说明书实施例还公开了一种体表静脉血管3D成像系统，包括：
主机1，内置有处理模块；
显示屏2，与所述主机1连接；
底部背景板5，设有支架4；
成像模块3，设于所述支架4上，并与所述主机1连接；
其中，所述成像模块3包括近红外相机33、双目深度相机31和红外补光灯32；
所述红外补光灯32用于向受检部位体表发射红外光；所述近红外相机33用于获取静脉血管红外特征图；所述双目深度相机31用于获取深度图；所述处理模块用于执行上述中任一项所述的体表静脉血管3D成像方法。
本发明的技术构思如下：
发明原理主要基于血红蛋白在波长为850nm和760nm处具有两个吸收峰,因此850nm波长的近红外光容易被静脉所吸收，本发明系统使用红外LED投射并获取受检部位表面反射特征图，经过预处理滤波、深度学习特征提取与分割以及分析重建算法来得到体表静脉血管的3D模型。同时为了直观和高可视化，本发明将该静脉血管的3D模型映射到来自双目深度相机31获取到的受检部位外形模型上，最终实现体表静脉血管的3D成像。本发明系统的硬件主要有两部分组成(如图2和图3所示):
一、由成像模块3、支架4、底部背景板5组成的检测模块：
①支架4由铝合金制成，通过螺栓与底部背景板5和成像模块3连接，成像模块3也可单独拆下进行手持扫描。
②底部背景板5为成像模块3的检测提供良好的检测背景。
③成像模块3主要四部分组成：
1.850nm的红外补光灯32：发射850nm红外光，以便近红外相机33获取受检部位的静脉分布和走向特征图。
2.双目深度相机31：用于实时对受检部位的外形进行3D建模。
3.近红外相机33：用于接收来自受检部位反射的850nm红外光。
4.数据接口：USB3接口34用于传输来自双目深度相机31的数据，千兆网口35(1Gbps)和USB-C接口36用来传输来自近红外相机33的数据。
二、由显示屏2和主机1组成的计算（处理模块）与成像显示模块:本发明的系统的上位机软件兼容性较好，对于计算和成像显示模块的弹性较高。计算部分可以使用笔记本电脑也可以使用桌面端电脑；成像显示部分可以使用投影仪也可以使用常规的显示屏。
发明处理流程(如图5a和图5b所示，图5a和图5b中的①至⑧分别相对应)：将本发明系统的检测模块连接上主机1后，打开成像软件，等待自校准完成，便可直接开始扫描。点击“开始扫描”按钮后，将受检部位放置于扫描区域中并旋转受检部位，此时受检部位体表静脉中的血红蛋白会吸收来自红外补光灯32的红外线，并且体表将射入到其他部位未被吸收的红外线反射，近红外相机33将捕捉到该现象，获取到含有噪声的体表静脉原始红外特征图，这些含有噪声的体表静脉原始红外图通过USB或千兆网口35传输给主机1进行预处理。含有噪声的体表静脉原始红外特征图将通过预处理滤波和深度学习图像特征提取、分割算法转化为分割后的体表静脉血管2D特征图。之后再使用血管映射分析算法，获取每段血管的延伸特征和粗细特征，进行3D重建，最后获得到受检部位的体表静脉血管的3D模型。与此同时，双目深度相机31所获取原始双目深度相机图像将通过USB传输给主机1，主机1将对该图像进行视差分析，并进行深度学习骨骼定位分析来获取受检部位的关键节点信息，最后输出受检部位的3D模型。最后将体表静脉血管3D模型和受检部位的3D模型进行三维映射，最后得到体表静脉的3D成像结果，最后的结果不仅可以在扫描完成后观看，也支持扫描的同时现场实时查看受检部位3D成像图。整个成像过程为实时3D成像，且只需一次扫描便可得到整个受检部位的体表静脉血管成像图。最终的3D成像结果不仅可以在本系统软件上查看，同时支持输出不同格式的文件方便转到其他软件进行综合分析。
在一具体实施例中，本发明系统的硬件架构如图2所示：包含由显示屏2和主机1组成的计算与成像显示模块和由成像模块3、支架4、底部背景板5组成的检测模块。计算与成像显示模块所要求的显示屏2和主机1不做具体要求，主机1可以是桌面端的台式机也可以是笔记本电脑或是带USB接口的平板电脑，显示屏2可以是分立的显示屏也可以是投影仪或是全息投影仪；由显示屏2和主机1组成的计算与成像显示模块可以由用户的应用场景自行更替：在敏捷诊断需求下可以在完成校准后将成像模块3从支架4拿下手持扫描，使用平板电脑或是手机进行3D成像检测；在联合会诊需求下可以使用投影仪+桌面端主机进行分析。检测模块的支架4部分包括一个长400mm宽250mm的底座和高为250mm的方形立柱，通体由6063铝合金CNC工艺加工而成，用户也可根据具体需求更改支架4尺寸；底部背景板5由灰色磨砂PC塑料平板构成，为成像模块3的检测提供良好的检测背景，通过M5螺栓与支架4底座连接；检测模块的核心部分是成像模块3，成像模块3由近红外相机33、双目深度相机31、850nm红外补光灯32、数据接口组成，硬件架构如图3所示，工作示意图如图4所示，近红外相机33的CMOS型号为MT9V034，波段为可见光+850nm窄带能够获取受检部位反射的静脉红外特征图；曝光方式为全局曝光，在动态识别下能够清晰、不失真且无果冻效应地获得每一帧的特征图；宽动态，灵敏度为4.8V/lux-sec(单位光照强度照在传感器上1秒可以输出4.8V电压)，普通CMOS传感器的灵敏度多数在0.7-1.0，所以该CMOS传感器在不同环境光照下依然能够准确获得特征；MT9V034的数据输出接口为DVP，控制接口为SCCB，为了使用USB或以太网与主机1交互，使用了Cypress-CY7C68013的USB2.0可编程Phy芯片进行数据转换，同时支持使用USB对MT9V034进行在线配置；CY7C68013连接到了一个USB-C接口36以连接主机1，同时USB-C接口36也提供了5V电源作为摄像头及其他芯片的总供电。千兆网使用了XC7K325T作为数据帧格式转换主控，使用RTL8211E作为千兆以太网Phy芯片。850nm红外补光灯32使用了四颗功率为2W的850nm近红外7060型灯珠。双目深度相机31使用了Leapmotion，具体型号选择Leap Motion Controller，leapmotion是一种先进的运动感应器，主要用于手势识别和手部动作追踪。采用了红外传感技术，能够精准追踪手指和手掌的运动。其核心技术通过两个摄像头和三个红外 LED 组成的传感阵列来实时捕捉手部的三维空间位置和姿态。本系统中leapmotion并通过USB3-microA接口与主机1连接。整个成像模块3被集成在一个尺寸为80mm*67mm的6层FRC-PCB上，并且有一个ABS塑料外壳将重要元器件保护起来。
当开始扫描后，MT9V034近红外相机33获取到受检部位反射来自850nm红外补光灯32的静脉血管红外特征图，但是这些特征图是含有噪声的体表静脉血管的原始红外图，为保证后续图像特征提取和分割的正确性，需要对其进行预处理，且保留细节信息。如图6所示，本发明先对含有噪声的体表静脉血管的原始红外图进行预处理滤波，再使用深度学习图像特征提取分割算法进行特征提取和滤波，最后得到了体表静脉血管2D特征图。预处理滤波采用了中值滤波，它通过计算像素周围领域内像素值的中值来减少像素的噪声，并能保存图像的边缘信息。深度学习图像特征提取分割算法使用了U-Net网络，是一种用于图像特征提取和分割的全卷积神经网络架构，该网络特点是拥有对称的编码器-解码器结构，能够有效地捕获图像中的局部特征和上下文信息。具体流程如下：
输入的含有噪声的体表静脉血管的原始红外图为灰度图尺寸为640x480，使用一个3x3大小的卷积核在含有噪声的体表静脉血管的原始红外图上沿着每个像素Z字形步进，步长为1，填充为0，该卷积核将计算该像素周围的8个像素点与该像素的灰度值进行排序并取中位数作为输出图像该位置的像素灰度值，中值滤波将去除椒盐噪声和高斯噪声。由于中值滤波是基于排序的操作，因此在一定程度上能够保留图像中的边缘信息，不会产生过多的模糊效果。
接着经过滤波的图像进入了U-Net的编码器（收缩路径），尺寸为640x480。首先进行卷积操作对图像的特征进行提取。本发明的卷积结构统一使用3x3的卷积核k=3，填充为p=0，步长为s=1，根据计算卷积层输出特征公式（为卷积层输出，为卷积层输入，p为填充，k为卷积核尺寸，s为步长）：
；
得到：；
从图6中可以看到编码器部分层卷积层都分别是由2个3x3卷积层组成，每通过每个卷积层都使得特征图的尺寸减少2个像素。经过卷积之后，使用ReLU作为激活函数对卷积输出进行非线性映射，ReLU函数为：
；
每层经过2次卷积操作后，需要经过一个最大池化操作进入到编码器的下一层，各池化层的核大小均为k=2，填充均为p=0，步长均为s=2，所以得到：
；
从图6中可以看到每经过一次最大池化2x2特征图的尺寸缩小为原来的1/2。在经过5层的卷积和4次最大池化后，得到了32x22、通道数为1024的特征图。第5层没有最大池化2x2操作，而是直接将得到的特征图送入U-Net解码器（扩展路径）。
接下来特征图经过U-Net解码器恢复原始尺寸，该过程由卷积，上采样和跳级结构组成。首先U-Net解码器将来自U-Net编码器第五层的尺寸为32x22x1024的特征图进行2x2上采样，公式为：
；
可以从图6U-Net解码器部分中看到输出尺寸扩大为原来2倍为64x44，通道数为原来的1/2为512。接着U-Net再进行跳级连接操作，对应镜像层的特征图裁剪、与来自上层的特征图拼接在一起，形成通道数更多的特征。从图6的U-Net解码器部分的第四层可以看到从U-Net编码器第五层传递的尺寸为72x52x512，经过裁剪后尺寸为64x44x512，与来自U-Net编码器第五层经过上采样的特征图拼接，生成尺寸为64x44x1024的特征图。最后与U-Net编码器的卷积部分操作相同，对特征图进行卷积再激活操作，如此往复操作4次最后在第一层得到452x292x1的特征图。至此，得到体表静脉血管特征2D图。
得到体表静脉血管特征2D图后，本发明使用血管映射分析算法，获取每段血管的延伸特征和粗细特征，进行三维重建，最后获得3D模型。这也是本发明的核心，如图7所示，具体流程如下：
为获取延伸特征，需要获得静脉血管的中轴线，首先先进行边缘检测，目的是从2D特征图中检测出物体的边界，本发明使用Sobel滤波进行边缘检测和提取，Sobel滤波通过两个3x3的算子（Sobel算子）对图像进行卷积操作，如下：
；
如果把特征图看做是一个二维函数，那么Sobel算子就是图像在垂直和水平方向上变化的梯度。它是一个二维对象，对象的元素分别是横竖两个方向的函数一阶导数，其中为关于和的二维函数，为函数的梯度，其中和是函数关于和的偏导数，公式如下：
；
Sobel算子在水平和垂直方向上做像素值的差分，能够得到图像梯度的近似值,通过使用两个算子在原图上进行卷积获取边缘特征所得到的两个特征图进行组合，得到垂直和水平方向的综合结果，计算Sobel的范数，计算公式如下：
；
计算水平和垂直方向上的梯度近似值，可以得到每个像素点的梯度大小和方向，较大的梯度值通常意味着图像颜色变化快，这些点有可能是图像中的边缘。接着对其进行二值化，最后获得如图7左上所示的具有明显边缘的二值特征图。
在获得经过边缘检测得到的图像后，本发明对得到边缘特征的图片进行骨架化处理，从而获得静脉血管的中轴线，如图7右上。骨架化处理的目的是将静脉血管的轮廓细化到一个像素宽度，同时尽可能地保留原始静脉血管的拓扑结构和几何特征，以便描述静脉血管的形状和走向。本发明通过Zhang-Suen算法进行中轴线提取，该算法循环迭代时，遍历了图像上不为0的像素。在对每个中心的待操作像素（P1）进行删除或保留的判断时，算法根据其周围的8个像素（P2-P8）的值进行判断。Zhang-Suen算法的算子如下：
；
Zhang-Suen算法每次迭代都需要经过两阶段运算（每阶段包含4个步骤）,只有满足每个阶段的所有要求（第1步到第4步的四个等式均成立），才能将待操作像素（P1）清零，阶段一的运算规则为：
第1步：；
第2步：；
第3步：；
第4步：；
其中B(P1)代表着8个邻居中非零邻居的数量,A(P1)是指从P2到P8，0-1变化了几次。
阶段二运算规则为：
第1步：；
第2步：；
第3步：；
第4步：；
两个阶段的第1、2步相同，第3、4步不同。阶段一的第3、4步是为了移除东侧和南侧的边界线上的像素点和西北角上的角落像素点。阶段二的第3、4步是为了移除西侧和北侧的边界线上的像素点和东南角上的角落像素点。对于前一步Sobel滤波得出的二值图像，Zhang-Suen算法需要不断地迭代阶段一和阶段二，直到某个阶段没有新的像素被删除，Zhang-Suen算法结束，最后得出了能够描述受检部位体表静脉血管走向特征的中轴线。
经过前两步获得了包含受检部位体表静脉血管的边界信息图像和走向特征信息图像，接着根据特征点将两个图像重叠，得到如图7右下的中轴线映射图。
如图7左下所示，接着在网状的中轴线特征图上根据指定步长长度依次取采样点，并且获得该采样点距离静脉血管边缘的距离作为该点静脉血管的半径数据并存储。
最后使用所提取的中轴线和半径数据来重建3D模型，先将2D中轴线根据其方向信息旋转和平移，从而在3D空间中确定每条静脉血管的大致位置；接着根据2D半径数据，将中轴线放样拉伸为具有一定厚度的管状结构；再将不同静脉血管的管状结构进行连接，至此，获得了完整待测部位的体表静脉血管3D模型。
与此同时，Leapmotion双目深度相机31完成了对受检部位的3D扫描和建模，它的处理流程如下：
首先Leapmotion双目深度相机31进行自校准，以确保它能够准确地捕捉到三维空间中的物体，双目深度相机31校准通过根据内部固定参数(焦距、主点位置)和预先给定的与背景板的距离进行自校准。
Leapmotion双目深度相机31通过使用双目视觉技术，利用两个摄像头捕捉到的图像进行计算视差（两个摄像头对应像素的偏移量）计算，然后根据视差计算出特征点的深度信息进行深度学习立体匹配，从而确定图像中对应的特征点在三维空间中的位置并生成深度图。
获得了特征点在三维空间的位置后，使用特征点检测算法来识别和定位手部的各个特征点，如手指尖、手掌中心、手臂关节等。利用深度卷积神经网络将深度图转化为待测部位的3D模型。
最后将获得到的特征点绑定到生成的3D模型的骨骼上，以便当受检部位运动或姿态变换时所显示的受检部位模型能实时匹配变换。至此获得了受检部位的3D模型。
最后需要将获得的体表静脉血管3D模型和受检部位的3D模型进行三维映射将其变为一个模型显示在软件中，具体流程如下：
首先，需要对体表静脉血管3D模型和受检部位的3D模型进行预处理，对他们进行缩放、旋转和平移，确保它们的尺寸和位置匹配，最后它们能在同一坐标系中对齐。
接着对两个3D模型使用U-Net深度学习网络对其进行特征提取，这些特征点是关键点、边缘点等，以便对两个3D模型进行绑定。
提取到两个模型对应的特征点后，对体表静脉血管3D模型和受检部位的3D模型进行微调（平移、旋转、变形等），将两个模型融合成一个能够反映受检部位结构和静脉血管分布走向的模型。
最后，对该模型的静脉血管部分进行上色贴图，对受检部位结构的部分填充透明材质，接着对总模型进行渲染和可视化处理。至此得到了受检部位体表静脉血管的3D成像。
最后，本发明将经过渲染的受检部位体表静脉血管的3D成像在显示屏2上，以便用户对其分析处理，同时也可以将模型导出为OBJ、DICOM、STL、VTK、PLY等通用模型格式以供其他分析软件分析。
以上所述实施例是用以说明本发明，并非用以限制本发明，所以举例数值的变更或等效元件的置换仍应隶属本发明的范畴。
由以上详细说明，可使本领域普通技术人员明了本发明的确可达成前述目的，实已符合专利法的规定。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例有关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本申请的各个方面可以完全由硬件实施、可以完全由软件（包括固件、常驻软件、微代码等）实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等的面向对象程序设计语言、如C程序设计语言、VisualBasic、Fortran2103、Perl、COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

Claims (6)

1.一种体表静脉血管3D成像方法，其特征在于，包括：
向受检部位体表发射红外光；
获取由受检部位体表反射的红外光得到的静脉血管红外特征图；
对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图；
使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型；
获取受检部位的3D模型；
将体表静脉血管3D模型和受检部位的3D模型进行三维映射变为一个组合模型，并对组合模型的静脉血管部分进行上色贴图，对受检部位结构的部分进行透明材质填充，最后进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图；
所述对所述静脉血管红外特征图进行预处理滤波，并使用深度学习图像特征提取分割算法进行特征提取和滤波，得到体表静脉血管2D特征图的具体过程如下：
输入静脉血管红外特征图，使用一个3x3大小的卷积核在静脉血管红外特征图上沿着每个像素Z字形步进，步长为1，填充为0，计算每个像素周围的8个像素点与该像素的灰度值进行排序并取中位数作为输出图像该位置的像素灰度值；
接着经过滤波的图像进入了U-Net的编码器，首先进行卷积操作，对图像的特征进行提取，卷积结构统一使用3x3的卷积核，k＝3，填充为p＝0，步长为s＝1，根据计算卷积层输出特征公式如下所示：
得到：nout＝nin-2；
nout为卷积层输出，nin为卷积层输入，p为填充，k为卷积核尺寸，s为步长；经过卷积之后，使用ReLU作为激活函数对卷积输出进行非线性映射，ReLU函数为：
f(x)＝max(x,0)；
每层经过2次卷积操作后，经过一个最大池化操作进入到编码器的下一层，各池化层的核大小均为k＝2，填充均为p＝0，步长均为s＝2，得到：
nout＝nin/2；
进行5层的卷积和4次最大池化后，得到了32x22x1024的特征图，将该特征图送入U-Net解码器；
通过U-Net解码器恢复特征图的原始尺寸，该过程由卷积、上采样和跳级结构组成，首先将特征图进行2x2上采样，公式为：
nout＝s(nin-1)-2p+k；
得到64x44x512的特征图，对该特征图进行跳级连接操作，对应镜像层的特征图裁剪、与来自上层的特征图拼接在一起，形成通道数更多的特征，即与来自U-Net编码器第五层经过上采样的特征图拼接，生成尺寸为64x44x1024的特征图，对该特征图进行卷积再激活操作，如此往复操作4次，在第一层得到452x292x1的特征图，即得到体表静脉血管特征2D图；
所述使用血管映射分析算法对所述体表静脉血管2D特征图进行处理，获取每段血管的延伸特征和粗细特征，进行三维重建，得到体表静脉血管3D模型的具体过程如下：
使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图；
对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图；
将所述二值特征图和中轴线图进行图像重叠，得到中轴线映射图；
基于中轴线映射图，在图上根据步长长度依次取采样点，并且获得该采样点距离静脉血管边缘的距离作为该点静脉血管的半径数据；
基于所述中轴线图中的中轴线和半径数据重建3D模型，先将2D的中轴线根据其方向信息旋转和平移，从而在3D空间中确定每条静脉血管的位置，再根据2D的半径数据，将中轴线放样拉伸为管状结构，再将不同静脉血管对应的管状结构进行连接，得到体表静脉血管3D模型；
所述使用Sobel滤波对体表静脉血管2D特征图进行边缘检测和提取，得到具有明显边缘的二值特征图的过程如下：
通过两个3x3的Sobel算子对图像进行卷积操作，如下：
将特征图看做是二维函数，Sobel算子为图像在垂直和水平方向上变化的梯度，即Sobel算子为二维对象，二维对象的元素分别是横竖两个方向的函数一阶导数：
其中，grad(I)表示图像的梯度向量，包含水平方向和垂直方向的导数；表示图像在水平方向的一阶导数，即灰度值的变化率；表示图像在垂直方向的一阶导数；T表示向量的转置，将行向量转为列向量；
Sobel算子在水平和垂直方向上做像素值的差分，得到图像梯度的近似值,将使用两个Sobel算子在原图上进行卷积获取边缘特征所得到的两个特征图进行组合，得到垂直和水平方向的综合结果，计算Sobel的范数，计算公式如下：
其中，|grad(I)|表示图像梯度的范数；
计算水平和垂直方向上的梯度近似值，得到每个像素点的梯度大小和方向，对其进行二值化，得到具有明显边缘的二值特征图；
所述对所述二值特征图进行骨架化处理，并使用Zhang-Suen算法进行中轴线提取，得到静脉血管的中轴线图的过程如下:
基于所述二值特征图，将静脉血管的轮廓细化到一个像素宽度，使用Zhang-Suen算法进行中轴线提取，算法循环迭代时，遍历图像上不为0的像素，在对每个中心的待操作像素进行删除或保留的判断时，根据其周围的8个像素的值进行判断，Zhang-Suen算法的算子如下：
每次迭代经过两步运算,满足每个阶段的所有要求，以将待操作像素清零，阶段一的运算规则为：
2≤B(P1)≤6
A(P1)＝1
P2×P4×P6＝0
P4×P6×P8＝0；
其中B(P1)代表着8个邻居中非零邻居的数量，A(P1)是指从P2到P8，0-1变化了几次；
阶段二运算规则为：
2≤B(P1)≤6
A(P1)＝1
P2×P4×P8＝0
P2×P6×P8＝0；
直到没有新的像素被删除，算法结束，得到能够描述受检部位体表静脉血管走向特征的中轴线，即得到静脉血管的中轴线图。
2.根据权利要求1所述的体表静脉血管3D成像方法，其特征在于，所述预处理滤波采用中值滤波，以通过计算像素周围领域内像素值的中值来减少像素的噪声，并能保存图像的边缘信息。
3.根据权利要求1所述的体表静脉血管3D成像方法，其特征在于，所述深度学习图像特征提取分割算法使用拥有对称的编码器-解码器结构的U-Net网络。
4.根据权利要求1所述的体表静脉血管3D成像方法，其特征在于，所述获取受检部位的3D模型的过程如下:
对双目深度相机进行自校准，以确保能够准确地捕捉到三维空间中的物体；
使用双目深度相机对受检部位进行扫描，得到深度图；
使用特征点检测算法来识别和定位手部的各个特征点；
利用深度卷积神经网络将深度图转化为3D模型；
将特征点绑定到生成的3D模型的骨骼上，以便当受检部位运动或姿态变换时所显示的受检部位模型能实时匹配变换，得到受检部位的3D模型。
5.根据权利要求1所述的体表静脉血管3D成像方法，其特征在于，所述得到受检部位体表静脉血管的3D成像图的过程如下：
对体表静脉血管3D模型和受检部位的3D模型进行预处理，进行缩放、旋转和平移，以确保两者的尺寸和位置匹配，能在同一坐标系中对齐；
使用U-Net深度学习网络进行特征提取，以便对体表静脉血管3D模型和受检部位的3D模型进行绑定；
对体表静脉血管3D模型和受检部位的3D模型进行微调，融合成一个能够反映受检部位结构和静脉血管分布走向的模型；
对该模型的静脉血管部分进行上色贴图，对受检部位结构的部分填充透明材质，并进行渲染和可视化处理，得到受检部位体表静脉血管的3D成像图。
6.一种体表静脉血管3D成像系统，其特征在于，包括：
主机，内置有处理模块；
显示屏，与所述主机连接；
底部背景板，设有支架；
成像模块，设于所述支架上，并与所述主机连接；
其中，所述成像模块包括近红外相机、双目深度相机和红外补光灯；
所述红外补光灯用于向受检部位体表发射红外光；所述近红外相机用于获取静脉血管红外特征图；所述双目深度相机用于获取深度图；所述处理模块用于执行权利要求1至5中任一项所述的体表静脉血管3D成像方法。
CN202411195432.2A 2024-08-29 2024-08-29 一种体表静脉血管3d成像方法及系统 Active CN118710819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411195432.2A CN118710819B (zh) 2024-08-29 2024-08-29 一种体表静脉血管3d成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411195432.2A CN118710819B (zh) 2024-08-29 2024-08-29 一种体表静脉血管3d成像方法及系统

Publications (2)

Publication Number Publication Date
CN118710819A CN118710819A (zh) 2024-09-27
CN118710819B true CN118710819B (zh) 2024-11-19

Family

ID=92818370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411195432.2A Active CN118710819B (zh) 2024-08-29 2024-08-29 一种体表静脉血管3d成像方法及系统

Country Status (1)

Country Link
CN (1) CN118710819B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106473751A (zh) * 2016-11-25 2017-03-08 刘国栋 基于阵列式超声传感器的手掌血管成像与识别装置及其成像方法
CN109934118A (zh) * 2019-02-19 2019-06-25 河北大学 一种手背静脉身份识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7049993B2 (ja) * 2015-11-30 2022-04-07 ジーイー・ヘルスケア・アクスイェ・セルスカプ Ｍｒｉ造影剤の併用を含む製剤
KR20190125592A (ko) * 2018-04-30 2019-11-07 주식회사 실리콘사피엔스 의료 영상을 이용하여 혈관의 3차원 형상을 생성하기 위한 세그멘테이션 방법
CN112163452B (zh) * 2020-08-25 2022-11-18 同济大学 基于深度学习的双目近红外肢体静脉图像的三维重建方法
CN112288739B (zh) * 2020-11-20 2022-04-22 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106473751A (zh) * 2016-11-25 2017-03-08 刘国栋 基于阵列式超声传感器的手掌血管成像与识别装置及其成像方法
CN109934118A (zh) * 2019-02-19 2019-06-25 河北大学 一种手背静脉身份识别方法

Also Published As

Publication number Publication date
CN118710819A (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
JP7169986B2 (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
US20140235998A1 (en) Method and apparatus for performing registration of medical images
Huang et al. Bezier interpolation for 3-D freehand ultrasound
WO2014041791A1 (ja) ３次元画像表示装置および方法並びにプログラム
FR2902218A1 (fr) Procede de traitement d'images de tomosynthese pour une detection de signes radiologiques
JP2022502177A (ja) 高密度要素抑制による合成乳房組織画像発生のためのシステムおよび方法
JP2000126182A (ja) 腫瘍診断方法
CN105912874A (zh) 基于dicom医学图像构建的肝脏三维数据库系统
CN106204733A (zh) 肝脏和肾脏ct图像联合三维构建系统
Raza et al. Brain image representation and rendering: A survey
CN111507978A (zh) 一种泌尿外科用智能数字影像处理系统
CN111914925B (zh) 一种基于深度学习的患者行为多模态感知与分析系统
CN111507979A (zh) 一种医学影像计算机辅助分析方法
Niri et al. Multi-view data augmentation to improve wound segmentation on 3D surface model by deep learning
CN111899850A (zh) 医学影像的信息处理方法、显示方法及可读存储介质
US7082181B2 (en) Image reconstruction method and X-ray CT system
Dekker 3D human body modelling from range data
CN105844693A (zh) 肝脏三维ct重建数据信息处理系统
JP5295562B2 (ja) フレキシブル３次元回転血管造影−コンピュータ断層撮影融合方法
Sakas et al. Advanced applications of volume visualization methods in medicine
JP7104034B2 (ja) スペクトルｃｔにおける骨及びハードプラークのセグメンテーション
JP7164890B2 (ja) ３次元血管認識方法及び３次元血管認識装置
CN118710819B (zh) 一种体表静脉血管3d成像方法及系统
CN106097422A (zh) 基于大数据的肝脏三维图像动态演示系统
Morano et al. Deep multimodal fusion of data with heterogeneous dimensionality via projective networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant