[go: up one dir, main page]

CN113256670A - 图像处理方法及装置、网络模型的训练方法及装置 - Google Patents

图像处理方法及装置、网络模型的训练方法及装置 Download PDF

Info

Publication number
CN113256670A
CN113256670A CN202110566138.8A CN202110566138A CN113256670A CN 113256670 A CN113256670 A CN 113256670A CN 202110566138 A CN202110566138 A CN 202110566138A CN 113256670 A CN113256670 A CN 113256670A
Authority
CN
China
Prior art keywords
medical image
feature map
neural network
network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110566138.8A
Other languages
English (en)
Inventor
简伟健
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110566138.8A priority Critical patent/CN113256670A/zh
Publication of CN113256670A publication Critical patent/CN113256670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像处理方法及装置、网络模型的训练方法及装置。该方法包括：根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图；根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图；根据所述第二特征图，通过第二神经网络，获取所述医学图像的动脉和静脉的分割结果。由于采用图网络，能够获得医学图像的全局信息，同时，通过采用第二神经网络，能够在医学图像的全局信息基础上，对医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。

Description

图像处理方法及装置、网络模型的训练方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法及装置、网络模型的训练方法及装置。
背景技术
血管分割在关于血管的影像学诊断中大有用处。例如，心血管疾病非常常见，是当今世界上发病率和死亡率最高的疾病之一，对于心脏的冠状动脉的分割，传统的方法为基于区域生长的血管分割，或者基于深度学习的血管分割。但是由于冠状动脉和静脉的形态很相似，灰度也非常接近，传统的方法难以区分冠状动脉和静脉，从而造成血管的分割精度不高的现象。
发明内容
有鉴于此，本申请的实施例致力于提供一种图像处理方法及装置、网络模型的训练方法及装置，能够提高血管的分割精度。
根据本申请实施例的第一方面，提供了一种图像处理方法，包括：根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图；根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图；根据所述第二特征图，通过第二神经网络，获取所述医学图像的动脉和静脉的分割结果。
在一个实施例中，所述方法还包括：对所述动脉和所述静脉进行中线提取，以获得所述动脉和所述静脉对应的中线；在所述中线上进行点采样，获得多个关键点；根据所述多个关键点之间的连接关系，获取所述动脉和所述静脉对应的邻接矩阵。
在一个实施例中，所述根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图，包括：根据所述第一特征图和所述邻接矩阵，通过所述图网络，获取所述第二特征图。
在一个实施例中，所述中线的线宽为单像素点，所述方法还包括：遍历所述中线上的多个像素点中的每个像素点的相邻像素点的个数。
在一个实施例中，所述在所述中线上进行点采样，获得多个关键点，包括：按照预设距离，对所述中线上的具有两个和/或一个相邻像素点的像素点进行采样，获得所述多个关键点。
在一个实施例中，所述医学图像通过以所述多个关键点中的任意关键点为中心对原始医学图像截取预设尺寸的块所得到。
在一个实施例中，所述根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图，包括：根据所述医学图像和血管及背景的分割结果，通过所述第一神经网络，获取所述第一特征图，其中，所述血管包括所述静脉和所述动脉。
在一个实施例中，当所述动脉为冠状动脉时，所述方法还包括：根据连通域算法，获取血管和背景的分割结果中的所述静脉的连通域；在所述动脉和所述静脉的分割结果中去除所述连通域的大小超过预设阈值的静脉，以获得所述冠状动脉的分割结果。
在一个实施例中，所述第二特征图为所述图网络的预设层输出的特征图。
根据本申请实施例的第二方面，提供了一种网络模型的训练方法，包括：确定样本医学图像，其中，所述样本医学图像包括标注的静脉和动脉；基于所述样本医学图像训练级联神经网络，以生成所述网络模型，其中，所述级联神经网络包括串行的第一神经网络、图网络和第二神经网络，所述第一神经网络用于输出所述样本医学图像的第一样本特征图，所述图网络用于基于所述第一样本特征图，输出所述样本医学图像的第二样本特征图，所述第二神经网络用于基于所述第二样本特征图，输出所述样本医学图像的静脉和动脉的分割结果。
在一个实施例中，所述基于所述样本医学图像训练级联神经网络，以生成所述网络模型，包括：根据所述样本医学图像和所述第一神经网络，获得所述第一样本特征图；根据所述第一样本特征图和所述图网络，获取所述网络模型的第一损失函数值；根据所述第二样本特征图和所述第二神经网络，获取所述网络模型的第二损失函数值；基于所述第一损失函数值和所述第二损失函数值，更新所述网络模型的参数。
在一个实施例中，所述方法还包括：对所述动脉和所述静脉进行中线提取，以获得所述动脉和所述静脉对应的中线；在所述中线上进行点采样，获得多个关键点；根据所述多个关键点之间的连接关系，获取所述动脉和所述静脉对应的邻接矩阵。
在一个实施例中，所述根据所述第一样本特征图和所述图网络，获取所述网络模型的第一损失函数值，包括：根据所述第一样本特征图和所述邻接矩阵，通过所述图网络，获取所述动脉和所述静脉的分类结果；根据所述分类结果和所述标注的静脉和动脉，确定所述网络模型的第一损失函数值。
根据本申请实施例的第三方面，提供了一种图像处理装置，包括：第一获取模块，配置为根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图；第二获取模块，配置为根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图；第三获取模块，配置为根据所述第二特征图，通过第二神经网络，获取所述医学图像的动脉和静脉的分割结果。
在一个实施例中，所述装置还包括：用于执行上述实施例提及的图像处理方法中的各个步骤的模块。
根据本申请实施例的第四方面，提供了一种网络模型的训练装置，包括：确定模块，配置为确定样本医学图像，其中，所述样本医学图像包括标注的静脉和动脉；训练模块，配置为基于所述样本医学图像训练级联神经网络，以生成所述网络模型，其中，所述级联神经网络包括串行的第一神经网络、图网络和第二神经网络，所述第一神经网络用于输出所述样本医学图像的第一样本特征图，所述图网络用于基于所述第一样本特征图，输出所述样本医学图像的第二样本特征图，所述第二神经网络用于基于所述第二样本特征图，输出所述样本医学图像的静脉和动脉的分割结果。
在一个实施例中，所述装置还包括：用于执行上述实施例提及的网络模型的训练方法中的各个步骤的模块。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。
本申请的实施例所提供的一种图像处理方法，通过将医学图像输入级联神经网络(即，串行的第一神经网络、图网络和第二神经网络)中，能够获得医学图像的动脉和静脉的分割结果。由于采用图网络，能够获得医学图像的全局信息，同时，通过采用第二神经网络，能够在医学图像的全局信息基础上，对医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的图像处理方法的流程示意图。
图3所示为本申请一个实施例提供的关键点的示意图。
图4所示为本申请一个实施例提供的图像处理方法的过程示意图。
图5所示为本申请一个实施例提供的网络模型的训练方法的流程示意图。
图6所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图7所示为本申请一个实施例提供的图像处理装置的框图。
图8所示为本申请另一个实施例提供的图像处理装置的框图。
图9所示为本申请一个实施例提供的网络模型的训练装置的框图。
图10所示为本申请另一个实施例提供的网络模型的训练装置的框图。
图11所示为本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
另外，图网络(Graph Network,GN)是一种基于图域分析的深度学习方法，其可以理解为是在拓扑空间(topological space)内按图(graph)结构组织进行关系推理(relational reasoning)的函数集合。图网络可以采用图卷积神经网络(GraphConvolutional Network，GCN)或图注意力网络(Graph Attention Network，GAT)等网络结构，且不包含池化等改变图结构的算子，即，每次卷积，图的拓扑结构都保持一致。
血管分割在关于血管的影像学诊断中大有用处。例如，对于心脏的冠状动脉的分割，由于以下原因，导致冠状动脉的分割比较困难，原因如下：1)冠状动脉结构复杂，有很多分支的细小血管；2)冠状动脉灰度不均匀，跟周围组织的对比度低，血管末梢部分的边界较模糊；3)冠状动脉中会含有各种复杂病变；4)心脏的运动伪影会影响冠状动脉的成像；5)心脏有很多静脉与冠状动脉交错，图像质量不高时存在静脉与冠状动脉相连的现象，很容易出现分割的静脉假阳。
对于基于区域生长的血管分割，首先提取血管树的种子点，一般是取血管树的根部区域为种子点，然后提取根部区域的特征(如灰度、纹理等)，在邻域进行生长，找出邻域中类似的血管，若不符合生长条件即停止。但是基于区域生长的分割方法若遇到斑块、伪影，因不满足特征的条件就会停止生长，鲁棒性很低。
对于基于深度学习的血管分割，将dicom图像输入到深度学习网络，根据深度学习网络的输出与金标准，计算损失函数值，并将损失函数值梯度反传，以修正模型参数，最后输出鲁棒性较高的分割模型。但是由于冠状动脉和静脉的形态很相似，灰度也非常接近，分割模型难以区分冠状动脉和静脉，会造成静脉假阳较多的现象。
因此，采用传统血管分割方法，对冠状动脉进行分割，所得到的血管的分割精度不高。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取医学图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
CT扫描仪130用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪130对肺部进行扫描，可以得到胸部X线正位片，即本申请中的医学图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，计算机设备110中可以部署有网络模型(由串行的第一神经网络、图网络和第二神经网络构成)，用于对医学图像进行分割。计算机设备110可以利用其上部署的网络模型将其从CT扫描仪130获取的医学图像进行分割，具体地，首先，将医学图像输入第一神经网络，获取医学图像的第一特征图，然后，根据第一特征图，通过图网络，获取医学图像的第二特征图，最后，将第二特征图输入第二神经网络，获取医学图像的动脉和静脉的分割结果。
在一些可选的实施例中，服务器120接收计算机设备110采集到的训练图像，并通过训练图像对级联神经网络(即，串行的第一神经网络、图网络和第二神经网络)进行训练，以得到网络模型。计算机设备110可以将其从CT扫描仪130获取到的医学图像发送给服务器120，服务器120利用其上训练出的网络模型进行分割，具体地，首先，将医学图像输入第一神经网络，获取医学图像的第一特征图，然后，根据第一特征图，通过图网络，获取医学图像的第二特征图，最后，将第二特征图输入第二神经网络，获取医学图像的动脉和静脉的分割结果。服务器120将细分割结果发送给计算机设备110，以供医护人员查看。
由于采用图网络，能够获得医学图像的全局信息，同时，通过采用第二神经网络，能够在医学图像的全局信息基础上，对医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
示例性方法
图2是本申请一个实施例提供的图像处理方法的流程示意图。图2所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图2所示，该方法包括如下内容。
S210：根据医学图像，通过第一神经网络，获取医学图像的第一特征图。
在一实施例中，该医学图像可以是指原始医学影像，其可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术直接获得的影像。
在一实施例中，该医学图像也可以是指经过预处理后的图像，预处理后的图像可以是指对原始医学影像进行预处理后，得到的医学影像。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等。
在一实施例中，该医学图像可以是三维CT影像，也可以是三维CT影像中的一部分三维医学影像(即，从三维CT影像中截取patch所得到的块)，还可以是三维CT影像中的一层二维医学影像，本申请实施例对此并不作具体限定。
在一实施例中，第一神经网络可以为任意类型的神经网络。可选地，第一神经网络可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep NeuralNetwork，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本申请实施例对第一神经网络的具体类型不作限定。第一神经网络可以包括输入层、卷积层、池化层、连接层等神经网络层，本申请实施例对此不作限定。另外，本申请实施例对每一种神经网络层的个数也不作限定。该第一神经网络可以理解为编码器，用于实现特征提取和数据降维。
在一实施例中，将医学图像直接输入第一神经网络中，可以获得医学图像的第一特征图。
在另一实施例中，根据医学图像和背景及血管的分割结果，通过第一神经网络，可以获得第一特征图，即，将医学图像和背景及血管的分割结果直接输入第一神经网络中，可以获得医学图像的第一特征图，或者，将医学图像和背景及血管的分割结果合并后输入第一神经网络中，可以获得医学图像的第一特征图。该第一特征图可以是一维的。
该背景及血管的分割结果可以是通过深度学习或者机器学习所得到的分割结果，本申请实施例对此并不做具体限定。该背景及血管的分割结果中的背景的值为0，前景(包括动脉和静脉)的值为1。
相比于只基于医学图像获取第一特征图，基于医学图像和背景及血管的分割结果获取第一特征图，所提取到的第一特征图更加的准确，具有更高的层次信息。
在一实施例中，该第一特征图也可以不是一维的，对第一特征图进行全局池化操作，以得到降维后的第一特征图，降维后的第一特征图是一维的。
S220：根据第一特征图，通过图网络，获取医学图像的第二特征图。
在一实施例中，对动脉和静脉进行中线提取，以获得动脉和静脉对应的中线；在中线上进行点采样，获得多个关键点；根据多个关键点之间的连接关系，获取动脉和静脉对应的邻接矩阵。
在一实施例中，将第一特征图和邻接矩阵输入图网络中，可以获得医学图像的第二特征图。该图网络是一种基于图域分析的深度学习方法，其可以理解为是在拓扑空间内按图结构组织进行关系推理的函数集合。图网络可以采用图卷积神经网络或图注意力网络等网络结构，且不包含池化等改变图结构的算子，即，每次卷积，图的拓扑结构都保持一致。
在一实施例中，该第二特征图可以是图网络的预设层输出的特征图。该预设层可以为全连接层和分类层之前的卷积层，本申请实施例对此并不做具体限定。
可以采用烈火模拟法或者最大内接球等方法，对医学图像上的动脉和静脉或者背景及血管的分割结果中的动脉和静脉进行中线提取，以使得静脉和动脉的中线能够反应出原始血管的拓扑结构。
在一实施例中，为了能够更好地对血管的中间像素点、分叉像素点和顶像素点进行区分，静脉和动脉的中线的线宽为单像素点。中间像素点为一根血管上的两个端点之间的像素点，与中间像素点相邻的像素点的个数只有两个；分叉像素点为至少两根血管相交处的像素点，与分叉像素点相邻的像素点的个数大于两个；顶像素点为一根血管上的末端的像素点，与顶像素点相邻的像素点的个数只有一个。
因此，可以采用深度优先搜索的办法，遍历中线上的多个像素点中的每个像素点的相邻像素点的个数，可以对多个像素点中的中间像素点、分叉像素点和顶像素点进行区分。
在一实施例中，为了能够增强图网络的鲁棒性，可以按照预设距离，对中线上的具有两个和/或一个相邻像素点的像素点进行采样，以获得多个关键点。将多个关键点的坐标提取出来，如图3所示，血管上的点A～N即为多个关键点。
也就是说，多个关键点的类型为中间像素点或顶像素点，而不是交叉像素点。由于分叉像素点很有可能包含静脉假阳，所以通过将多个关键点确定为中间像素点或顶像素点，可以避免在训练图网络时，使图网络不好判断该分叉像素点属于动脉还是静脉，从而能够增强训练得到的图网络的鲁棒性。
但是需要说明的是，本申请实施例并不具体限定预设距离的取值。本申请实施例也并不限定任意两个关键点之间的距离，可以按照预设距离，对中线上的具有两个和/或一个相邻像素点的像素点进行等距离采样，从而使得多个关键点之间的距离是相等的。本申请实施例也并不限定多个关键点的具体个数，关键点的个数可以随着预设距离的取值的不同而不同。
在一实施例中，根据多个关键点在中线上的连接关系，可以构建有向图或者无向图，即，动脉和静脉对应的邻接矩阵(AdjacencyMatrix)。若所述多个关键点的个数为N个(即，该邻接矩阵具有N个节点)，那么邻接矩阵的大小为N*N。邻接矩阵是表示关键点之间相邻关系的矩阵。
该图网络基于第一特征图，从邻接矩阵中提取特征，从而使用这些特征去对邻接矩阵进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction)等等。也就是说，图网络可以输出N个节点的分类结果(二分类结果)，即，判断N个关键点是动脉还是静脉。但是需要说明的是，对N个关键点进行二分类的结果也可以作为级联神经网络的输出。
在一实施例中，医学图像通过以多个关键点中的任意关键点为中心对原始医学图像截取预设尺寸的块所得到，也就是说，以每个关键点为中心，对原始医学图像截取patch，得到N个patch(块)。但是本申请实施例并不具体限定预设尺寸的取值，本领域技术人员可以根据实际需求，进行不同的选择。
本申请中的医学图像可以是指一个patch，一个patch对应一个第一特征图，根据所有patch对应的第一特征图，通过图网络，可以获取医学图像的第二特征图。也就是说，通过将每个patch单独地输入到级联神经网络中的第一神经网络，再将所有patch对应的第一特征图输入到级联神经网络的图网络中，最后将每个patch对应得第二特征图单独地输入到第二神经网络，可以有效降低显存占用。
如步骤S210中所述的还可以将背景及血管的分割结果输入第一神经网络中，所以当医学图像为预设尺寸的块时，该背景及血管的分割结果也可以是以多个关键点中的任意关键点为中心对背景及血管的原始分割结果截取预设尺寸的块所得到的。
S230：根据第二特征图，通过第二神经网络，获取医学图像的动脉和静脉分割结果。
在一实施例中，第二神经网络的类型可以与第一神经网络相同，也可以与第一神经网络不同，本申请实施例对此不作限定。该第二神经网络可以理解为解码器，用于从特征中解码出分割结果。第一神经网络(编码器)和第二神经网络(解码器)之间可以建立skipconnection(类似UNet的结构)。
在一实施例中，将第二特征图直接输入第二神经网络中，可以获得医学图像的动脉和静脉的分割结果。
在另一实施例中，将第二特征图上采样后输入第二神经网络中，可以获得医学图像的动脉和静脉的分割结果。
在另一实施例中，根据第一特征图和第二特征图，通过第二神经网络，可以获得医学图像的动脉和静脉的分割结果，即，将第一特征图和第二特征图直接输入第二神经网络中，可以获得分割结果，或者，将第一特征图和第二特征图上采样后输入第二神经网络中，可以获得分割结果。
相比于只基于第二特征图获取分割结果，基于第一特征图和第二特征图获取分割结果，所得到的分割结果更加的准确。该分割结果是二分类结果，即，该分割结果中的动脉的值为1，静脉的值为0。
当医学图像为对原始医学图像截取预设尺寸的块所得到的，那么动脉和静脉的分割结果为多个块对应的分割结果合并而成，也就是说，该分割结果为全图的动脉和静脉的分割结果。
由于采用图网络，能够获得医学图像的全局信息，同时，通过采用第二神经网络，能够在医学图像的全局信息基础上，对医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
通过图网络，构造全局的拓扑关系，并对局部进行深度学习网络的分割，对整体预测结果进行修正，可有效去除分割假阳，有较强的鲁棒性，分割精度校高。
在本申请另一个实施例中，当动脉为冠状动脉时，所述方法还包括：根据连通域算法，获取背景及血管的分割结果中的静脉的连通域；在动脉和静脉的分割结果中去除连通域的大小超过预设阈值的静脉，以获得冠状动脉的分割结果。
根据连通域算法，对背景及血管的分割结果中的静脉进行连通域提取，来获得静脉对应的连通域。连通域提取的算法可以分为两类：一类是局部邻域算法，就是从局部到整体，逐个检查每个连通成分，确定一个“起始点”，再向周围邻域扩展地填入标记；另一类是从整体到局部，先确定不同的连通成分，再对每一个连通成分用区域填充方法填入标记，这两类算法操作的最终目的就是把白色像素和黑色像素组成的一幅点阵二值图像中，将互相邻接的目标“1”值像素集合提取出来，并为图像中不同的连通域填入不等的数字标记。
例如，背景及血管的分割结果可以包含多段静脉，那么通过连通域提取后，将第一个连通域标记为1，第二个连通域标记为2，第三个连通域标记为3，以此类推，以此来获得多个静脉对应的连通域。
多个静脉对应的连通域的尺寸各不相同，对于静脉对应的连通域的尺寸小于预设阈值的静脉，其极有可能是背景及血管的分割结果中被错误分割为静脉的冠状动脉假阳，因此，基于全局性的判断，在动脉和静脉的分割结果中仅去除静脉对应的连通域的大小超过预设阈值的静脉，得到的冠状动脉的分割结果更加地准确，对于伪影、冠脉斑块有很强的鲁棒性。
图4所示为本申请一个实施例提供的获取动脉和静脉的分割结果的过程的示意图。
以N个关键点中的任意关键点为中心对原始医学图像截取预设尺寸的块A～N，将块A～N作为输入，输入到编码器(第一神经网络)中，并进行全局池化，得到块A～N对应的N个第一特征图41，将N个第一特征图41输入多个图卷积层中，可以得到第二特征图42，将第二特征图42依次经过全连接层和激活层后，可以输出N个关键点的分类结果43(即，关键点属于动脉还是静脉)。同时，将第二特征图42作为输入，输入到解码器(第二神经网络)，可以得到静脉和动脉的分割结果44。
图5所示为本申请一个实施例提供的网络模型的训练方法的流程示意图。图5所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。利用训练好的网络模型可对任一医学图像进行静脉和动脉的分割。如图5所示，该训练方法如下内容。
S510：确定样本医学图像，其中，样本医学图像包括标注的静脉和动脉。
本实施例中提到的样本医学图像与上述步骤S210中的医学图像属于同一种类型的图像。该样本医学图像经过了人工的标记，从而得到了动脉和静脉的标签。
S520：基于样本医学图像训练级联神经网络，以生成网络模型，其中，级联神经网络包括串行的第一神经网络、图网络和第二神经网络，第一神经网络用于输出样本医学图像的第一样本特征图，图网络用于基于第一样本特征图，输出样本医学图像的第二样本特征图，第二神经网络用于基于第二样本特征图，输出样本医学图像的静脉和动脉的分割结果。
级联神经网络包括串行的第一神经网络、图网络和第二神经网络，如图4所示，编码器(第一神经网络)的输出(第一样本特征图)作为图网络的输入，图网络的输出(第二样本特征图)作为解码器(第二神经网络)的输入。
由于采用图网络，能够获得样本医学图像的全局信息，同时，通过采用第二神经网络，能够在样本医学图像的全局信息基础上，对样本医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
如图6所示，在本申请实施例提供的网络模型的训练方法中，步骤S520包括步骤S610至S640。
S610：根据样本医学图像和第一神经网络，获得第一样本特征图。
在一实施例中，第一神经网络用于特征提取，将样本医学图像输入第一神经网络中，可以获得第一样本特征图。
当然，还可以如步骤S210中所述的，将样本医学图像和背景及血管的分割结果输入第一神经网络中，以获得第一样本特征图。
本实施例中的具体实施细节请参见步骤S210，在此不再赘述。
S620：根据第一样本特征图和图网络，获取网络模型的第一损失函数值。
在一实施例中，图网络采用第一损失函数，应当理解，第一损失函数可以为任意类型的损失函数。可选地，第一损失函数可以为交叉熵损失函数，用户可以根据应用场景不同选择不同的损失函数，本申请实施例对第一损失函数的类型不作限定。
在一实施例中，对动脉和静脉进行中线提取，以获得动脉和静脉对应的中线，在中线上进行点采样，获得多个关键点，根据多个关键点之间的连接关系，获取动脉和静脉对应的邻接矩阵，根据第一样本特征图和邻接矩阵，通过图网络，获取动脉和静脉的分类结果，根据分类结果和标注的静脉和动脉，确定网络模型的第一损失函数值。
将第一样本特征图和邻接矩阵输入到图网络后，可以输出动脉和静脉的分类结果，该分类结果为动脉和静脉的二分类结果。利用第一损失函数，计算该分类结果与标注的静脉和动脉(即，目标结果)之间的相似度损失，可以得到网络模型的第一损失函数值。第一损失函数值越小，代表预测出的分类结果越接近目标结果，预测正确的准确率越高。相反，第一损失函数值越大，代表预测正确的准确率越低。
本实施例中的具体实施细节请参见步骤S220，在此不再赘述。
S630：根据第二样本特征图和第二神经网络，获取网络模型的第二损失函数值。
在一实施例中，第二神经网络采用第二损失函数，应当理解，第二损失函数可以为任意类型的损失函数。可选地，第二损失函数可以为交叉熵损失函数，用户可以根据应用场景不同选择不同的损失函数，本申请实施例对第二损失函数的类型不作限定。
在一实施例中，将第二样本特征图输入第二神经网络中，可以获得动脉和静脉的分割结果。
当然，还可以如步骤S210中所述的，将第一样本特征图和第二样本特征图输入第二神经网络中，以获得动脉和静脉的分割结果。
利用第二损失函数，计算该分割结果与标注的静脉和动脉(即，目标结果)之间的相似度损失，可以得到网络模型的第二损失函数值。第二损失函数值越小，代表预测出的分割结果越接近目标结果，预测正确的准确率越高。相反，第二损失函数值越大，代表预测正确的准确率越低。
本实施例中的具体实施细节请参见步骤S230，在此不再赘述。
S640：基于第一损失函数值和第二损失函数值，更新网络模型的参数。
在一实施例中，网络模型的总损失函数值L为第一损失函数值Lgraph和第二损失函数值Lsegmentation的加权求和，即，L＝Lgraph+α×Lsegmentation，其中，α是超参数。
在一实施例中，可以将总损失函数值进行梯度反传，以更新新网络模型的参数，例如权重，偏值等，本申请对此不做限定。
示例性装置
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图7所示为本申请一个实施例提供的图像处理装置的框图。如图7所示，该装置700包括：
第一获取模块710，配置为根据医学图像，通过第一神经网络，获取医学图像的第一特征图；
第二获取模块720，配置为根据第一特征图，通过图网络，获取医学图像的第二特征图；
第三获取模块730，配置为根据第二特征图，通过第二神经网络，获取医学图像的动脉和静脉的分割结果。
由于采用图网络，能够获得医学图像的全局信息，同时，通过采用第二神经网络，能够在医学图像的全局信息基础上，对医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
在本申请另一个实施例中，如图8所示，图7所示的装置700还包括：
中线提取模块740，配置为对动脉和静脉进行中线提取，以获得动脉和静脉对应的中线；
采样模块750，配置为在中线上进行点采样，获得多个关键点；
第四获取模块760，配置为根据多个关键点之间的连接关系，获取动脉和静脉对应的邻接矩阵。
在本申请另一个实施例中，第二获取模块720进一步配置为：根据第一特征图和邻接矩阵，通过图网络，获取第二特征图。
在本申请另一个实施例中，该中线的线宽为单像素点，所述装置700还包括：遍历模块，配置为遍历中线上的多个像素点中的每个像素点的相邻像素点的个数。
在本申请另一个实施例中，采样模块750进一步配置为：按照预设距离，对中线上的具有两个和/或一个相邻像素点的像素点进行采样，获得多个关键点。
在本申请另一个实施例中，该医学图像通过以多个关键点中的任意关键点为中心对原始医学图像截取预设尺寸的块所得到。
在本申请另一个实施例中，第一获取模块710进一步配置为：根据医学图像和血管及背景的分割结果，通过第一神经网络，获取第一特征图，其中，血管包括静脉和动脉。
在本申请另一个实施例中，当动脉为冠状动脉时，该装置700还包括：连通域模块，配置为根据连通域算法，获取血管及背景的分割结果中的静脉的连通域；去除模块，配置为在动脉和静脉的分割结果中去除连通域的大小超过预设阈值的静脉，以获得冠状动脉的分割结果。
在本申请另一个实施例中，该第二特征图为图网络的预设层输出的特征图。
图9所示为本申请一个实施例提供的网络模型的训练装置的框图。如图9所示，该训练装置900包括：
确定模块910，配置为确定样本医学图像，其中，样本医学图像包括标注的静脉和动脉；
训练模块920，配置为基于样本医学图像训练级联神经网络，以生成网络模型，其中，级联神经网络包括串行的第一神经网络、图网络和第二神经网络，第一神经网络用于输出样本医学图像的第一样本特征图，图网络用于基于第一样本特征图，输出样本医学图像的第二样本特征图，第二神经网络用于基于第二样本特征图，输出样本医学图像的静脉和动脉的分割结果。
由于采用图网络，能够获得样本医学图像的全局信息，同时，通过采用第二神经网络，能够在样本医学图像的全局信息基础上，对样本医学图像的进行局部的精细分割，从而获得了更为精细的动脉和静脉的分割结果。
在本申请另一个实施例中，训练模块920进一步配置为：根据样本医学图像和第一神经网络，获得第一样本特征图；根据第一样本特征图和图网络，获取网络模型的第一损失函数值；根据第二样本特征图和第二神经网络，获取网络模型的第二损失函数值；基于第一损失函数值和第二损失函数值，更新网络模型的参数。
在本申请另一个实施例中，如图10所示，图9所示的训练装置900还包括：
中线提取模块930，配置为对动脉和静脉进行中线提取，以获得动脉和静脉对应的中线；
采样模块940，配置为在中线上进行点采样，获得多个关键点；
获取模块950，配置为根据多个关键点之间的连接关系，获取动脉和静脉对应的邻接矩阵。
在本申请另一个实施例中，训练模块920在根据第一样本特征图和图网络，获取网络模型的第一损失函数值时，进一步配置为：根据第一样本特征图和邻接矩阵，通过图网络，获取动脉和静脉的分类结果；根据分类结果和标注的静脉和动脉，确定网络模型的第一损失函数值。
示例性电子设备
下面，参考图11来描述根据本申请实施例的电子设备。图11图示了根据本申请实施例的电子设备的框图。
如图11所示，电子设备1100包括一个或多个处理器1110和存储器1120。
处理器1110可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1100中的其他组件以执行期望的功能。
存储器1120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1110可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法、网络模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如分割结果等各种内容。
在一个示例中，电子设备1100还可以包括：输入装置1130和输出装置1140，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置1130可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1130可以是通信网络连接器。
此外，该输入设备1130还可以包括例如键盘、鼠标等等。
该输出装置1140可以向外部输出各种信息，包括分割结果等。该输出设备1140可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备1100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、网络模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、网络模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图；
根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图；
根据所述第二特征图，通过第二神经网络，获取所述医学图像的动脉和静脉的分割结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述动脉和所述静脉进行中线提取，以获得所述动脉和所述静脉对应的中线；
在所述中线上进行点采样，获得多个关键点；
根据所述多个关键点之间的连接关系，获取所述动脉和所述静脉对应的邻接矩阵，
其中，所述根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图，包括：
根据所述第一特征图和所述邻接矩阵，通过所述图网络，获取所述第二特征图。
3.根据权利要求2所述的方法，其特征在于，所述中线的线宽为单像素点，其中，所述方法还包括：
遍历所述中线上的多个像素点中的每个像素点的相邻像素点的个数，
其中，所述在所述中线上进行点采样，获得多个关键点，包括：
按照预设距离，对所述中线上的具有两个和/或一个相邻像素点的像素点进行采样，获得所述多个关键点。
4.根据权利要求2所述的方法，其特征在于，所述医学图像通过以所述多个关键点中的任意关键点为中心对原始医学图像截取预设尺寸的块所得到。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图，包括：
根据所述医学图像和血管及背景的分割结果，通过所述第一神经网络，获取所述第一特征图，其中，所述血管包括所述静脉和所述动脉。
6.根据权利要求1至4中任一项所述的方法，其特征在于，当所述动脉为冠状动脉时，所述方法还包括：
根据连通域算法，获取血管及背景的分割结果中的所述静脉的连通域；
在所述动脉和所述静脉的分割结果中去除所述连通域的大小超过预设阈值的静脉，以获得所述冠状动脉的分割结果。
7.根据权利要求1至4中任一项所述的方法，其特征在于，所述第二特征图为所述图网络的预设层输出的特征图。
8.一种网络模型的训练方法，其特征在于，包括：
确定样本医学图像，其中，所述样本医学图像包括标注的静脉和动脉；
基于所述样本医学图像训练级联神经网络，以生成所述网络模型，其中，所述级联神经网络包括串行的第一神经网络、图网络和第二神经网络，所述第一神经网络用于输出所述样本医学图像的第一样本特征图，所述图网络用于基于所述第一样本特征图，输出所述样本医学图像的第二样本特征图，所述第二神经网络用于基于所述第二样本特征图，输出所述样本医学图像的静脉和动脉的分割结果。
9.根据权利要求8所述的训练方法，其特征在于，所述基于所述样本医学图像训练级联神经网络，以生成所述网络模型，包括：
根据所述样本医学图像和所述第一神经网络，获得所述第一样本特征图；
根据所述第一样本特征图和所述图网络，获取所述网络模型的第一损失函数值；
根据所述第二样本特征图和所述第二神经网络，获取所述网络模型的第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值，更新所述网络模型的参数。
10.根据权利要求9所述的训练方法，其特征在于，还包括：
对所述动脉和所述静脉进行中线提取，以获得所述动脉和所述静脉对应的中线；
在所述中线上进行点采样，获得多个关键点；
根据所述多个关键点之间的连接关系，获取所述动脉和所述静脉对应的邻接矩阵，
其中，所述根据所述第一样本特征图和所述图网络，获取所述网络模型的第一损失函数值，包括：
根据所述第一样本特征图和所述邻接矩阵，通过所述图网络，获取所述动脉和所述静脉的分类结果；
根据所述分类结果和所述标注的静脉和动脉，确定所述网络模型的第一损失函数值。
11.一种图像处理装置，其特征在于，包括：
第一获取模块，配置为根据医学图像，通过第一神经网络，获取所述医学图像的第一特征图；
第二获取模块，配置为根据所述第一特征图，通过图网络，获取所述医学图像的第二特征图；
第三获取模块，配置为根据所述第二特征图，通过第二神经网络，获取所述医学图像的动脉和静脉的分割结果。
12.一种网络模型的训练装置，其特征在于，包括：
确定模块，配置为确定样本医学图像，其中，所述样本医学图像包括标注的静脉和动脉；
训练模块，配置为基于所述样本医学图像训练级联神经网络，以生成所述网络模型，其中，所述级联神经网络包括串行的第一神经网络、图网络和第二神经网络，所述第一神经网络用于输出所述样本医学图像的第一样本特征图，所述图网络用于基于所述第一样本特征图，输出所述样本医学图像的第二样本特征图，所述第二神经网络用于基于所述第二样本特征图，输出所述样本医学图像的静脉和动脉的分割结果。
13.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至10中任一项所述的方法。
14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至10中任一项所述的方法。
CN202110566138.8A 2021-05-24 2021-05-24 图像处理方法及装置、网络模型的训练方法及装置 Pending CN113256670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110566138.8A CN113256670A (zh) 2021-05-24 2021-05-24 图像处理方法及装置、网络模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110566138.8A CN113256670A (zh) 2021-05-24 2021-05-24 图像处理方法及装置、网络模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN113256670A true CN113256670A (zh) 2021-08-13

Family

ID=77183970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110566138.8A Pending CN113256670A (zh) 2021-05-24 2021-05-24 图像处理方法及装置、网络模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN113256670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN114972859A (zh) * 2022-05-19 2022-08-30 推想医疗科技股份有限公司 像元的分类方法、模型训练方法、装置、设备和介质
CN116226822A (zh) * 2023-05-05 2023-06-06 深圳市魔样科技有限公司 一种智能戒指身份数据采集方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740407A (zh) * 2018-08-27 2019-05-10 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
US20200074638A1 (en) * 2018-09-05 2020-03-05 Htc Corporation Image segmentation method, apparatus and non-transitory computer readable medium of the same
CN111062963A (zh) * 2019-12-16 2020-04-24 上海联影医疗科技有限公司 一种血管提取方法、系统、设备及存储介质
CN111275749A (zh) * 2020-01-21 2020-06-12 沈阳先进医疗设备技术孵化中心有限公司 图像配准及其神经网络训练方法及装置
CN111899244A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、网络模型的训练方法及装置，及电子设备
CN111932554A (zh) * 2020-07-31 2020-11-13 青岛海信医疗设备股份有限公司 一种肺部血管分割方法、设备及存储介质
WO2021017006A1 (zh) * 2019-08-01 2021-02-04 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质
US20210049467A1 (en) * 2018-04-12 2021-02-18 Deepmind Technologies Limited Graph neural networks representing physical systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049467A1 (en) * 2018-04-12 2021-02-18 Deepmind Technologies Limited Graph neural networks representing physical systems
CN109740407A (zh) * 2018-08-27 2019-05-10 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
US20200074638A1 (en) * 2018-09-05 2020-03-05 Htc Corporation Image segmentation method, apparatus and non-transitory computer readable medium of the same
WO2021017006A1 (zh) * 2019-08-01 2021-02-04 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
CN111062963A (zh) * 2019-12-16 2020-04-24 上海联影医疗科技有限公司 一种血管提取方法、系统、设备及存储介质
CN111275749A (zh) * 2020-01-21 2020-06-12 沈阳先进医疗设备技术孵化中心有限公司 图像配准及其神经网络训练方法及装置
CN111899244A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、网络模型的训练方法及装置，及电子设备
CN111932554A (zh) * 2020-07-31 2020-11-13 青岛海信医疗设备股份有限公司 一种肺部血管分割方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEUNG YEON SHIN 等: "Deep vessel segmentation by learning graphical connectivity", MEDICAL IMAGE ANALYSIS, pages 1 - 2 *
ZHIWEI ZHAI 等: "Linking Convolutional Neural Networks with Graph Convolutional Networks: Application in Pulmonary Artery-Vein Separation", GRAPH LEARNING IN MEDICAL IMAGING, pages 1 - 2 *
邱泓燕;张海刚;杨金锋;: "基于图卷积网络的手指静脉识别方法研究", 信号处理, no. 03 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN113837192B (zh) * 2021-09-22 2024-04-19 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN114972859A (zh) * 2022-05-19 2022-08-30 推想医疗科技股份有限公司 像元的分类方法、模型训练方法、装置、设备和介质
CN114972859B (zh) * 2022-05-19 2024-10-29 推想医疗科技股份有限公司 像元的分类方法、模型训练方法、装置、设备和介质
CN116226822A (zh) * 2023-05-05 2023-06-06 深圳市魔样科技有限公司 一种智能戒指身份数据采集方法及系统
CN116226822B (zh) * 2023-05-05 2023-07-14 深圳市魔样科技有限公司 一种智能戒指身份数据采集方法及系统

Similar Documents

Publication Publication Date Title
CN111899245B (zh) 图像分割、模型的训练方法及装置，电子设备及存储介质
EP3553742B1 (en) Method and device for identifying pathological picture
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
US11568533B2 (en) Automated classification and taxonomy of 3D teeth data using deep learning methods
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
Liu et al. A fully automatic segmentation algorithm for CT lung images based on random forest
US20230177698A1 (en) Method for image segmentation, and electronic device
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
Tan et al. Segmentation of lung airways based on deep learning methods
CN112308846A (zh) 血管分割方法、装置及电子设备
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN114972211B (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN112767422B (zh) 图像分割模型的训练方法及装置，分割方法及装置，设备
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN118212411A (zh) 一种基于深度学习的肺栓塞分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813