CN117876372B - 基于无标记非线性多模态成像的骨质量识别模型训练方法 - Google Patents
基于无标记非线性多模态成像的骨质量识别模型训练方法 Download PDFInfo
- Publication number
- CN117876372B CN117876372B CN202410275402.6A CN202410275402A CN117876372B CN 117876372 B CN117876372 B CN 117876372B CN 202410275402 A CN202410275402 A CN 202410275402A CN 117876372 B CN117876372 B CN 117876372B
- Authority
- CN
- China
- Prior art keywords
- channel
- bone
- image data
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 150000002632 lipids Chemical class 0.000 claims abstract description 32
- 208000001072 type 2 diabetes mellitus Diseases 0.000 claims abstract description 30
- 101000834948 Homo sapiens Tomoregulin-2 Proteins 0.000 claims abstract description 27
- 102100026160 Tomoregulin-2 Human genes 0.000 claims abstract description 27
- 229910052588 hydroxylapatite Inorganic materials 0.000 claims abstract description 17
- XYJRXVWERLGGKC-UHFFFAOYSA-D pentacalcium;hydroxide;triphosphate Chemical compound [OH-].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O XYJRXVWERLGGKC-UHFFFAOYSA-D 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 238000001069 Raman spectroscopy Methods 0.000 claims description 14
- 241001270131 Agaricus moelleri Species 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 102000004169 proteins and genes Human genes 0.000 claims description 11
- 108090000623 proteins and genes Proteins 0.000 claims description 11
- 210000001564 haversian system Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003332 Raman imaging Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001237 Raman spectrum Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000799 fluorescence microscopy Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000037182 bone density Effects 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 208000010392 Bone Fractures Diseases 0.000 description 6
- 206010017076 Fracture Diseases 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000011162 core material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 108010005094 Advanced Glycation End Products Proteins 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 102000012422 Collagen Type I Human genes 0.000 description 1
- 108010022452 Collagen Type I Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000037356 lipid metabolism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于无标记非线性多模态成像的骨质量识别模型训练方法，S1、采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；S2、将S1得到的图像数据划分为多个子区域图像；S3、获取子区域图像的纹理特征；S4、使用纹理特征训练得到识别T2DM骨质量变化模型。本发明有益效果：能够观测到骨组织内部更多结构和材料分布特性，为识别T2DM并发骨质量下降提供了更多维度的信息，弥补了骨密度评估指标的片面性。
Description
技术领域
本发明属于识别T2DM骨质量技术领域，尤其是涉及一种基于无标记非线性多模态成像的骨质量识别模型训练方法。
背景技术
二型糖尿病(Type 2 diabetes mellitus, T2DM)是一种严重的危害人类健康的慢性疾病，特别是与之相关的并发症是降低患者生活质量、增加死亡率的重要原因。
T2DM并发的骨折问题逐渐引起临床重视，成为一大重要的临床问题，目前的评估骨折风险的技术多以骨密度为基础展开，其中世界卫生组织提出的结合临床特征和骨密度的（Fracture Risk Assessment Tool, FRAX）模型便是常用的评估模型，然而，已有的研究发现T2DM并发的骨质量下降以及由此所引发的骨折与骨密度下降之间没有直接联系，甚至部分T2DM患者骨密度比正常人偏高，现有的评估工具通常会大大低估T2DM患者的骨折风险。
发明内容
有鉴于此，本发明旨在提出基于无标记非线性多模态成像的骨质量识别模型训练方法，以期解决上述部分问题中的至少之一。
为达到上述目的，本发明的技术方案是这样实现的：
本发明第一方面提供了一种基于无标记非线性多模态成像的骨质量识别模型训练方法，包括以下步骤：
S1、采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
S2、将S1得到的图像数据划分为多个子区域图像；
S3、获取子区域图像的纹理特征；
S4、使用纹理特征训练得到识别T2DM骨质量变化模型。
进一步的，所述S1包括以下步骤：
S11、使用受激拉曼成像的方法，以拉曼位移为959cm-1采集羟基磷灰石通道图像数据；
以拉曼位移为2850cm-1采集脂质通道图像数据；
以拉曼位移为2930cm-1采集蛋白质通道图像数据；
S12、使用二次谐波成像的方法采集SHG通道图像数据；
S13、使用双光子激发荧光显微成像采集TPEF通道图像数据；
S11中，蛋白质通道图像数据和脂质通道的图像数据分离公式为：
；
其中X2930cm-1和X2850cm-1分别表示所测样本的拉曼位移在2930cm-1和2850cm-1处的信号强度分布矩阵，Xlipid和Xprotein分别表示所测样本中脂质和蛋白质的信号强度分布矩阵，利用拉曼成像设备测量蛋白质和脂质标准品的拉曼光谱获得a1,a2,b1,b2的值。
进一步的，所述S1还包括以下步骤：
S14、基于TPEF信号识别出样品骨的结构边界，并将边界存储为掩模，记为osteon_mask；
S15、利用osteon_mask对每个通道图像均划分出相同的骨单位区域图像数据，并进行图像滤波；
S16、将S15经过滤波处理的原始坐标图像以骨单位中的哈弗斯管的几何中心作为原点转化为极坐标图像，生成最终的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据。
进一步的，所述S3中根据基于一阶统计量或基于灰度共生矩阵获取子区域图像的纹理特征；
基于一阶统计量获取子区域图像的纹理特征的步骤如下：
A31、将子区域图像转化为8bit的灰度图；
A32、将256灰阶转化为20个等距灰阶，统计每个灰阶下的像素数量；
A33、所述A32得到的统计结果依次计算均值、标准差、偏度、峰度、一致性和熵，每个子区域图像提取出一个一维特征；
基于灰度共生矩阵获取子区域图像的纹理特征的步骤如下：
B31、将子区域图像转化为8bit的灰度图；
B32、将256灰阶转化为32个等距灰阶，获得32灰阶图像；
B33、计算32灰阶图像的像素间距为4、角度分别在0度、45度、90度、135度条件下的4个灰度共生矩阵；
B34、根据灰度共生矩阵计算角二阶矩、对比度、熵、一致性、自相关性，将32灰阶图像在4个角度下得到的特征量进行平均，得到平均方向下的一维特征向量。
进一步的，所述S4包括以下步骤：
A41、将同一样品骨的不同通道纹理特征进行横向拼接，获得多维度特征矩阵；
A42、将多维度特征矩阵进行归一化处理；
A43、使用PCA方法对经过归一化处理的多维度特征矩阵进行降维处理，对得到的主成分按照主成分对总方差的贡献率降序排序，在确保累积方差贡献率超过给定的阈值的基础上选择最少数量的主成分，将原始特征矩阵投影到所选的主成分上，得到降维后的特征矩阵；
A44、使用随机森林模型作为分类器，将测试集的降维后的特征矩阵输入K个训练后的分类器，选择测试集上表现最优的模型作为识别T2DM骨质量变化模型。
进一步的，所述S4包括以下步骤：
B41、将子区域图像的多个通道纹理特征矩阵分别作为单独输入Stacking模型的第一层分类器；
B42、通过K折交叉运算获得训练集的一阶预测概率，训练集的一阶预测概率形成5*M1维度的一阶预测概率矩阵，其中M1为输入训练集中子区域图像数量。
B43、通过K折交叉运算获得测试集的一阶预测概率，测试集的一阶预测概率形成5*M2维度的一阶预测概率矩阵，其中M2为输入测试集中子区域图像数量，为K折交叉模型预测概率的均值。
B44、将5*M1维度的一阶预测概率矩阵作为训练集特征输入传递给第二层分类器，完成训练后；
测试集的5*M2维度的一阶预测概率矩阵输入所述第二层分类器，得到最终预测结果；
B45、选择第二层分类器在测试集上表现最优的模型组合作为识别T2DM骨质量变化模型。
本发明第二方面提供了一种骨质量识别装置，包括：
采集模块，其被配置为采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
数据处理模块，其被配置为将采集模块采集到的图像数据划分为多个子区域图像，获取子区域图像的纹理特征；
预测模块，其被配置为使用纹理特征训练得到识别T2DM骨质量变化模型；
将实时采集的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据处理得到实时纹理特征，将实时纹理特征输入至预测模块，得到多个分类概率，多个分类概率的均值作为最终的输出分类概率。
本发明第三方面提供了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述第一方面所述的方法。
本发明第四方面提供了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如第一方面所述的方法。
本发明第五方面提供了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
相对于现有技术，本发明所述的基于无标记非线性多模态成像的骨质量识别模型训练方法具有以下有益效果：
（1）本发明所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，能够观测到骨组织内部更多结构和材料分布特性，为识别T2DM并发骨质量下降提供了更多维度的信息，弥补了骨密度评估指标的片面性。
（2）本发明所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，通过将通道图像分割为多个子区域图像、子区域图像增广扩展训练集，提高了模型预测的准确性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于无标记非线性多模态成像的骨质量识别模型训练方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例一：
如图1所示，基于无标记非线性多模态成像的骨质量识别模型训练方法，包括以下步骤：
S1、采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
S2、将S1得到的图像数据划分为多个子区域图像；
S3、获取子区域图像的纹理特征；
S4、使用纹理特征训练得到识别T2DM骨质量变化模型。
所述S1包括以下步骤：
从人体或实验动物中取出需要检测的骨组织，专业手术操作取出需要检测的是少量骨组织，在实例研究中，为保证研究价值，所使用的骨组织来自第四、五节腰椎，在实际应用中，选择其他部位的骨组织同样可以，但后续所使用的机器学习模型需要在对应结构的数据下训练得出。取出骨组织后，使用角磨机对骨组织进行打磨，游标卡尺检测其厚度在~100um左右。将打磨后的骨组织放置在载玻片上并封片，制成骨片样本，可在4℃冰箱中长期存储。
使用包含受激拉曼成像（Stimulated Raman scattering，SRS）、双光子激发荧光显微成像（two-photon excited fluorescence, TPEF）、二次谐波成像（second harmonicgeneration， SHG）的多模态无标记非线性成像系统对骨片样本进行多模态成像。
S11、使用受激拉曼成像（Stimulated Raman scattering，SRS）的方法，以拉曼位移为959cm-1采集羟基磷灰石通道图像数据；
以拉曼位移为2850cm-1采集脂质通道图像数据；
以拉曼位移为2930cm-1采集蛋白质通道图像数据；
S12、使用二次谐波成像的方法采集SHG通道图像数据；SHG成像出I型胶原纤维。
S13、使用双光子激发荧光显微成像采集TPEF通道图像数据；TPEF成像出骨组织中的自发荧光物质。
图像数据通过拼接得到，拼接过程如下：
A1、在明场下找到成熟骨单位所在位置的坐标
A2、在上述坐标下，对骨单位进行完整的成像。由于显微成像范围有限，无法覆盖整个骨单位，需要通过依次顺序扫描、后处理拼接的方式完成。在依次扫描中，按坐标顺序对骨单位的每一块成像，相邻的两个视野需要冗余Xμm以保证拼接的准确性。
A3、先进行SRS三个通道的成像，再进行TPEF和SHG的成像，位置坐标和冗余宽度保持一致。
A4、SRS、TPEF和SHG成像均扫描完成后，在每个成像模式下，借助两视野邻接的冗余部分的像素线性关系进行线性插值，从而完成骨单位结构拼接。
由于蛋白质和脂质标准品的拉曼光谱在2850cm-1和2930cm-1两处具有大量重合部分，因此使用线性分解来对蛋白质和脂质进行通道分离。
S11中，蛋白质通道图像数据和脂质通道的图像数据分离公式为：
；
其中X2930cm-1和X2850cm-1分别表示所测样本的拉曼位移在2930cm-1和2850cm-1处的信号强度分布矩阵，Xlipid和Xprotein分别表示所测样本中脂质和蛋白质的信号强度分布矩阵，利用拉曼成像设备测量蛋白质和脂质标准品的拉曼光谱获得a1,a2,b1,b2的值。
所述S1还包括以下步骤：
S14、基于TPEF信号识别出样品骨的结构边界，并将边界存储为掩模，记为osteon_mask；掩模是一种二进制图像，其中白色像素表示感兴趣的区域，黑色像素表示背景区域。通过将边界转换为掩模，可以方便后续对骨单位区域进行分割和处理。
S15、利用osteon_mask对每个通道图像（同一样品骨的五个通道图像）均划分出相同的骨单位区域图像数据，并进行图像滤波；通过将掩模应用到原始图像上，可以将图像中与骨单位相对应的区域提取出来，从而实现对骨单位的定位和分割。利用基于TPEF信号识别出样品骨的osteon_mask，其结构边界更加清楚，使得同一样品骨的五个通道图像分割和处理得更加准确，保证了后续分析准确性。
S16、将S15经过滤波处理的原始坐标图像以骨单位中的哈弗斯管的几何中心作为原点转化为极坐标图像，生成最终的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据。
将所述极坐标下五个通道图像按照轴向方向均划分为8个子区域图像，即一个骨单位能够获得五个通道下40个子区域图像，本发明将一个子区域图像作为特征提取的基本单元，将来自同一骨单位结构的五个子区域图像作为分类的基本单元。每个通道有224个图像(其中88个来自T2DM，136个来自对照组)，将图像设置标签，标签用于表示是否为T2DM，训练时图像为自标量，标签为因变量。
对每个子区域图像进行三次增广，以扩展训练集。增强技术包括翻转(上下、左右)、旋转(90°、180°、270°)、移置、添加高斯噪声或椒盐噪声，以及调整大小(高度减半)。通过将通道图像分割为多个子区域图像、子区域图像增广扩展训练集，提高了模型预测的准确性。
所述S3中根据基于一阶统计量或基于灰度共生矩阵获取子区域图像的纹理特征；
在一些实施例中，基于一阶统计量获取子区域图像的纹理特征的步骤如下：
A31、将子区域图像转化为8bit的灰度图；将图像转换为灰度格式，其中每个像素由一个8位整数（0-255）表示，表示其强度级别。
A32、将256灰阶转化为20个等距灰阶，统计每个灰阶下的像素数量；将灰度级的数量从256减少到20，使图像更易处理，同时保留了整体强度分布。
A33、所述A32得到的统计结果依次计算均值、标准差、偏度、峰度、一致性和熵，每个子区域图像提取出一个一维特征；一维特征总结了子区域图像的强度分布和纹理特性。
在另外一些实施例中，基于灰度共生矩阵获取子区域图像的纹理特征的步骤如下：
B31、将子区域图像转化为8bit的灰度图；
B32、将256灰阶转化为32个等距灰阶，获得32灰阶图像；将8位灰度图的256个灰度级别等分为32个等距灰度级别，以减少数据的复杂性。
B33、计算32灰阶图像的像素间距为4、角度分别在0度、45度、90度、135度条件下的4个灰度共生矩阵；计算每个角度下像素值之间的共生关系，生成对应的灰度共生矩阵。
B34、根据灰度共生矩阵计算角二阶矩、对比度、熵、一致性、自相关性，将32灰阶图像在4个角度下得到的特征量进行平均，得到平均方向下的一维特征向量。使用灰度共生矩阵来描述图像中像素之间的关系，通过计算不同角度下的特征量，并对其进行平均，可以得到更全面和稳健的纹理特征表示。
在一些实施例中，所述S4包括以下步骤：
A41、将同一样品骨的不同通道纹理特征进行横向拼接，获得多维度特征矩阵；
A42、将多维度特征矩阵进行归一化处理；
A43、使用PCA方法对经过归一化处理的多维度特征矩阵进行降维处理，对得到的主成分按照主成分对总方差的贡献率降序排序，在确保累积方差贡献率超过给定的阈值的基础上选择最少数量的主成分，将原始特征矩阵投影到所选的主成分上，得到降维后的特征矩阵；
A44、使用随机森林模型作为分类器，将测试集的降维后的特征矩阵输入K个训练后的分类器，选择测试集上表现最优的模型作为识别T2DM骨质量变化模型。
在另外一些实施例中，所述S4包括以下步骤：
B41、将子区域图像的多个通道纹理特征矩阵分别作为单独输入Stacking模型的第一层分类器；
B42、通过K折交叉运算获得训练集的一阶预测概率，训练集的一阶预测概率形成5*M1维度的一阶预测概率矩阵，其中M1为输入训练集中子区域图像数量。
B43、通过K折交叉运算获得测试集的一阶预测概率，测试集的一阶预测概率形成5*M2维度的一阶预测概率矩阵，其中M2为输入测试集中子区域图像数量，为K折交叉模型预测概率的均值。
B44、将5*M1维度的一阶预测概率矩阵作为训练集特征输入传递给第二层分类器，完成训练后；
测试集的5*M2维度的一阶预测概率矩阵输入所述第二层分类器，得到最终预测结果；
B45、选择第二层分类器在测试集上表现最优的模型组合作为识别T2DM骨质量变化模型。
利用图像特征提取和机器学习算法来辅助识别T2DM并发骨质量下降的技术手段，同时根据得到的特征重要性排序，可判定出T2DM所引发的不同的骨组织病变类型。相较于单一的骨密度评估方法，本技术能够观测到骨组织内部更多结构和材料分布特性，为识别T2DM并发骨质量下降提供了更多维度的信息，弥补了骨密度评估指标的片面性，同时也对T2DM骨折的治疗靶点的研究具有重要意义。
一种骨质量识别装置，包括：
采集模块，其被配置为采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
数据处理模块，其被配置为将采集模块采集到的图像数据划分为多个子区域图像，获取子区域图像的纹理特征；
预测模块，其被配置为使用纹理特征训练得到识别T2DM骨质量变化模型；
将实时采集的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据处理得到实时纹理特征，将实时纹理特征输入至预测模块，得到多个分类概率（每一个子区域图像均会产生一个分类概率），多个分类概率的均值作为最终的输出分类概率；
当子区域图像判定为骨质量低时，分类概率为1，当子区域图像判定为骨质量正常时，分类概率为0，八个子区域图像的分类概率相加除以8得到输出分类概率，数值越高则表示骨质量越低，通过划分子区域图像的方法提高了检测的准确度，在另一些实施例中，不同位置的子区域图像的不同的权重系数，权重系数与子区域图像中样品面呈正相关。
以类Stacking模型为核心的特征融合方式给出不同通道特征所具备的条件分类准确率，由此可知骨质量变化的核心物质来源，从而判断出不同类型的骨质量变化。其中所述条件分类准确率指一阶模型依据单通道特征正确预测的样本数量在二阶模型正确预测的样本数量中所占的比例，比例最高的通则T2DM相关骨质量变化来源于该通道。
例如：TPEF通道所对应的一阶分类器的条件分类准确率较高，说明T2DM相关骨质量变化可能来源于晚期糖基化终末产物，而脂质通道所对应的一阶分类器的条件分类准确率较高，说明T2DM相关骨质量变化可能来源于脂代谢等。
实施例二：
一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述实施例一所述的方法。
实施例三：
一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如实施例一所述的方法。
实施例四：
一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现实施例一所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于无标记非线性多模态成像的骨质量识别模型训练方法，其特征在于，包括以下步骤：
S1、采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
S2、将S1得到的图像数据划分为多个子区域图像；
S3、获取子区域图像的纹理特征；
S4、使用纹理特征训练得到识别T2DM骨质量变化模型；
所述S1还包括以下步骤：
S14、基于TPEF信号识别出样品骨的结构边界，并将边界存储为掩模，记为osteon_mask；
S15、利用osteon_mask对每个通道图像均划分出相同的骨单位区域图像数据，并进行图像滤波；
S16、将S15经过滤波处理的原始坐标图像以骨单位中的哈弗斯管的几何中心作为原点转化为极坐标图像，生成最终的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据。
2.根据权利要求1所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，其特征在于，所述S1包括以下步骤：
S11、使用受激拉曼成像的方法，以拉曼位移为959cm-1采集羟基磷灰石通道图像数据；
以拉曼位移为2850cm-1采集脂质通道图像数据；
以拉曼位移为2930cm-1采集蛋白质通道图像数据；
S12、使用二次谐波成像的方法采集SHG通道图像数据；
S13、使用双光子激发荧光显微成像采集TPEF通道图像数据；
S11中，蛋白质通道图像数据和脂质通道的图像数据分离公式为：
其中X2930cm-1和X2850cm-1分别表示所测样本的拉曼位移在2930cm-1和2850cm-1处的信号强度分布矩阵，Xlipid和Xprotein分别表示所测样本中脂质和蛋白质的信号强度分布矩阵，利用拉曼成像设备测量蛋白质和脂质标准品的拉曼光谱获得a1,a2,b1,b2的值。
3.根据权利要求1所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，其特征在于，所述S3中根据基于一阶统计量或基于灰度共生矩阵获取子区域图像的纹理特征；
基于一阶统计量获取子区域图像的纹理特征的步骤如下：
A31、将子区域图像转化为8bit的灰度图；
A32、将256灰阶转化为20个等距灰阶，统计每个灰阶下的像素数量；
A33、统计结果依次计算均值、标准差、偏度、峰度、一致性和熵，每个子区域图像提取出一个一维特征；
基于灰度共生矩阵获取子区域图像的纹理特征的步骤如下：
B31、将子区域图像转化为8bit的灰度图；
B32、将256灰阶转化为32个等距灰阶，获得32灰阶图像；
B33、计算32灰阶图像的像素间距为4、角度分别在0度、45度、90度、135度条件下的4个灰度共生矩阵；
B34、根据灰度共生矩阵计算角二阶矩、对比度、熵、一致性、自相关性，将32灰阶图像在4个角度下得到的特征量进行平均，得到平均方向下的一维特征向量。
4.根据权利要求1所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，其特征在于，所述S4包括以下步骤：
A41、将同一样品骨的不同通道纹理特征进行横向拼接，获得多维度特征矩阵；
A42、将多维度特征矩阵进行归一化处理；
A43、使用PCA方法对经过归一化处理的多维度特征矩阵进行降维处理，对得到的主成分按照主成分对总方差的贡献率降序排序，在确保累积方差贡献率超过给定的阈值的基础上选择最少数量的主成分，将原始特征矩阵投影到所选的主成分上，得到降维后的特征矩阵；
A44、使用随机森林模型作为分类器，将测试集的降维后的特征矩阵输入K个训练后的分类器，选择测试集上表现最优的模型作为识别T2DM骨质量变化模型。
5.根据权利要求1所述的基于无标记非线性多模态成像的骨质量识别模型训练方法，其特征在于，所述S4包括以下步骤：
B41、将子区域图像的多个通道纹理特征矩阵分别作为单独输入Stacking模型的第一层分类器；
B42、通过K折交叉运算获得训练集的一阶预测概率，训练集的一阶预测概率形成5*M1维度的一阶预测概率矩阵，其中M1为输入训练集中子区域图像数量；
B43、通过K折交叉运算获得测试集的一阶预测概率，测试集的一阶预测概率形成5*M2维度的一阶预测概率矩阵，其中M2为输入测试集中子区域图像数量，为K折交叉模型预测概率的均值；
B44、将5*M1维度的一阶预测概率矩阵作为训练集特征输入传递给第二层分类器，完成训练后；
测试集的5*M2维度的一阶预测概率矩阵输入所述第二层分类器，得到最终预测结果；
B45、选择第二层分类器在测试集上表现最优的模型组合作为识别T2DM骨质量变化模型。
6.一种骨质量识别装置，其特征在于，包括：
采集模块，其被配置为采集样品骨的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据，包括以下步骤：
S14、基于TPEF信号识别出样品骨的结构边界，并将边界存储为掩模，记为osteon_mask；
S15、利用osteon_mask对每个通道图像均划分出相同的骨单位区域图像数据，并进行图像滤波；
S16、将S15经过滤波处理的原始坐标图像以骨单位中的哈弗斯管的几何中心作为原点转化为极坐标图像，生成最终的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据；
数据处理模块，其被配置为将采集模块采集到的图像数据划分为多个子区域图像，获取子区域图像的纹理特征；
预测模块，其被配置为使用纹理特征训练得到识别T2DM骨质量变化模型；
将实时采集的羟基磷灰石通道、脂质通道、蛋白质通道、SHG通道、TPEF通道的图像数据处理得到实时纹理特征，将实时纹理特征输入至预测模块，得到多个分类概率，多个分类概率的均值作为最终的输出分类概率。
7.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-5任一所述的方法。
8.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-5任一所述的方法。
9.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275402.6A CN117876372B (zh) | 2024-03-12 | 2024-03-12 | 基于无标记非线性多模态成像的骨质量识别模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275402.6A CN117876372B (zh) | 2024-03-12 | 2024-03-12 | 基于无标记非线性多模态成像的骨质量识别模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876372A CN117876372A (zh) | 2024-04-12 |
| CN117876372B true CN117876372B (zh) | 2024-05-28 |
Family
ID=90590417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410275402.6A Active CN117876372B (zh) | 2024-03-12 | 2024-03-12 | 基于无标记非线性多模态成像的骨质量识别模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876372B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724357A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 基于数字放射图像及支持向量回归的手臂骨密度测量方法 |
| CN112001429A (zh) * | 2020-08-06 | 2020-11-27 | 中山大学 | 一种基于纹理特征的深度伪造视频检测方法 |
| CN114373543A (zh) * | 2021-12-15 | 2022-04-19 | 河北工程大学附属医院 | 一种人体肌骨稳态评估及健康管理服务系统 |
| CN114792567A (zh) * | 2022-05-19 | 2022-07-26 | 上海交通大学医学院附属瑞金医院 | 一种用于预测2型糖尿病患者骨折发生风险的装置 |
| WO2023052571A1 (en) * | 2021-09-29 | 2023-04-06 | Medimaps Group Sa | Process and device for analyzing a texture of a tissue |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11201505294SA (en) * | 2013-01-08 | 2015-08-28 | Agency Science Tech & Res | A method and system for assessing fibrosis in a tissue |
| WO2021201908A1 (en) * | 2020-04-03 | 2021-10-07 | New York Society For The Relief Of The Ruptured And Crippled, Maintaining The Hospital For Special Surgery | Mri-based textural analysis of trabecular bone |
| KR102510221B1 (ko) * | 2020-12-24 | 2023-03-15 | 연세대학교 산학협력단 | 골절 위험 예측 방법 및 장치 |
-
2024
- 2024-03-12 CN CN202410275402.6A patent/CN117876372B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724357A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 基于数字放射图像及支持向量回归的手臂骨密度测量方法 |
| CN112001429A (zh) * | 2020-08-06 | 2020-11-27 | 中山大学 | 一种基于纹理特征的深度伪造视频检测方法 |
| WO2023052571A1 (en) * | 2021-09-29 | 2023-04-06 | Medimaps Group Sa | Process and device for analyzing a texture of a tissue |
| CN114373543A (zh) * | 2021-12-15 | 2022-04-19 | 河北工程大学附属医院 | 一种人体肌骨稳态评估及健康管理服务系统 |
| CN114792567A (zh) * | 2022-05-19 | 2022-07-26 | 上海交通大学医学院附属瑞金医院 | 一种用于预测2型糖尿病患者骨折发生风险的装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多模态成像技术监测基因修饰支架中血管生成及修复临界性骨缺损的研究;李建等;《集成技术》;20180131;第11-24页 * |
| 骨质量的影响因素及其检测方法;王桂华;赵建宁;;医学研究生学报;20111015(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876372A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178449B (zh) | 结合计算机视觉特征和影像组学特征的肝癌图像分类方法 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| Raja'S et al. | Labeling of lumbar discs using both pixel-and object-level features with a two-level probabilistic model | |
| CN103249358A (zh) | 医用图像处理装置 | |
| CN115689987B (zh) | 一种基于dr图像双视角脊椎骨折特征检测方法 | |
| CN115578372A (zh) | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 | |
| CN118485643A (zh) | 一种基于图像分析的医疗图像分析处理系统 | |
| CN116433976A (zh) | 图像处理方法、装置、设备和存储介质 | |
| WO2023164497A1 (en) | Systems, devices, and methods for spine analysis | |
| CN117876372B (zh) | 基于无标记非线性多模态成像的骨质量识别模型训练方法 | |
| CN117315378B (zh) | 一种尘肺病的分级判定方法及相关设备 | |
| Teranikar et al. | Feature detection to segment cardiomyocyte nuclei for investigating cardiac contractility | |
| CN111627005B (zh) | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 | |
| JP2018125019A (ja) | 画像処理装置及び画像処理方法 | |
| CN113962983A (zh) | 基于2d-cnn的脑血管模板生成方法和电子设备 | |
| JP6329651B1 (ja) | 画像処理装置及び画像処理方法 | |
| Mishra et al. | Intelligent Bone Fracture Recognition Framework: Convolutional Neural Network (CNN): Note: Sub-titles are not captured in Xplore and should not be used | |
| Natrajan et al. | A comparative scrutinization on diversified needle bandanna segmentation methodologies | |
| CN120198452B (zh) | 一种脊柱图像的自适应分割方法及系统 | |
| CN119992033B (zh) | 前列腺癌淋巴结转移的组织病理学识别方法、装置 | |
| CN118297970B (zh) | 一种胸腰椎x射线片分割方法及装置 | |
| CN115294232B (zh) | 重建算法的识别方法、装置、电子设备和存储介质 | |
| Shihabudeen et al. | NUC-Fuse: Multimodal medical image fusion using nuclear norm & classification of brain tumors using ARBFN | |
| Wang et al. | HER2-MCNN: a HER2 classification method based on multi convolution neural network | |
| Yousef et al. | SliceInsightNet: Advanced Hybrid Image Segmentation for Spine Annotation in MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |