CN111325734B - 一种基于视觉模型的骨龄预测方法及装置 - Google Patents
一种基于视觉模型的骨龄预测方法及装置 Download PDFInfo
- Publication number
- CN111325734B CN111325734B CN202010114863.7A CN202010114863A CN111325734B CN 111325734 B CN111325734 B CN 111325734B CN 202010114863 A CN202010114863 A CN 202010114863A CN 111325734 B CN111325734 B CN 111325734B
- Authority
- CN
- China
- Prior art keywords
- bone
- rus
- model
- age
- bone block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 244
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 210000002411 hand bone Anatomy 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 24
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 210000000707 wrist Anatomy 0.000 claims description 13
- 239000012634 fragment Substances 0.000 claims description 11
- 238000010845 search algorithm Methods 0.000 claims description 6
- 210000000623 ulna Anatomy 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003628 erosive effect Effects 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims description 4
- 238000003711 image thresholding Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 5
- 210000002320 radius Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 210000002745 epiphysis Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于视觉模型的骨龄预测方法及装置。本发明的骨龄预测方法包括输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状‑纹理特征提取模型,获取RUS骨块形状‑纹理特征参数;以及根据支持向量回归模型计算得到RUS骨块分项骨龄和个体综合骨龄。本发明的骨龄预测装置包括:图像输入模块、RUS骨块定位模块,RUS骨块自适应分割模块、RUS骨块特征提取模块、RUS骨龄回归预测模块、骨龄报告输出模块以及数据库模块。本发明能够手骨X光图像的骨龄预测,并且无需链接骨骺等级标注数据库而直接输出RUS骨块分项骨龄和个体综合骨龄。
Description
技术领域
本发明涉及医学图像处理、计算机视觉领域,具体是涉及一种基于视觉模型的骨龄预测方法及装置。
背景技术
骨龄是临床上用来衡量少年儿童身体发育水平的重要指标,通常将手腕骨X线图像作为评价对象,由两位以上的内分泌科医生按照“双盲法”准则进行独立诊断。人工读片参照的骨龄评估标准有G-P法、TW3法和中华05法等,通常情况下经验丰富的医生评价单张骨龄片的时间花费约20~30分钟,评价误差可以低于0.5岁,而新手不仅需要花费2~3倍的时间,评价误差甚至高达1岁以上。
计算机辅助诊断骨龄的优势在于,机器能够成为双盲法中的独立单位,基于统一标准下的骨龄预测流程,能够避免由人的主观经验造成的不利影响,同时极大提高诊断速度,在精度达到专家级别的条件下大幅减轻医生的工作量。
当前医疗大数据技术和医疗影像AI技术的发展,尤其是深度卷积神经网络DNN的应用,给自动骨龄预测带来通用的解决方案。但是,基于深度学习的骨龄预测技术尚未成熟,例如数据清洗复杂,特征抽取困难,深层网络难以训练等。
现存的计算机辅助骨龄预测技术,大都需要对指骨、掌骨、腕骨和尺桡骨的发育等级进行评价;然而这些技术或多或少地存在适用范围小、预测精度不高、鲁棒性不好、无法端到端等缺点,尚缺少一种从训练到预测,全流程、高精度、易泛化、端到端的骨龄预测方案。
发明内容
本发明的主要目的提供一种基于视觉模型的骨龄预测方法及装置。本发明中所述视觉模型的范畴包含RUS骨块定位模型、自适应手骨分割模型、RUS骨块形状-纹理特征提取模型和支持向量回归模型(SVR)。本发明用以解决RUS骨块定位、RUS骨块轮廓分割、RUS骨块特征提取、RUS骨龄回归预测等关键技术难题,使得骨龄预测的流程快速、准确。
为了实现上述目的,根据本发明的一个方面,提供了一种骨龄预测方法。
本发明的骨龄预测方法包括:输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数;以及根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄。具体包含如下执行步骤S10~S40:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下执行步骤S101~S105:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直。
S102、通过图像平滑、阈值化、腐蚀(膨胀)等操作得到手部轮廓图像。
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括而不限于9个手掌峰谷点以及2个手腕部的关键点。
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域。
S105、进一步根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓。
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下执行步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法。
S202、以模型基准轮廓点周围m*m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓。
进一步地,所述自适应手骨分割模型包括而不限于ASM、AAM、CLM,或者基于点分布模型的改进模型。
进一步地,所述自适应手骨分割模型的训练包含如下执行步骤S2001~S2004:
S2001、收集公开的骨龄X光图像数据集,将其按照年龄段和性别分成若干组,记作M_S1,M_S2,…,F_S1,F_S2,…,组成若干训练集。
S2002、在每组训练集上,获取指骨、掌骨、尺桡骨等RUS骨块上的若干个轮廓点,经过旋转、平移之后得到位于同一基准下的轮廓点集合,计算训练集中所有轮廓点集合的均值,将其作为所述RUS骨块的基准轮廓点。
S2003、在每个RUS骨块所在的图像上,找出所获取轮廓点的局部特征。具体为将每个RUS骨块轮廓点的周围区域划分为m*m的单位Patch,计算每个Patch内的像素点灰度梯度,接着将所有Patch连接成灰度梯度向量,计算若干个灰度梯度向量投影到主方向上的向量,作为模型标准灰度梯度向量。
S2004、根据预设降采样因子,分别对模型的基准轮廓点坐标和标准灰度梯度向量进行缩放,保存下来供模型分层搜索时使用。
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下执行步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数。
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数。
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入。
进一步地,所述预设的图像特征描述子包括而不限于HOG、LBP、SIFT、GABOR、DPM等。
进一步地,所述形状、纹理主元提取矩阵的训练包含如下执行步骤S3001~S3003:
S3001、采用步骤S2001所述训练集,并采取与步骤S2002相同地RUS骨块的基准轮廓点训练方法,得到训练样本位于同一基准下的轮廓点集合,表示RUS骨块的对齐后形状。
S3002、将RUS骨块的对齐后形状的轮廓点坐标组成矩阵,对该矩阵进行降维,优选的方法是主元分析(PCA)。通过去平均值后计算协方差矩阵,进行SVD分解得到从大到小排序的特征值和相应特征向量,找出最优的主元个数K,并记录下前K个特征值对应的特征向量,将其组成形状主元提取矩阵。进一步地,将原轮廓点坐标矩阵与形状主元提取矩阵相乘后得到形状参数回归矩阵。
S3003、根据采用的一个或多个特征描述子,分别对RUS骨块进行局部纹理参数化,将得到的若干值归一化为一维纹理特征向量,并将训练集中所有纹理特征向量组成纹理矩阵,同理,经过降维后得到纹理主元提取矩阵和纹理参数回归矩阵。
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下执行步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄。
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值。
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应地置信区间;较佳地,余下分项骨龄的个数不得低于剔除前总数的60%,置信水平取95%。
进一步地,所述支持向量回归模型的训练包含如下执行步骤S4001~S4003:
S4001、将步骤S3002、S3003所述形状参数回归矩阵和纹理参数回归矩阵进行融合后的矩阵,以及专业医生给出的评估骨龄作为标签,共同组成SVR模型的训练集D。
S4002、选择合适的精度ε、核函数k以及惩罚参数C,求解对偶化最优问题,构造线性SVR超平面,得到SVR预测模型。
S4003、通过对RUS骨块的分项骨龄预测值进行误差分析,调整SVR预测模型参数直至模型拟合达到最优。
为了实现上述目的,根据本发明的另一方面,提供了一种骨龄预测装置。
本发明的骨龄预测装置包括:图像输入模块,用于输入待测骨龄X光图像;RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;以及RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;骨龄报告输出模块,用于骨龄预测报告的生成和输出;以及数据库模块,用于图像、报告的查询和修改。
本发明的有益效果:本发明能够实现1~18岁青少年手骨X光图像的骨龄预测,并且基于视觉模型的预测方法无需链接骨骺等级标注数据库而直接输出RUS骨块分项骨龄和个体综合骨龄,整个预测过程无需人工参与,实现端到端的预测。更进一步,本发明提供骨龄预测方法及装置遵循“双盲法”原则,独立预测骨龄,可以为医生提供一种可靠的骨龄辅助判别手段。
附图说明
下面将结合示意性实施例附图来帮助解释本发明的内容,并不构成对本发明的不当限定。
图1为本发明实施例提供的一种基于视觉模型的骨龄预测方法的流程图;
图2为本发明实施例提供的一种RUS骨块粗轮廓定位方法的流程图;
图3为本发明实施例提供的一种自适应手骨分割模型搜索算法的流程图;
图4为本发明实施例提供的一种RUS骨块形状-纹理特征参数提取的流程图;
图5为本发明实施例提供的一种支持向量回归模型预测骨龄的流程图;
图6为本发明实施例提供的一种基于视觉模型的骨龄预测装置的结构图。
具体实施方式
本发明提供一种基于视觉模型的骨龄预测方法及装置,为了更好的解释本发明的技术方案和有益效果,下面结合附图来进行详细说明。需要理解,以下所述具体实施例并不用于限定本发明的权利范围。
本发明实施例中所述的基于机器视觉的骨龄预测方法及装置适用于临床“双盲法”评估骨龄中,为医生提供独立、准确、快速的骨龄诊断,结合身高、体重、牙龄、内分泌指标等多项检查结果,辅助青少年的生长发育监测。
图1显示了本发明实施例提供的一种基于视觉模型的骨龄预测方法的流程图。具体包括步骤S10~S40:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓。
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓。
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数。
S40、根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄。
图2显示了本发明实施例提供的一种RUS骨块粗轮廓定位方法的流程图,具体包括步骤S101~S103:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直。
S102、优选地,通过图像平滑、OTSU阈值化、腐蚀(膨胀)等操作得到手部轮廓图像。
S103、优选地,获取手部轮廓图像上具有全局上下文信息的关键点,全局关键点选择为9个手掌峰谷点以及2个手腕部的关键点。
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域。
S105、进一步根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓。
图3显示了本发明实施例提供的一种自适应手骨分割模型搜索算法的流程图。具体包括步骤S201~S203:
S201、优选地,选择CLM作为手骨自适应分割模型,先按照CLM的分层搜索原理对待测图像进行降采样,降采样因子个数为4,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法。
S202、优选地,以模型基准轮廓点周围10*10的Patch作为匹配的基本单位,设置每层迭代次数为4,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预设图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓。
图4显示了本发明实施例提供的一种提取RUS骨块形状-纹理特征参数的流程图,具体包括步骤S301~S303:
S301、优选地,将由RUS骨块的细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数。
S302、优选地,根据预设的图像特征描述子SIFT、GABOR提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数。
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入。
图5显示了本发明实施例提供的一种支持向量回归模型预测骨龄的流程图,具体包括步骤S401~S403:
S401、优选地,将获得的300个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄。
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值。
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间;较佳地,余下分项骨龄的个数不得低于剔除前总数的60%,置信度取95%。
较佳地,图6显示了本发明实施例提供的一种基于视觉模型的骨龄预测装置的结构图。所述骨龄预测装置包括:图像输入模块,RUS骨块定位模块,RUS骨块自适应分割模块,RUS骨块特征提取模块,RUS骨龄回归预测模块,报告输出模块和数据库模块。其中图像输入模块,用于输入待测骨龄X线片图像;RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;骨龄报告输出模块,用于骨龄预测报告的生成和输出以及数据库模块,用于图像、报告的查询和修改。
尽管在具体实施方式中已经详细描述了本发明的优选例,但众所周知地,对于本领域的技术人员,在不付出创造性地劳动下,能够较易地对所述优选实施例做出修改和变更,需要指出,本发明所附权利要求意欲解释为包括优选实施例以及落入本发明权利要求范围内的所有修改和变更的实施例。
Claims (5)
1.一种基于视觉模型的骨龄预测方法,其特征在于:输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数;以及根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄,具体包含如下步骤:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下步骤:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直;
S102、通过图像平滑、阈值化、腐蚀操作得到手部轮廓图像;
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括9个手掌峰谷点以及2个手腕部的关键点;
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域;
S105、根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓;
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法;
S202、以模型基准轮廓点周围m×m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓;
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数;
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数;
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入;
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄;
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值;
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间。
2.根据权利要求1所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述自适应手骨分割模型的训练包含如下执行步骤S2001~S2004:
S2001、收集公开的骨龄X光图像数据集,将其按照年龄段和性别分成若干组,记作M_S1,M_S2,…,F_S1,F_S2,…,组成若干训练集;
S2002、在每组训练集上,获取RUS骨块上的若干个轮廓点,经过旋转、平移之后得到位于同一基准下的轮廓点集合,计算训练集中所有轮廓点集合的均值,将其作为所述RUS骨块的基准轮廓点;
S2003、在每个RUS骨块所在的图像上,找出所获取轮廓点的局部特征;具体为将每个RUS骨块轮廓点的周围区域划分为m*m的单位Patch,计算每个Patch内的像素点灰度梯度,接着将所有Patch连接成灰度梯度向量,计算若干个灰度梯度向量投影到主方向上的向量,作为模型标准灰度梯度向量;
S2004、根据预设降采样因子,分别对模型的基准轮廓点坐标和标准灰度梯度向量进行缩放,保存下来供模型分层搜索时使用。
3.根据权利要求2所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述形状主元提取矩阵以及纹理主元提取矩阵的训练包含如下执行步骤S3001~S3003:
S3001、采用步骤S2001所述训练集,并采取与步骤S2002相同地RUS骨块的基准轮廓点训练方法,得到训练样本位于同一基准下的轮廓点集合,表示RUS骨块的对齐后形状;
S3002、将RUS骨块的对齐后形状的轮廓点坐标组成矩阵,对该矩阵进行降维,通过去平均值后计算协方差矩阵,进行SVD分解得到从大到小排序的特征值和相应特征向量,找出最优的主元个数K,并记录下前K个特征值对应的特征向量,将其组成形状主元提取矩阵;将原轮廓点坐标矩阵与形状主元提取矩阵相乘后得到形状参数回归矩阵;
S3003、根据采用的一个或多个特征描述子,分别对RUS骨块进行局部纹理参数化,将得到的若干值归一化为一维纹理特征向量,并将训练集中所有纹理特征向量组成纹理矩阵,同理,经过降维后得到纹理主元提取矩阵和纹理参数回归矩阵。
4.根据权利要求3所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述支持向量回归模型的训练包含如下步骤:
S4001、将步骤S3002、S3003中所述形状参数回归矩阵和纹理参数回归矩阵进行融合后的矩阵,以及专业医生给出的评估骨龄作为标签,共同组成SVR模型的训练集D;
S4002、选择合适的精度ε、核函数κ以及惩罚参数C,求解对偶化最优问题,构造线性SVR超平面,得到SVR预测模型;
S4003、通过对RUS骨块的分项骨龄预测值进行误差分析,调整SVR预测模型参数直至模型拟合达到最优。
5.一种基于视觉模型的骨龄预测装置,其特征在于包括:
图像输入模块,用于输入待测骨龄X光图像;
RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;
RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;
RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;
RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;
骨龄报告输出模块,用于骨龄预测报告的生成和输出;
数据库模块,用于图像、报告的查询和修改;
其中图像输入模块和RUS骨块定位模块执行以下操作:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下步骤:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直;
S102、通过图像平滑、阈值化、腐蚀操作得到手部轮廓图像;
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括9个手掌峰谷点以及2个手腕部的关键点;
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域;
S105、根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓;
其中RUS骨块自适应分割模块执行以下操作:
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法;
S202、以模型基准轮廓点周围m×m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓;
其中RUS骨块特征提取模块执行以下操作:
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数;
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数;
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入;
其中RUS骨龄回归预测模块执行以下操作:
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄;
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值;
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010114863.7A CN111325734B (zh) | 2020-02-25 | 2020-02-25 | 一种基于视觉模型的骨龄预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010114863.7A CN111325734B (zh) | 2020-02-25 | 2020-02-25 | 一种基于视觉模型的骨龄预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325734A CN111325734A (zh) | 2020-06-23 |
CN111325734B true CN111325734B (zh) | 2023-06-27 |
Family
ID=71172906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010114863.7A Active CN111325734B (zh) | 2020-02-25 | 2020-02-25 | 一种基于视觉模型的骨龄预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325734B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222996A (zh) * | 2021-03-03 | 2021-08-06 | 中南民族大学 | 心脏分割质量评估方法、装置、设备及存储介质 |
CN114601483B (zh) * | 2022-05-11 | 2022-08-16 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
CN119006411B (zh) * | 2024-08-09 | 2025-04-04 | 重庆邮电大学 | 一种基于深度学习的颈椎骨龄分析方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200529794A (en) * | 2004-03-03 | 2005-09-16 | Chi-Wen Hsieh | Method of automatically evaluating age of bone and skeleton via hand X-ray photograph |
CN109242867A (zh) * | 2018-08-09 | 2019-01-18 | 杭州电子科技大学 | 一种基于模板的手骨自动分割方法 |
CN109377484B (zh) * | 2018-09-30 | 2022-04-22 | 杭州依图医疗技术有限公司 | 一种检测骨龄的方法及装置 |
-
2020
- 2020-02-25 CN CN202010114863.7A patent/CN111325734B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111325734A (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325734B (zh) | 一种基于视觉模型的骨龄预测方法及装置 | |
CN107358608B (zh) | 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 | |
Thodberg et al. | The BoneXpert method for automated determination of skeletal maturity | |
Liu et al. | Automatic bone age assessment based on intelligent algorithms and comparison with TW3 method | |
CN107767376A (zh) | 基于深度学习的x线片骨龄预测方法及系统 | |
CN113298780B (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
CN112037200A (zh) | 一种医学影像中解剖特征自动识别与模型重建方法 | |
Talavera-Martínez et al. | A novel approach for skin lesion symmetry classification with a deep learning model | |
Giordano et al. | Modeling skeletal bone development with hidden Markov models | |
EP0626656A2 (en) | Image processing system and method for automatic feature extraction | |
CN109949280B (zh) | 图像处理方法、装置、设备存储介质及生长发育评估系统 | |
Thangam et al. | Skeletal Bone Age Assessment-Research Directions. | |
Davis et al. | Automated bone age assessment using feature extraction | |
Hartwig | Fractal analysis of sagittal suture morphology | |
CN107194417B (zh) | 基于mr图像的手指损伤检测方法及系统 | |
Duryea et al. | Automated algorithm for the identification of joint space and phalanx margin locations on digitized hand radiographs | |
Hossain et al. | COVID-19 detection through deep learning algorithms using chest X-ray images | |
Ramos et al. | BGrowth: an efficient approach for the segmentation of vertebral compression fractures in magnetic resonance imaging | |
Heravi et al. | Low price foot pressure distribution screening technique: optical podoscope with accurate foot print segmentation using hidden Markov random field model | |
Wahyuningrum et al. | A novel method for determining the Femoral-Tibial Angle of Knee Osteoarthritis on X-ray radiographs: data from the Osteoarthritis Initiative | |
Duryea et al. | Neural network based automated algorithm to identify joint locations on hand/wrist radiographs for arthritis assessment | |
CN117764943A (zh) | 一种基于ai的舌下图片辅助诊断系统 | |
Thangam et al. | Skeletal bone age assessment from epiphysis/metaphysis of phalanges using Hausdorff distance | |
Da Silva et al. | On determining a signature for skeletal maturity | |
Kaur et al. | Segmenting bone parts for bone age assessment using point distribution model and contour modelling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |