CN111888059B - 基于深度学习与x线的全髋关节图像处理方法及装置 - Google Patents

Abstract

本申请公开了一种基于深度学习与X线的全髋关节图像处理方法及装置，本申请的方法包括获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。本申请是为了提出一种更便捷更准确的术前规划的方式为全髋关节置换手术提供更好的术前支持。

Description

基于深度学习与X线的全髋关节图像处理方法及装置

技术领域

本申请涉及医学技术领域，具体而言，涉及一种基于深度学习与X线的全髋关节图像处理方法及装置。

背景技术

在医学领域中全髋关节置换手术的术前规划主要包括计算所需假体型号及截骨线位置，全髋关节置换手术的术前规划对于手术的成功率起着非常重要的作用，因此如何提供准确的术前规划是非常重要的。目前主要的术前规划方式为人工通过各种工具进行测量，效率低而且准确性无法保证，因此亟需提供一种更便捷更准确的术前规划的方法为全髋关节置换手术提供更好的术前支持。

发明内容

本申请的主要目的在于提出一种基于深度学习与X线的全髋关节图像处理方法及装置，以提供一种更便捷更准确的术前规划的方式为全髋关节置换手术提供更好的术前支持。

为了实现上述目的，根据本申请的第一方面，提供了一种基于深度学习与X线的全髋关节图像处理方法。

根据本申请的基于深度学习与X线的全髋关节图像处理方法包括：

获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；

根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；

基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；

根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。

可选的，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定腿长差，包括：

将髋关节的X线图像转化为灰度图；

基于第一神经网络模型对灰度图的每个像素值进行预测，确定泪滴关键点以及股骨小转子关键点位置；

根据泪滴关键点以及股骨小转子关键点位置，确定腿长差。

可选的，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定髋臼杯位置包括：

将髋关节的X线图像转化为灰度图；

基于第二神经网络模型对灰度图的每个像素值进行预测，确定股骨头位置；

根据平面图像的质心公式计算股骨头旋转中心；

根据股骨头的直径推算髋臼杯直径；

根据骨头旋转中心和髋臼杯直径确定髋臼杯位置。

可选的，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定股骨柄假体的规格型号包括：

将髋关节的X线图像转化为灰度图；

基于第三神经网络模型对灰度图进行识别，确定髓腔解剖轴线；

基于第四神经网络模型对灰度图进行识别，确定股骨颈中心轴线；

根据髓腔解剖轴线和股骨颈中心轴线确定股骨颈干角；

根据股骨颈干角、在确定髓腔解剖轴线过程中确定的髓腔区域以及股骨头旋转中心确定股骨柄假体的规格型号。

可选的，所述根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置包括：

将股骨柄假体的旋转中心与髋臼杯的旋转中心位置重合，确定股骨柄假体实际位置；

沿股骨柄假体的涂层位置确定截骨线位置。

可选的，所述基于第三神经网络模型对灰度图进行识别，确定髓腔解剖轴线包括：

基于第三神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和骨皮质区域；

根据股骨头区域、骨皮质区域确定髓腔区域；

对髓腔区域多个中心点坐标进行直线拟合确定髓腔解剖轴线。

可选的，所述基于第四神经网络模型对灰度图进行识别，确定股骨颈中心轴线包括：

基于第四神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和股骨颈基底区域；

根据平面图像的质心公式计算股骨头区域和股骨颈基底区域对应的股骨头中心坐标和股骨颈基底中心坐标；

根据股骨头中心坐标和股骨颈基底中心坐标确定股骨颈中心轴线。

可选的，根据截骨线位置，计算术后的腿长差，以及偏距。

为了实现上述目的，根据本申请的第二方面，提供了一种基于深度学习与X线的全髋关节图像处理装置。

根据本申请的基于深度学习与X线的全髋关节图像处理装置包括：

比例校准单元，用于根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的真实还原；

腿长差确定单元，用于基于第一神经网络模型对还原后的髋关节的X线图像进行识别，确定腿长差；

髋臼杯位置确定单元，用于基于第二神经网络模型对还原后的髋关节的X线图像进行识别，确定髋臼杯位置；

股骨柄假体规格确定单元，用于基于第三神经网络模型、第四神经网络模型对还原后的髋关节的X线图像进行识别，确定股骨柄假体规格；

截骨线确定单元，用于根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。

为了实现上述目的，根据本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任意一项所述的基于深度学习与X线的全髋关节图像处理方法。

为了实现上述目的，根据本申请的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任意一项所述的基于深度学习与X线的全髋关节图像处理方法。

在本申请实施例中，基于深度学习与X线的全髋关节图像处理方法及装置中，获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。可以看出,本实施例的全髋关节置换术前规划方式中,将髋关节的X线图像进行了真实尺寸的还原，以实际的尺寸进行后续的位置识别更准确；另外，在对X线图像识别的过程中都是基于深度学习模型进行识别的，进一步的保证了根据识别结果确定的腿长差、髋臼杯位置、股骨柄假体的规格型号、截骨线位置的准确性和快速性，从而为全髋关节置换手术提供了更好的术前支持。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种基于深度学习与X线的全髋关节图像处理方法流程图；

图2是根据本申请实施例提供的一种为髋关节的X线图像的示意图；

图3-4是根据本申请实施例提供的一种确定临床中的实际截骨线位置的示意图；

图5是根据本申请实施例提供的一种确定腿长差的方法流程图；

图6是根据本申请实施例提供的一种自动识别出泪滴关键点以及股骨小转子关键点位置的示意图；

图7是根据本申请实施例提供的一种腿长差确定的示意图；

图8是根据本申请实施例提供的一种确定髋臼杯位置的方法流程图；

图9为根据本申请实施例提供的一种识别股骨头的示意图；

图10为根据本申请实施例提供的股骨头旋转中心的示意图；

图11是根据本申请实施例提供的髋臼杯位置的示意图；

图12是根据本申请实施例提供的一种确定股骨柄假体的规格型号的方法流程图；

图13是根据本申请实施例提供的一种识别股骨头区域、骨皮质区域的示意图；

图14是根据本申请实施例提供的一种髓腔区域的示意图；

图15是根据本申请实施例提供的一种确定髓腔解剖轴线的示意图；

图16是根据本申请实施例提供的一种识别股骨头区域、股骨颈基底区域的示意图；

图17是根据本申请实施例提供的一种股骨颈中心轴线的示意图；

图18是根据本申请实施例提供的一种基于深度学习与X线的全髋关节图像处理装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种基于深度学习与X线的全髋关节图像处理方法，如图1所示，该方法包括如下的步骤：

S101.获取髋关节的X线图像，髋关节的X线图像中包含参照物的图像。

髋关节的X线图像是通过对髋关节进行X光片拍摄时获取的，同时在同张照片里拍摄一个已知尺寸的物体，即参照物。因此得到的髋关节的X线图像中包含参照物的图像。如图2所示，为髋关节的X线图像，其中图像的底部中心部位的标示标准尺寸的图像为参照物的图像。是实际应用中，参照物的选取和拍摄时的排放位置可以根据适应性的调整，本实施例不作限制。

S102.根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原。

参照物的尺寸是已知的，参照物的图像尺寸也可以通过测量得到，根据参照物的图像尺寸及其实际尺寸的比例，可以确定出髋关节的X线图像相对于实际的髋关节尺寸的比例(两者比例相同)，然后根据比例将髋关节的X线图像进行真实尺寸的还原。将髋关节的X线图像进行真实尺寸的还原是为和后续的图像识别做基础，使后续根据识别结果确定的腿长差、髋臼杯位置、股骨柄假体的规格型号、截骨线位置与实际的对应位置差距更小，保证识别的准确性。

具体的还原操作可以为选取已知尺寸物体的关键部位尺寸。通过计算图像中像素间两点距离，和物体实际尺寸进行比例换算，确定比例，然后根据比例对髋关节的X线图像的比例进行修正。

S103.基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号。

深度学习模型是神经网络模型，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号可能会用到的模型的输入和输出可能是不同的，但是模型训练的原理是相同的。具体的，神经网络模型训练的原理为：将髋关节的X线图像转化为0-255灰度图，然后将图像进行人工选定标注，将图片的每个像素标注划分为几种属性值(根据实际的需求，属性值的种类数不同，比如可以为两种、三种等等)并分别命名，然后将其输入到神经网络模型中进行卷积池化采样一直迭代学习训练得到神经网络模型。

本步骤中的神经网络模型为分类神经网络，是将图像中的不同的区域进行分类，比如在确定腿长差时，应用神经网络模型主要是为了识别出泪滴和股骨小转子的关键点；再比如在确定髋臼杯位置时，应用神经网络模型主要是为了识别出股骨头区域；再比如在确定股骨柄假体的规格型号时，应用神经网络模型主要是为了识别出股骨头、骨皮质区域以及股骨头、股骨颈基底区域。

本实施例中的神经网络可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络Inception ResNet等。

确定腿长差、髋臼杯位置以及股骨柄假体的规格型号是根据图像的识别结果再进行一些坐标、拟合等计算后确定的。

S104.根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。

具体的，“根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置”为通过移动股骨柄假体，将股骨柄假体的旋转中心与之前计算的髋臼杯旋转中心位置重合，得到股骨柄假体实际位置。沿股骨柄假体的涂层位置可确定临床中的实际截骨线位置，如图3-4所示。图3为移动股骨柄假体到预定位置，使股骨柄假体的旋转中心与之前计算的髋臼杯旋转中心位置重合，图4为根据股骨柄假体的外形确定截骨线位置。

从以上的描述中，可以看出，本申请实施例的基于深度学习与X线的全髋关节图像处理方法中，获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。可以看出,本实施例的全髋关节置换术前规划方式中,将髋关节的X线图像进行了真实尺寸的还原，以实际的尺寸进行后续的位置识别更准确；另外，在对X线图像识别的过程中都是基于深度学习模型进行识别的，进一步的保证了根据识别结果确定的腿长差、髋臼杯位置、股骨柄假体的规格型号、截骨线位置的准确性和快速性，从而为全髋关节置换手术提供了更好的术前支持。

进一步的，作为上述实施例的进一步细化，步骤S103对于确定腿长差、髋臼杯位置以及股骨柄假体的规格型号的详细步骤进行分别说明。

如图5所示，为确定腿长差的流程图，具体包括如下步骤：

S201.将髋关节的X线图像转化为灰度图。

将髋关节的X线图像转化为0-255灰度图。

S202.基于第一神经网络模型对灰度图的每个像素值进行预测，确定泪滴关键点以及股骨小转子关键点位置。

在进行预测之前，首先要根据样本训练得到第一神经网络模型。具体的，将未标记的原始图像(髋关节的X线样本图像对应的灰度图)以及人工识别标记的泪滴关键点及股骨小转子关键点位置的标记传入到卷积神经网络中，将输入的原始图像与特征点的高斯分布函数进行拟合，进行卷积池化采样一直迭代学习训练得到第一神经网络模型。需要说明的是，本步骤中的卷积神经网络可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络Inception ResNet等。

得到第一神经网络模型后，将髋关节的X线图像对应的灰度图输入到第一神经网络模型中，可以自动识别出泪滴关键点以及股骨小转子关键点位置。如图6所示，图6为自动识别出泪滴关键点以及股骨小转子关键点位置的示意图。

S203.根据泪滴关键点以及股骨小转子关键点位置，确定腿长差。

具体的，如图7所示，其中水平的直线是由两个泪滴关键点确定的，是两个泪滴关键点的连线，其中两条垂直的线段是由股骨小转子关键点和水平直线确定的，两条垂直直线分别记作A和B，A和B的差值为腿长差。

如图8所示，为确定髋臼杯位置的流程图，具体包括如下步骤：

S301.将髋关节的X线图像转化为灰度图。

将髋关节的X线图像转化为0-255灰度图。

S302.基于第二神经网络模型对灰度图的每个像素值进行预测，确定股骨头位置。

在进行预测之前，首先要根据样本训练得到第二神经网络模型。具体的，将未标记的原始图像(髋关节的X线样本图像对应的灰度图)以及人工识别标记像素属性值的标记图像传入到卷积神经网络中，包括两种属性值，分别命名0、1。数值0代表背景像素，1代表股骨头像素；传入到卷积神经网络中，进行卷积池化采样一直迭代学习训练得到第二神经网络模型。需要说明的是，本步骤中的卷积神经网络可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络InceptionResNet等。

得到第二神经网络模型后，将髋关节的X线图像对应的灰度图输入到第二神经网络模型中，可以对每个像素值进行预测。自动将X线图像的每个像素值归为一个属性中：0-背景，1-股骨头，完成股骨头区域(即股骨头位置)的自动识别，如图9所示。图9为识别股骨头的示意图。

S303.根据平面图像的质心公式计算股骨头旋转中心。

因为得到的股骨头区域的图像是二值图像，其质量分布是均匀的，所以质心和形心重合，根据平面图像的质心公式可以计算得到股骨头的中心点坐标，即股骨头旋转中心。假设二值图像为B[i,j]，则可根据下列公式求得股骨头的中心点坐标：

其中：

此处得到的是股骨头的中心点的像素坐标，需要将像素坐标转换为图像坐标。图像平面坐标中心坐标为：

则像素坐标

到图像坐标(x’，y’)的变换公式为：

其中S_x，S_y分别为图像阵列的行列间距。最后通过输出显示模块，得到股骨头旋转中心的位置，如图9所示。图10中圆圈的中心点为股骨头旋转中心。

S304.根据股骨头的直径推算髋臼杯直径。

根据股骨头区域和股骨头旋转中心确定股骨头的直径，根据股骨头的直径推算髋臼杯直径。根据股骨头的直径推算髋臼杯直径的可以参考现有的任意一种推算方式确定髋臼杯直径。

S305.根据骨头旋转中心和髋臼杯直径确定髋臼杯位置。

根据股骨头的直径以及股骨头旋转中心位置自动确定髋臼杯位置，如图11所示。图11中线条勾画的区域为髋臼杯位置。

如图12所示，为确定股骨柄假体的规格型号的流程图，具体包括如下步骤：

S401.将髋关节的X线图像转化为灰度图。

将髋关节的X线图像转化为0-255灰度图。

S402.基于第三神经网络模型对灰度图进行识别，确定髓腔解剖轴线。

具体的，确定髓腔解剖轴线包括如下步骤：

首先，基于第三神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和骨皮质区域；

在进行预测之前，首先要根据样本训练得到第三神经网络模型。具体的，将未标记的原始图像(髋关节的X线样本图像对应的灰度图)以及人工识别标记像素属性值的标记图像传入到卷积神经网络中，包括三种属性值，分别命名0、1、2。数值0代表背景像素，1代表股骨头像素，2代表骨皮质；传入到卷积神经网络中，进行卷积池化采样一直迭代学习训练得到第三神经网络模型。需要说明的是，本步骤中的卷积神经网络可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络Inception ResNet等。

得到第三神经网络模型后，将髋关节的X线图像对应的灰度图输入到第三神经网络模型中，可以对每个像素值进行预测。自动将X线图像的每个像素值归为一个属性中：0-背景，1-股骨头，2-骨皮质，完成股骨头区域、骨皮质区域的自动识别，如图13所示。图13为识别股骨头区域、骨皮质区域的示意图。

其次，根据股骨头区域、骨皮质区域确定髓腔区域；

具体的，截取小转子结束处直到股骨末端部位，使用图像中股骨区域减去骨皮质区域得到的是髓腔区域，如图14所示。

最后，对髓腔区域多个中心点坐标进行直线拟合确定髓腔解剖轴线。

具体的，如图15所示，从小转子结束位置以下，每横行与髓腔交点为四个坐标，从左至右分别命名为A1，A2，B1，B2；依据两点可以求出中点，A1(X₁，Y₁)，A2(X₂，Y₂)的中点坐标：

B1，B2同理可算得。每行依次算得髓腔的中点坐标，将这些点拟合成一条直线即为髓腔解剖轴线(也是股骨解剖轴线)。

S403.基于第四神经网络模型对灰度图进行识别，确定股骨颈中心轴线。

具体的，确定股骨颈中心轴线包括如下步骤：

首先，基于第四神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和股骨颈基底区域；

在进行预测之前，首先要根据样本训练得到第四神经网络模型。具体的，将未标记的原始图像(髋关节的X线样本图像对应的灰度图)以及人工识别标记像素属性值的标记图像传入到卷积神经网络中，包括三种属性值，分别命名0、1、2。数值0代表背景像素，1代表股骨头像素，2代表股骨颈基底像素；传入到卷积神经网络中，进行卷积池化采样一直迭代学习训练得到第四神经网络模型。需要说明的是，本步骤中的卷积神经网络可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络Inception ResNet等。

在得到第四神经网络模型后，将髋关节的X线图像对应的灰度图输入到第四神经网络模型中，可以对每个像素值进行预测。自动将X线图像的每个像素值归为一个属性中：0-背景，1-股骨头，2-股骨颈基底像素，完成股骨头区域、股骨颈基底区域的自动识别，如图16所示。图16为识别股骨头区域、股骨颈基底区域的示意图。

其次，根据平面图像的质心公式计算股骨头区域和股骨颈基底区域对应的股骨头中心坐标和股骨颈基底中心坐标；

股骨头中心坐标和股骨颈基底中心坐标的计算方式类似，都可以参见步骤S303中计算股骨头中心点坐标的实现方式，此处不在赘述。

最后，根据股骨头中心坐标和股骨颈基底中心坐标确定股骨颈中心轴线。

具体的，股骨头中心坐标和股骨颈基底中心坐标连线即为股骨颈中心轴线，如图17所示。图17中两条斜向下的线段为股骨颈中心轴线。

S404.根据髓腔解剖轴线和股骨颈中心轴线确定股骨颈干角。

具体的，髓腔解剖轴线和股骨颈中心轴线形成的夹角为股骨颈干角。

S405.根据股骨颈干角、在确定髓腔解剖轴线过程中确定的髓腔区域以及股骨头旋转中心确定股骨柄假体的规格型号。

具体的，根据股骨颈干角角度值，再结合髓腔形态，股骨头旋转中心位置可对股骨柄假体型号的选择给出推荐。股骨柄假体型号按照股骨柄假体的形状和尺寸等特征进行区分。

进一步的，作为图1实施例的补充说明，在确定截骨线位置之后，还包括根据截骨线位置，计算术后的腿长差，以及偏距。具体的，偏距包含股骨偏心距：指股骨头旋转中心至股骨干长轴间的垂直距离。还包括联合偏距，具体为股骨和髋臼偏距的累积和。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1-17所述方法的基于深度学习与X线的全髋关节图像处理装置，如图18所示，该装置包括：

比例校准单元51，用于根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的真实还原；

腿长差确定单元52，用于基于第一神经网络模型对还原后的髋关节的X线图像进行识别，确定腿长差；

髋臼杯位置确定单元53，用于基于第二神经网络模型对还原后的髋关节的X线图像进行识别，确定髋臼杯位置；

股骨柄假体规格确定单元54，用于基于第三神经网络模型、第四神经网络模型对还原后的髋关节的X线图像进行识别，确定股骨柄假体规格；

截骨线确定单元55，用于根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。

具体的，本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

从以上的描述中，可以看出，本申请实施例的基于深度学习与X线的全髋关节图像处理装置中，获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置。可以看出,本实施例的全髋关节置换术前规划方式中,将髋关节的X线图像进行了真实尺寸的还原，以实际的尺寸进行后续的位置识别更准确；另外，在对X线图像识别的过程中都是基于深度学习模型进行识别的，进一步的保证了根据识别结果确定的腿长差、髋臼杯位置、股骨柄假体的规格型号、截骨线位置的准确性和快速性，从而为全髋关节置换手术提供了更好的术前支持。

根据本申请实施例，还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述方法实施例中的基于深度学习与X线的全髋关节图像处理方法。

根据本申请实施例，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述方法实施例中的基于深度学习与X线的全髋关节图像处理方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于深度学习与X线的全髋关节图像处理方法，所述方法在计算机中执行，其特征在于，所述方法包括：

获取髋关节的X线图像，所述髋关节的X线图像中包含参照物的图像，所述参照物为已知尺寸的参照物；

比例校准单元根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的还原；

基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号；

所述基于深度学习模型对还原后的髋关节的X线图像进行识别，确定腿长差、髋臼杯位置以及股骨柄假体的规格型号包括：腿长差确定单元基于第一神经网络模型对还原后的髋关节的X线图像进行识别，确定腿长差；髋臼杯位置确定单元基于第二神经网络模型对还原后的髋关节的X线图像进行识别，确定髋臼杯位置；股骨柄假体规格确定单元基于第三神经网络模型、第四神经网络模型对还原后的髋关节的X线图像进行识别，确定股骨柄假体规格；

截骨线确定单元根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置；

所述根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置包括：

将股骨柄假体的旋转中心与髋臼杯的旋转中心位置重合，确定股骨柄假体实际位置；沿股骨柄假体的涂层位置确定截骨线位置。

2.根据权利要求1所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定腿长差，包括：

将髋关节的X线图像转化为灰度图；

基于第一神经网络模型对灰度图的每个像素值进行预测，确定泪滴关键点以及股骨小转子关键点位置；

根据泪滴关键点以及股骨小转子关键点位置，确定腿长差。

3.根据权利要求1所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定髋臼杯位置包括：

将髋关节的X线图像转化为灰度图；

基于第二神经网络模型对灰度图的每个像素值进行预测，确定股骨头位置；

根据平面图像的质心公式计算股骨头旋转中心；

根据股骨头的直径推算髋臼杯直径；

根据骨头旋转中心和髋臼杯直径确定髋臼杯位置。

4.根据权利要求1所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，所述基于深度学习模型对还原后的髋关节的X线图像进行识别确定股骨柄假体的规格型号包括：

将髋关节的X线图像转化为灰度图；

基于第三神经网络模型对灰度图进行识别，确定髓腔解剖轴线；

基于第四神经网络模型对灰度图进行识别，确定股骨颈中心轴线；

根据髓腔解剖轴线和股骨颈中心轴线确定股骨颈干角；

根据股骨颈干角、在确定髓腔解剖轴线过程中确定的髓腔区域以及股骨头旋转中心确定股骨柄假体的规格型号。

5.根据权利要求4所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，所述基于第三神经网络模型对灰度图进行识别，确定髓腔解剖轴线包括：

基于第三神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和骨皮质区域；

根据股骨头区域、骨皮质区域确定髓腔区域；

对髓腔区域多个中心点坐标进行直线拟合确定髓腔解剖轴线。

6.根据权利要求4所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，所述基于第四神经网络模型对灰度图进行识别，确定股骨颈中心轴线包括：

基于第四神经网络模型对灰度图的每个像素值进行预测，确定股骨头区域和股骨颈基底区域；

根据平面图像的质心公式计算股骨头区域和股骨颈基底区域对应的股骨头中心坐标和股骨颈基底中心坐标；

根据股骨头中心坐标和股骨颈基底中心坐标确定股骨颈中心轴线。

7.根据权利要求1所述的基于深度学习与X线的全髋关节图像处理方法，其特征在于，根据截骨线位置，计算术后的腿长差，以及偏距。

8.一种基于深度学习与X线的全髋关节图像处理装置，其特征在于，所述装置包括：

比例校准单元，用于根据参照物的图像尺寸及其实际尺寸的比例，将髋关节的X线图像进行尺寸的真实还原；

腿长差确定单元，用于基于第一神经网络模型对还原后的髋关节的X线图像进行识别，确定腿长差；

髋臼杯位置确定单元，用于基于第二神经网络模型对还原后的髋关节的X线图像进行识别，确定髋臼杯位置；

股骨柄假体规格确定单元，用于基于第三神经网络模型、第四神经网络模型对还原后的髋关节的X线图像进行识别，确定股骨柄假体规格；

截骨线确定单元，用于根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置；

所述根据股骨柄假体的旋转中心和在髋关节的X线图像识别过程中确定的髋臼杯的旋转中心确定截骨线位置包括：

将股骨柄假体的旋转中心与髋臼杯的旋转中心位置重合，确定股骨柄假体实际位置；沿股骨柄假体的涂层位置确定截骨线位置。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的基于深度学习与X线的全髋关节图像处理方法。

Images