CN111652888B - 基于深度学习的确定髓腔解剖轴线的方法及装置 - Google Patents

Abstract

本申请公开了一种基于深度学习的确定髓腔解剖轴线的方法及装置，本申请的方法包括根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；根据中心点计算公式确定所有髓腔层面的中心点；对中心点进行直线拟合，确定髓腔解剖轴线。本申请是为了提出一种高精度的髓腔解剖轴线确定方式。

Description

基于深度学习的确定髓腔解剖轴线的方法及装置

技术领域

本申请涉及医学技术领域，具体而言，涉及一种基于深度学习的确定髓腔解剖轴线的方法及装置。

背景技术

在医学领域中能否准确的提取髓腔解剖轴线是一些医学手术成功的重要影响因素。比如在全髋关节置换术中，股骨髓腔解剖轴线和胫骨髓腔解剖轴线是重要的两条解剖轴线。股骨髓腔解剖轴线是一条穿越股骨髓腔的一条直线，它的方向决定了在膝关节手术中股骨髓内定位杆的入针位置。胫骨髓腔解剖轴线是一条穿越胫骨髓腔的一条直线。目前，股骨髓腔解剖轴线和胫骨髓腔解剖轴线的确定方式为先确定膝关节中心点和踝关节中心点，然后依据膝关节间隙以上10cm与该股骨宽度中心的交点确定股骨髓腔解剖轴线，如图1所示；根据膝关节中心踝关节中心的连线确定胫骨髓腔解剖轴线，如图2所示。膝关节中心点的确定，如图3所示：股骨侧定点选取髁间窝顶点处股骨髁的中点；股骨髁间窝的中心；胫骨侧定点：膝关节间隙水平软组织中点；胫骨平台上缘中点；胫骨髁间嵴中心。这五个中心相距很近，大都在纵向5mm以内，因此可以将这5个点的中心确定为膝关节中心。踝关节中心点的确定：踝穴横径的中心点，如图4所示。

发明人在实施上述方式的过程中，发现整个过程主要是靠人工标定的方式确定的。由于当股骨假体解剖轴线外翻超过8°、胫骨假体相对胫骨轴线内翻、以及股骨胫骨假体均发生偏移但下肢整体力线正常时，假体失败率会明显增加。所以对股骨髓腔解剖轴线、胫骨髓腔解剖轴线确定的方法的精度要求较高，而人工标定无法满足高精度的需求。因此，亟需提出一种高精度的髓腔解剖轴线确定方式。

发明内容

本申请的主要目的在于提供一种基于深度学习的确定髓腔解剖轴线的方法及装置，以提出一种高精度的髓腔解剖轴线确定方式。

为了实现上述目的，根据本申请的第一方面，提供了一种基于深度学习的确定髓腔解剖轴线的方法。

根据本申请的基于深度学习的确定髓腔解剖轴线的方法包括：

根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；

根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；

根据中心点计算公式确定所有髓腔层面的中心点；

对中心点进行直线拟合，确定髓腔解剖轴线。

可选的，所述方法还包括：

获取第一训练样本，所述第一训练样本包括人工标注所述骨头区域的二维横断面图像；

根据第一训练样本训练得到预设的分割神经网络。

可选的，所述方法还包括：

获取第二训练样本，所述第二训练样本包括人工标注所在层面属于的类别的二维横断面图像；

根据第二训练样本得到所述训练预设的分类神经网络。

可选的，所述根据中心点计算公式确定所有髓腔层面的中心点包括：

根据平面图像的质心公式确定髓腔层面的中心点。

可选的，在根据中心点计算公式确定所有髓腔层面的中心点之前，所述方法还包括：

根据高阈值处理方法，对髓腔层面进行图像清晰化处理。

可选的，所述骨头区域包括股骨区域和胫骨区域，所述根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面包括：

根据预设的分类神经网络对股骨、胫骨区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

为了实现上述目的，根据本申请的第二方面，提供了一种基于深度学习的确定髓腔解剖轴线的装置。

根据本申请的基于深度学习的确定髓腔解剖轴线的装置包括：

分割单元，用于根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；

分类单元，用于根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；

确定单元，用于根据中心点计算公式确定所有髓腔层面的中心点；

拟合单元，用于对中心点进行直线拟合，确定髓腔解剖轴线。

可选的，所述装置还包括：

第一获取单元，用于获取第一训练样本，所述第一训练样本包括人工标注所述骨头区域的二维横断面图像；

第一训练单元，用于根据第一训练样本训练得到预设的分割神经网络。

可选的，所述装置还包括：

第二获取单元，用于获取第二训练样本，所述第二训练样本包括人工标注所在层面属于的类别的二维横断面图像；

第二训练单元，用于根据第二训练样本得到所述训练预设的分类神经网络。

可选的，所述确定单元，用于：

根据平面图像的质心公式确定髓腔层面的中心点。

可选的，所述装置还包括：

处理单元，用于在根据中心点计算公式确定所有髓腔层面的中心点之前，根据高阈值处理装置，对髓腔层面进行图像清晰化处理。

可选的，所述骨头区域包括股骨区域和胫骨区域，所述分类单元用于：

根据预设的分类神经网络对股骨、胫骨区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

为了实现上述目的，根据本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任意一项所述的基于深度学习的确定髓腔解剖轴线的方法。

为了实现上述目的，根据本申请的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任意一项所述的基于深度学习的确定髓腔解剖轴线的方法。

在本申请实施例中，基于深度学习的确定髓腔解剖轴线的方法及装置中，首先，根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；根据中心点计算公式确定所有髓腔层面的中心点；对中心点进行直线拟合，确定髓腔解剖轴线。可以看出，本申请提取髓腔解剖轴线的方法是基于人工智能中的深度学习算法自动化的得到的，与人工标注的方式相比，可以大大的提高髓腔解剖轴线的准确性。将本申请的实施例应用在提取股骨髓腔解剖轴线和胫骨髓腔解剖轴线，可以大大的提高准确性，降低全髋关节置换术中假肢的失败率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是现有技术中的一种确定股骨髓腔解剖轴线的示意图；

图2是现有技术中的一种确定胫骨髓腔解剖轴线的示意图；

图3是现有技术中的一种膝关节中心点确定的示意图；

图4是现有技术中的一种踝关节中心点确定的示意图；

图5是根据本申请实施例提供的一种基于深度学习的确定髓腔解剖轴线的方法流程图；

图6是根据本申请实施例提供的另一种基于深度学习的确定髓腔解剖轴线的方法流程图；

图7为根据本申请实施例提供的一种分割出的股骨和胫骨区域的示意图；

图8为根据本申请实施例提供的一种对髓腔层面进行图像清晰化处理后的示意图；

图9是根据本申请实施例提供的一种髓腔的中心点的示意图；

图10是根据本申请实施例提供的一种基于深度学习的确定髓腔解剖轴线的装置的组成框图；

图11是根据本申请实施例提供的另一种基于深度学习的确定髓腔解剖轴线的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种基于深度学习的确定髓腔解剖轴线的方法，如图5所示，该方法包括如下的步骤：

S101.根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域。

其中二维横断面图像可以是CT扫描时生成的DICOM二维横断面图像，然后从中分割出DICOM二维横断面图像与髓腔对应的骨头区域。不同的髓腔对应不同的骨头区域，比如股骨髓腔对应股骨区域，胫骨髓腔对应胫骨区域，肱骨髓腔对应肱骨区域等。预设的分割神经网络是提前根据大量的第一训练样本得到的，第一训练样本为已经标注好骨头区域的图像，预设的分割神经网络的输入为DICOM二维横断面图像，输出为髓腔对应的骨头区域。需要说明的是第一训练样本是为了与后续步骤中的预设的分类神经网络对应的第二训练样本进行区分。

本实施例中预设的分割神经网络可以是多种神经网络模型训练得到，比如可以为全卷积网络FCN、语义分割网络SegNet、深度学习分割网络Unet、3D-深度学习分割网络3D-Unet、实例分割网络Mask-RCNN、空洞卷积、语义分割神经网络ENet、语义分割网络CRFasRNN、场景解析网络PSPNet、端到端语义分割网络ParseNet、图像语义分割网络RefineNet、图像分割模型ReSeg、语义分割网络LSTM-CF、实例分割网络DeepMask等。

S102.根据预设的分类神经网络对骨头区域进行层面分类，分出髓腔层面。

骨头区域包括髓腔层面和非髓腔层面。对骨头区域进行层面分类是为了将髓腔层面区分出。还需要区分出是哪个骨头区域的髓腔层面，比如可以为股骨髓腔层面，胫骨髓腔层面，肱骨髓腔层面等。预设的分类神经网络是提前根据大量的第二训练样本得到的，第二训练样本为已经标注好髓腔层面类型的图像，预设的分类神经网络的输入为DICOM二维横断面图像，输出为是否为髓腔层面以及是哪个骨头区域的髓腔层面。

本实施例中预设的分类神经网络可以是多种神经网络模型训练得到，比如可以为卷积神经网络LeNet、卷积神经网络AlexNet、可视化卷积神经网络ZF-Net、卷积神经网络GoogleNet、卷积神经网络VGG、卷积神经网络Inception、卷积神经网络ResNet、卷积神经网络DensNet、卷积神经网络InceptionResNet等。

S103.根据中心点计算公式确定所有髓腔层面的中心点。

根据二维图像中心点计算公式确定每个髓腔层面的中心点。具体的二维图像中心点计算公式可以为平面图像质心计算公式。

S104.对中心点进行直线拟合，确定髓腔解剖轴线。

将同一骨头区域的所有髓腔层面的中心点进行直线拟合，得到该骨头区域对应的髓腔解剖轴线。具体的直线拟合方式可以为最小二乘法、梯度下降、高斯牛顿、列-马算法等现有的任意直线拟合算法。

从以上的描述中，可以看出，本申请实施例的基于深度学习的确定髓腔解剖轴线的方法中，首先，根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；根据中心点计算公式确定所有髓腔层面的中心点；对中心点进行直线拟合，确定髓腔解剖轴线。可以看出，本申请提取髓腔解剖轴线的方法是基于人工智能中的深度学习算法自动化的得到的，与人工标注的方式相比，可以大大的提高髓腔解剖轴线的准确性。将本申请的实施例应用在提取股骨髓腔解剖轴线和胫骨髓腔解剖轴线，可以大大的提高准确性，降低全髋关节置换术中假肢的失败率。

进一步的，为了进一步的提高髓腔解剖轴线的精度，在步骤S103之前，增加清晰化处理的过程。具体为对区分出的髓腔层面进行图像清晰化处理，比如可以使用OpenCV高阈值处理方法，使髓腔形态更加的清晰。图像的阈值化就是利用图像像素点分布规律，设定阈值进行像素点分割，进而得到图像的二值图像。

进一步的，本实施例以股骨髓腔解剖轴线和胫骨髓腔解剖轴线提取为示例对上述基于深度学习的确定髓腔解剖轴线的方法进行进一步的说明，如图6所示，为本实施例提供的另一种基于深度学习的确定髓腔解剖轴线的方法。

S201.根据预设的分割神经网络对二维横断面图像进行分割处理，分割出股骨、胫骨区域。

其中二维横断面图像是CT扫描时生成的DICOM二维横断面图像，然后从中分割出DICOM二维横断面图像中的股骨、胫骨区域。预设的分割神经网络是提前根据大量的第一训练样本得到的，第一训练样本为已经标注好股骨、胫骨区域的图像，预设的分割神经网络的输入为DICOM二维横断面图像，输出为股骨、胫骨区域。如图7所示，为分割出的股骨和胫骨区域的示意图，其中，左侧图为股骨区域示意图，右侧图为胫骨区域示意图。

S202.根据预设的分类神经网络对骨头区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

股骨、胫骨区域包括髓腔层面和非髓腔层面。对股骨、胫骨区域进行层面分类是为了将股骨髓腔层面和胫骨髓腔层面区分出。预设的分类神经网络是提前根据大量的第二训练样本得到的，第二训练样本为已经标注好所在层面属于的类别的图像，预设的分类神经网络的输入为DICOM二维横断面图像，输出为股骨髓腔层面和胫骨髓腔层面。

S203.对股骨髓腔层面和胫骨髓腔层面进行图像清晰化处理。

使用OpenCV高阈值处理方法对股骨髓腔层面和胫骨髓腔层面进行阈值化处理，使股骨髓腔层面和胫骨髓腔层面的形态更清晰。如图8所示，为对髓腔层面进行图像清晰化处理后的示意图。

S204.根据中心点计算公式确定所有股骨髓腔层面和胫骨髓腔层面的中心点。

根据二维图像中心点计算公式确定所有股骨髓腔层面和胫骨髓腔层面的中心点。具体的二维图像中心点计算公式可以为平面图像质心计算公式。

如图9所示，为确定上述图8对应的髓腔的中心点的示意图。

S205.对中心点进行直线拟合，确定股骨髓腔解剖轴线和胫骨髓腔解剖轴线。

将所有股骨髓腔层面的中心点进行直线拟合，得到股骨髓腔解剖轴线，将所有胫骨髓腔层面的中心点进行直线拟合的得到胫骨髓腔解剖轴线。在拟合的过程中，需要按照各髓腔层面对应的实际三维空间关系进行拟合。直线拟合方式可以为最小二乘法、梯度下降、高斯牛顿、列-马算法等直线拟合算法。

本实施例中在股骨、胫骨解剖轴线的确定过程中是完全自动的，减少了人为判断带来的误差，大大提高了各种轴线设计的精度，缩短了轴线确定的时间周期。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图5-6所述方法的基于深度学习的确定髓腔解剖轴线的装置，如图10所示，该装置包括：

分割单元31，用于根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；

分类单元32，用于根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；

确定单元33，用于根据中心点计算公式确定所有髓腔层面的中心点；

拟合单元34，用于对中心点进行直线拟合，确定髓腔解剖轴线。

从以上的描述中，可以看出，本申请实施例的基于深度学习的确定髓腔解剖轴线的装置中，首先，根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；根据中心点计算公式确定所有髓腔层面的中心点；对中心点进行直线拟合，确定髓腔解剖轴线。可以看出，本申请提取髓腔解剖轴线的方法是基于人工智能中的深度学习算法自动化的得到的，与人工标注的方式相比，可以大大的提高髓腔解剖轴线的准确性。将本申请的实施例应用在提取股骨髓腔解剖轴线和胫骨髓腔解剖轴线，可以大大的提高准确性，降低全髋关节置换术中假肢的失败率。

进一步的，如图11所示，所述装置还包括：

第一获取单元35，用于获取第一训练样本，所述第一训练样本包括人工标注所述骨头区域的二维横断面图像；

第一训练单元36，用于根据第一训练样本训练得到预设的分割神经网络。

进一步的，如图11所示，所述装置还包括：

第二获取单元37，用于获取第二训练样本，所述第二训练样本包括人工标注所在层面属于的类别的二维横断面图像；

第二训练单元38，用于根据第二训练样本得到所述训练预设的分类神经网络。

进一步的，所述确定单元33，用于：

根据平面图像的质心公式确定髓腔层面的中心点。

进一步的，如图11所示，所述装置还包括：

处理单元39，用于在根据中心点计算公式确定所有髓腔层面的中心点之前，根据高阈值处理装置，对髓腔层面进行图像清晰化处理。

进一步的，所述骨头区域包括股骨区域和胫骨区域，所述分类单元32用于：

根据预设的分类神经网络对股骨、胫骨区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

具体的，本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述方法实施例中的基于深度学习的确定髓腔解剖轴线的方法。

根据本申请实施例，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述方法实施例中的基于深度学习的确定髓腔解剖轴线的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于深度学习的确定髓腔解剖轴线的方法，其特征在于，所述方法包括：

根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；

根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；

根据中心点计算公式确定所有髓腔层面的中心点；

对中心点进行直线拟合，确定髓腔解剖轴线；

所述骨头区域包括股骨区域和胫骨区域，所述骨头区域也包括髓腔层面和非髓腔层面，所述根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面包括：

根据预设的分类神经网络对股骨、胫骨区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

2.根据权利要求1所述的基于深度学习的确定髓腔解剖轴线的方法，其特征在于，所述方法还包括：

获取第一训练样本，所述第一训练样本包括人工标注所述骨头区域的二维横断面图像；

根据所述第一训练样本训练得到预设的分割神经网络。

3.根据权利要求1所述的基于深度学习的确定髓腔解剖轴线的方法，其特征在于，所述方法还包括：

获取第二训练样本，所述第二训练样本包括人工标注所在层面属于的类别的二维横断面图像；

根据所述第二训练样本训练得到所述预设的分类神经网络。

4.根据权利要求1所述的基于深度学习的确定髓腔解剖轴线的方法，其特征在于，所述根据中心点计算公式确定所有髓腔层面的中心点包括：

根据平面图像的质心公式确定髓腔层面的中心点。

5.根据权利要求1所述的基于深度学习的确定髓腔解剖轴线的方法，其特征在于，在根据中心点计算公式确定所有髓腔层面的中心点之前，所述方法还包括：

根据高阈值处理方法，对髓腔层面进行图像清晰化处理。

6.一种基于深度学习的确定髓腔解剖轴线的装置，其特征在于，所述装置包括：

分割单元，用于根据预设的分割神经网络对二维横断面图像进行分割处理，分割出与髓腔对应的骨头区域；

分类单元，用于根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面；

确定单元，用于根据中心点计算公式确定所有髓腔层面的中心点；

拟合单元，用于对中心点进行直线拟合，确定髓腔解剖轴线；

所述骨头区域包括股骨区域和胫骨区域，所述骨头区域也包括髓腔层面和非髓腔层面，所述根据预设的分类神经网络对所述骨头区域进行层面分类，分出髓腔层面包括：

根据预设的分类神经网络对股骨、胫骨区域进行层面分类，分出股骨髓腔层面和胫骨髓腔层面。

7.根据权利要求6所述的基于深度学习的确定髓腔解剖轴线的装置，其特征在于，所述装置还包括：

第一获取单元，用于获取第一训练样本，所述第一训练样本包括人工标注所述骨头区域的二维横断面图像；

第一训练单元，用于根据所述第一训练样本训练得到预设的分割神经网络。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任意一项所述的基于深度学习的确定髓腔解剖轴线的方法。

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任意一项所述的基于深度学习的确定髓腔解剖轴线的方法。

Images