CN110693486B

CN110693486B - 一种心电图的异常标注方法及装置

Info

Publication number: CN110693486B
Application number: CN201910923829.1A
Authority: CN
Inventors: 朱佳兵; 朱涛
Original assignee: Wuhan Zoncare Bio Medical Electronics Co ltd
Current assignee: Wuhan Zoncare Bio Medical Electronics Co ltd
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2022-06-14
Anticipated expiration: 2039-09-27
Also published as: CN110693486A

Abstract

本发明涉及心电异常识别技术领域，公开了一种心电图的异常标注方法，包括以下步骤：建立第一数据集，标注所述第一数据集中各样本数据的异常类型；以所述第一数据集作为样本数据对神经网络进行训练得到异常分类模型；建立第二数据集，标注所述第二数据集中各样本数据的异常类型以及异常区间；以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型；根据所述异常标注模型进行心电图的异常标注。本发明具有仅需少量异常位置标注的样本数据即可实现心电异常识别的技术效果。

Description

一种心电图的异常标注方法及装置

技术领域

本发明涉及心电异常识别技术领域，具体涉及一种心电图的异常标注方法及装置。

背景技术

神经网络模型的建立，离不开对大量带标注的高质量数据的训练。心电图，因信号弱，易受干扰的特点，加之心电图种类繁多，诊断标准的不统一，导致虽然临床上已积累了大量的心电图数据，但质量往往不高。将这些临床数据用于神经网络训练前，往往需要经过二次标注。而心电图的标注成本往往很大。据不完全统计，标注一条稍复杂的12导联10s心电图的异常类别，无需标注异常区间，临床医师平均耗时50s左右。如果需要标注出具体的异常区间，所需时间更长。基于上述的现实原因，现有的心电图标注往往仅给出异常类别，然后再利用深度学习技术构建一个端对端的模型，输出心电图异常类别。通过此方法构建的模型或系统，因为不可解释性，往往无法得到医生的认可，此外，由于仅仅给出了异常类别，对医生也无法起到辅助诊断的作用。如果要构建既能识别异常类别又能识别异常区间的模型，则需要大量既标注有异常类别又标注有异常区间的样本数据，但这类样本数据获取成本高。因此，样本数据量稀少，阻碍了深度学习技术在心电图异常区间定位上的应用。

发明内容

本发明的目的在于克服上述技术不足，提供一种心电图的异常标注方法及装置，解决现有技术中心电异常区间识别模型建立时样本数据标注成本高的技术问题。

为达到上述技术目的，本发明的技术方案提供一种心电图的异常标注方法，包括以下步骤：

建立第一数据集，标注所述第一数据集中各样本数据的异常类型；

以所述第一数据集作为样本数据对神经网络进行训练得到异常分类模型；

建立第二数据集，标注所述第二数据集中各样本数据的异常类型以及异常区间；

以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型；

根据所述异常标注模型进行心电图的异常标注。

本发明还提供一种心电图的异常标注装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述心电图的异常标注方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机存储介质被处理器执行时，实现所述心电图的异常标注方法。

与现有技术相比，本发明的有益效果包括：由于样本数据的异常类型标注较为容易，因此，本发明首先建立第一数据集，对第一数据集中各样本数据进行异常类型的标注，通过第一数据集进行神经网络训练得到异常分类模型。然后建立第二数据集，第二数据集既标注了异常类型又标注了异常区间，以第二数据集对异常分类模型进行迁移学习训练，得到异常标注模型，异常标注模型即可实现异常分类和异常区间的同时标注。由于本发明中异常标注模型是在异常分类模型的基础之上进行迁移学习得到的，其继承了异常分类模型的特征参数，因此具有一定的分类标注基础，对于第二数据集的数据量要求变小，我们仅需少量的第二数据集，辅以大量的第一数据集即可实现心电异常分类以及异常区间的较高精确度的标注。

附图说明

图1是本发明提供的心电图的异常标注方法一实施方式的流程图；

图2为采用本发明提供的心电图的异常标注方法进行异常标注一实施方式的标注结果图；

图3是本发明中异常标注模型进行更新的一实施方式的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了心电图的异常标注方法，以下简称本方法，包括以下步骤：

S1、建立第一数据集，标注所述第一数据集中各样本数据的异常类型；

S2、以所述第一数据集作为样本数据对神经网络进行训练得到异常分类模型；

S3、建立第二数据集，标注所述第二数据集中各样本数据的异常类型以及异常区间；

S4、以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型；

S5、根据所述异常标注模型进行心电图的异常标注。

本实施例中，首先，我们需要先训练异常分类模型，所使用的第一数据集中样本数据，可以是一导联、三导联或十二导联等的心电图数据，本实施例中第一数据集共包含的心电图异常类型及数量如下表所示：

本实施例中第一数据集共包含6877例12导联心电图样本数据，数据收集自11家医院，都经过了多位临床医生的标注和确认，长度6s到60s不等。通过第一数据集最终构建了一个基于CNN+RNN的异常分类模型。

样本数据经过CNN模型处理后，再将样本数据reshape，传入两个双向GRU网络，最后再经过两个全连接层，得到一个九分类的模型输出。

得到异常分类模型后，准备第二数据集，本实施例中第二数据集选用了自有的带异常区间标记的数据，为了与第一数据集更好的匹配，这里我们使用了各200条带异常区间标记的房颤、房性早搏和室性早搏数据，数据长度10s，采样率500Hz。对于房性早搏和室性早搏，我们标记的是发生早搏的心拍的起始位置，房颤标记的是房颤发作和终止的位置。

以第二数据集作为样本数据对异常分类模型进行迁移学习训练得到异常标注模型。异常分类模型为异常标注模型提供先验知识，也就是把最后一层的特征向量传递给异常标注模型，同时异常分类模型还用于对第二数据集进行分类，便于迁移学习训练。

针对心电图异常区间标注难，成本大的问题，本发明提出了一种基于少量心电图异常区间标注的样本数据，辅以大量心电图异常分类的样本数据，利用迁移学习实现异常标注模型建立，进而实现心电异常类型和异常位置的识别。因为异常区间定位的样本数据获取困难、数量少，如果直接采用随机初始化进行训练，数据量远远不够。因此本发明首先采用第一数据集，即仅标注有异常类别的数据集，进行预训练，得到异常分类网络，异常分类模型是作为中间过程，在继承异常分类模型某些层的参数的基础上，通过少量第二数据集，对异常分类模型进行参数微调，得到异常标注模型。异常分类模型为异常标注模型提供先验知识，降低训练要求和训练难度，因此迁移学习仅需较少的第二数据集进行训练即可得到异常标注模型，通过异常标注模型进行异常分类和异常区间识别。通过本方法，前期我们仅需少量的心电图异常区间标注样本数据，即第二数据集的样本数据需求量较少，再辅以大量的心电图异常分类标注样本数据，即第一样本数据集的样本数据需求量较多，就能得到异常标注模型，输出对心电图异常区间的精准定位。图2中示出了采用本发明提供的异常标注模型进行异常标注的结果，图2中带箭头的框所在位置即异常区间，框中A(80％)表示该异常区间的异常类别为A，异常概率为80％，本方法能实现既给出异常分类结论又给出异常位置标识的效果，实现了心电图的人工智能辅助诊断。

优选的，以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型，具体为：

对所述第二数据集中样本数据进行分区，得到多个第一候选区间；

计算每一所述第一候选区间与所述异常区间的IOU值，将IOU值大于第一设定阈值的第一候选区间设置为正样本，将IOU值不大于第二设定阈值的第一候选区间设置为负样本；

通过所述正样本以及所述负样本对所述异常分类模型进行迁移学习训练得到所述异常标注模型。

本优选实施例引入了IOU，即Intersection over Union的概念，IOU值是一种测量在特定数据集中检测相应物体准确度的一个标准。本发明通过IOU值来确定划分得到的多个第一候选区间中，哪些第一候选区间是正样本，即包含异常，哪些第一候选区间是负样本，即不包含异常，利于后续的训练。本实施例中第一设定阈值和第二设定阈值均为0.5。得到第一候选区间后，再计算第一候选区间与异常区间之间的IOU值，将IOU值大于0.5的设定为正样本，小于或等于0.5的设定为负样本，这样我们就得到了用于对异常分类模型进行迁移学习的样本数据。对异常分类模型进行迁移学习训练即可得到异常标注模型，由于通过了迁移学习，因此异常标注模型适用于第二数据集的异常分类以及异常标注。

优选的，对所述第二数据集中样本数据进行分区，得到多个第一候选区间，具体包括以下步骤：

对所述第二数据集中样本数据进行随机划分得到随机区间集合R；

计算所述随机区间集合中相邻区域的相似度，将相似度最高的相邻区域合并得到新区间，将新区间加入新区间集合；

移除所述随机区间集合中所述新区间集合的子集，并判断所述随机区间集合R是否为空，如果是，则输出所述新区间集合得到多个所述第一候选区间，否则转上一步骤，重复上一步骤直至随机区间集合为空。

对第二数据集，通过selective search方法得到相同数量大小不一的第一候选框，比如1000个。然后将其归一化为相同尺寸，比如213*213(单位：像素)。本优选实施例使用的是selective search，即选择性搜索方法进行第一候选区间的划分。选择性搜索方法先通过使用简单的区域划分算法，得到很多小的随机区间，再通过相似度不断的聚合相邻小随机区间，最后得到第一候选区间。

选择性搜索方法实际上解决的是异常区域定位问题，基本思想是在一张心电图上，按设定方向进行区间遍历，例如从心电图的左上方区间、右上方区间，然后到左下方区间、右下方区间，搜寻区间。异常分类模型以及异常标注模型实现的都是分类，就是输出异常类别的概率，并没有实现定位，而将心电图划分为多个候选区间后，再输入异常标注模型，即可确定某个区间是否有异常，判断该异常属于哪一类，实现心电图上的异常定位。

应该理解的，也可以采用其它的生成无关候选区间的方法生成第一候选区间，如constrained parametric min-cuts(CPMC)和multi-scale combinatorial grouping方法等。

优选的，通过所述正样本以及所述负样本对所述异常分类模型进行迁移学习训练得到所述异常标注模型，具体为：

保留所述异常分类模型中除最后一层外的其它层的参数，作为初始化参数，修改所述最后一层的分类层数为所述第二数据集的异常类型数量，并对所述最后一层进行随机初始化，得到初始网络；

利用所述正样本以及所述负样本对所述初始网络进行训练得到所述异常标注模型。

本实施例中第一数据集包括共九种异常类别，因此异常分类模型为九分类网络；第二数据集包括共三种异常类别，因此异常标注模型为三分类网络。因此，保留异常分类模型最后一层前的参数，作为初始化参数，将最后一层的分类层数由9修改为3，同时将最后一层的参数随机初始化，得到初始网络，通过正样本以及负样本进行训练得到异常标注模型。

具体的，还可将异常分类模型中的最后一层的分类层数修改为第二数据集的异常类型矢量加1，多加的一层1表示背景层，可以理解为第二数据集中没有出现的其他类异常类别，然后将正样本以及负样本作为修改后的异常分类模型的输入，微调异常分类模型，训练后得到微调后的异常分类模型，即异常标注模型。

优选的，以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型，还包括：

通过所述异常标注模型对所述第二数据集进行异常分类，得到不同类别的数据子集，并提取所述异常标注模型的最后一层的特征向量；

将所述特征向量传递至多个adboost二分类网络，将每一类数据子集分别送入一所述adboost二分类网络进行训练，得到修正后的异常标注模型。

将第二候选区间集输入异常标注模型后，会得到异常标注模型的特征向量，提取最后一层即全连接层的特征向量，同时得到所有第二候选区间所属的心电异常类别，本实施例中异常标注模型输出的心电异常类别包括房颤、房性早搏、室性早搏三种。根据异常标注模型的分类结果将第二候选区间划分为房颤和非房颤、房性早搏和非房性早搏、室性早搏和非室性早搏三个数据子集，将特征向量送入三个adboost二分类网络，将三个数据子集分别送给三个adboost二分类网络进行训练，得到修正后的异常标注模型。修正后的异常标注模型进行心电图异常识别时，会输出三个分别表示房颤、房性早搏、室性早搏的概率值，将三者中概率最大，且概率值>0.5的作为最终的识别结果。

因此，本优选实施例中通过迁移学习得到的未经修正的异常标注模型只是作为中间过程，未经修正的异常标注模型实际上没有用于最终的异常，它只是训练，得到特征向量，该特征向量传递给adboost二分类网络，为adboost二分类网络提供先验知识，降低训练要求和训练难度，再次训练得到修正后的异常标注模型用来进行异常分类和异常识别。

优选的，通过所述异常标注模型对所述第二数据集进行异常分类，得到不同类别的数据子集，具体为：

对所述第二数据集中样本数据进行分区，得到多个第二候选区间；

计算每一所述第二候选区间与所述异常区间的IOU值，将IOU值大于第三设定阈值的候选区间设置为正例，将IOU值小于第四设定阈值的候选区间设置为负例，所述第三设定阈值大于所述第一设定阈值，所述第四设定阈值小于所述第二设定阈值；

将所述正例以及所述负例输入所述异常标注模型进行异常分类，得到不同类别的所述数据子集。

对第二数据集中样本数据进行分区，得到多个第二候选区间。第二候选区间与第一候选区间可采用同样方法生成，例如可采用selective search、constrainedparametricmin-cuts、multi-scale combinatorial grouping方法等。

生成第二候选区间后，按照第三设定阈值为0.2、第四设定阈值为0.8重新给候选框打标签，小于0.2的设定为负例，大于0.8的设定为正例，得到第二候选区间集。将第二候选区间集输入异常标注模型后，提取最后一层即全连接层的特征向量，同时得到所有第二候选区间所属的心电异常类别，本实施例中异常标注模型输出的心电异常类比额包括房颤、房性早搏、室性早搏三种。根据异常标注模型的分类结果将第二候选区间划分为房颤和非房颤、房性早搏和非房性早搏、室性早搏和非室性早搏三个数据子集，将三个数据子集分别送给三个adboost二分类网络，进行训练得到修正后的异常标注模型。

因为异常标注模型是基于CNN网络进行迁移学习训练得到，而CNN网络训练需要的样本量大，所以在训练时，对IOU设置的比较宽松，直接以IOU值为0.5为界限进行正样本和负样本的划分，因而迁移学习训练得到的异常标注模型检测精度不高。但是如果一开始就直接使用比较严格的划分方式进行正样本和负样本的划分，比如IOU值<0.2的第一候选框为负样本，IOU值>0.9的第一候选框为正样本，IOU值介于0.2和0.9之间的第一候选框舍弃不用，这样训练的样本数据又不够用，容易出现过拟合。所以本优选实施例中，先通过粗略的划分方式划分出第一候选区间进行训练，得到较为粗略的异常标注模型。然后通过粗略的异常标注模型先对第二数据集进行分类，对不同类别的数据子集进行划分得到不同异常类别的正例和负例，然后将每一类异常类别的正样本和负样本分别送入一个adboost二分类网络，adboost二分类网络训练可以只用少量的样本，所以该阶段的IOU设置比较严格，本实施例中IOU值大于0.9才设定为正例，得到较为少量和精确的训练样本，通过正例、负例对adboost二分类网络进行训练，实现对异常标注模型的修正，使得修正后的异常标注模型识别精度更高。

优选的，根据所述异常标注模型进行心电图的异常标注，具体为：

将心电图划分为多个待标注区域，将各所述待标注区域分别输入所述异常标注模型得到所述心电图的异常类型以及异常区间。

将心电图划分为多个待标注区域，也可采用与第一候选区间、第二候选区间同样的方法划分生成，例如可采用selective search、constrained parametric min-cuts、multi-scale combinatorial grouping方法等。心电图、第一候选区间、第二候选区间的划分优选采用同一种方法实现。

优选的，如图3所示，根据所述异常标注模型进行心电图的异常标注，还包括：

对所述异常标注模型的标注结果进行人工校正，将人工校正后的心电图作为反馈样本数据对所述异常标注模型进行再次训练得到更新后的异常标注模型。

本优选实施例，在异常标注模型使用的过程中，将输出的识别结果再由临床医生对异常区间标注进行人工校正，校正后的异常区间作为样本数据自动反馈给异常标注模型，进行异常标注模型的再次训练，输出更准确的更新后的异常标注模型，从而不断提高后续异常标注模型的异常定位准确度，使得医生后续的异常区间标注的任务量不断降低，渐近式的大幅度降低心电异常区间标注的难度和成本。

实施例2

本发明的实施例2提供了心电图的异常标注装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现以上实施例提供的心电图的异常标注方法。

心电图的异常标注方法具体包括以下步骤：

根据所述异常标注模型进行心电图的异常标注。

本发明实施例提供的心电图的异常标注装置用于实现心电图的异常标注方法，因此，上述心电图的异常标注方法所具备的技术效果，心电图的异常标注装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机存储介质被处理器执行时，实现以上实施例提供的心电图的异常标注方法。

心电图的异常标注方法具体包括以下步骤：

根据所述异常标注模型进行心电图的异常标注。

本发明实施例提供的计算机存储介质用于实现心电图的异常标注方法，因此，上述心电图的异常标注方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims

1.一种心电图的异常标注装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现一种心电图的异常标注方法，所述方法包括以下步骤：

根据所述异常标注模型进行心电图的异常标注；

以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型，具体为：

计算每一所述第一候选区间与所述异常区间的IOU值，将IOU值大于第一设定阈值的第一候选区间设置为正样本，将IOU值小于第二设定阈值的第一候选区间设置为负样本；

2.根据权利要求1所述的心电图的异常标注装置，其特征在于，对所述第二数据集中样本数据进行分区，得到多个第一候选区间，具体包括以下步骤：

对所述第二数据集中样本数据进行随机划分得到随机区间集合；

计算所述随机区间集合中相邻区域的相似度，将相似度最高的相邻区域合并后加入新区间集合；

移除所述随机区间集合中所述新区间集合的子集，并判断所述随机区间集合是否为空，如果是，则输出所述新区间集合得到多个所述第一候选区间，否则转上一步骤。

3.根据权利要求1所述的心电图的异常标注装置，其特征在于，通过所述正样本以及所述负样本对所述异常分类模型进行迁移学习训练得到所述异常标注模型，具体为：

4.根据权利要求1所述的心电图的异常标注装置，其特征在于，以所述第二数据集作为样本数据对所述异常分类模型进行迁移学习训练得到异常标注模型，还包括：

5.根据权利要求4所述的心电图的异常标注装置，其特征在于，通过所述异常标注模型对所述第二数据集进行异常分类，得到不同类别的数据子集，具体为：

计算每一所述候选区间与所述异常区间的IOU值，将IOU值大于第三设定阈值的候选区间设置为正例，将IOU值小于第四设定阈值的候选区间设置为负例，所述第三设定阈值大于所述第一设定阈值，所述第四设定阈值小于所述第二设定阈值；

6.根据权利要求1所述的心电图的异常标注装置，其特征在于，根据所述异常标注模型进行心电图的异常标注，具体为：

7.根据权利要求1所述的心电图的异常标注装置，其特征在于，根据所述异常标注模型进行心电图的异常标注，还包括：

8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机存储介质被处理器执行时，实现如权利要求1-7任一所述心电图的异常标注方法。