CN115019149B

CN115019149B - 一种基于模型解释结果的零样本识别方法

Info

Publication number: CN115019149B
Application number: CN202210924151.0A
Authority: CN
Inventors: 姚晨; 孟楠; 刘敬一; 陈金勇
Original assignee: CETC 54 Research Institute
Current assignee: CETC 54 Research Institute
Priority date: 2022-08-03
Filing date: 2022-08-03
Publication date: 2022-11-11
Anticipated expiration: 2042-08-03
Also published as: CN115019149A

Abstract

本发明属于零样本识别领域，提供一种基于模型解释结果的零样本学习方法，方法首先对已经完成训练网络的前向传播过程进行分析，结合语义得到对各类属性敏感的神经元位置编码向量。之后利用专家知识获取零样本所具有的属性，通过对位置编码向量进行处理从而获得零样本所对应的位置编码向量。当新的类别输入到网络中后，将其位置编码向量同专家知识转化的位置编码向量进行判断。此方法相较于从大量数据与小样本数据中提取特征再生成小样本类数据的传统方法，结合了指挥决策人员的专家知识，避免了盲目甚至无效学习，同时利用了深度神经网络中可解释的隐语义部分内容，最终不仅网络可解释性更强，网络输出也更快，结果也更准确。

Description

一种基于模型解释结果的零样本识别方法

技术领域

本发明属于零样本识别领域，尤其涉及一种基于模型解释结果的零样本识别方法。

背景技术

随着我军装备的快速发展，有诸多新型海空装备产生，给目标的属性研判、意图识别、趋势研判等带来了巨大压力。传统机器学习模型需要大量样本对相应目标典型特征进行训练学习，当缺乏足够数量样本支撑时，研判准确率低。且传统机器学习模型是黑盒的，使研判人员难以参与深度学习整个过程，导致难以将专家知识转化为深度学习模型对零样本潜在特征的认知。

将决策指挥人员的专家知识提炼成规则一直是零样本识别的研究重点。传统做法中将决策指挥人员的专家知识直接与输入关联，基于已有的大数据集情报数据和少量的新类情报数据，提取新类特征后通过大数据集生成大量新类的情报数据,以防止过拟合。这种方法对专家知识所提供信息的丰富程度要求高，在处理图像类输入样本时还需对数据生成进行构建，使得网络结构更加复杂，“黑盒”模型更加难以解释。将专家知识提炼成规则一直是小样本、零样本类问题的研究重点。

发明内容

有鉴于此，本发明提出一种基于模型解释结果的零样本识别方法，解决专家知识无法作用于深度学习模型导致零样本目标研判预测精度低的问题,将黑盒的深度学习模型转化为了人在回路的情报分析研判模型,实现了对无样本支撑下的海空目标高精度的分析研判。

为了实现上述目的，本发明采用了如下技术方案：

一种基于模型解释结果的零样本识别方法，包含如下步骤：

（1）对已训练好的深度神经网络，在各类测试样本输入网络进行仿真时，将信号的前向传播过程展开，得到对各类语义敏感的神经元所在位置；

（2）按照各类语义敏感神经元所在网络层数以及所在层中的位置顺序对敏感神经元进行编号，形成与各类语义一一对应的神经元状态编码向量；

（3）根据专家知识，对零样本隐含的语义特征进行研究判断，根据各类语义一一对应的神经元状态编码向量关系，并依据零样本对应的神经元状态编码规则，形成各类零样本神经元编码向量库；

（4）当一个新的输入进入深度神经网络中时，计算新输入对应的神经元状态编码向量与根据专家知识建立的各类零样本神经元编码向量库中所有向量的距离，当与其中距离最近的向量距离小于某一特定阈值时，判断出新输入所属的零样本类型；当与其中距离最近的向量距离仍大于某一特定阈值时，通过深度神经网络直接得到识别结果。

进一步的，步骤（2）具体包括如下步骤：

（201）将各网络层及各层内神经元按照输入先后顺序编号；

（202）按照步骤（201）中顺序进行排序形成位置向量，将位置向量中对各类语义敏感的神经元对应位置赋值为1，非敏感神经元对应位置赋值为0，形成与各类语义一一对应的神经元状态编码向量。

进一步的，步骤（3）具体包括如下步骤：

（301）利用高价值的专家知识，将各类零样本的识别转化为对特定语义的识别；

（302）制定零样本对应的神经元状态编码规则，即通过多个神经元状态编码向量对应位置取并集的方式得到同时具备多种语义的零样本对应神经元状态编码向量；

（303）根据与各语义一一对应的神经元状态编码向量及零样本对应的神经元状态编码规则，将专家知识所认知的零样本语义转化为相应神经元状态编码向量，形成各类零样本神经元编码向量库。

本发明的有益效果在于：

本发明从结合深度学习模型解释后的各神经元所代表的语义内容，构建语义维度丰富的语义空间。基于向量匹配技术，确定目标的类别、属性、意图、趋势等信息，解决专家知识无法作用于深度学习模型导致零样本目标研判预测精度低的问题，将黑盒的深度学习模型转化为了人在回路的情报分析研判模型，实现了对无样本支撑下的海空目标高精度的分析研判。

附图说明

图1是本发明实施例方法的流程图。

图2是本发明实施例中语义与专家知识的新类别神经元状态向量构建示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于模型解释结果的零样本识别方法，包含如下步骤：

（2）按照各类语义敏感神经元所在网络层数以及所在层中的位置顺序对敏感神经元进行编号，形成与各类语义一一对应的神经元状态编码向量；具体包括如下步骤：

（201）将各网络层及各层内神经元按照输入先后顺序编号；

（3）根据专家知识，对零样本隐含的语义特征进行研究判断，根据各类语义一一对应的神经元状态编码向量关系，并依据零样本对应的神经元状态编码规则，形成各类零样本神经元编码向量库；具体包括如下步骤：

（303）如图2所示，根据与各语义一一对应的神经元状态编码向量及零样本对应的神经元状态编码规则，将专家知识所认知的零样本语义转化为相应神经元状态编码向量，形成各类零样本神经元编码向量库。

实施例

下面以某型号舰船检测任务这个小样本数据为例，详细阐述次过程。此类样本数量较少，输入深度神经网络中很容易造成网络过拟合，即对输入的几张训练样本图像可以得到准确的预测结果，但在测试样本上效果很很差。

首先使用数据集中大量其他型号舰船数据训练网络，得到训练完成的深度神经网络。将旧的样本数据输入训练后网络中，记录输入前向传播过程中深度神经网络里每层神经元的输出，通过隐空间神经元解耦方法，将敏感神经元的所在层数及位置记录。例如，对于雷达敏感的神经元分别位于网络中第3层第5个位置、第4层第1个位置、第5层第22个位置与第6层第64个位置，则将（3，5），（4，1），（5，22），（6，64）进行记录；对于船头敏感的神经元分别位于网络中第5层第12个位置、第7层第11个位置、第13层第22个位置与第32层第45个位置，则将（5，12），（7，11），（13，22），（32，45）进行记录；则神经元状态编码向量长度应为8，顺序分别对应（3，5），（4，1），（5，12），（5，22），（6，64），（7，11），（13，22），（32，45）。对于不同的船头与雷达样式组合，也会有一一对应的状态编码向量。当某型号舰船的小样本输入到网络中，将前向传播过程中位置为（3，5），（4，1），（5，12），（5，22），（6，64），（7，11），（13，22），（32，45）的神经元输出进行保存，并由此添加新规则：当网络中位置为（3，5），（4，1），（5，12），（5，22），（6，64），（7，11），（13，22），（32，45）的神经元输出组成的向量与规则中的向量距离小于α（α为试验得出）时，判断输入为某型号舰船。

本发明从结合深度学习模型解释后的各神经元所代表的语义内容，构建语义维度丰富的语义空间。基于前向传播分析和神经元编码技术实现零样本在模型运行中所激活神经元的确定，生成零样本所包含的语义特征向量。基于专家知识形成零样本目标的多维属性语义的组合，基于向量编辑技术将属性语义组合转化为计算机可以认知的语义空间特征向量。基于向量匹配技术，确定目标的类别、属性、意图、趋势等信息，解决专家知识无法作用于深度学习模型导致零样本目标研判预测精度低的问题，将黑盒的深度学习模型转化为了人在回路的情报分析研判模型，实现了对无样本支撑下的海空目标高精度的分析研判。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于模型解释结果的零样本识别方法，其特征在于，包含如下步骤：

（1）对已训练好的深度神经网络，在各类测试样本输入网络进行仿真时，将信号的前向传播过程展开，得到对船头类型和雷达类型各类语义敏感的神经元所在位置；

（2）按照各类语义敏感神经元所在网络层数以及所在层中的位置顺序对敏感神经元进行编号，形成与船头类型和雷达类型各类语义一一对应的神经元状态编码向量；

（3）根据专家知识，对零样本隐含的语义特征进行研究判断，根据船头类型和雷达类型各类语义一一对应的神经元状态编码向量关系，并依据零样本对应的神经元状态编码规则，形成已知样本库中不存在的船头类型及雷达类型各类零样本神经元编码向量库；

（4）当一个新的船舶样本输入进入深度神经网络中时，计算新输入对应的神经元状态编码向量与根据专家知识建立的各类零样本神经元编码向量库中所有向量的距离，当与其中距离最近的向量距离小于某一特定阈值时，判断出新输入所属的零样本类型；当与其中距离最近的向量距离仍大于某一特定阈值时，通过深度神经网络直接得到船舶样本识别结果。

2.根据权利要求1所述的一种基于模型解释结果的零样本识别方法，其特征在于，步骤（2）具体包括如下步骤：

（201）将各网络层及各层内神经元按照输入先后顺序编号；

（202）按照步骤（201）中顺序进行排序形成位置向量，将位置向量中对船头类型和雷达类型各类语义敏感的神经元对应位置赋值为1，非敏感神经元对应位置赋值为0，形成与船头类型和雷达类型各类语义一一对应的神经元状态编码向量。

3.根据权利要求1所述的一种基于模型解释结果的零样本识别方法，其特征在于，步骤（3）具体包括如下步骤：

（301）利用高价值的专家知识，将未知船头类型和雷达类型各类零样本的识别转化为对特定语义的识别；

（302）制定零样本对应的神经元状态编码规则，即通过多个神经元状态编码向量对应位置取并集的方式得到同时具备某类船头类型和某类雷达类型零样本对应神经元状态编码向量；

（303）根据与船头类型和雷达类型各语义一一对应的神经元状态编码向量及零样本对应的神经元状态编码规则，将专家知识所认知的零样本语义转化为相应神经元状态编码向量，形成各类零样本神经元编码向量库。