CN106408085A

CN106408085A - 使用单隐层解决非线性问题的bp神经网络分类方法

Info

Publication number: CN106408085A
Application number: CN201610777655.9A
Authority: CN
Inventors: 崔维力; 赵伟; 李淼
Original assignee: TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Current assignee: TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2017-02-15

Abstract

本发明提出了一种使用单隐层解决非线性问题的BP神经网络分类方法及分类器，包括：建立BP神经网络模型，其中，所述BP神经网络模型采用单隐层前馈网络；对BP神经网络模型的输入端的权重参数进行优化；输入数据至所述BP神经网络模型与优化后的权重参数进行联合计算，最终在所述BP神经网络模型的输出端实现对数据的分类识别。本发明可以减小使用多隐层解决非线性可分问题所带来的资源消耗大，计算代价大等问题，提高神经网络的工作效率。

Description

使用单隐层解决非线性问题的BP神经网络分类方法

技术领域

本发明涉及神经网络技术领域，特别涉及一种使用单隐层解决非线性问题的BP神经网络分类方法。

背景技术

BP(Back Propagation)神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP神经网络分为单隐层前馈网络和多隐层前馈网络，其中单隐层前馈网络可也称作三层前馈网，即：输入层、中间层(也称隐层)和输出层。传统理论认为单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。

现有技术中，通常使用多隐层解决非线性可分问题，但该种方式虽然能解决非线性可分问题，却带来资源消耗大，计算代价大等问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种使用单隐层解决非线性问题的BP神经网络分类方法及分类器，可以减小使用多隐层解决非线性可分问题所带来的资源消耗大，计算代价大等问题，提高神经网络的工作效率。

为了实现上述目的，本发明的实施例提供一种使用单隐层解决非线性问题的BP神经网络分类方法及分类器，包括如下步骤：

步骤S1，建立BP神经网络模型，其中，所述BP神经网络模型采用单隐层前馈网络；

步骤S2，对BP神经网络模型的输入端的权重参数进行优化；

步骤S3，输入数据至所述BP神经网络模型与步骤S2中优化后的权重参数进行联合计算，最终在所述BP神经网络模型的输出端实现对数据的分类识别。

进一步，在所述步骤S1中，建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

进一步，所述加权函数为：

U＝x₁w₁+x₂w₂

其中，w₁和w₂为优化后的权重参数，x₁和x₂为输入数据。

本发明实施例还提出一种使用单隐层解决非线性问题的BP神经网络分类器，包括：模型建立模块，用于建立BP神经网络模型，其中，所述BP神经网络模型采用单隐层前馈网络；权重参数优化模块，用于对BP神经网络模型的输入端的权重参数进行优化，其中，由BP神经网络模型将输入数据与优化后的权重参数进行联合计算，最终在所述BP神经网络模型的输出端实现对数据的分类识别。

进一步，所述模型建立模块建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

进一步，所述加权函数为：

U＝x₁w₁+x₂w₂

其中，w₁和w₂为优化后的权重参数，x₁和x₂为输入数据。

根据本发明实施例的使用单隐层解决非线性问题的BP神经网络分类方法及分类器，本通过优化输入数据权重参数，使得输入端获得的数据，进入神经网络后，与优化后的权重参数进行联合计算，最终实现在输出端达到识别数据成功的效果。本发明采用单隐层BP神经网络解决非线性问题，优化权重参数的通用规划方法来构造分类器，使得一个计算层的BP神经网络就能解决线性不可分问题，减小使用多隐层解决非线性可分问题所带来的资源消耗大，计算代价大等问题，提高神经网络的工作效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的使用单隐层解决非线性问题的BP神经网络分类方法的流程图；

图2为根据本发明一个实施例的使用单隐层解决非线性问题的BP神经网络分类方法的示意图；

图3为根据本发明另一个实施例的使用单隐层解决非线性问题的BP神经网络分类方法的示意图；

图4为根据本发明实施例的权重参数优化的示意图；

图5为根据本发明实施例的使用单隐层解决非线性问题的BP神经网络分类器的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种使用单隐层解决非线性问题的BP神经网络分类方法及分类器，以优化输入数据权重参数为基础，只使用一层但隐层解决非线性可分问题，其中权重参数的规划和输入端数据定义就是本发明的核心要求。

下面首先对BP神经网络进行介绍。

人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。比较重要的一种神经网络是bp神经网络。

BP(Back Propagation)神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50％，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。

参考图1至图5所示，本发明实施例的使用单隐层解决非线性问题的BP神经网络分类方法及分类器，包括如下步骤：

步骤S1，建立BP神经网络模型，其中，BP神经网络模型采用单隐层前馈网络。

其中，建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

其中，加权函数为：

U＝x1w1+x2w2

F(u)＝{0,u<0.5；1,u>＝0.5}

其中，w1和w2为优化后的权重参数，x1和x2为输入数据。

步骤S2，对BP神经网络模型的输入端的权重参数进行优化。

在本发明的一个实施例中，规划后的权重参数是w1＝0.5，w2＝0.25

表1为输入和输出数据的的关系示意。图4为根据本发明实施例的权重参数优化的示意图。

Point	X1	X2	Desired output
				A0	0	0	0
A1	0	1	0
				B0	1	0	1
B1	1	1	1

表1

步骤S3，输入数据至BP神经网络模型与步骤S2中优化后的权重参数进行联合计算，最终在BP神经网络模型的输出端实现对数据的分类识别。

在本步骤中，在步骤S2的优化输入数据权重参数的基础上，实现在输出端达到识别数据成功的效果。

如图5所示，本发明还提出一种使用单隐层解决非线性问题的BP神经网络分类器，包括：模型建立模块1和权重参数优化模块2。

具体地，模型建立模块1用于建立BP神经网络模型。其中，BP神经网络模型采用单隐层前馈网络。

其中，模型建立模块1建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

其中，加权函数为：

U＝x1w1+x2w2

F(u)＝{0,u<0.5；1,u>＝0.5}

其中，w1和w2为优化后的权重参数，x1和x2为输入数据。

权重参数优化模块2用于对BP神经网络模型的输入端的权重参数进行优化。在本发明的一个实施例中，规划后的权重参数是w1＝0.5，w2＝0.25

然后，由BP神经网络模型将输入数据与优化后的权重参数进行联合计算，最终在BP神经网络模型的输出端实现对数据的分类识别。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims

1.一种使用单隐层解决非线性问题的BP神经网络分类方法，其特征在于，包括如下步骤：

步骤S2，对BP神经网络模型的输入端的权重参数进行优化；

2.如权利要求1所述的使用单隐层解决非线性问题的BP神经网络分类方法，其特征在于，在所述步骤S1中，建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

3.如权利要求2所述的使用单隐层解决非线性问题的BP神经网络分类方法，其特征在于，所述加权函数为：

U＝x₁w₁+x₂w₂

其中，w₁和w₂为优化后的权重参数，x₁和x₂为输入数据。

4.一种使用单隐层解决非线性问题的BP神经网络分类器，其特征在于，包括：

模型建立模块，用于建立BP神经网络模型，其中，所述BP神经网络模型采用单隐层前馈网络；

权重参数优化模块，用于对BP神经网络模型的输入端的权重参数进行优化，

其中，由BP神经网络模型将输入数据与优化后的权重参数进行联合计算，最终在所述BP神经网络模型的输出端实现对数据的分类识别。

5.如权利要求4所述的使用单隐层解决非线性问题的BP神经网络分类器，其特征在于，所述模型建立模块建立BP神经网络模型，包括：定义输入端数据、输出端数据和加权函数。

6.如权利要求4所述的使用单隐层解决非线性问题的BP神经网络分类器，其特征在于，所述加权函数为：

U＝x₁w₁+x₂w₂

其中，w₁和w₂为优化后的权重参数，x₁和x₂为输入数据。