CN109961093B - 一种基于众智集成学习的图像分类方法 - Google Patents

Abstract

本发明涉及一种基于众智集成学习的图像分类方法，本发明采用的技术方案为一种基于集成学习的方法来提高图像分类的准确性的方法。改变了传统的svm训练方式，将传统svm与随机森林的思想进行了结合，使最终预测结果，更加具有鲁棒性，更可靠。针对从某医院内分泌科的系统数据库收集的面部数据集，对于面部图像检测任务的正确分类率，综合分类器的最佳性能为88.1％。证明了该集成学习方法可以实现面部图像的分类，在其他场景图像数据集中，本方法也得到了很好的效果。

Description

一种基于众智集成学习的图像分类方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于集成学习的图像分类方法。本发明能够便于对图像进行分类，分类步骤简单，便于实现，且能够提高分类精确度，避免出现分类误差，方法简单，使用方便。

背景技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。即是一个输入图像，输出对该图像内容分类的描述的问题。它是计算机视觉的核心，实际应用广泛。图像分类的传统方法是特征描述及检测，这类传统方法可能对于一些简单的图像分类是有效的，但由于实际情况非常复杂，传统的分类方法不堪重负。现在，我们不再试图用代码来描述每一个图像类别，决定转而使用机器学习的方法处理图像分类问题。随着互联网的快速发展以及计算机的快速发展，数字图像的获取也变得越来越容易。因此，可用的数字图像正快速地增长并且在越来越多的行业中得到应用。图像分类技术是一种辅助用户高效地获取期望图像的方法，同时也是很多与图像相关的人机交互系统取得成功的基础，如人脸识别系统、推荐系统等。特别是现在深度学习在图像处理的应用更是广泛，但是其可解释性差，特别是处理小样本问题很难适用。

在本发明中，我们采用了一种图像分类的集成学习框架，其中将多种异构学习模型相结合以更精确地进行图像分类。集成学习的基本过程是构建多个基础学习模型并将它们结合起来解决同样的问题。如果每个基础学习模型都被视为专家，那么多个专家可能比任何单个专家都好，前提是他们的个人判断是合适的。由于集成思想对于降低基础学习模型的学习偏见具有很大的潜力，所以它在许多分类任务中可以表现出更好的性能，在任何单一的基本模型中。

针对现有的图像分类方法大多不能够根据特征点对图像进行分类，且不能够根据需要随时对分类条件进行修改，导致使用不便，因此，我们提出了一种基于众智集成学习的图像分类方法用于解决上述问题。

发明内容

考虑到上述问题，本发明提出了一种基于众智集成学习的图像分类方法。集成算法包括bagging与boosting类的多种算法。其中运行效果较好的是随机森林方法，解决了决策树的过拟合问题，并且提高了模型的鲁棒性，发挥了较好的作用。集成算法在单一算法的基础上有了一些进步，但是也存在自身的弊端。例如随机森林在解决分类问题时，效果并那么理想。尤其是在处理小样本数据的时候，效果也是不甚满意。本发明改变了传统的svm训练方式，将传统svm与随机森林的思想进行了结合，使最终预测结果，更加具有鲁棒性，更可靠。同时，svm本身就适用于高维数据，大型特征空间的训练，在小样本数据上表现较好。

在传统svm的基础上，本发明选择了以下核函数：分别是高斯(RBF)核函数、拉普拉斯(Laplace)核函数、多项式核函数(Polynomial和PolyPlus)。实现该方法的核心过程在于样本与特征集合的构建并与最终svm的结合上。传统的svm模型对于特征与样本集合不做太多的筛选与判断，对于整个样本集合都选择直接放入模型中进行训练。基于随机森林的思想，本发明考虑在模型训练的过程中，组成多个不同的样本集与特征集并且结合传统的svm模型进行训练。将训练得到的多个svm模型，通过核函数的调参，选取每个模型的最优参数，利用多个分类器的预测结果进行多数投票，得到最终的预测结果。

附图说明

图1为本发明中涉及的模型结构示意图，该模型包括面部图像预处理，通过PCA和KPCA技术进行特征提取，基础模型的构建和集成分类器的模型构建。

图2为本发明特征选择后的示意图。

具体实施方式

基于众智集成学习的图像分类方法的操作过程包括：

步骤1，获取带有标注的图像数据集，进行图像预处理操作；

步骤2，对预处理后的数据集进行特征提取和选择；

步骤3，进行基础学习模型的构建；

步骤4，多个基础模型的集合；

以下对每个步骤进行详细说明：

(1)图像预处理：该步骤首先对图像进行重命名，然后通过目标检测对原始图像进行归一化，包括尺寸归一化、增强光照操作，并将其转换为灰度图像。

(2)特征选择：通过对每幅灰度图像进行主成分分析PCA和核PCA，提取出保留95％以上信息量的特征。

(3)基础学习模型构建：采用了一种基础学习模型，即使用支持向量机来构建基础分类器，并使用不同的核函数：高斯核函数、拉普拉斯核函数、多项式核函数Polynomial和PolyPlus。通过对核函数的调参，增加模型的多样性。

(4)多个基本学习模型的集合：主要使用随机森林和和svm的结合，将随机森林的思想运用于svm中。

与现有技术相比，本发明具有以下的特点：

本发明所述方法实现简单，性能更优。直接通过图像来初步对其进行分类，相比于传统的机器学习方法，提高了分类准确率。

通过结合多种学习模型，集成学习比任何组成学习模型都有更大的潜力实现更精确的分类。本发明结合集成学习框架改善图像分类。分类器对最终判别判断非常关键。SVM是近年来非常流行的分类器，它具有完备的理论，且具有最大间隔可以推广错误率降低。为了实现分类器多样性，使用集成学习技术得到高质量分类结果的关键，对数据集进行随机抽取样本和特征。对于随机训练集，使用30个基础学习模型，即支持向量机来构建基础分类器。

第一、基础分类器：

获取带有标注的图像数据集，使用K折交叉验证方法来评估分类器的性能。K折交叉验证能以1/K的效率降低模型的方差，从而提高模型的泛化能力，通俗地说，我们期望模型在训练集的多个子数据集上表现良好，要胜过单单在整个训练数据集上表现良好。所有的图像被等分成K个子集，每个子集包含其中的三分之一的图像。每次实验中，选择K-1个子集作为训练集，剩余一个子集作为测试集，执行基本分类器。本发明中通过两种特征提取方法，即PCA、KPCA特征和基础分类器SVM的组合，一共建立五种独立的基础分类器，分别使用svm、pca、kpca、pca和svm、kpca和svm五种方法进行K折交叉验证评估分类性能。在此图像分类方法中更推荐使用PCA_SVM，并且在svm中使用高斯核函数。

第二、多数投票：

随机森林生长许多分类树。要从输入向量中分类新对象，请将输入向量放在林中的每个树下。每棵树给出一个分类，并且我们说这棵树为那个分类“投票”。森林选择票数最多的分类，在森林中的所有树上。随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。本发明改变了传统随机森林的思想，训练多个svm模型，对其最终的预测结果进行多数投票。

本发明中一共包含N个样本，其中实验组：a张，对照组：b张，然后将预处理后的每张灰度图像展开成M*M，此处预处理归一化后图像的尺寸为M维向量的形式。接下来，一共构建30个子训练集，每个子训练集的构建过程如下：

(1)从N个训练集中，以1：5的比例随机选择j个正样本和k个负样本作为子训练样本，并将剩余数据集用作子测试样本；

(2)主成分分析PCA和核主成分分析KPCA用于减少样本维度，并使用Wy+μ方法对其进行重构，仅选择那些通过保留95％以上的信息量的向量。由于归一化后的数据矩阵X＝[x1,x2,…,xN]，其中xi是长度为M的列向量。PCA主要通过计算X的协方差矩阵，然后对其进行对角化，寻找协方差矩阵的特征向量，取特征值大的方向上的向量。同理，KPCA利用核函数在原空间进行计算，求得核矩阵的特征值和特征向量，将特征值按升序排列，找出包含95％以上信息量的特征值对应的特征向量。在这个阶段，KPCA的核函数包括高斯，拉普拉斯算子和多项式核。设定随机参数f，从降维后的特征维度中，随机选择f维特征进行训练，f的取值一般取p，q最小值的三分之二以上。最终对于影响实验的特征，需要实验对比确定参数f。

(3)然后我们从(2)中降维后的特征向量中随机选择不低于其70％的特征进行对比训练，最终确定影响分类结果的特征维数。

(4)最后训练30个SVM模型，通过核函数的调参，选取每个模型的最优参数。每个核函数的参数范围如下：高斯核函数为2^-8～2^8，步长为-8:1:8，拉普拉斯核函数为2^-8～2^8，步长为-8:1:8，多项式核函数分别是Polynomial为2～18，步长为1，PolyPlus设置r＝1，d的范围是2～18，步长为1。对于每一个模型而言，进行四个核函数的训练，选取最大的准确率和f1-score值对应的核函数及参数，构建核基础分类器。利用30个分类器的预测结果进行多数投票，得到最终的预测结果。

Claims (2)

1.一种基于众智集成学习的图像分类方法，其特征在于包括：

(1)图像预处理：获取带有标注的图像数据集，该步骤首先对图像进行重命名，然后通过目标检测对原始图像进行归一化，包括尺寸归一化、增强光照操作，并将其转换为灰度图像；

(2)特征选择：通过对每幅灰度图像进行主成分分析PCA和核PCA，提取出保留95％以上信息量的特征；

(3)基础学习模型构建：采用了一种基础学习模型，即使用支持向量机来构建基础分类器，并使用不同的核函数：高斯核函数、拉普拉斯核函数、多项式核函数Polynomial和PolyPlus；通过对核函数的调参，增加模型的多样性；

(4)多个基本学习模型的集合：使用随机森林和svm的结合，对数据集进行随机抽取样本和特征；对于随机训练集，使用30个基础学习模型，即支持向量机来构建基础分类器；

第一、基础分类器：

获取带有标注的图像数据集，使用K折交叉验证方法来评估分类器的性能；所有的图像被等分成K个子集，每个子集包含其中的三分之一的图像；每次实验中，选择K-1个子集作为训练集，剩余一个子集作为测试集，执行基本分类器；通过两种特征提取方法，即PCA、KPCA特征和基础分类器SVM的组合，一共建立五种独立的基础分类器，分别使用svm、pca、kpca、pca和svm、kpca和svm五种方法进行K折交叉验证评估分类性能；

第二、多数投票：

一共包含N个样本，其中实验组：a张，对照组：b张，然后将预处理后的每张灰度图像展开成M*M，此处预处理归一化后图像的尺寸为M维向量的形式；接下来，一共构建30个子训练集，每个子训练集的构建过程如下：

(1)从N个训练集中，以正样本：负样本＝1：5的比例随机选择j个正样本和k个负样本作为子训练样本，并将剩余数据集用作子测试样本；

(2)主成分分析PCA和核主成分分析KPCA用于减少样本维度，并使用xi＝Wy+μ算式对其进行重构，仅选择那些通过保留95％以上的信息量的向量；重构后的向量xi，归一化后组成数据矩阵X，归一化后的数据矩阵表示为X＝[x1,x2,…,xN]；PCA通过计算X的协方差矩阵，然后对其进行对角化，寻找协方差矩阵的特征向量，取特征值大的方向上的向量；同理，KPCA利用核函数在原空间进行计算，求得核矩阵的特征值和特征向量，将特征值按升序排列，找出包含95％以上信息量的特征值对应的特征向量；在这个阶段，KPCA的核函数包括高斯，拉普拉斯算子和多项式核；设定随机参数f，从降维后的特征维度中，随机选择f维特征进行训练，f的取值取p，q最小值的三分之二以上；

(3)然后从(2)中降维后的特征向量中随机选择不低于其70％的特征进行对比训练，最终确定影响分类结果的特征维数；

(4)最后训练30个SVM模型，通过核函数的调参，选取每个模型的最优参数；对于每一个模型，进行四个核函数的训练，选取最大的准确率和f1-score值对应的核函数及参数，构建核基础分类器；利用30个分类器的预测结果进行多数投票，得到最终的预测结果。

2.根据权利要求1所述的方法，其特征在于步骤(4)中：

每个核函数的参数范围如下：高斯核函数为2^-8～2^8，步长为-8:1:8，拉普拉斯核函数为2^-8～2^8，步长为-8:1:8，多项式核函数分别是Polynomial为2～18，步长为1，PolyPlus设置r＝1，d的范围是2～18，步长为1。

Images