CN111415009B - 基于遗传算法的卷积变分自编码器网络结构搜索方法 - Google Patents

Abstract

本发明公开了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计自动化，并获得比人为设计的网络结构更优的性能。本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。

Description

基于遗传算法的卷积变分自编码器网络结构搜索方法

技术领域

本发明涉及网络结构搜索技术领域，具体涉及基于遗传算法的卷积变分自编码器网络结构搜索方法。

背景技术

当前，随着神经网络的再次复兴与深度学习的日渐成熟，越来越多的传统机器学习邻域开始大量运用深度神经网络来提升算法的性能。其中，变分自编码器(VariationalAuto-Encoder,VAE)作为一种无监督的生成式神经网络模型，对于复杂原始分布的数据具有很强的学习与建模能力，在自然图像，文本以及语音等方面的处理中，都能看到结合变分自编码器的相关应用。随着深度神经网络方法的大范围应用，针对神经网络的结构搜索(Network Architecture Search,NAS)，逐渐成为一个热门的方向。一般而言，传统的网络结构设计主要是依赖相关研究人员自己实际的经验，根据网络具体的效果来对网络的结构进行试错调整，以手动的方式找到一个比较理想的网络结构。这种方式存在以下主要问题：一个是严重依赖实验者本身在深度学习邻域的经验，不利于深度神经网络的大规模推广；二是由于深度神经网络层数多、结构复杂，参数规模大，不能保证设计的网络结构最优性。

为了使得网络的搜索可以更加自动化与智能化，学术界提出了许多针对特定任务的深度神经网络结构自动化算法，这些算法主要分为基于演化计算(EvolutionaryComputation,EC)的方法和基于强化学习(Reinforce Learning,RL)的方法。目前这些方法主要应用在卷积神经网络的结构搜索中，而相关针对卷积变分自编码器(ConvolutionalVariational Auto-Encoder,CVAE)的网络结构搜索研究较少，本发明提出了非对称的卷积变分自编码器网络(AsymmetricConvolutionalVariationalAuto-Encoder,ACVAE)进行网络结构搜索。

发明内容

针对现有技术中的上述不足，本发明提供的基于遗传算法的卷积变分自编码器网络结构搜索方法解决了传统的网络结构根据相关研究人员经验设计而产生的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于遗传算法的卷积变分自编码器网络结构搜索方法，包括以下步骤：

S1、初始化计数值t＝1，根据CVAE编码机制构建ACVAE编码机制；

S2、根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P₀，并评估网络结构种群P₀的适应度F₀；

S3、根据网络结构种群P₀的适应度F₀，获取网络结构种群P₀的排名R₀；

S4、根据排名R_t-1，对网络结构种群P_t-1的个体进行Mating pool选择，得到待繁衍的父类C_t-1；

S5、根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t，并评估后代O_t的适应度F_0t；

S6、将网络结构种群P_t-1和后代O_t进行并操作，得到合并种群P_t'，将适应度F₀和适应度F_0t进行并操作，得到合并适应度F_t'；

S7、对合并种群P_t'和合并适应度F_t'施加环境选择，获取网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t；

S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；

S9、在网络结构种群P_T-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构。

进一步地，所述步骤S1中ACVAE编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流行的维度估计；

所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层。

进一步地，所述步骤S2中根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P₀的具体步骤为：

A1、设置h-块的卷积层数为n_hc和池化层数为n_hp；其中，n_hc∈[1,N_c]，N_c表示最大的卷积层数目，n_hp∈[1,N_p]，N_p表示最大的池化层数目；

A2、随机生成n_hc个卷积层和n_hp个池化层，并将n_hc个卷积层和n_hp个池化层串行合并为h-块；

A3、设置μ-块的卷积层数为n_μc、池化层数为n_μp和全连接层数为n_μf；其中，n_μc∈[0,N_c-n_hc]，n_μp∈[0,N_p-n_hp]，n_μf∈[1,N_f]，N_f表示最大全连接层数目；

A4、随机生成n_μc个卷积层、n_μp个池化层和n_μf个全连接层，并将n_μc个卷积层、n_μp个池化层和n_μf个全连接层串行合并为μ-块；

A5、设置σ-块的卷积层数为n_σc、池化层数为n_σp和全连接层数为n_σf；其中，n_σc∈[0,N_c-n_hc]，n_σp∈[0,N_p-n_hp]，n_σf∈[1,N_f]；

A6、随机生成n_σc个卷积层、n_σp个池化层和n_σf个全连接层，并将n_σc个卷积层、n_σp个池化层和n_σf个全连接层串行合并为σ-块；

A7、设置t-块的全连接层数为n_tf、卷积层数为n_tc和反卷积层数为n_td；其中，n_tf∈[1,N_f]，n_tc∈[1,N_c]，n_td∈[1,N_d]，N_d表示最大的反卷积层数目；

A8、随机生成n_tf个全连接层、n_tc个卷积层和n_td个反卷积层，并将n_tf个全连接层、n_tc个卷积层和n_td个反卷积层串行合并为t-块；

A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；

A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；

A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干ACVAE，将一个ACVAE作为一个个体，并将所有ACVAE组成网络结构种群P₀。

进一步地，所述步骤S1-S9中适应度通过以下方法获取：

B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的ACVAE中；

B2、根据ACVAE输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；

所述平均损失值的计算公式具体为：

其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，

表示第i个图像数据中(m,j,k)位置上的像素，

表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，

表示ACVAE中第j个神经元对应于第i个图像数据输出均值的平方，

表示ACVAE中第j个神经元对应于第i个图像数据输出的方差。

进一步地，所述步骤S4包括以下分步骤：

S4.1、从网络结构种群P_t-1随机选出两个个体；

S4.2、比较两个个体的排名，并将排名靠前的个体放入Mating pool中；

S4.3、判断Mating pool是否被填满，若是，则结束，得到待繁衍的父类C_t-1；否则返回步骤S4.1。

进一步地，所述步骤S5中根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t的具体方法为：

C1、分别抽取父类C_t-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；

C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；

C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；

C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类C_t-1中的个体后，得到后代O_t；

其中，网络结构层为全连接层、卷积层、池化层或反卷积层。

进一步地，所述步骤C4中变异操作为添加层、删除层或修改层。

进一步地，所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入该块中；

所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；

所述修改成的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。

进一步地，所述步骤S7包括以下分步骤：

S7.1、根据合并适应度F_t'，从合并种群P_t'筛选出最好的20％的个体作为优质网络P_t ¹；

S7.2、通过二进制竞标赛从合并种群P_t'剩余的个体中选择剩余个体的80％作为普通网络P_t ²；

S7.3、合并优质网络P_t ¹和普通网络P_t ²，得到网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t。

本发明的有益效果为：

(1)本发明能够自动化地对ACVAE进行结构搜索，优化得到的结构相比手动设计的VAE网络以及通过如CAE或sCAE的常用自编码器得到的网络，在图像的半监督分类上有更好的性能。

(2)本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。

(3)本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。

(4)本发明设计了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计自动化，并获得比人为设计的网络结构更优的性能。

附图说明

图1为本发明提出的基于遗传算法的卷积变分自编码器网络结构搜索方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

如图1所示，一种基于遗传算法的卷积变分自编码器网络结构搜索方法，包括以下步骤：

S1、初始化计数值t＝1，根据CVAE编码机制构建ACVAE编码机制；

S2、根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P₀，并评估网络结构种群P₀的适应度F₀；

S3、根据网络结构种群P₀的适应度F₀，获取网络结构种群P₀的排名R₀；

S4、根据排名R_t-1，对网络结构种群P_t-1的个体进行Mating pool选择，得到待繁衍的父类C_t-1；

S5、根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t，并评估后代O_t的适应度F_0t；

S6、将网络结构种群P_t-1和后代O_t进行并操作，得到合并种群P_t'，将适应度F₀和适应度F_0t进行并操作，得到合并适应度F_t'；

S7、对合并种群P_t'和合并适应度F_t'施加环境选择，获取网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t；

S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；

S9、在网络结构种群P_T-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构。

在本实施例中，网络结构种群排名是将适应度从大到小进行排列。

所述步骤S1中ACVAE编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流行的维度估计；

所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层。

所述步骤S2中根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P₀的具体步骤为：

A1、设置h-块的卷积层数为n_hc和池化层数为n_hp；其中，n_hc∈[1,N_c]，N_c表示最大的卷积层数目，n_hp∈[1,N_p]，N_p表示最大的池化层数目；

A2、随机生成n_hc个卷积层和n_hp个池化层，并将n_hc个卷积层和n_hp个池化层串行合并为h-块；

A3、设置μ-块的卷积层数为n_μc、池化层数为n_μp和全连接层数为n_μf；其中，n_μc∈[0,N_c-n_hc]，n_μp∈[0,N_p-n_hp]，n_μf∈[1,N_f]，N_f表示最大全连接层数目；

A4、随机生成n_μc个卷积层、n_μp个池化层和n_μf个全连接层，并将n_μc个卷积层、n_μp个池化层和n_μf个全连接层串行合并为μ-块；

A5、设置σ-块的卷积层数为n_σc、池化层数为n_σp和全连接层数为n_σf；其中，n_σc∈[0,N_c-n_hc]，n_σp∈[0,N_p-n_hp]，n_σf∈[1,N_f]；

A6、随机生成n_σc个卷积层、n_σp个池化层和n_σf个全连接层，并将n_σc个卷积层、n_σp个池化层和n_σf个全连接层串行合并为σ-块；

A7、设置t-块的全连接层数为n_tf、卷积层数为n_tc和反卷积层数为n_td；其中，n_tf∈[1,N_f]，n_tc∈[1,N_c]，n_td∈[1,N_d]，N_d表示最大的反卷积层数目；

A8、随机生成n_tf个全连接层、n_tc个卷积层和n_td个反卷积层，并将n_tf个全连接层、n_tc个卷积层和n_td个反卷积层串行合并为t-块；

A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；

A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；

A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干ACVAE，将一个ACVAE作为一个个体，并将所有ACVAE组成网络结构种群P₀。

所述步骤S1-S9中适应度通过以下方法获取：

B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的ACVAE中；

B2、根据ACVAE输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；

所述平均损失值的计算公式具体为：

其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，

表示第i个图像数据中(m,j,k)位置上的像素，

表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，

表示ACVAE中第j个神经元对应于第i个图像数据输出均值的平方，

表示ACVAE中第j个神经元对应于第i个图像数据输出的方差。

所述步骤S4包括以下分步骤：

S4.1、从网络结构种群P_t-1随机选出两个个体；

S4.2、比较两个个体的排名，并将排名靠前的个体放入Mating pool中；

S4.3、判断Mating pool是否被填满，若是，则结束，得到待繁衍的父类C_t-1；否则返回步骤S4.1。

所述步骤S5中根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t的具体方法为：

C1、分别抽取父类C_t-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；

C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；

C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；

C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类C_t-1中的个体后，得到后代O_t；

其中，网络结构层为全连接层、卷积层、池化层或反卷积层。

所述步骤C4中变异操作为添加层、删除层或修改层。

在本实施例中，变异操作时，随机选择添加层、删除层或修改层，变异操作结束后，添加层、删除层和修改层的操作数目相同。

所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入该块中；

所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；

所述修改成的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。

所述步骤S7包括以下分步骤：

S7.1、根据合并适应度F_t'，从合并种群P_t'筛选出最好的20％的个体作为优质网络P_t ¹；

S7.2、通过二进制竞标赛从合并种群P_t'剩余的个体中选择剩余个体的80％作为普通网络P_t ²；

S7.3、合并优质网络P_t ¹和普通网络P_t ²，得到网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t。

本发明的有益效果为：

(1)本发明能够自动化地对ACVAE进行结构搜索，优化得到的结构相比手动设计的VAE网络以及通过如CAE或sCAE的常用自编码器得到的网络，在图像的半监督分类上有更好的性能。

(2)本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。

(3)本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。

(4)本发明设计了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计。

Claims (6)

1.一种基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，包括以下步骤：

S1、初始化计数值t＝1，根据卷积变分自编码器编码机制构建非对称卷积变分自编码器编码机制；

S2、根据非对称卷积变分自编码器编码机制，生成若干非对称卷积变分自编码器，初始化网络结构种群P₀，并评估网络结构种群P₀的适应度F₀；

S3、根据网络结构种群P₀的适应度F₀，获取网络结构种群P₀的排名R₀；

S4、根据排名R_t-1，对网络结构种群P_t-1的个体进行配对池选择，得到待繁衍的父类C_t-1；

S5、根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t，并评估后代O_t的适应度F_0t；

S6、将网络结构种群P_t-1和后代O_t进行并操作，得到合并种群P_t'，将适应度F₀和适应度F_0t进行并操作，得到合并适应度F_t'；

S7、对合并种群P_t'和合并适应度F_t'施加环境选择，获取网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t；

S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；

S9、在网络结构种群P_T-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构；

所述步骤S1中非对称卷积变分自编码器编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流形的维度估计；

所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层；

所述步骤S2中根据非对称卷积变分自编码器编码机制，生成若干非对称卷积变分自编码器，初始化网络结构种群P₀的具体步骤为：

A1、设置h-块的卷积层数为n_hc和池化层数为n_hp；其中，n_hc∈[1,N_c]，N_c表示最大的卷积层数目，n_hp∈[1,N_p]，N_p表示最大的池化层数目；

A2、随机生成n_hc个卷积层和n_hp个池化层，并将n_hc个卷积层和n_hp个池化层串行合并为h-块；

A3、设置μ-块的卷积层数为n_μc、池化层数为n_μp和全连接层数为n_μf；其中，n_μc∈[0,N_c-n_hc]，n_μp∈[0,N_p-n_hp]，n_μf∈[1,N_f]，N_f表示最大全连接层数目；

A4、随机生成n_μc个卷积层、n_μp个池化层和n_μf个全连接层，并将n_μc个卷积层、n_μp个池化层和n_μf个全连接层串行合并为μ-块；

A5、设置σ-块的卷积层数为n_σc、池化层数为n_σp和全连接层数为n_σf；其中，n_σc∈[0,N_c-n_hc]，n_σp∈[0,N_p-n_hp]，n_σf∈[1,N_f]；

A6、随机生成n_σc个卷积层、n_σp个池化层和n_σf个全连接层，并将n_σc个卷积层、n_σp个池化层和n_σf个全连接层串行合并为σ-块；

A7、设置t-块的全连接层数为n_tf、卷积层数为n_tc和反卷积层数为n_td；其中，n_tf∈[1,N_f]，n_tc∈[1,N_c]，n_td∈[1,N_d]，N_d表示最大的反卷积层数目；

A8、随机生成n_tf个全连接层、n_tc个卷积层和n_td个反卷积层，并将n_tf个全连接层、n_tc个卷积层和n_td个反卷积层串行合并为t-块；

A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；

A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；

A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干非对称卷积变分自编码器，将一个非对称卷积变分自编码器作为一个个体，并将所有非对称卷积变分自编码器组成网络结构种群P₀；

所述步骤S1-S9中适应度通过以下方法获取：

B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的非对称卷积变分自编码器中；

B2、根据非对称卷积变分自编码器输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；

所述平均损失值的计算公式具体为：

其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，

表示第i个图像数据中(m,j,k)位置上的像素，

表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，

表示非对称卷积变分自编码器中第j个神经元对应于第i个图像数据输出均值的平方，

表示非对称卷积变分自编码器中第j个神经元对应于第i个图像数据输出的方差；

网络结构种群P₀表示包含若干初始化后的非对称卷积变分自编码器个体的种群；网络结构种群P_t-1表示在个体经过排名过后网络结构种群P₀基础上的经过t-1次遗传算法选择后的种群，合并种群P_t'表示网络结构种群P_t-1和后代O_t合并后的种群，网络结构种群P_t表示对合并种群P_t'施加环境选择得到的种群，网络结构种群P_T-1表示经过搜索之后所得到的网络结构种群，排名R₀表示网络结构种群P₀中个体适应度从大到小的排名，排名R_t-1表示网络结构种群P_t-1中个体适应度从大到小的排名，排名R_t表示网络结构种群P_t中个体适应度从大到小的排名，适应度F₀表示网络结构种群P₀的个体适应度集合，适应度F_t表示网络结构种群P_t的个体适应度集合。

2.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S4包括以下分步骤：

S4.1、从网络结构种群P_t-1随机选出两个个体；

S4.2、比较两个个体的排名，并将排名靠前的个体放入配对池中；

S4.3、判断配对池是否被填满，若是，则结束，得到待繁衍的父类C_t-1；否则返回步骤S4.1。

3.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S5中根据待繁衍的父类C_t-1，通过交叉操作和变异操作产生后代O_t的具体方法为：

C1、分别抽取父类C_t-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；

C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；

C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；

C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类C_t-1中的个体后，得到后代O_t；

其中，网络结构层为全连接层、卷积层、池化层或反卷积层。

4.根据权利要求3所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤C4中变异操作为添加层、删除层或修改层。

5.根据权利要求4所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找随机选出的块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入随机选出的块中；

所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找随机选出的块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；

所述修改层的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。

6.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S7包括以下分步骤：

S7.1、根据合并适应度F_t'，从合并种群P_t'筛选出最好的20％的个体作为优质网络P_t ¹；

S7.2、通过二进制锦标赛从合并种群P_t'剩余的个体中选择剩余个体的80％作为普通网络P_t ²；

S7.3、合并优质网络P_t ¹和普通网络P_t ²，得到网络结构种群P_t、与网络结构种群P_t对应的适应度F_t和网络结构种群P_t中个体的排名R_t。

Images