基于遗传算法改进BP神经网络的二分类研究，GA-BP
目录
BP神经网络的原理
BP神经网络的定义
BP神经网络的基本结构
BP神经网络的神经元
BP神经网络的激活函数，
BP神经网络的传递函数
遗传算法的原理及步骤
基于遗传算法改进BP神经网络的二分类
代码
效果图
结果分析
展望
摘要
二分类问题是生活中常见的问题，本文用遗传算法改进BP神经的权值阈值，通过多维度的输入输出，建模二分类模型，实现对二分类的预测分类，
BP神经网络的原理
BP神经网络的定义
人工神经网络无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。作为一种智能信息处理系统，人工神经网络实现其功能的核心是算法。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。
BP神经网络的基本结构
基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。
bp神经网络的神经元
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
神经网络由多个神经元构成，下图就是单个神经元的图1所示：
。。。。。。。。。。。。。。。。。。。。。。。。图1 ，神经元模型
bp神经网络激活函数及公式
BP神经网络传递函数及公式
图2是Sigmoid函数和双极S函数的图像，其中Sigmoid函数的图像区域是0到1，双极S函数的区间是正负1，归一化的时候要和传递函数的区域相对应，不然，可能效果不好
神经网络就是将许多个单一的神经元联结在一起，这样，一个神经元的输出就可以是另一个神经元的输入。
例如，下图就是一个简单的神经网络：
遗传算法
基本定义
传算法的起源可追溯到20世纪60年代初期。1967年,美国密歇根大学J. Holland教授的学生 Bagley在他的博士论文中首次提出了遗传算法这一术语,并讨论了遗传算法在博弈中的应用,但早期研究缺乏带有指导性的理论和计算工具的开拓。1975年, J. Holland等提出了对遗传算法理论研究极为重要的模式理论,出版了专著《自然系统和人工系统的适配》,在书中系统阐述了遗传算法的基本理论和方法,推动了遗传算法的发展。20世纪80年代后,遗传算法进入兴盛发展时期，被广泛应用于自动控制、生产计划、图像处理、机器人等研究领域。
编码
由于遗传算法不能直接处理问题空间的参数,因此必须通过编码将要求解的问题表示成遗传空间的染色体或者个体。这一转换操作就叫做编码，也可以称作（问题的）表示（representation）。
评估编码策略常采用以下3个规范：
a)完备性(completeness):问题空间中的所有点(候选解)都能作为GA空间中的点(染色体)表现。
b)健全性(soundness): GA空间中的染色体能对应所有问题空间中的候选解。
c)非冗余性(nonredundancy):染色体和候选解一一对应。
适应度函数
进化论中的适应度，是表示某一个体对环境的适应能力，也表示该个体繁殖后代的能力。遗传算法的适应度函数也叫评价函数，是用来判断群体中的个体的优劣程度的指标，它是根据所求问题的目标函数来进行评估的。
遗传算法在搜索进化过程中一般不需要其他外部信息，仅用评估函数来评估个体或解的优劣，并作为以后遗传操作的依据。由于遗传算法中，适应度函数要比较排序并在此基础上计算选择概率，所以适应度函数的值要取正值。由此可见，在不少场合，将目标函数映射成求最大值形式且函数值非负的适应度函数是必要的。
适应度函数的设计主要满足以下条件：
a）单值、连续、非负、最大化
b) 合理、一致性
c）计算量小
d）通用性强。
遗传算法的基本运算过程
（1）初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P(0)。
（2）个体评价：计算群体P(t)中各个个体的适应度。
（3）选择运算：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。
（4）交叉运算：将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子。
（5）变异运算：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动。群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)。
（6）终止条件判断：若t=T,则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。
遗传操作包括以下三个基本遗传算子(genetic operator):选择(selection)；交叉(crossover)；变异(mutation)。
选择
从群体中选择优胜的个体，淘汰劣质个体的操作叫选择。选择算子有时又称为再生算子(reproduction operator)。选择的目的是把优化的个体(或解)直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的，常用的选择算子有以下几种：适应度比例方法、随机遍历抽样法、局部选择法。
交叉
在自然界生物进化过程中起核心作用的是生物遗传基因的重组(加上变异)。同样，遗传算法中起核心作用的是遗传操作的交叉算子。所谓交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。通过交叉，遗传算法的搜索能力得以飞跃提高。
变异
变异算子的基本内容是对群体中的个体串的某些基因座上的基因值作变动。依据个体编码表示方法的不同，可以有以下的算法：
a)实值变异。
b)二进制变异。
一般来说，变异算子操作的基本步骤如下：
a)对群中所有个体以事先设定的变异概率判断是否进行变异
b)对进行变异的个体随机选择变异位进行变异。
遗传算法引入变异的目的有两个:一是使遗传算法具有局部的随机搜索能力。当遗传算法通过交叉算子已接近最优解邻域时，利用变异算子的这种局部随机搜索能力可以加速向最优解收敛。显然，此种情况下的变异概率应取较小值，否则接近最优解的积木块会因变异而遭到破坏。二是使遗传算法可维持群体多样性，以防止出现未成熟收敛现象。此时收敛概率应取较大值。
终止条件
当最优个体的适应度达到给定的阈值，或者最优个体的适应度和群体适应度不再上升时，或者迭代次数达到预设的代数时，算法终止。预设的代数一般设置为100-500代
**基于遗传算法改进的BP神经网络二分类研究
参数设置
其中BP神经网络参数设置为，最大迭代次数5000，学习率0.1，学习目标0.001，传递函数tansig和logsig，训练函数为自适应动量因子梯度下降函数traingdx，
代码如下：
% 清空环境变量
clc
clear
close all
clear global var
%
%% 网络结构建立
%读取数据
num = xlsread(‘Dataset_Anomaly.xlsx’);
for ii = 1:length(num)
if num(ii,42)==0.1
num(ii,42) = 10;
end
end
input_train = num(1:3500,1:41)';%选择训练数据
output_train = num(1:3500,42)';
input_test = num(3501:4601,1:41)‘;%选择测试数据
output_test = num(3501:4601,42)’;
%节点个数
inputnum=41;
hiddennum=12;
outputnum=1;
%选连样本输入输出数据归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
%构建网络
%net=newff(inputn,outputn,hiddennum);
net=newff(minmax(inputn),[12,1],{‘logsig’,‘tansig’},‘traingdx’);
%% 遗传算法参数初始化
maxd=50; %进化代数，即迭代次数
sizepop=10; %种群规模
pcross=[0.3]; %交叉概率选择，0和1之间
pmutation=[0.1]; %变异概率选择，0和1之间
%节点总数
nums=inputnumhiddennum+hiddennum+hiddennumoutputnum+outputnum;
lenchrom=round(rand(1,nums));
bound=[-10ones(nums,1) 10ones(nums,1)]; %数据范围
%------------------------------------------------------种群初始化--------------------------------------------------------
individ=struct(‘fitness’,zeros(1,sizepop), ‘chrom’,[]); %将种群信息定义为一个结构体
avgfits=[]; %每一代种群的平均适应度
bestfits=[]; %每一代种群的最佳适应度
bestc=[]; %适应度最好的染色体
%初始化种群
for i=1:sizepop
%随机产生一个种群
individ.chrom(i,:)=Code(lenchrom,bound); %编码
x=individ.chrom(i,:);
%计算适应度
individ.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn); %染色体的适应度
end
%找最好的染色体
[bestfits bestindex]=min(individ.fitness);
bestc=individ.chrom(bestindex,:); %最好的染色体
avgfits=sum(individ.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfits bestfits];
bestf = zeros(1,maxd);
%% 迭代求解最佳初始阀值和权值
% 进化开始
for i=1:maxd
i
% 选择
individ=Select(individ,sizepop);
avgfits=sum(individ.fitness)/sizepop;
%交叉
individ.chrom=Cross(pcross,lenchrom,individ.chrom,sizepop,bound);
% 变异
individ.chrom=Mutation(pmutation,lenchrom,individ.chrom,sizepop,i,maxd,bound);
% 计算适应度
for j=1:sizepopx=individ.chrom(j,:); %解码individ.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);
end
%找到最小和最大适应度的染色体及它们在种群中的位置
[newbestfitness,newbestindex]=min(individ.fitness);
[worestfitness,worestindex]=max(individ.fitness);
% 代替上一次进化中最好的染色体
if bestfits>newbestfitness
bestfits=newbestfitness;
bestc=individ.chrom(newbestindex,:);
bestf(i) = newbestfitness;
else
bestf(i) = bestfits;
end
individ.chrom(worestindex,:)=bestc;
individ.fitness(worestindex)=bestfits;
avgfits=sum(individ.fitness)/sizepop;trace=[trace;avgfits bestfits]; %记录每一代进化中最好的适应度和平均适应度
end
%% 遗传算法结果分析
figure(1)
[r c]=size(trace);
plot([1:r]',trace(:,2),‘b–’);
hold on
%plot(bestchrom)
plot(bestf)
hold off
title(['适应度曲线 ’ ‘终止代数＝’ num2str(maxd)]);
xlabel(‘进化代数’);ylabel(‘适应度’);
legend(‘平均适应度’,‘最佳适应度’);
disp(‘适应度 变量’);
x=bestc;
%% 把最优初始阀值权值赋予网络预测
% %用遗传算法优化的BP网络进行值预测
w1=x(1:inputnumhiddennum);
B1=x(inputnumhiddennum+1:inputnumhiddennum+hiddennum);
w2=x(inputnumhiddennum+hiddennum+1:inputnumhiddennum+hiddennum+hiddennumoutputnum);
B2=x(inputnumhiddennum+hiddennum+hiddennumoutputnum+1:inputnumhiddennum+hiddennum+hiddennumoutputnum+outputnum);
net.iw{1,1}=reshape(w1,hiddennum,inputnum);
net.lw{2,1}=reshape(w2,outputnum,hiddennum);
net.b{1}=reshape(B1,hiddennum,1);
net.b{2}=B2;
%% BP网络训练
%网络进化参数
net.trainParam.epochs=1000;
net.trainParam.lr=0.01;
net.trainParam.goal=0.00004;
%net.trainParam.goal=0.00001;
%网络训练
[net,per2]=train(net,inputn,outputn);
%% BP网络预测
%数据反归一化
inputn_test=mapminmax(‘apply’,input_test,inputps);
an=sim(net,inputn_test);
test_simu=mapminmax(‘reverse’,an,outputps)/100;
% for ii = 1:length(test_simu)
% if test_simu(ii)<5
% test_simu(ii) = 0;
% else
% test_simu(ii) =0.1;
% end
% end
output_test = output_test/100;
num1 = num(1:3500,:);
num2 = num(3501:4601,:);
error=(test_simu-output_test);
ob = (test_simu-output_test)./output_test;
[test_simub,errorb,obb] = bppb(num1,num2);
%
% for ii = 1:length(test_simub)
% if test_simub(ii)<5
% test_simub(ii) = 0;
% else
% test_simub(ii) =0.1;
% end
% end
figure (3)
plot(output_test,‘r*’)
hold on
plot(test_simu,‘bo’)
hold on
plot(test_simub,‘k–’)
hold off
title(‘预测值和真实值比对’)
legend(‘期望输出’,‘遗传算法优化BP’,‘BP’)
figure(4)
plot(error,‘b-’)
hold on
plot(errorb,‘k–’)
hold off
title(‘BP网络预测误差’,‘fontsize’,12)
ylabel(‘误差’,‘fontsize’,12)
xlabel(‘样本’,‘fontsize’,12)
legend(‘遗传算法优化BP’,‘BP’)
function ret=Mutation(pmutation,lenchrom,chrom,sizepop,num,maxgen,bound)
% 本函数完成变异操作
% pcorss input : 变异概率
% lenchrom input : 染色体长度
% chrom input : 染色体群
% sizepop input : 种群规模
% opts input : 变异方法的选择
% pop input : 当前种群的进化代数和最大的进化代数信息
% bound input : 每个个体的上届和下届
% maxgen input ：最大迭代次数
% num input : 当前迭代次数
% ret output : 变异后的染色体
%
for i=1:sizepop %每一轮for循环中，可能会进行一次变异操作，染色体是随机选择的，变异位置也是随机选择的，
%但该轮for循环中是否进行变异操作则由变异概率决定（continue控制）
% 随机选择一个染色体进行变异
pick=rand;
while pick0
pick=rand;
end
index=ceil(pick*sizepop);
% 变异概率决定该轮循环是否进行变异
pick=rand;
if pick>pmutation
continue;
end
flag=0;
while flag0
% 变异位置
pick=rand;
while pick==0
pick=rand;
end
pos=ceil(pick*sum(lenchrom)); %随机选择了染色体变异的位置，即选择了第pos个变量进行变异
pick=rand; %变异开始 fg=(rand*(1-num/maxgen))^2;if pick>0.5chrom(i,pos)=chrom(i,pos)+(bound(pos,2)-chrom(i,pos))*fg;elsechrom(i,pos)=chrom(i,pos)-(chrom(i,pos)-bound(pos,1))*fg;end %变异结束flag=test(lenchrom,bound,chrom(i,:)); %检验染色体的可行性
end
end
ret=chrom;
function ret=Cross(pcross,lenchrom,chrom,sizepop,bound)
%本函数完成交叉操作
% pcorss input : 交叉概率
% lenchrom input : 染色体的长度
% chrom input : 染色体群
% sizepop input : 种群规模
% ret output : 交叉后的染色体
for i=1:sizepop %每一轮for循环中，可能会进行一次交叉操作，染色体是随机选择的，交叉位置也是随机选择的，%但该轮for循环中是否进行交叉操作则由交叉概率决定（continue控制）
% 随机选择两个染色体进行交叉
pick=rand(1,2);
while prod(pick)0
pick=rand(1,2);
end
index=ceil(pick.*sizepop);
%% 交叉概率决定是否进行交叉
pick=rand;
while pick0
pick=rand;
end
if pick>pcross
continue;
end
flag=0;
while flag0
% 随机选择交叉位
pick=rand;
while pick0
pick=rand;
end
pos=ceil(pick.sum(lenchrom)); %随机选择进行交叉的位置，即选择第几个变量进行交叉，注意：两个染色体交叉的位置相同
pick=rand; %交叉开始
v1=chrom(index(1),pos);
v2=chrom(index(2),pos);
chrom(index(1),pos)=pickv2+(1-pick)v1;
chrom(index(2),pos)=pickv1+(1-pick)v2; %交叉结束
flag1=test(lenchrom,bound,chrom(index(1)😅); %检验染色体1的可行性
flag2=test(lenchrom,bound,chrom(index(2)😅); %检验染色体2的可行性
if flag1flag2==0
flag=0;
else flag=1;
end %如果两个染色体不是都可行，则重新交叉
end
end
ret=chrom;
function ret=Code(lenchrom,bound)
%本函数将变量编码成染色体，用于随机初始化一个种群
% lenchrom input : 染色体长度
%% bound input : 变量的取值范围
% ret output: 染色体的编码值
flag=0;
while flag==0
pick=rand(1,length(lenchrom));
ret=bound(:,1)‘+(bound(:,2)-bound(:,1))’.*pick; %线性插值，编码结果以实数向量存入ret中
flag=test(lenchrom,bound,ret); %检验染色体的可行性
end
效果图
结果分析
从效果图上看，遗传算法BP神经网络能准确实现对二分类问题的预测，准确率比较高。有疑问或者需要直接运行的M文件或者其他应用方面，欢迎大家留言
展望
针对神经网络供工具箱，可以自己写函数的代入并原本的工具箱函数，可以有很多种改进方法
上一篇：ResNet