第2章 单层感知器
创始人
2024-06-02 08:55:08
0

神经网络是模拟人类神经系统的,深度学习是神经网络的又一个名词。首先我们先来了解什么是人工神经元。

1.1 人工神经元

人工神经元是从人类神经元中抽象出来的数学模型。如下图:

该模型是1943年由心理学家Warren McCulloch和数学家Walter Pitts合作提出人工神经元,称为M-P模型。

其表达式如下:

计算过程的理解:

(1)求和:s = w1*x1+w2*x2+...+w3*x3;

(2) 如果 s > 阈值 输出1,否则输出0;

(3)变换 s-阈值>0,定义bias = -阈值,称为偏置。

 最初的研究是用来算法来理解逻辑运算:与门、或门、非门。

如下与或非运算真值表:

 把其值表达在坐标上:

 按照二分类的理解,圈是0类,三角形是1类。正好通过一条分割线分割:

 其实M-P模型人为的设定好w和b参数,就可以解决简单的线性分类问题(与门、或门)。

局限性: 权值w和偏置b都是人为给定的,此模型没有"自我学习"能力。

下面我们来学习具有自我学习的模型 --- 单层感知器。

1.2 单层感知器

1.2.1 提出问题

M-P模型的参数w和b是通过手动设置的,显得有些不智能。

问题:如图,那么计算机能否自己计算找到合适的参数(w,b)?

或者说  如何找到一个合适的直线分割两类点(找到参数w,b)?

 1.2.2 感知器模型

1958年美国心理学家Rosenblatt(弗兰克.罗森布拉)提出一种能够自我学习,具有单层计算单元的神经网络模型,叫感知器(perceptron)。 结构如下:

 表达式:

 其中,W是权重,b是偏置(上图w0);注意:W,X是向量形式。

激活函数f是一个阶跃函数(结果是简单的二分类0/1),其表达式:

 1.2.3 感知器学习过程

感知器找到合适的w,b的过程如下:

(1)首先权重初始化,对权重w0(就是b),w1, w2 进行随机初始化;

(2)前向传播:输入样本对{X, Y},通过 Y=f(WX+b) 计算节点的实际输出(其中X={{x11,x12}, {x21,x22}, {x31,x32}...} 为输入信号矩阵,Y={y1,y2,y3...}为期望目标值 );

(3)计算误差:使用损失函数计算误差;

(4)反向传播:计算传递梯度,更新权重w和偏置b ;

按照 2-4步进行迭代,直到在训练集合达到期望的要求(例如:期望误差很小)。

1.2.4 损失函数

感知器学习的过程中,计算误差的函数称为损失函数。

损失函数模型训练中,表示随机事件的“风险”或“损失”的函数,即衡量误差大小的函数。

感知器使用均方误差MSE作为损失函数:

其中,n是个数,yi是当前值(真实),^yi是期望值(标签、预测); 1/2没有特殊意义,是为了求导后能约掉2系数。 

曲线图:

 损失函数(二次方)曲线

在误差很小的时候,通常就是我们所期望的结果。

在二次方曲线中,导数等于0的地方就是误差最小的地方,那么问题是如何寻找这个地方?

感知器中,使用梯度下降法找到该处。

1.2.5 梯度下降法:理解

梯度下降法的基本思想可以类比为一个下山的过程

假设场景:一个人被困在山上,需要从山上下来(找到山的最低点,山谷)。但此时山上的浓雾很大,导致可视度很低;因此,下山的路径就无法确定,必须利用自己周围的信息一步一步地找到最快下山的路。

利用梯度下降算法来帮助自己下山:首先以他当前的所处的位置为基准,寻找这个位置最陡峭的地方,然后朝着这个方向走一步(一段距离),然后又继续以当前位置为基准,再找最陡峭的地方,再走直到最后到达最低处。

 1.2.6 梯度下降法:梯度

梯度:函数在该点的方向导数(偏导数)。

梯度一个向量,表示函数在该点处沿着该方向(梯度的方向)变化最快,变化率最大(梯度的模)。

如果损失函数代表着一座山,目标是找到这个函数的最小值(山底), 最快的下山的方式是沿着当前位置最陡峭的方向(梯度相反的方向)走,函数值下降最快,不断的反复直到走到函数的最小值。

 1.2.7 权重更新

更新公式:新的参数 = 旧的参数 - 学习率*梯度

通过学习率(Learning rate)来定义每次参数更新的幅度,也叫学习步长。 学习率是一个超参数,可以预习设定,也可以通过超参数调优选择。

 其中    是学习率,控制更新步长,训练人为设定0-1的值;负号表示梯度的反方向,变化率表示梯度的模。

1.3 感知器训练与门代码

与门真值表为训练集。

import numpy as npdef get_xy_data():""" 与门的训练集 -- 真值表 """x = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])y = np.array([0, 0, 0, 1])return x,y

感知器与门模型:

import numpy as np""" 定义感知器模型结构 """
class AndGateModel():def __init__(self):""" 初始化权重、偏置 """self.w = np.random.normal(size=2)    # 与门有2个权重self.b = np.random.normal(size=1)    # 1个偏置[0.5]self.lr = 0.1                        # 学习率(超参数)def forward(self, x):"""前向计算x -- [x1, x2]1. y=wx + b2. 激活函数计算"""y = x[0]*self.w[0] + x[1]*self.w[1] + self.b[0]if y >= 0:return 1else:return 0def train(self, X, Y):"""X,Y -- 训练集"""for i in range(1000):   # 迭代j = 0C = 0for xi in X:yi = self.forward(xi)  # 前向计算# 计算误差Ci = np.power((Y[j] - yi), 2) / 2C += Ci# 更新权重跟偏置if Ci > 0:self.w[0] = self.w[0] + self.lr * (Y[j] - yi) * xi[0]self.w[1] = self.w[1] + self.lr * (Y[j] - yi) * xi[1]self.b[0] = self.b[0] + self.lr * (Y[j] - yi)j += 1print("epoch{} 误差:{} 权重:{} 偏置:{}".format(i, C, self.w, self.b))# 什么时候退出?if C <= 0:print("=== 与门的4数据都正确了, 退出迭代")break

训练与门模型并保存参数:

if __name__ == "__main__":# 训练import data_managerX, Y = data_manager.get_xy_data()  # 读取数据集model = AndGateModel()            # 实例化类对象model.train(X, Y)               # 执行训练# 验证训练结果是否正确for xi in X:print("验证  输入:{}   模型的前向计算结果:{}".format(xi, model.forward(xi)))# 保存模型参数np.savez("./params", model.w, model.b)

读取模型参数并预测数据:

import numpy as npif __name__ == "__main__":# 加载参数r = np.load("./params.npz")print("权重", r["arr_0"])print("偏置", r["arr_1"])# 设置参数到网络结构import modeland_model = model.AndGateModel()and_model.w = r["arr_0"]and_model.b = r["arr_1"]# 预测X = [[0,0], [0, 1], [1, 0], [1, 1]]for xi in X:print("预测  输入:{}  结果:{}".format(xi, and_model.forward(xi)))

结果如下:

python .\model.py

python .\predict_demo.py:

 完整代码:https://download.csdn.net/download/qq_21386397/87567242

有帮助,一键三连哦~~~~~~~~~~~~~~~~~~~~~~~~~~~~

相关内容

热门资讯

神武3安卓跟苹果系统,安卓与苹... 你有没有发现,最近手机游戏界又掀起了一股热潮?没错,就是那款让人欲罢不能的神武3!不过,说到玩这款游...
安卓手机双系统好处,安卓手机的... 你有没有想过,你的安卓手机其实可以拥有双重身份呢?没错,就是那个听起来就让人兴奋的“双系统”!今天,...
咋录音软件推荐安卓系统,轻松捕... 你有没有想过,有时候想要记录下生活中的点点滴滴,或者制作一段属于自己的音乐作品,一款好用的录音软件可...
安卓7.1系统好不好,体验升级... 你有没有听说安卓7.1系统最近在手机圈里可是火得一塌糊涂呢?这不,我就来给你好好捋一捋,看看这个系统...
安卓系统到底为何卡顿,性能瓶颈... 你有没有发现,你的安卓手机有时候就像蜗牛一样慢吞吞的,让你等得心急火燎?别急,今天就来揭开安卓系统卡...
安卓系统如何自定图标,Andr... 你有没有发现,手机里的图标有时候看起来有点单调,甚至有点无聊呢?别急,今天就来教你怎么给安卓系统的图...
安卓系统的设置密码在哪,安卓系... 手机里的秘密太多啦,有时候连自己都忘了密码是啥!别急,今天就来手把手教你,安卓系统里的设置密码到底藏...
hk1box安卓原生系统和安卓... 亲爱的读者们,你是否曾为寻找一款既能满足日常使用,又能畅享大屏娱乐的安卓系统而烦恼?今天,就让我带你...
安卓手机系统崩溃蓝屏,揭秘原因... 手机突然蓝屏了,是不是瞬间感觉世界都安静了?别慌,今天就来和你聊聊安卓手机系统崩溃蓝屏的那些事儿。你...
平板电脑鸿蒙和安卓系统,平板电... 你有没有发现,最近平板电脑市场又热闹起来了呢?各大品牌纷纷推出新品,而其中最引人注目的莫过于鸿蒙系统...
安卓系统的帮助与反馈,提升用户... 你有没有发现,使用安卓系统的时候,有时候会遇到一些小麻烦,但别担心,安卓系统可是非常贴心的,它总有一...
安卓11系统4g,4G性能优化... 你知道吗?最近安卓系统又更新啦!这次可是安卓11系统哦,而且它还支持4G网络呢!是不是很激动?那就跟...
安卓系统怎么远程删除,远程删除... 你是不是也有过这样的经历:手机里的文件不小心误删了,或者某个应用突然变得异常,你想要远程清除它,但又...
安卓系统点歌软件app,打造个... 你有没有发现,现在手机里装满了各种APP,而其中有一个小家伙,几乎成了安卓手机用户的“音乐小助手”,...
p40安卓系统下载,下载与体验... 你有没有发现,最近你的手机是不是有点儿慢吞吞的?别急,别急,让我来给你支个招儿——升级你的P40安卓...
vivoiqoo3的安卓系统,... 你有没有发现,最近手机圈里又掀起了一股热潮?没错,就是vivo旗下的子品牌iQOO的新款手机——iQ...
系统可以直接还原吗安卓,轻松恢... 你有没有想过,手机里的那些照片、视频、联系人,如果突然消失了,那得多难过啊!别担心,今天就来聊聊这个...
安卓系统管控怎么解开,安卓系统... 你是不是也遇到了安卓系统管控的烦恼?手机被限制了,感觉自由受限,是不是超级郁闷?别急,今天就来手把手...
华为升级系统安卓11,开启智能... 你知道吗?最近华为的大动作可不少呢!他们家的新款手机升级了安卓11系统,这可真是让人眼前一亮啊!咱们...
安卓系统木马病毒生成,生成原理... 安卓系统木马病毒生成:揭秘网络威胁的新面孔在数字化时代,智能手机已经成为了我们生活中不可或缺的一部分...