清华博士带你一口气搞懂人工智能和神经网络

type

status

date

slug

summary

category

icon

password

推演

异或（XOR）运算

不仅取决于x和y的值，还取决于它们之间是否相同或者不同

单层感知机对复杂逻辑问题力不从心需要多层结构来解决

辛顿也是异类被说做的是垃圾说了40年

反向传播

我认为神经网络说到底是在做分类你们觉得是什么

嵌套感知机底层组织架构越简单越好

神经网络连接强度调节的参数系数

输入和输出之间的关系想要的智能黑箱设置参数强大的能力属性概念

继续套娃组合成更复杂的概念

特征组合局部神经元连接参数结构类似

借鉴减少参数和运算量

卷积神经网络一层层连接一些，不连接全部

残差神经网络跳跃连接 resnet

DenseNet 任何两层跳跃连接起来

一个好的结构可以让黑盒学的更快

需要的数据更少

梯度下降

数学知识很多太重要了

寻找最好的组合

损失函数最小二乘法都会有偏差误差平方预测贴合数据点

经纬度损失函数的大小

整个过程更像是在调洗澡水的过程

减小到很低的程度不现实前提

损失曲面

偏导数是什么呢？

偏导数

k2滑来滑去，变成一条曲线

两个拼在一起就出现了梯度

某个给定位置，函数变化最快的方向

曲面局部最陡峭的方向

是一个二维版本的求导

如何计算出这个梯度呢

反向传播具体的细节最精髓

主要是使用链式法则，可以让其知道变化率对应的关系

反向看梯度（梯度是把他们之间函数组成的向量），梯度就相当于指路灯，告诉你往哪个方向走下山速度最快，

如何学会解题方法的呢

神经网络的调节过程可以类比为调节花洒把手以控制洗澡水温的过程。

假设我们想让水温保持在一个最舒适的状态——不冷也不烫，但如何调整把手才能实现这个目标呢？这确实是个问题。更复杂的是，这个花洒的温度由多个把手（比如两个）共同控制，每个把手的转动都会对最终的水温产生影响。然而，我们并不知道每个把手向左或向右转会让水变热还是变凉。

最初，花洒的两个把手可能处于某个随机的初始位置（就像神经网络的初始权重）。但这种随机状态可能导致水温太冷，完全无法使用，因此需要开始调整。一个简单的思路是，暂时固定其中一个把手，仅调整另一个，把注意力集中在观察水温的变化方向。通过尝试，我们可以摸索出哪个方向会让水变得更接近理想温度。同样地，我们可以固定另一个把手，单独调整第一个把手。

在这个过程中，每个把手的调整方向其实对应了水温变化的“趋势”，我们将这种趋势称为梯度。梯度不仅告诉我们调节的方向（变热还是变凉），还可以用具体的数值表示调整的幅度——也就是“往这个方向调整多少”才能更快达到目标温度。

然而，两个把手的调整并不是彼此独立的，它们共同影响水温。因此，我们需要同时考虑它们的调节方向，并且更高效地计算出最佳的调整量。为此，我们使用反向传播算法。反向传播通过链式法则，将误差从输出层逐步传递回输入层，从而计算出每个参数（类似于把手）对误差的贡献大小。这样，我们就能够精确地计算每个把手的调整量，使水温迅速逼近理想值。

换句话说，反向传播不仅告诉我们调整方向（梯度的方向），还告诉我们调整的步伐（梯度的大小）。通过不断重复这一过程，花洒的把手（神经网络的权重）最终会被调节到最佳位置，让水温（模型输出）达到我们希望的理想状态。

趋势和规律简单清晰的数学