前言: 很多【现实问题】,都可以转换为【数学问题】,通过函数予以证明。 万能逼近定理:组合多样的神经元可构成深度网络,逼近任意可测函数。

机器学习(Machine Learning):依赖结构化或标签化数据进行训练,需要明确告知数据的标签。 深度学习(Deep Learning):属于机器学习,使用神经网络主动从原始数据中自动提取特征,不需要明确标签。

权重(w):对上一个神经网络层的输入(向量矩阵)进行聚合约束 偏置(b):对下一个神经网络层的输出(向量矩阵)进行微调约束

感知机:有神经网络的地方,就有感知机。

反向传播:所有和神经网络相关的深度学习,都依赖反向传播进行神经权重微调。

0.0 - 神经网络模型

AI 发展至今(1950 - ),神经网络的模型基本没有改变。

image.png

via https://www.ruanyifeng.com/blog/2017/07/neural-network.html

via https://www.cloudflare.com/zh-cn/learning/ai/what-is-neural-network/

via https://aws.amazon.com/cn/what-is/neural-network/

via https://www.ibm.com/cn-zh/topics/neural-networks

via https://aws.amazon.com/cn/compare/the-difference-between-deep-learning-and-neural-networks/

image.png

image.png

image.png

image.png

image.png

1.0 - 感知机 - 1957

感知机解决二元问题

感知机(1957 年提出) = 线性函数+ 激活函数(阶跃激活|二元|0/1)

将线性任务转换为数学问题(任务/数据需要提前进行标注):

  1. 通过 n 个线性函数的组合,来感知一段数据的规律
  2. 通过激活函数,将规律直观的表达出来(0|1)
    1. 还没发展出 0…1 概率分布