神经网络萌芽 (1957-2011)

从 Perceptron 的乐观、AI 寒冬的低谷，到 backprop 复活、CNN/LSTM 奠基 —— 这 50 年里所有深度学习的"祖宗器件"被一件件造出来。

收录笔记

• Perceptron — 神经网络的"创世纪"与第一次 AI 狂热 · 1958 · Rosenblatt
• Backpropagation — 链式法则如何终结第一次 AI 寒冬 · 1986 · Rumelhart, Hinton & Williams
• Universal Approximation — 用一条存在性定理给神经网络颁发表达力通行证 · 1989 · Hornik, Stinchcombe & White
• SVM — 凸优化 + 核技巧如何骑在神经网络头上 15 年 · 1992 · Boser, Guyon & Vapnik
• LSTM — 一个权重为 1 的恒等连接如何让序列建模重生 · 1997 · Hochreiter & Schmidhuber
• LeNet-5 — 当卷积、权重共享与端到端梯度第一次合体 · 1998 · LeCun, Bottou, Bengio & Haffner
• Random Forests — 集成学习的工业级范式如何统治非神经机器学习 20 年 · 2001 · Breiman
• LDA — 用 Dirichlet 先验把 pLSA 升级成可推广的全贝叶斯主题模型 · 2003 · Blei, Ng & Jordan
• Autoencoder — 用 RBM 预训练把神经网络从冷宫里唤醒 · 2006 · Hinton & Salakhutdinov
• DBN — Hinton 用 RBM 逐层预训练点燃了第三次深度学习革命 · 2006 · Hinton, Osindero & Teh
• t-SNE — 高维数据可视化的视觉语言 · 2008 · van der Maaten & Hinton
• ImageNet — 一个数据集如何点燃 2012 AlexNet 的导火索 · 2009 · Deng, Dong, Socher, Li, Li & Fei-Fei
• Glorot Init — 让深度网络先把信号传过去 · 2010 · Glorot & Bengio
• RNN-LM — 把语言模型从固定窗口带进连续隐状态 · 2010 · Mikolov et al.
• Stacked Denoising Autoencoders — 用局部去噪准则把自编码器变成深度预训练工具 · 2010 · Vincent, Larochelle, Lajoie, Bengio & Manzagol
• ReLU — 一个 max(0, x) 如何把深度网络从"实验室玩具"变成"工业基石" · 2011 · Glorot, Bordes & Bengio