神经网络萌芽 (1957-2011)

从 Perceptron 的乐观、AI 寒冬的低谷，到 backprop 复活、CNN/LSTM 奠基 —— 这 50 年里所有深度学习的"祖宗器件"被一件件造出来。

收录笔记（14 篇）

• ReLU — 一个 max(0, x) 如何把深度网络从「实验室玩具」变成「工业基石」 · 2011 · Glorot, Bordes & Bengio
• Glorot Init — 让深度网络先把信号传过去 · 2010 · Glorot & Bengio
• ImageNet — 用 1500 万张图把「数据集」变成深度学习革命的引信 · 2009 · Deng, Dong, Socher, Li, Li & Fei-Fei
• t-SNE — 高维数据可视化的视觉语言 · 2008 · van der Maaten & Hinton
• Autoencoder — 用 RBM 预训练把神经网络从冷宫里唤醒 · 2006 · Hinton & Salakhutdinov
• DBN — 用逐层贪婪预训练让深层神经网络第一次「被训得动」 · 2006 · Hinton, Osindero & Teh
• LDA — 用 Dirichlet 先验把 pLSA 升级成可推广的全贝叶斯主题模型 · 2003 · Blei, Ng & Jordan
• Random Forests — 用 bagging + 特征采样把决策树推上当年 ML 的王座 · 2001 · Breiman
• LeNet — 把卷积、池化与反向传播缝合成第一个工业级深度网络 · 1998 · LeCun, Bottou, Bengio & Haffner
• LSTM — 用门控机制让循环网络第一次记得住长依赖 · 1997 · Hochreiter & Schmidhuber
• SVM — 用最大间隔与核技巧统治机器学习整整 20 年 · 1992 · Boser, Guyon & Vapnik
• Universal Approximation — 用一条存在性定理给神经网络颁发表达力通行证 · 1989 · Hornik, Stinchcombe & White
• Backprop — 用链式法则把多层神经网络从「不可训练」拽进可优化世界 · 1986 · Rumelhart, Hinton & Williams
• Perceptron — 第一个能从数据中学习的硬件神经元如何点燃 AI 学科 · 1958 · Rosenblatt