深度学习复兴 (2012-2016)

从 AlexNet 引爆到 ResNet 收官 —— 5 年内深度学习从"边缘流派"成为 AI 主导范式。

收录笔记

• AlexNet — 用一块 GTX 580 把 ImageNet 错误率砍到 15% · 2012 · Krizhevsky, Sutskever & Hinton
• Dropout — 随机关闭神经元，阻止特征探测器合谋 · 2012 · Hinton et al.
• Word2Vec - 把词义压进向量空间的工业级捷径 · 2013 · Mikolov et al.
• VAE — 把生成式建模变成可优化的变分下界 · 2013 · Kingma & Welling
• DQN — 从像素到动作的深度强化学习第一击 · 2013 · Mnih et al.
• GAN — 用对抗游戏让生成器学会画画 · 2014 · Goodfellow et al.
• Seq2Seq - 把任意长度序列压成向量，再把向量翻译回序列 · 2014 · Sutskever, Vinyals & Le
• Bahdanau Attention — 让神经翻译第一次学会看源句 · 2014 · Bahdanau, Cho & Bengio
• Adam — 随机优化的自适应矩估计 · 2014 · Kingma & Ba
• VGG — 用 3×3 小卷积把 CNN 推到 19 层 · 2014 · Simonyan & Zisserman
• R-CNN — 把 ImageNet 特征带进目标检测的转折点 · 2014 · Girshick et al.
• Adversarial Examples — 线性解释、FGSM 与现代鲁棒性的起点 · 2014 · Goodfellow, Shlens & Szegedy
• BatchNorm — 把训练稳定性变成一层网络 · 2015 · Ioffe & Szegedy
• Inception / GoogLeNet — 用多尺度模块把 CNN 往深处推进 · 2015 · Szegedy et al.
• Nature DQN - 让 Atari 成为深度强化学习的公开试金石 · 2015 · Mnih et al.
• Faster R-CNN — 用 RPN 把候选框也学进网络 · 2015 · Ren et al.
• U-Net — 把编码器-解码器和跳连变成医学分割的默认语法 · 2015 · Ronneberger, Fischer & Brox
• ResNet — 深度残差学习如何打开 152 层之门 · 2015 · He et al.
• FCN - 把分类网络改造成像素级分割机 · 2015 · Long, Shelhamer & Darrell
• Knowledge Distillation — 把大模型的暗知识倒进小模型 · 2015 · Hinton, Vinyals & Dean
• He Init - 给 ReLU 深网一个不会熄火的起点 · 2015 · He et al.
• YOLO — 把目标检测改写成一次前向的实时回归 · 2016 · Redmon et al.
• AlphaGo — SL + RL + 价值网络 + MCTS 把围棋 9 段提前 10 年 · 2016 · Silver et al.
• LayerNorm: 把归一化从 batch 搬到样本内部 · 2016 · Ba, Kiros & Hinton