深度学习复兴 (2012-2016)¶
从 AlexNet 引爆到 ResNet 收官 —— 5 年内深度学习从"边缘流派"成为 AI 主导范式。
收录笔记¶
- AlexNet — 用一块 GTX 580 把 ImageNet 错误率砍到 15% · 2012 · Krizhevsky, Sutskever & Hinton
- Dropout — 随机关闭神经元，阻止特征探测器合谋 · 2012 · Hinton et al.
- Word2Vec - 把词义压进向量空间的工业级捷径 · 2013 · Mikolov et al.
- VAE — 把生成式建模变成可优化的变分下界 · 2013 · Kingma & Welling
- DQN — 从像素到动作的深度强化学习第一击 · 2013 · Mnih et al.
- ZFNet — 用反卷积把 CNN 黑箱拆开 · 2013 · Zeiler & Fergus
- GAN — 用对抗游戏让生成器学会画画 · 2014 · Goodfellow et al.
- Seq2Seq - 把任意长度序列压成向量，再把向量翻译回序列 · 2014 · Sutskever, Vinyals & Le
- Bahdanau Attention — 让神经翻译第一次学会看源句 · 2014 · Bahdanau, Cho & Bengio
- Adam — 随机优化的自适应矩估计 · 2014 · Kingma & Ba
- VGG — 用 3×3 小卷积把 CNN 推到 19 层 · 2014 · Simonyan & Zisserman
- GloVe - 把全局共现统计压成词向量的最后一块拼图 · 2014 · Pennington, Socher & Manning
- R-CNN — 把 ImageNet 特征带进目标检测的转折点 · 2014 · Girshick et al.
- Network In Network — 把小 MLP 塞进每个卷积窗口 · 2014 · Lin, Chen & Yan
- Adversarial Examples — 线性解释、FGSM 与现代鲁棒性的起点 · 2014 · Goodfellow, Shlens & Szegedy
- BatchNorm — 把训练稳定性变成一层网络 · 2015 · Ioffe & Szegedy
- Inception / GoogLeNet — 用多尺度模块把 CNN 往深处推进 · 2015 · Szegedy et al.
- Nature DQN - 让 Atari 成为深度强化学习的公开试金石 · 2015 · Mnih et al.
- Faster R-CNN — 用 RPN 把候选框也学进网络 · 2015 · Ren et al.
- U-Net — 把编码器-解码器和跳连变成医学分割的默认语法 · 2015 · Ronneberger, Fischer & Brox
- ResNet — 深度残差学习如何打开 152 层之门 · 2015 · He et al.
- FCN - 把分类网络改造成像素级分割机 · 2015 · Long, Shelhamer & Darrell
- Knowledge Distillation — 把大模型的暗知识倒进小模型 · 2015 · Hinton, Vinyals & Dean
- He Init - 给 ReLU 深网一个不会熄火的起点 · 2015 · He et al.
- Spatial Transformer Networks — 让 CNN 学会主动裁剪、对齐和变形 · 2015 · Jaderberg et al.
- YOLO — 把目标检测改写成一次前向的实时回归 · 2016 · Redmon et al.
- AlphaGo — SL + RL + 价值网络 + MCTS 把围棋 9 段提前 10 年 · 2016 · Silver et al.
- DenseNet - 把每一层的特征都留给后来者 · 2016 · Huang et al.
- WaveNet - 直接生成原始波形的神经声码器起点 · 2016 · van den Oord et al.
- A3C - 用异步 actor 把深度强化学习从 replay 里解放出来 · 2016 · Mnih et al.
- LayerNorm: 把归一化从 batch 搬到样本内部 · 2016 · Ba, Kiros & Hinton