72 页 PPT,带你梳理神经网络架构含 PyTorch
我终于找到了一份真正救命的深度学习架构资源，不是什么包装出来的“三天精通”，而是红色石头推荐的一份72页PPT，作者叫Santiago Pascual de la Puente，每页都带着能跑的PyTorch代码片段。这份东西解决的事情特别简单：当你面试前想快速复习主流架构，或者新项目里突然要搭个模型需要参考代码，不用翻几百页文档，也不用去论文里抠细节。全连接、RNN、CNN、GAN、U-Net、QRNN，它全给你串了一遍，每个结构都配了一段代码。说白了，就是一本“架构速查手册”，拿出来就能啃，啃完就能用。
基础架构？跳过就等着踩坑
PPT分三块，第一块叫Basic Architectures——全连接、循环、卷积。我当时一看就想：这还用看？太基础了吧！直接跳到高级部分不好吗？
结果被现实狠狠抽了一巴掌。有一次做序列模型，我把LSTM的输入维度搞错了，查了半天死活找不到问题。最后才发现，我连RNN的hidden_state是怎么传参的都没整明白。丢人都丢到姥姥家了。
只好灰溜溜地翻回PPT的基础部分，把全连接的计算图和nn.Linear的用法老老实实过一遍。它不光画了网络结构图，还把每一层的数学公式和代码对应着写出来。比如全连接层，公式是Y = activation(X·W + b)，代码就是F.relu(linear(x))。最绝的是，它专门标注了权重的shape——这玩意儿好多博客都懒得写，但对调试来说太要命了。后来我写CNN的时候，全靠它对照着算卷积层的输出尺寸，一次算对，再也没模模糊糊地试错。
你要真觉得基础不重要？这个坑，我替你踩过了。
进阶架构：这部分才是开挂的地方
第二块Advanced Architectures，我直接拍大腿推荐。它收了六个方向：混合CNN/RNN（QRNN）、自动编码器、深度分类器/回归器、残差连接和U-Net/SEGAN、GAN（DCGAN）。每个结构只花三五页，但核心思路讲得清清楚楚。
说到这又想起一个踩坑的故事。有一次我想用自动编码器做异常检测，自己搭的网络，loss怎么都降不下去，重构出来的图像糊成一片。翻到PPT里Auto-Encoders那几页，发现它强调了一句话：编码器输出维度不能太小，否则信息损失太大。我当时latent size设的是2，PPT里的例子至少设了128。改完之后效果立竿见影。那一刻我觉得自己被拯救了。别看它代码简单，关键参数和设计原则全写在里面。
再说GAN那部分，也值得单独拿出来吹一下。PPT用DCGAN举例，把生成器和判别器的标准写法全给了——卷积层的kernel size、stride、batch norm放在哪。我第一次训DCGAN时照着抄，但自作聪明把nn.BatchNorm2d的顺序换了，放到卷积之后、激活之前？不，我放别处去了。结果训练直接爆炸，生成器啥也学不会。后来老实了，严格按PPT的顺序来，一下子就稳定了。
顺序、参数、细节，一个不对就全崩。这就是反直觉的地方：你以为简单的东西，往往是最要命的。
Conclusions也别跳过，虽然只有两三页
PPT最后有个Conclusions，讲怎么根据任务选架构。别看它短，真香。比如分类任务优先考虑CNN+全连接，序列预测用RNN或Transformer，生成任务看情况用GAN或自动编码器。后来我做技术方案评审时，经常引用这几页的判断逻辑。一大帮人开会吵得不可开交，方案选型各种撕逼，我直接把这几页翻出来，世界安静了。省了多少扯皮的功夫。所以别小看结尾那一点点内容，关键时候能救场。
PPT里没明说，但你必须知道的事
我必须跟你说个大实话：这份PPT是2019年整理的，代码基于PyTorch 1.0。现在PyTorch都2.x了，有些API已经变了。虽然torch.nn.functional用法基本没动，但torch.optim的默认参数早就不一样了。我跑它给的DCGAN代码时，发现用Adam的默认lr（0.001）会导致判别器loss迅速降到0，生成器学都学不动。需要改成0.0002，betas改成(0.5, 0.999)——这是DCGAN原论文的老经验，PPT里根本没提。不改？等着翻车吧。
还有，PPT里的代码偏演示，只保留了核心逻辑。比如QRNN那部分，只实现了卷积门控的循环单元，完整的训练循环？对不起，没有。你要自己补上DataLoader、loss计算和反向传播。新手可能直接卡在这一步。我建议你配合那篇《零基础精通PyTorch》项目一起看，它的代码注释特别细，正好补上PPT跳过的那点工程细节。
我的使用姿势：当字典，别当小说
我不会从头到尾刷这份PPT的，太傻了。我把它当索引。想了解某个新架构？先翻PPT看看有没有。有的话，花10分钟过一遍结构和代码，然后去对应框架里复现一个。如果PPT里没有，再去看原论文或者上的深度解读（比如Transformer全貌、BERT原理实现的那种）。比你直接啃论文快十倍，信不信？
PPT开头也提了在线地址（docs.google.com/present...），但因为Google Drive可能需要代理才能访问。国内的话，你可以在红色石头个人网站上找到备用链接，或者直接搜PPT标题，有人搬运过。
进阶建议：吃完这72页还想飞？按这个顺序来
如果你把这72页吞下去了，还想继续深入，我建议按这个顺序走：
第一，动手复现PPT里的每一个代码片段，不要只看。把输入输出打印出来，搞清楚维度是怎么变化的。不亲手跑一遍，你永远以为自己懂了。
第二，对照一份自我检验清单（比如那篇Transformer文章里的），验证自己是不是真的懂了。很多坑，只有测试的时候才知道。
第三，扩展到图神经网络。PPT没有覆盖GNN，但你可以去上图注意力网络的教程，用PyTorch Geometric动手跑一个节点分类。感觉一下，这个世界又大了不少。
第四，关注工程部署。PPT只讲模型结构，不讲推理加速。你可以用ONNX把训练好的模型导出，然后用ONNX Runtime或TensorRT跑一遍，看看速度能提升多少。这玩意儿在工业界，才是真的大杀器。
最后，说句大实话
这份PPT不能让你三天变大佬，我承认。但如果你是面试前抱佛脚，或者想快速搭个基线模型，它就是最好的拐杖。我已经把它存到收藏夹置顶了。每当我开始一个新项目，第一件事就是翻翻它，确认架构选型没跑偏。有多少次你迷失在论文海洋里，不知道该从哪下手？这份PPT就是那个灯塔，哪怕光线不强，至少能把你引到岸边。
对了，最后再提醒你一句：如果用PyTorch 2.0以上跑里面的代码，记得检查torch.nn.functional.linear所在的设备——PPT里没写device参数，默认会在CPU上跑。GPU用户需要手动加.cuda()或.to(device)。这个坑，我替你踩过了。
快谢谢我！
它不能让你一夜封神，但能让你踏出每一步时，脚下都有路。
读者评论 4