分布式训练多机比单机慢？面试官揭秘80%的人踩过的坑
刚面完一个让我血压飙升的候选人！手到现在还在抖！
嘿，跟你说个事儿。
今天面试了一个简历写得天花乱坠的候选人，结果你猜怎么着？问了三个问题，倒了两个。
不是说他菜——是太“会”了。背题背得太溜了，溜到我差点鼓掌。
但你知道，真正干过活的人，和只会背八股的人，在我这儿撑不过三个追问。
我做面试官好多年了，去年开始专攻大模型方向的面试。说实话，这事儿挺有意思的——怎么问问题，本身就是个技术活儿。
问浅了，看不出深浅。
问深了，人家觉得你在显摆。
问得刚刚好，又能挖出真水平——这才是本事。
今天，我就把肚子里这点东西全倒给你。如果哪天你坐在桌子那头，对面坐着一个像我这样的面试官……你会感谢看到这篇文章的。
第一个问题：分布式训练，这是我筛人的“照妖镜”
“数据并行，你做过吗？”
这个问题我逢人必问。
为什么？因为太好使了。
它像一把钥匙——真干过的人，能哗啦啦说出一堆坑；没干过的人，只能背教材。
有个候选人，简历写得那叫一个漂亮——分布式训练经验3年。我问完第一个问题，他答得头头是道，我心想“哎哟不错哦”。结果我随口追了一句：
“你用的是什么通信后端？踩过什么坑？”
……沉默。十秒钟的沉默。像教室里的冷场，尴尬得能拧出水来。
说到这儿，你知道分布式训练这玩意儿最可怕的是什么吗？
是你会踩坑，但你不知道自己在踩坑。
举个例子。
我用NCCL做AllReduce，单机8卡跑得飞起。心想，“这不挺简单的吗？”然后扩展到多机32卡。
你猜怎么着？
训练速度不但没快，反而变慢了！
我花了整整三天排查。三天啊！最后发现是跨机网络配置的问题——就这么一个小问题，差点让我把电脑砸了。
这事儿，面试官不问，你永远不会主动说。但一问，就知道你到底有没有真正摸过那些冰冷的GPU。
再问一个：ZeRO的三阶段，都优化了什么？
背答案的人会告诉你：ZeRO-1拆分优化器状态，ZeRO-2加梯度，ZeRO-3拆参数。
嗯，没错。
但我追问一句：“ZeRO-3在通信上有什么代价？”
能答上来的人，立马少了80%。
你想啊，参数都拆了，前向传播的时候你得AllGather参数，反向还得ReduceScatter梯度。通信量比纯数据并行大了好几倍！
去年我们训一个70B的模型，用ZeRO-3，你知道通信开销占了训练时间的多少吗？
40%以上。
一半的时间都在等通信！你说气不气？
后来换成了数据并行+张量并行的混合策略，才把通信占比压到20%以下。
你看，这个问题问的不是你会不会背——问的是你有没有做过性能分析，是不是只会吹配置不会踩坑。
说到Agent——这两年最火的方向，我加了这些新问题
这两年被问得最多的就是Agent开发岗。你要是面这个方向，下面这些问题，一个都跑不掉。
“LLM和Agent，到底有什么区别？”
这个问题看着简单吧？
但我面过的人里，有一半答不到点子上。
有一个候选人给我的印象特别深。他说——
“LLM就像一个空有知识的学霸，但Agent是给这个学霸配上了手和脚，让他能干活。”
我当时就笑了。这比喻，绝了！
你看，LLM只是一个语言模型——它能理解、能生成、能推理，但本质上就是个“大脑”。而Agent呢？在LLM的基础上加了感知、规划和行动的能力——能看（多模态）、能想（规划）、能动（工具调用）。
说到核心区别，其实就四个字：主动性和闭环能力。
LLM，你问一句它答一句。
Agent呢？它可以自己分解任务、调用工具、观察结果、调整策略。
再问你一个：Function Call、MCP和Skills，有什么区别？
这三个概念经常被人混在一起说。但如果你能分清楚，面试官就会对你刮目相看。
Function Call，是模型的能力——让LLM学会输出结构化的函数调用指令。说白了，就是模型本身能理解“我该调用API了”。
MCP呢？是协议标准——它规定了工具该长什么样、怎么描述自己、怎么调用。没有标准的时候，各家自己定义格式，互相不兼容。MCP就是来解决问题的。
而Skills，是编排层的东西——把多个工具调用组合成一个可复用的技能。比如“查天气+订机票+订酒店”可以打包成一个技能。
这个问题，考的是你对技术栈的整体理解。
“Agent的工作模式，你知道几种？”
ReAct模式、Plan-and-Execute模式、Reflection模式、Multi-Agent协作模式……这些你应该都能讲。
但我更看重的是——你能不能说出每种模式的适用场景和局限性？
比如ReAct模式，适合简单的工具调用。但任务复杂了，容易出错。
Plan-and-Execute呢？适合需要拆解的任务。但计划错了，后面的执行全白搭。
去年我们做一个代码生成的Agent，刚开始用ReAct模式。结果呢？模型经常在“调API-看结果-再调API”的循环里打转，效率低得惊人。
后来改成了先规划再执行——把代码的模块结构事先规划好，再让模型逐个模块去实现。效果好了不止一星半点。
最后一个Agent问题：A2A协议，你了解吗？
这个问题比较新。没见过的正常，但做过Agent开发的人应该能说出个一二。
A2A，全称是Agent-to-Agent。解决的是AI Agent之间怎么协作的问题。
和MCP的区别在哪呢？MCP是Agent调用工具，A2A是Agent找Agent帮忙。
我觉得这个概念以后会越来越重要——现在大家都在做单Agent，但真正的复杂任务场景，肯定需要多个Agent协作。
多模态和评测——这些被低估的“隐形杀手”
“你接触过视觉语言模型吗？训练和纯文本LLM有什么不同？”
这个问题，我通常用来判断候选人能力的广度。
VLM训练最核心的难点是什么？四个字：多模态对齐。
你把一张猫的图片和“猫”这个文本输入模型，模型得学会把它们映射到同一个语义空间。
训练策略跟纯文本不太一样——通常分三个阶段：
1. 对齐预训练（让图片和文本的特征对齐）
2. 多模态指令微调
3. RLHF
训练资源开销也更大。视觉编码器和LLM可能分布在不同的GPU上，模型并行策略需要仔细设计。
面试的时候我特别爱追问：“视觉模型和语言模型的参数规模差别很大，你怎么设计并行策略？”
这个问题，能筛掉大部分只会背书的候选人。
“你设计过评测方案吗？”
评测这块，很多人觉得不重要。
错了。恰恰是我最看重的。
你训练了模型，怎么知道它好？只看loss降了不行——那个会骗人。
我一般会问候选人：给你一个垂直领域的模型（比如医疗问诊），你怎么设计评测方案？
我期待的答案是什么？
第一，从真实业务场景中抽取至少500条问题作为评测集。不能光用公开数据集——公开数据和真实投放的数据分布差太多了。
第二，评测要分维度：正确性、相关性、完整性、安全性。
第三，要有对抗样本——专门用来测试模型会不会产生幻觉的问题。
评测方式上，自动评测用JudgeModel打分，同时算ROUGE、BLEU等指标。人工评测要双盲，至少3个人打分。
最后出分析报告，定位薄弱点，给出优化建议。
跟你说实话——做评测这件事很脏很累，但也是真的能学到东西。我今年花了很多时间研究评测的可靠性——LLM-as-Judge的打分到底稳不稳？人工评测的一致性怎么保证？
这些，才是真正的工程问题。
微调和RAG的权衡——没有标准答案的问题
“微调和RAG，你怎么选？”
这个问题没有标准答案，但能看出一个人的工程思维。
业务上，RAG适合知识更新频繁的场景——你总不能每次文档更新都去微调一次模型吧？RAG直接改知识库就行。
微调呢？适合改变模型的“风格”或“行为模式”——比如你希望模型在回复的最后一定要加上免责声明，这种可以通过微调实现。
但两件事不是互斥的。
工业界最常见的是什么？RAG+微调的组合方案。用RAG解决知识实时性的问题，用微调优化模型的输出格式和风格。
我去年就踩过这个坑。
一开始想着只要RAG做得好，微调不需要——结果模型输出的格式乱七八糟，一个简单的JSON格式都搞不定。最后老老实实加了一个微调流程，专门优化输出格式，问题才解决。
你看，偷懒是解决不了问题的。
最后，说说我的面试哲学
面了这么多人，我最大的感受是：
能答上来的不一定真懂，但答不上来的肯定是真不懂。
面试不是为了难倒你，而是为了找到你的上限在哪里。
一个好的面试官，应该给你足够的机会展示自己，同时也能挖得出你真正的水平。我的话，喜欢从一个简单问题开始，然后不断追问，直到你答不上来为止——那个点，就是我判断你能力边界的地方。
另外，我特别看重候选人对“为什么”的回答。不是“我用了XX框架所以这么做”，而是“我考虑了这几个方案，最终选这个是因为……”
能说出“为什么”的人，才是真正理解问题的人。
最后说句实话给你听。
现在大模型方向确实火，各种培训班、面试题库满天飞。我见过太多能把八股文背得滚瓜烂熟的人，但一到实际操作就露馅。
我的建议是：别光背题，真正去搭一个Agent，跑一遍分布式训练，踩几个坑。你会学到比面试题多十倍的东西。
如果你现在在准备面试，记住一句话——
面试官不是在找一本百科全书，而是在找一个能一起打怪升级的队友。
你说，对吧？
好了，写完了。
如果你也要面试大模型方向的岗位，希望对你有帮助。如果有我没说到的问题，欢迎来怼，我听着。
毕竟，真正的高手，从不害怕被挑战。
读者评论 5