MoE 模型专家负载不均怎么排查:先分清训练还是推理,再逐层定位

MoE 的专家负载不均出现在两个阶段,表现和根因都不一样。动手排查之前,先判断自己属于哪一种:训练或微调时:路由本身在退化。少数“热专家”接走了大部分 token,另一些专家几乎收不到输入,成了“死专家”。如果设置了容量上限(capacity factor),token 丢弃率还会跟着升高。根因通常在路由器和平衡损失上。多卡推理并开启专家并行(EP)时...