MoE 的专家负载不均出现在两个阶段,表现和根因都不一样。动手排查之前,先判断自己属于哪一种:训练或微调时:路由本身在退化。少数“热专家”接走了大部分 token,另一些专家几乎收不到输入,成了“死专家”。如果设置了容量上限(capacity factor),token 丢弃率还会跟着升高。根因通常在路由器和平衡损失上。多卡推理并开启专家并行(EP)时...
SGLang 在 2026 年 7 月底的官方 Release 中,提供了对 Kimi K3 2.8T LatentMoE 模型与 MiniMax-H3 音视频模型的 Day-0 原生推理支持,并引入了 DCP(Decode Context Parallelism)、DSpark 投机解码、KDA-aware 前缀缓存与 FlashInfer 优化,且...