搜索
字节找到了 DeepSeek 时强时弱的原因
3 小时前
字节 Seed 团队发现，DeepSeek-V4 系列模型在处理输入信息时，存在以 4 个 Token 为周期的表现波动现象。在 128K 长上下文检索测试中，不同位置信息的准确率差异最大可达 40.2 个百分点。这一现象源于 DeepSeek-V4 采用的分块 KV Cache 压缩技术，导致模型对压缩窗口内不同相位信息的检索能力存在系统性差异，即相位敏感性。这是分块压缩设计可能引入的周期性检索弱点。尽管后续的后训练和架构迭代能缩小性能差距，但周期性差异仍会残留。团队通过对照实验验证了这一结论，并建议评估采用分块 KV Cache 压缩的模型时，需在不同压缩相位上分别测试信息，而非仅参考整体平均准确率。
