搜索
提速不降智，小红书 DoSA 将首 token 延迟减半
5 小时前
小红书Dots团队自主研发了DoSA稀疏注意力方案，该方案通过利用分数上下界，在完全保留原始Top-K选择结果的同时，有效加速了长上下文推理中的索引器瓶颈问题，可提前过滤掉约97%的候选token。DoSA方案通过构造入选阈值下界与候选分数上界，筛除不可能进入Top-K的候选，仅对剩余候选进行全索引头精确打分，并优化了GPU执行流程，避免了零散计算开销。测试结果显示，在约1M token上下文长度下，Dots3-Note-preview、GLM-5.2和DeepSeek-V3.2的首token延迟较各自SGLang基线分别降低了约37%、46%和48%，Indexer的加速效果显著优于现有同类方案。
