百万token上下文已成为大模型标配,但向千万token量级推进时,传统稀疏注意力方案中筛选相关token的索引器开销随长度线性增长,整体prefill仍呈二次方复杂度,成为超长上下文性能瓶颈。伦敦一家初创公司与苏黎世联邦理工学院联合提出隐空间稀疏注意力(LSA)方法,将key按语义聚类分组,通过扁平搜索或层次树束搜索,使索引器复杂度降至次二次方。该方法支持两种落地形式:嫁接现有模型的D-LSA,以及预训练原生使用的N-LSA。在千万token场景下,可实现数倍至数十倍的prefill提速,同时保持与原模型相近精度,大幅降低超长上下文的运行耗时与索引显存占用。
