搜索
Meta开源“记忆层”，重塑Transformer架构大模型
2025-01-03
Meta推出名为“记忆层”的研究，旨在提高Transformer架构大模型的查询效率。该研究提出的高效查询机制Product-Key Lookup，通过分解键集合，减少算力和时间消耗，使大模型能在不增加算力的情况下扩展参数。此外，并行记忆层优化了硬件使用，共享记忆参数提高了参数效率，而动态调整策略则增强了系统灵活性。
