OVH 推出首个 AI 模型家族 Olala 开源 Olala mini 7A1B
1 小时前

欧洲云服务企业OVHcloud发布首个AI模型家族Olala,首款成员Olala mini 7A1B采用Differential-TPA与Mamba-3结合的混合注意力机制,总参数70亿、激活参数10亿,使用BF16数据格式,将以Apache 2.0许可开源。该模型可在8GB显存GPU上运行,RTX A4500上词元吞吐量达160TPS,纯CPU平台亦可实现50TPS。模型依托三台欧洲公共超级计算机,使用NVIDIA GH200、A100、H100训练,总开销700万欧元。初始版本上下文长度为32K,预计年底推出的1.1版本将扩展至128K上下文并优化数学能力,后续Olala 2.0参数规模将超100B。