开发者将破解后的索尼 PS5 当作本地 AI 服务器:利用 GPU 加速运行 27B 参数 Qwen3.8-27B 模型,速度达 20.9 token/s
4 小时前 / 阅读约3分钟
来源:IT之家
开发者abhi245y基于PS5LM项目开发了PS5LM Plus,让破解的PS5主机能在本地运行大型语言模型。通过移植AMD RADV驱动,可用内存提升至11.4GB,模型生成速度大幅提升。PS5还能充当本地AI服务器。

IT之家 10 月 17 日消息,据外媒 Wccftech 报道,开发者 abhi245y 基于资深 AI 工程师 Mert Cobanov 的 PS5LM(llama.cpp 移植项目),开发了原生 GPU 应用 PS5LM Plus,让经过破解的 PS5 主机能够在本地运行 Qwen3.8-27B 等大型语言模型。

IT之家获悉,PS5LM 的早期版本主要依靠 CPU 运行模型,执行 27B 参数模型时,平均每分钟只能生成约 1 个 token。为提升性能,开发者 abhi245y  移植了 Mesa 开源项目中的 AMD RADV 驱动,并通过 Vulkan 计算接口让 llama.cpp 能够作为原生应用在 PS5 上运行。这项改动将可用内存从约 6GB 提升至 11.4GB,使主机能够运行经过高度量化的 Qwen3.8-27B 模型。

得益于 PS5 较高的内存带宽(448GB/s),Qwen3.8-27B 的生成速度可达每秒 20.9 个 token。测试期间,GPU 使用率达到 100%,CPU 使用率仅为 2%。对于规模更小的模型,PS5 还能实现更高的生成速度,例如 Gemma 4 E4B 约为每秒 61 个 token,Llama 3.2 3B 则达到每秒 124 个 token。

除了利用 PS5 的 GPU 加速模型推理,PS5LM Plus 还内置网页聊天界面,并可通过局域网 8081 端口提供 API 服务,用户可通过同一网络中的其他设备访问页面,与本地运行的模型对话。该项目还兼容 OpenAI 和 Anthropic API,方便 opencode、Codex、Claude Code 等工具调用 PS5 上运行的模型。

对于一台主要面向游戏设计的主机而言,PS5 能够充当本地 AI 服务器,为大模型推理提供 GPU 加速,展示了其硬件在游戏之外的应用潜力。不过,该机配备的 16GB RAM 统一内存仍然限制了模型的选择和运行质量。此外,运行原生版 llama.cpp 需要先对 PS5 进行越狱,可能会导致游戏机及 PSN 账号被封禁等风险。