搜索
仅14MB！树莓派5纯CPU也能跑AI 离线指令毫秒级响应
2 小时前
近日，开发者Cactus Compute推出了一款名为Needle 2的轻量级AI模型。该模型体积小巧，仅14MB，专为树莓派5等端侧设备设计，无需AI加速扩展板即可运行。Needle 2能在本地将自然语言指令实时转换为结构化函数调用，如将“调暗客厅灯光至10%”的指令转换为具体函数参数，且整个过程无需云端连接，保护用户隐私。该模型采用Simple Attention Network架构和Cactus Quants量化技术，在保持高性能的同时实现了极致轻量化。Needle 2支持广泛的平台和操作系统，包括ARM64、x86-64、RISC-V及WebAssembly等架构，以及Apple、Windows、Linux、Android等系统。其自包含设计使得模型直接嵌入二进制文件，无需运行时依赖或网络连接，便于集成到各种应用中。在性能方面，Needle 2在树莓派5上可达500 tokens/秒的解码速度，在低端手机上也能达到300-700 tokens/秒，展现出在资源受限设备上的高效运行能力。
