搜索
蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核
9 小时前
10月21日消息，蚂蚁集团携手vLLM社区共同开源了Humming，这是一个通用且高性能的量化推理算子库。Humming支持多种GPU及兼容CUDA编程的设备，通过统一架构，实现了Dense和MoE中多种权重与激活格式的组合，覆盖了多种整数和浮点类型、位宽及缩放方式。在多种典型负载测试中，Humming的执行性能显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有方案。
