蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核
每经AI快讯，10月21日，据蚂蚁开源官微消息，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
每日经济新闻
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”