| 1 | llama.cpp / GGUF (全球端侧通用量化标准与混合精度之神) (跨架构全平台量化生态终极底座) | 98.5 | S | 零 Python 庞大依赖，单文件编译即可榨干从 Apple Metal、x86 AVX-512 到 CUDA 的每一滴硬件算力，独创 k-quants 混合精度 | 在数据中心级别数千并发请求的高维连续批处理（Continuous Batching）吞吐弱于专职云端引擎 | 本地 Mac/PC 离线运行、移动边缘设备端侧推理、任何希望脱离繁重 PyTorch 依赖的独立开发者 |
| 2 | vLLM / AWQ (Activation-aware Weight Quantization 生产级高并发基石) (数据中心云端高并发推理工业标准) | 97.2 | S | 仅保护 1% 关键显著权重即保障 4-bit 精度，与 PagedAttention 完美交融，单卡并发承载量飙升 3-5 倍 | 高度针对英伟达 GPU Tensor Core 优化，对纯 CPU 或非 CUDA 平台的友好度较低 | 企业 API 网关自建、高并发大模型 SaaS 服务商、私有云算力集群调度团队 |
| 3 | TensorRT-LLM / FP8 (英伟达企业级数据中心极致吞吐量化方案) (NVIDIA 官方 Hopper/Blackwell 极致压榨重器) | 96 | S | 原生 FP8 浮点量化带来接近 FP16 的完美精度与翻倍的硬件吞吐，拥有 NVLink 多卡并行极低延迟内核 | 强绑定 NVIDIA 最新架构显卡，编译与安装流程极其繁琐陡峭 | 拥有成百上千张 H100/A100 算力集群的大型互联网企业、需要榨干硬件极限性能的超大模型厂商 |
| 4 | AutoGPTQ / GPTQ (经典二阶梯度权重量化工业标准) (后训练权重量化 (PTQ) 奠基之作) | 94.8 | A | 广泛被 HuggingFace Transformers、Text Generation WebUI 等传统开源工作流内置，生态沉淀极深 | 量化构建阶段计算 Hessian 矩阵较慢，且推理吞吐被现代 AWQ 与 Marlin 内核超越 | 维护已有 GPTQ 资产、需要在各种开源传统推理前端快速调用的团队 |
| 5 | BitsAndBytes / NF4 (4-bit NormalFloat 微调与加载神器) (QLoRA 革命的核心显存解放底座) | 93.5 | A | 让开发者能在单张消费级显卡（如 RTX 3090/4090）上直接对 70B 大模型进行微调，无需预先离线量化 | 主要侧重微调期权重冻结与即时解量化，在线高并发推理的纯吞吐弱于专职推理引擎 | 本地算力有限但需要微调中大尺寸模型的算法工程师、个人研究员 |
| 6 | ExLlamaV2 / EXL2 (消费级显卡极速可变比特量化引擎) (极客圈最高帧率的单卡推理怪兽) | 92.4 | A | 单卡推理速度极其恐怖，支持按小数位宽（如 4.25-bit、5.5-bit）精细调整模型大小以恰好塞满特定显存 | 高度特异于单机消费级 GPU，缺乏面向大型集群的复杂网络分片与负载均衡支撑 | 本地拥有 24GB 显存（RTX 3090/4090）、追求极致生成速度与长上下文问答的单兵玩家 |
| 7 | AutoAWQ (轻量级自动化激活感知量化工具链) (模型离线量化转换与导出利器) | 91.5 | B | 极度轻量与标准化，几行脚本即可完成标定、裁剪与量化导出，无缝对接 vLLM 与 TGI | 作为离线量化工具包，推理时通常移交给 vLLM 等专用引擎，自带的简单推理仅用于验证 | 需要将自研微调模型批量转化为 AWQ 格式以供云端生产集群上线的 MLOps 工程师 |
| 8 | MLX-LM Quantize (Apple Silicon 原生 4-bit/8-bit 极速量化) (Mac 统一内存架构原生极速量化) | 90.6 | B | 无需预先标定即可秒级完成量化，在 Mac 统一内存上实现零拷贝直接极速加载与高频生成 | 完全排他性地仅支持 macOS / Apple Silicon，不支持 Linux 与 Windows | 拥有一台 64GB/128GB 统一内存 Mac Studio / MacBook Pro 的苹果极客与开发者 |
| 9 | Marlin (面向 4-bit 权重的极致 FP16 矩阵乘法加速内核) (击穿算力墙的极速混合 GEMM 汇编内核) | 89.7 | B | 比传统 GPTQ 内核快近 4 倍，甚至可以在批量推理中达到接近理想的 FP16 硬件利用率 | 本质是一个底层的 CUDA 算子扩展库，需要上层引擎（如 vLLM）封装后使用 | 深入底层 CUDA 内核优化的推理引擎架构师、自研推理框架团队 |
| 10 | HQQ (Half-Quadratic Quantization 无需标定集秒级量化) (零校准集瞬间求解的数学量化奇迹) | 88.8 | B | 不需要任何校准语料文本，纯靠闭式数学优化在短短数十秒内直接将模型量化到 2-bit/3-bit/4-bit | 缺少实际激活分布信息的指导，在极端敏感任务下的精度略逊于 AWQ | 需要量化完全保密私有模型（零外部数据输入）、追求极致量化构建速度的研发团队 |