| 1 | MLX / mlx-lm (Apple 官方开源) (专为 Apple Silicon 打造 / Metal 统一内存极限吞吐 / 零内存拷贝) | 97.6 | SSS | 苹果统一内存架构终极榨取者 / Metal 深度优化突破硬件带宽极限 / 零内存拷贝极速跑 70B/120B 大模型 | 纯 Mac 生态独占，无法在 Linux NVIDIA 显卡或 Windows PC 上运行 / 工业级并发排队调度能力偏轻量 | 拥有 M 系列芯片 Mac (尤其是 64GB/128GB 内存 MacBook Pro 或 Mac Studio) 的独立 AI 极客与开发者。 |
| 2 | llama.cpp (llama-server) (Pure C/C++ Everywhere / 无任何第三方重型依赖、在任何芯片上都能奔跑的纯粹传奇) | 96.5 | S | 纯 C/C++ 零厚重依赖单文件级编译 / 创造了全球事实标准的 GGUF 格式 / 从树莓派到超级计算机全芯片覆盖 | 针对数据中心数千并发极端多卡集群的超大规模分布式编排不如专职云原生引擎深入 | 边缘嵌入式硬件、树莓派、无 GPU 的纯 CPU 服务器、以及追求纯粹零依赖二进制部署的极客系统工程师。 |
| 3 | Ollama (一行命令拉取运行大模型 / 容器级极简封装 / 开发者本地生态第一) | 95 | SS | 极简一行命令下载运行海量开源模型 / 跨平台 Docker 级开箱即用 / 极其丝滑的 Modelfile 定制与 REST API | 针对多卡分布式超大模型并行或极高并发吞吐的显存利用率略逊于专业集群引擎 / 内存调度相对黑盒 | 广大全栈开发者、敏捷业务团队、希望 30 秒内本地搭起 AI 服务并对接 VS Code/Cursor 的程序员。 |
| 4 | vLLM (PagedAttention High-Throughput LLM Serving / 彻底统治全球生产级大模型推理的高并发王者) | 94.2 | SSS | 开创性的 PagedAttention 虚拟内存管理技术 / 显存碎片率趋近于 0 / 并发吞吐量提升 2~4 倍 / 全面兼容 OpenAI API 规范 | 针对边缘极端轻量低显存（如纯 CPU 或 8GB 显存设备）环境相对重型，更适合专业数据中心 GPU | 大模型私有化部署、高并发 AI 生产服务 API 提供商、公有云企业以及需要跑满 GPU 吞吐的架构团队。 |
| 5 | LM Studio (全球最精致大模型 GUI 桌面客户端 / 零代码视觉发现 / 本地开发者服务器) | 92.5 | S+ | 全球最精致的本地大模型 GUI 桌面客户端 / 内置 HuggingFace/ModelScope 极速发现下载 / 本地开发者服务器模式 | 闭源桌面软件，无法直接在无头无界面的远程 Linux 服务器中作为轻量 daemon 驻留 | 偏爱图形化操作界面的开发者、需要直观调节温度/上下文参数的产品经理、希望一键探索前沿开源模型的极客。 |
| 6 | SGLang (RadixAttention Fast Structured Generation / 结构化输出与前缀缓存加速领域的性能天花板) | 91 | S+ | 独创的 RadixAttention 树状前缀基数树缓存 / 极速提升多轮对话与复杂 Agent 重复 Prompt 吞吐 / 强大的结构化 JSON 强制约束 | 生态成熟度与老旧周边辅助工具丰富度相比老牌引擎稍显年轻，但技术内核极具颠覆性 | 多智能体 (Multi-Agent) 编排系统、需要极高频率输出严格合规 JSON 结构的场景、长上下文多轮问答系统。 |
| 7 | TensorRT-LLM (英伟达官方极致 GPU 吞吐推理引擎) (NVIDIA 官方全功能算力榨取核心) | 90.8 | A | 在 NVIDIA GPU 上拥有无可挑战的最高吞吐量与最低首字延迟，原生支持 FP8、Paged KV Cache 与多卡张量并行 | 构建编译与环境配置繁琐陡峭，不支持非英伟达显卡或纯 CPU 架构 | 企业高并发云端 API 集群、超低延迟生产服务、拥有成百上千张 NVIDIA GPU 的机房 |
| 8 | ExLlamaV2 (消费级 GeForce 显卡极致 Tokens/s 帧率引擎) (GeForce 单卡极客的飞速打字机) | 90 | A | 单卡推理速度极快，独创 EXL2 格式支持任意非整数位宽微调模型尺寸，最大化压榨 24GB 显存 | 高度偏向单机消费级 GPU，针对数据中心超大规模多机集群分布式调度的成熟度中等 | 本地单张 RTX 3090/4090、追求极致吐字速度与长上下文角色扮演/写作的单兵极客 |
| 9 | Jan.ai (开源离线桌面端 AI 助理，隐私至上与多后端切换) (优雅美观的完全离线个人 AI 工作台) | 89.2 | B | UI 设计极其优雅高级，底层支持无缝切换 llama.cpp、TensorRT-LLM 甚至远程 API，彻底捍卫个人隐私 | 高级参数调整较为克制，面向极客底层的深度编译与魔改自由度不如纯命令行直接 | 不想折腾黑框命令行的普通白领、对数据隐私极其敏感的律师与文字创作者 |
| 10 | LocalAI (开源自建 OpenAI 兼容的多模态本地推理服务) (全能型云原生 OpenAI 接口完全平替) | 88.5 | B | 不仅支持大语言模型，还同时兼容文本嵌入（Embedding）、音频转写（Whisper）、图像生成等全套 OpenAI 规范端点 | 功能庞大包罗万象导致初次拉取完整 Docker 镜像体积较大，纯文字生成速度略逊于专职单体引擎 | 需要将已有依赖 OpenAI API 的大型商业系统无缝切换到本地私有集群的企业团队 |
| 11 | Text Generation Inference (TGI by Hugging Face) (The Cloud-Native Benchmark by HF / 全球最大模型社区打造的生产级标准化引擎) | 87.8 | S | 与 Hugging Face Hub 生态原生无缝连接 / 采用 Rust 编写极速 HTTP 路由分发器 / 原生支持安全张量 safetensors | 曾因许可证模式从纯 Apache 2.0 调整引发社区讨论，生态活跃度与 vLLM 形成并驾齐驱的竞合格局 | 深度依赖 Hugging Face 平台生态、公有云托管部署以及需要高安全合规容器化标准的企业团队。 |
| 12 | Aphrodite Engine (The Uncensored Community Powerhouse / 深度兼容多种量化格式的开源高并发社区先锋) | 87.1 | A | 完美兼容 vLLM 核心架构与 API / 极其广泛地支持各类开源量化格式 (AQLM, AWQ, GPTQ, ExLlamaV2, Marlin) / 社区驱动无包袱 | 属于开源高阶玩家社群推动的先锋衍生项目，企业级大规模多机集群商业支持偏向社区自治 | AI 极客玩家、创意小说生成社区、需要高吞吐且尝试多样化奇特量化算法的研究人员与独立开发者。 |
| 13 | Open WebUI (功能极其强悍的自建 LLM 网页控制台与私有知识库) (全球最受欢迎的 ChatGPT 级自建控制台) | 86.5 | B | 功能极其丰富，原生打通 Ollama 与所有 OpenAI 兼容后端，一键上传 PDF 即可开启精准知识库问答并支持多人权限管理 | 本质是面向应用层的全功能 Web 客户端，底层模型的高性能推理运算仍需依托 Ollama 或 vLLM 提供 | 需要为公司搭建内部私有 ChatGPT 门户、个人私有文献知识库整理、家庭多设备统一访问 |
| 14 | Kobold.cpp (针对文本生成与离线创意写作优化的单文件轻量引擎) (双击即用的纯 C++ 单文件微型奇迹) | 85.8 | B | Windows/Mac 下直接双击单文件即可运行并自动弹出自带的 Web 写作界面，对内存与显存的管理精巧到极致 | 界面风格偏向复古极客小说创作风格，不适合需要现代扁平商业报表展示的场景 | 完全不懂代码环境配置但想玩本地大模型的普通文学爱好者、单机长篇小说创作者 |
| 15 | Triton Inference Server (英伟达多模型全功能企业级微服务部署引擎) (企业级多框架混合部署工业总指挥部) | 85.2 | B | 企业级治理能力无敌，支持数十个不同模型在同一批显卡上动态共享与并发调度，提供严格的健康探针与服务网格治理 | 针对个人桌面级本地把玩过于庞大重型，需要深厚的后端架构与 K8s 运维知识 | 大型互联网企业 AI 基础设施团队、需要统一管理成百上千个微服务模型的架构师 |
| 16 | ONNX Runtime GenAI (微软跨平台统一底座) (微软全硬件大一统 / DirectML加速 / NPU原生驱动 / 跨CPU/GPU/NPU) | 84.5 | A | 微软官方跨平台硬件加速底座；通过 DirectML 与专属执行提供商（EP），一套代码无缝跨越 NVIDIA CUDA、AMD ROCm、Intel NPU/GPU、高通骁龙 NPU 及纯 CPU，实现全硬件平台通吃 | 模型需要提前导出并转换为 ONNX 专用权重格式，初次转换流程稍显专业化 | 开发跨平台桌面客户端应用（Windows/macOS/Linux）、需要兼顾 Copilot+ PC 与各类杂牌硬件本地推理的软件开发商。 |
| 17 | llamafile (Mozilla 开源的单文件跨操作系统可执行模型自解压引擎) (跨架构跨 OS 终极便携单文件可执行模型) | 83.9 | B | 一个扩展名文件直接双击即可同时在 Windows、Mac、Linux、FreeBSD 六大操作系统上直接运行，且零依赖 | 为了实现全操作系统通用二进制兼容，在特定前沿 GPU 的最极端微架构指令优化上稍有折中 | 制作可开箱分发给完全不懂技术的客户的大模型演示包、长期离线档案归档 |
| 18 | Tabby (面向团队私有化代码智能补全的轻量本地推理后端) (企业私有化代码 Copilot 专属推理引擎) | 83.2 | B | 专为代码 FIM（Fill-in-the-Middle）中间补全场景深度优化，首字补全延迟低至数十毫秒，深度集成 VSCode/JetBrains | 专注于代码编程大模型与研发工作流，不适宜作为通用开放域综合闲聊问答底座 | 严禁代码外泄至公网的科技企业研发团队、金融与国防保密单位编程研发部 |
| 19 | Faraday.dev (零门槛美观的本地离线模型桌面运行器) (聚焦角色沉浸与美观交互的轻量桌面端) | 82.5 | B | 界面设计温和柔美，完全隐藏底层晦涩难懂的显卡显存参数，根据用户电脑配置自动智能推荐最匹配的模型尺寸 | 针对高阶开发者的底层自定义 API 调度与微调插件扩展度相对收敛 | 不想了解任何技术术语、只想在电脑上安静拥有一个懂自己的虚拟角色的泛大众用户 |
| 20 | GPT4All (Nomic AI 打造的面向大众用户的极简无门槛本地模型启动器) (本地开源大模型普及化的功勋启蒙导师) | 81.8 | B | 纯粹开源免费，内置本地文档检索（LocalDocs）功能，即使是完全没有独立显卡的普通轻薄本 CPU 也能流畅运行 | 随着现代专职云端引擎的狂飙猛进，其在超大集群高并发与极限多卡加速上已退居个人普及定位 | 完全没有独立显卡的普通笔记本电脑用户、初涉本地 AI 的中学生与大学新生 |