信息卡

一句话定位

一款开源终端工具：自动探测本机 RAM/CPU/GPU 配置，对数百个模型在内存适配、速度估算、质量与上下文四个维度打分排名，一条命令告诉你哪几个 LLM 在这台机器上真的能流畅跑起来。

趋势解读：为什么火

"12GB 显存能跑 Qwen 多大量化版？"是本地模型圈每天被问烂的问题，此前答案散落在论坛经验帖里。llmfit 把它变成工程问题：硬件探测、四维评分、基于内存带宽模型的测速预估全部自动化，1.0 版本后数字变得可验证（每条估算附带输入假设），新加入的众包 benchmark 更让实测 tok/s 以 PR 回流社区。Rust 单二进制加 TUI 交互，精准命中本地 LLM 复兴潮刚需。

核心功能拆解

• 硬件探测：识别 RAM、CPU、GPU/VRAM 与已装的运行时后端，构成评分基线；
• 四维模型评分：memory fit（能不能塞下）、estimated speed（跑多快）、quality（多聪明）、context（上下文多大）综合排名；
• 双界面：默认交互式 TUI 展示检测到的规格与全量模型排行，另有面向脚本与 Agent 的经典 CLI；
• 速度估算可信化：模型基于内存带宽理论加真实运行时采样校准，`llmfit info` 公开每个数字的前提；
• 社区 benchmark 回流：TUI 内置流程引导你下载模型、起服务、量出真实 tok/s/TTFT 并一键提 PR，合入后同款硬件用户直接看到实测对勾；
• MoE 架构感知：Mixtral、DeepSeek-V3 这类混合专家模型按激活参数而非总参数估内存；

7. 多 GPU 与动态量化选档支持；

8. 本地运行时 provider 感知：对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio。

架构与技术栈浅析

Rust + cargo 构建，产物为免依赖单文件二进制，Windows 发行版还经 SignPath 做 Authenticode 数字签名（GitHub Actions 流水线内签发）。模型目录内置数据库支撑，隐私策略明确：仅在用户主动触发下载、provider 查询或排行榜时才联网。姊妹项目形成工具族——llmserve（本地起服务 TUI）、llama-panel（macOS 原生管理面板）、sympozium（Kubernetes 管理 Agent）。

安装与环境要求

任选渠道：

scoop install llmfit                          # Windows
brew install AlexsJones/llmfit/llmfit         # macOS/Linux 预编译（或 brew install llmfit）
port install llmfit                           # MacPorts
curl -fsSL https://llmfit.axjns.dev/install.sh | sh          # Quick install
uv tool install -U llmfit                     # Python 包方式 / uvx llmfit 免装运行
docker run ghcr.io/alexsjones/llmfit          # Docker 输出 recommend JSON

源码编译需 Rust 工具链：`git clone` 后 `cargo build --release`，产物在 target/release/llmfit。

快速上手示例

llmfit                        # 打开 TUI：本机硬件 + 全部模型按适配度排名
llmfit fit                    # 表格模式列出所有模型
llmfit recommend --json       # 输出 JSON 推荐，供脚本/Agent 消费
llmfit info "Qwen3-14B-GGUF"  # 单模型适配分析与验证方法
llmfit bench                  # 对着正在运行的 provider 实测 tok/s 与 TTFT
llmfit doctor                 # 导出硬件检测报告便于反馈 bug

进阶使用要点

• 自动化流水线里用 `recommend --json | jq '.models[].name'` 把推荐结果接入下载脚本；
• benchmark 提交前先读 docs/benchmarking.md，测得的数字会进下一次 release 让所有人受益；
• 自定义/私有模型不必改代码重建：参照 docs/custom-models.md 本地登记即可参与评分；
• 估算毕竟是估算，关键决策用 info 给出的 verify 命令上机复核。

典型应用场景

• 新显卡到手先跑 llmfit 划定可玩模型范围，避免反复下错几十 GB 权重；
• 给 Ollama/LM Studio 挑模型档位：比对不同量化组合的 fit 与预估速度后一步到位；
• Agent 工作流前置检查：CI 或部署脚本调用 --json 判断目标机器能否承载指定模型；
• 技术选型汇报时用 bench 实测数据替代口头承诺的性能预期。

同类生态位对比

README 自己点名了竞品 llm-checker：Node.js 写成、靠 Ollama 实拉实跑出真数据，但不理解 MoE，会把 DeepSeek-V3 当稠密模型算爆内存。llmfit 的哲学相反——先廉价估算再按需实测，两者互补；至于 Can I Run It 类网页工具，既不开放也不懂本地推理生态，不在同一维度。

资源导航

• 文档：docs/tui.md（TUI 操作）、docs/cli.md（CLI 自动化）、docs/how-it-works.md（估算公式全解）
• 平台支持矩阵：docs/platform-support.md
• 作者 Alex Jones，README 另附中文与日文版本