如何知道自己的服务器适合跑什么样的大模型


cargo install llmfit

一、llmfit 是什么
llmfit 是一款基于 Rust 开发的终端工具(TUI/CLI),核心定位是帮你快速匹配本地硬件(CPU/RAM/GPU/VRAM)与 LLM 模型,告诉你哪些模型能流畅跑、怎么量化最优。
核心功能
自动检测硬件:识别 CPU、内存、GPU / 显存、后端(CUDA/MPS/CPU)
模型匹配与打分:内置 90+ 主流模型、30+ 提供商,按质量 / 速度 / 适配度 / 上下文综合评分
量化推荐:自动给出适合你硬件的最佳量化(4/8/16 位等)
速度预估:估算 tok/s(每秒 token 数)
Ollama 集成:可直接在 TUI 里下载 / 管理 Ollama 模型
双模式:交互式 TUI(默认)+ 纯 CLI 命令
一句话:llmfit = 本地 LLM 硬件适配管家,一键告诉你 “你的电脑能跑哪些大模型”。

1771696350619


评论