🖥️
本地 LLM 硬件匹配器
输入显存或模型，双向匹配能跑的本地模型与量化档位
免费 · 无需登录100% 浏览器本地计算文本不上传服务器
工具加载中…
算完了？看看这些工具
相关工具分类
关于本地 LLM 硬件匹配器
想本地跑大模型，先搞清楚你的显卡够不够。输入显存大小，本工具按「参数量 × 精度字节 × 1.2」公式即时算出每个本地模型在各量化档位（FP16 / Q8 / Q6 / Q4）下的显存需求，双向匹配：显存 → 能跑哪些模型与推荐档位；模型 → 各档位需要多少显存、哪些常见显卡装得下。数据来自 models.json 收录的本地可跑模型（Llama 4 Scout / Qwen3-32B / Gemma 3 27B），公式结果为保守估算，实际还受上下文长度与推理框架影响——页面明确标注。全部计算在浏览器本地完成。
常见问题
- 显存估算的公式是什么？准吗？
- 估算 = 参数量 × 每参数字节（FP16=2.0 / Q8≈1.06 / Q6≈0.82 / Q4≈0.5）× 1.2（权重加载 + 约 20% 运行余量），四舍五入到整 GB。这是保守估算：Qwen3-32B 的 Q4 档算得 19GB，与社区实测的 18–20GB 吻合。实际占用还受上下文长度（KV cache 随对话变长）、推理框架（llama.cpp / vLLM 内存策略不同）与 GPU offload 设置影响，长上下文请预留更多。
- MoE 模型（如 Llama 4 Scout）为什么显存要求这么高？
- MoE（混合专家）模型的「109B 总参 / 17B 激活」意味着每次推理只用 17B 参数，但全部 109B 权重都必须放进显存/内存——激活量决定速度，不决定容量。所以它 Q4 也要约 65GB，更适合大内存的多卡工作站或 Mac 统一内存方案；消费级单卡请看 Qwen3-32B（24GB）与 Gemma 3 27B（16GB）。
- 显存不够就完全不能跑了吗？
- 不一定。llama.cpp 等框架支持 CPU/GPU 混合推理（部分层放内存）和更低量化，显存不足仍可运行，只是速度明显下降——本工具按「全 GPU 放得下」的标准匹配，把这类方案视为超出范围。苹果 Silicon 的统一内存也可跑大模型，等效「显存」可近似看作可用内存的一部分。