模型怎么选

本地模型不是越大越好。这篇按参数量、量化、中文能力和显存四条线，说说我实际的取舍标准。

一、参数量：先看能不能装下

参数量（B=十亿参数）基本决定能力上限，但第一道门槛是能不能装进显存或内存。

规模	量化后体积（约）	常见用途
1B–3B	1–2 GB	分类、纠错、手机上跑
7B–8B	4–5 GB	日常问答、写作辅助
14B	8–10 GB	知识库问答、复杂指令
32B	18–20 GB	质量明显上一档，需要大显存
70B	40 GB 以上	家用单机基本不用考虑

体积按每参数约 0.55 字节（Q4 量化）估算，是个量级参考，不同模型会有偏差。

二、量化：Q4 是甜点

量化就是降低权重精度换显存。常见等级 Q2 到 Q8，数字越大越接近原始精度，也越占空间。

• Q4_K_M：体积和质量的平衡点，绝大多数场景首选。
• Q5/Q6：显存富余时能感到一点提升，通常不值多花那份显存。
• Q8：接近无损，体积翻倍，一般只在对比测试时用。
• Q2/Q3：小模型压到这个级别会明显变笨，不如直接选小一号的原模型。

三、中文能力

中文好不好看三点：训练数据的中文占比、有没有中文指令微调、词表对中文是否友好。同样是 7B，中文强化的模型在中文问答上常常压过参数更大的英文模型。别只看排行榜总分，用自己的真实问题去试。

另外，"最新"不等于"最合适"。新模型通常更贵更吃显存，如果你的场景就是改作业、查资料，半年前的中等模型完全够用，还更省资源。

四、把显存算够

显存需求 ≈ 权重 + KV 缓存 + 框架开销。权重按上表估；KV 缓存随上下文长度线性增长，8K 上下文下往往要额外留 1–2 GB。所以"7B 需要 5GB"的模型，实际跑 8K 上下文，8GB 显存才比较从容。

五、我的取舍

1. 先问自己：必须本地、必须离线吗？只是偶尔用，云服务更省心。
2. 用两三款同规模模型跑同一批问题，比较准确率、速度、显存。
3. 优先"小模型 + 好的系统提示词 + 知识库"，而不是硬上大模型换每秒两三个字。
4. 笔记本或核显用户选中杯（7B–14B），台式机有独显再考虑 32B。

一句话：能在你的机器上稳定跑起来、质量够用的就是最合适的；跑不动的第一名没有意义。