本地大模型入门

一、为什么要本地跑

• 数据不出本机（课程资料、学生信息敏感）
• 不依赖网络，断网也能用
• 免费，不按 token 计费

二、硬件门槛

模型规模	显存/内存需求	体验
3B	4GB 内存	快，能力有限
7B	8GB 内存（量化后 5GB 左右）	日常够用
14B	12GB 显存或 16GB 内存	明显更聪明，速度慢

三、常用工具

• Ollama：一条命令跑模型，适合入门
• LM Studio：图形界面，可视化选模型
• Dify：做知识库问答应用

四、经验

• 内存带宽决定速度：双通道比单通道快接近一倍
• 模型放机械盘会拖慢加载，放 SSD
• 别同时常驻多个模型，会互相抢内存