踩坑合集
这篇不讲课,只记录我折腾本地大模型时真踩过的坑和解决办法,按遇到频率排序。
1. C 盘被模型撑爆
Ollama 默认把模型放在 %USERPROFILE%\.ollama\models,几个模型就是几十 GB。用 OLLAMA_MODELS 环境变量挪到别的盘,改完必须退出托盘程序重启,否则不生效。
2. ollama ps 显示大量 CPU
显卡明明有显存,模型却跑在 CPU 上,慢十倍还不报错。原因通常是显存不够、驱动有问题,或者别的程序占着显存。先关浏览器和游戏,再换小一号的量化。
3. 聊到一半突然变慢
上下文越来越长,KV 缓存占满显存后开始往内存里挪。解决:开新对话、调小 num_ctx,或把长文档先做摘要。
4. 长文档问答被截断
默认上下文窗口偏小,塞进去的资料后半截根本没给模型看。在接口里传 num_ctx 或写进 Modelfile。这是"回答驴唇不对马嘴"最常见的原因。
5. 改了 Modelfile 没变化
FROM 的文件改了不会自动同步,要重新 ollama create,而且换过名字才会被当成新模型。
6. 知识库答"资料中未填写"
先搜原文确认答案在不在,再看分段是不是把关键句切断了。最常见的错配:换了 embedding 模型却忘了重建索引。
7. 端口占用或连不上
11434 被别的程序占了,或者本机代理把 localhost 请求也劫持了。检查端口占用,给本地地址加代理排除规则。要让别的机器访问,得设 OLLAMA_HOST=0.0.0.0 并在防火墙放行。
8. 下载中断、反复失败
模型几百 MB 到几个 GB,网络一抖就断。重新 pull 一般能续上;一直失败就换时段或换镜像源,别手动拼文件。
9. 两个模型同时跑,显存不够
一边知识库一边聊天,两个模型各占一份显存,直接 OOM。设 OLLAMA_MAX_LOADED_MODELS=1,或给不同用途分时段跑。
10. 杀毒软件拖慢一切
模型文件大,实时扫描让首次加载特别慢。把模型目录加入排除列表,能明显感觉到差别。
11. 温度调了,输出还是不稳
温度只调随机性,上下文、提示词、截断都会影响结果。先固定提示词,再对比温度。
这些坑多数不是模型的问题,而是没看日志、没看显存、没确认上下文。养成先看 ollama ps 和日志的习惯,能省掉一大半排查时间。