Skip to content

踩坑合集 ​

这篇不讲课,只记录我折腾本地大模型时真踩过的坑和解决办法,按遇到频率排序。

1. C 盘被模型撑爆 ​

Ollama 默认把模型放在 %USERPROFILE%\.ollama\models,几个模型就是几十 GB。用 OLLAMA_MODELS 环境变量挪到别的盘,改完必须退出托盘程序重启,否则不生效。

2. ollama ps 显示大量 CPU ​

显卡明明有显存,模型却跑在 CPU 上,慢十倍还不报错。原因通常是显存不够、驱动有问题,或者别的程序占着显存。先关浏览器和游戏,再换小一号的量化。

3. 聊到一半突然变慢 ​

上下文越来越长,KV 缓存占满显存后开始往内存里挪。解决:开新对话、调小 num_ctx,或把长文档先做摘要。

4. 长文档问答被截断 ​

默认上下文窗口偏小,塞进去的资料后半截根本没给模型看。在接口里传 num_ctx 或写进 Modelfile。这是"回答驴唇不对马嘴"最常见的原因。

5. 改了 Modelfile 没变化 ​

FROM 的文件改了不会自动同步,要重新 ollama create,而且换过名字才会被当成新模型。

6. 知识库答"资料中未填写" ​

先搜原文确认答案在不在,再看分段是不是把关键句切断了。最常见的错配:换了 embedding 模型却忘了重建索引。

7. 端口占用或连不上 ​

11434 被别的程序占了,或者本机代理把 localhost 请求也劫持了。检查端口占用,给本地地址加代理排除规则。要让别的机器访问,得设 OLLAMA_HOST=0.0.0.0 并在防火墙放行。

8. 下载中断、反复失败 ​

模型几百 MB 到几个 GB,网络一抖就断。重新 pull 一般能续上;一直失败就换时段或换镜像源,别手动拼文件。

9. 两个模型同时跑,显存不够 ​

一边知识库一边聊天,两个模型各占一份显存,直接 OOM。设 OLLAMA_MAX_LOADED_MODELS=1,或给不同用途分时段跑。

10. 杀毒软件拖慢一切 ​

模型文件大,实时扫描让首次加载特别慢。把模型目录加入排除列表,能明显感觉到差别。

11. 温度调了,输出还是不稳 ​

温度只调随机性,上下文、提示词、截断都会影响结果。先固定提示词,再对比温度。


这些坑多数不是模型的问题,而是没看日志、没看显存、没确认上下文。养成先看 ollama ps 和日志的习惯,能省掉一大半排查时间。