Ollama 实战

Ollama 是目前在 Windows 上跑本地大模型最省事的工具：一条命令拉模型、一条命令开聊，还自带一个本地 HTTP 接口。这篇记我常用的命令、配置和踩过的坑。

一、安装与目录

从官网下载 Windows 安装包，装完 Ollama 常驻托盘。默认模型放在 %USERPROFILE%\.ollama\models，很容易把 C 盘塞满，建议提前把目录挪到大盘：

setx OLLAMA_MODELS "D:\ollama\models"

改完要退出托盘里的 Ollama 再重启才生效。同理还能设 OLLAMA_HOST（监听地址）、OLLAMA_KEEP_ALIVE（模型驻留时间）。

二、常用命令

命令	作用
ollama list	列出本地已有模型
ollama pull qwen2.5:7b	下载模型
ollama run qwen2.5:7b	运行并进入对话
ollama ps	查看运行中的模型与显存占用
ollama rm 模型名	删除模型
ollama show 模型名	查看参数量、量化、模板

ollama ps 有一列显示 GPU/CPU 占比，比如 100% GPU 或 30%/70% CPU，这是判断"到底有没有吃上显卡"最直接的依据。

三、自定义模型

写一个 Modelfile 就能固定系统提示词和参数：

FROM qwen2.5:7b
PARAMETER temperature 0.3
PARAMETER num_ctx 8192
SYSTEM 你是中职计算机老师，用中文回答，不确定就直说。

然后 ollama create 我的助教 -f Modelfile，之后直接 ollama run 我的助教。注意：改了 Modelfile 必须重新 create 才生效。

四、API 调用

Ollama 默认监听 http://localhost:11434，除了自家的 /api/generate、/api/chat，也提供 OpenAI 兼容接口 /v1/chat/completions，所以大部分支持 OpenAI 的客户端改个 Base URL 就能接。

用 PowerShell 调一下：

$body = @{model="qwen2.5:7b"; prompt="用一句话解释 RAG"; stream=$false} | ConvertTo-Json
Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body $body -ContentType "application/json"

五、模型管理

模型文件都存放在 OLLAMA_MODELS 指向的目录里，一个 7B 的 Q4 模型大约 4–5 GB。删之前先 ollama list 看清名字和 tag，同名不同 tag 是两个独立文件，很容易误删或漏删。

ollama show --modelfile 名字 能把当前模型的完整 Modelfile 导出来，改几行再 create 回去，比自己从头写省事。想把配置分享给同事，发这个 Modelfile 就行，对方 pull 同一个底模再 create 即可，不用传几 GB 的权重文件。

Ollama 本身只有命令行，日常对话建议配一个支持它的桌面客户端。但注意有些客户端会做联网统计或云端同步，处理学生资料时要先看清楚。

六、常见坑

• 第一次运行很慢：在加载权重，不是卡死，耐心等一会儿。
• 显存不够静默降级：不报错，只是变慢，看 ollama ps 的 CPU 比例。
• 长文档被截断：默认上下文偏小，长资料要调 num_ctx。
• 代理软件干扰：本地请求被代理拦截会连不上，给 localhost 加排除规则。
• 下载中断：重新 pull 一般能续传，反复失败就换个时段。