Ollama 是目前最简单的本地 LLM 运行工具，一行命令就能跑 Llama 3、Mistral、Qwen 等开源模型。但"简单"背后有很多可以优化的细节——大多数人用的 Ollama 其实只发挥了 30% 的性能。

一、安装与环境准备

macOS / Linux

bash
curl -fsSL https://ollama.com/install.sh | sh

Windows

下载官方安装包，或者用 WSL2：

bash
WSL2 里
curl -fsSL https://ollama.com/install.sh | sh

验证安装

bash
ollama --version
ollama run llama3.2  # 下载并运行 Llama 3.2 3B

二、GPU 加速配置

这是影响性能最关键的部分。

macOS（Apple Silicon）

Ollama 在 Apple Silicon 上自动使用 Metal GPU 加速，无需额外配置。M1/M2/M3 的统一内存架构让大模型运行效率很高：

M2 Pro (16GB)：可以流畅运行 13B 模型

M3 Max (48GB)：可以运行 70B 模型（量化版）

Windows/Linux（NVIDIA GPU）

Ollama 自动检测 NVIDIA GPU，但需要正确安装 CUDA 驱动：

bash
检查 GPU 是否被识别
ollama ps  # 运行中的模型会显示 GPU 显存使用
查看 GPU 加速是否生效
OLLAMA_DEBUG=1 ollama run mistral 2>&1 | grep -i gpu

如果看到 "loaded on gpu"，说明 GPU 加速已启用。

内存不足时的处理

bash
使用量化版本（更小更快，质量略低）
ollama run llama3.2:3b-instruct-q4_K_M  # 4-bit 量化
ollama run qwen2.5:7b-instruct-q4_K_M
查看各模型的显存需求
ollama show llama3.3:70b

三、REST API 使用

Ollama 内置 REST API，默认在 http://localhost:11434：

基础调用

bash
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "用 Python 写一个快速排序",
  "stream": false
}'

对话模式（保持上下文）

bash
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5:7b",
  "messages": [
    {"role": "user", "content": "你好，我在学 Python"},
    {"role": "assistant", "content": "很好！你想从什么开始学？"},
    {"role": "user", "content": "先从列表操作开始"}
  ]
}'

OpenAI 兼容 API（重要！）

Ollama 支持 OpenAI 格式，可以直接替换 OpenAI SDK：

python
from openai import OpenAI
client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # 任意字符串，本地不验证
)
response = client.chat.completions.create(
    model='llama3.2',
    messages=[{'role': 'user', 'content': '你好'}]
)
print(response.choices[0].message.content)

这意味着任何支持 OpenAI API 的工具都可以直接接 Ollama！

四、模型选择指南（2026年）

模型参数量内存需求适合场景

Llama 3.2 3B3B~2GB快速问答、简单任务 Qwen2.5 7B7B~5GB中文任务、代码（推荐！） Llama 3.3 70B70B~40GB复杂推理（需大内存） DeepSeek-R1 14B14B~10GB数学/代码推理 Mistral 7B7B~5GB英文任务、通用 Phi-414B~9GB代码生成、推理

中文场景强烈推荐 Qwen2.5 系列——阿里巴巴的模型在中文理解和生成上显著优于 Llama。

五、与 Open WebUI 集成

Open WebUI 给 Ollama 提供了类 ChatGPT 的图形界面：

bash
用 Docker 安装（推荐）
docker run -d -p 3000:8080   --add-host=host.docker.internal:host-gateway   -v open-webui:/app/backend/data   -e OLLAMA_BASE_URL=http://host.docker.internal:11434   --name open-webui   ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000，你会看到一个完整的 AI 对话界面，可以：

切换不同模型

管理对话历史

上传文档进行分析

创建自定义 AI 角色

六、与 Continue.dev（VS Code 插件）集成

Continue 是开源的 VS Code AI 编程插件，支持接 Ollama：

json
// ~/.continue/config.json
{
  "models": [
    {
      "title": "Qwen2.5 Coder (Local)",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b",
      "apiBase": "http://localhost:11434"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen2.5 Coder (Autocomplete)",
    "provider": "ollama",
    "model": "qwen2.5-coder:1.5b"  // 小模型做补全，速度快
  }
}

这样你就有了一个完全免费、完全本地、数据不离开电脑的 AI 编程助手。

七、性能调优

bash
设置并行请求数（默认 1，CPU/GPU 强的可以设更高）
OLLAMA_NUM_PARALLEL=2 ollama serve
设置模型在内存中保留时间（默认 5 分钟，设 0 立即释放）
OLLAMA_KEEP_ALIVE=10m ollama serve
设置最大显存使用比例
OLLAMA_MAX_VRAM=0.9 ollama serve

---

延伸阅读

Open WebUI + Ollama 搭建私有 AI 助手

DeepSeek R1 本地部署教程

LLM API 成本优化指南