如果你的工作涉及敏感数据——客户信息、财务数据、内部文件——你可能不应该把这些内容发给 OpenAI 的服务器。

本地 AI 是解决方案。

一、硬件要求

1.1 最低配置（运行 7B 模型）

CPU：8核以上
内存：16GB RAM
GPU：8GB 显存（可选但推荐）
存储：50GB 可用空间
系统：macOS / Linux / Windows

1.2 推荐配置（运行 13B-70B 模型）

GPU：NVIDIA 24GB+ 显存（RTX 4090 / A6000）
     或 Apple Silicon M2/M3 Pro+ (统一内存)
内存：32GB+
存储：200GB SSD

Apple Silicon 特别优势：M2/M3 的统一内存架构让 MacBook 运行本地模型效率极高，16GB 内存的 M3 Pro 可以流畅运行 13B 模型。

二、Ollama 安装和配置

2.1 安装

bash
macOS / Linux
curl -fsSL https://ollama.ai/install.sh | sh
或直接下载安装包
https://ollama.ai/download

2.2 拉取常用模型

bash
通用对话（7B，推荐入门）
ollama pull llama3.2
代码专用（轻量快速）
ollama pull qwen2.5-coder:7b
中文优化（DeepSeek）
ollama pull deepseek-r1:7b
多模态（支持图片）
ollama pull llava:13b
超轻量（低配机器）
ollama pull phi3:mini

2.3 运行模型

bash
命令行交互
ollama run llama3.2
作为 API 服务运行（默认端口 11434）
ollama serve

三、Open WebUI：ChatGPT 界面

3.1 Docker 安装（推荐）

bash
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000 即可使用。

3.2 主要功能

多模型切换（切换不同 Ollama 模型）

对话历史管理

系统提示词（System Prompt）预设

文件上传（支持 PDF/文档）

图片理解（需要多模态模型）

多用户管理

四、AnythingLLM：私有知识库

4.1 安装

bash
Docker 安装
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
  -v $(pwd)/anythingllm:/app/server/storage \
  mintplexlabs/anythingllm

4.2 配置知识库

进入设置 → LLM 提供商 → 选择 Ollama

创建 Workspace（知识库）

上传文档（PDF/Word/TXT/网页链接）

开始与文档对话

4.3 适用场景

公司内部文件问答

合同/法规查询

产品手册智能客服

个人笔记知识库

五、模型推荐（2026 最新）

用途推荐模型显存需求

通用对话Llama 3.3 70B (Q4)40GB 通用对话（轻量）Qwen2.5 7B8GB 代码生成Qwen2.5-Coder 32B20GB 中文专用DeepSeek-V3 (Q4)40GB 本地小型Phi-4 mini4GB 多模态LLaVA 13B16GB

---

延伸阅读

RAG 知识库搭建完整指南

Docker 容器化 AI 应用部署