Ollama + Open WebUI 本地大模型部署教程：Windows / Mac / Linux 通用版
Docker 安装 · 模型配置 · 网页聊天 · 知识库问答 · 常见报错排查
适合本地部署入门、个人知识库、离线办公问答与小团队内部 AI 助手搭建
一、为什么要用 Ollama + Open WebUI 本地部署？
Ollama + Open WebUI 是当前普通用户搭建本地大模型最容易跑通的一套组合。Ollama 负责在 Windows、Mac、Linux 本机运行模型，并提供本地 API；Open WebUI 则把命令行里的模型变成类似 ChatGPT 的网页界面，方便管理会话、知识库、模型连接和团队账号。
这套方案的价值不在于“完全替代云端大模型”，而在于把一些高频、私密、可离线的办公需求放回本机：例如内部资料问答、会议纪要整理、代码片段解释、文档摘要、离线写作和本地测试。
| 定位一句话：Ollama 是本地模型运行引擎，Open WebUI 是本地 AI 的可视化工作台；前者解决“模型怎么跑”，后者解决“怎么好用”。 |
✓ 适合想用本地模型保护资料隐私的个人和小团队。
✓ 适合用低成本方式体验开源模型、国产模型和量化模型。
✓ 适合搭建内部知识库问答，不希望每次都上传资料到云端。
✓ 适合 AI 自动化、RAG、Agent 工作流前的本地模型测试环境。
二、部署前先理解整体架构
很多新手卡住，是因为没有分清“模型、运行引擎、网页界面、知识库”之间的关系。最简单的理解方式如下：
| 组件 | 作用 | 常见端口/路径 | 新手注意 |
| Ollama | 下载、管理和运行本地模型 | API 默认 11434 | 先确认终端能运行模型，再接 WebUI |
| 模型文件 | 真正占用磁盘空间的大模型权重 | 默认在用户目录 .ollama | 模型可能几十 GB，建议预留空间 |
| Open WebUI | 网页聊天、账号、会话、知识库、工具入口 | 默认访问 3000 或 8080 | Docker 版本要挂载数据卷，避免升级丢数据 |
| Docker / WSL2 | 运行 Open WebUI 的常见方式 | 容器数据卷 open-webui | Windows 推荐 Docker Desktop + WSL2 |
| 知识库 | 上传文档并检索增强回答 | Open WebUI 内配置 | 先用小文档测试切片和召回效果 |
三、安装前准备：电脑配置、系统与模型选择
本地部署的体验主要取决于三个因素：内存、显存和模型大小。新手不要一开始就追求最大模型，建议先用 1B、3B、4B 或 7B/8B 级别模型跑通流程，再根据硬件升级。
3.1 系统建议
✓ Windows：建议 Windows 10 22H2 或更新版本；安装 Docker 路线时建议启用 WSL2。
✓ Mac：Apple Silicon 机器体验更好；Intel Mac 也能跑轻量模型，但速度与散热压力更明显。
✓ Linux：Ubuntu / Debian 系发行版最常见，服务器部署更稳定，适合长期运行。
✓ 磁盘：Ollama 本体占用不大，但模型文件可能从数 GB 到数十 GB 不等，建议至少预留 50GB 以上模型空间。
3.2 推荐先拉取哪些模型？
| 用途 | 推荐模型示例 | 说明 |
| 中文办公问答 | qwen3:4b / qwen3:8b | 中文表现稳，适合摘要、解释、知识库问答起步 |
| 英文通用聊天 | llama3.2 / gemma3 | 资料多、教程多，便于排查问题 |
| 轻量电脑体验 | gemma3:1b / qwen3:1.7b | 速度优先，适合先跑通安装链路 |
| 代码辅助 | qwen3-coder 相关模型 | 适合代码解释、脚本分析、轻量开发辅助 |
| 推理测试 | deepseek-r1 相关量化模型 | 适合体验思考链式推理，但对配置要求更高 |
四、全流程概览：先跑通，再优化
建议按“安装 Ollama → 拉取模型 → 终端测试 → 安装 Open WebUI → 连接模型 → 上传资料测试知识库”的顺序操作。不要一边改端口、一边改 Docker 网络、一边换模型，否则出错时很难定位。
五、安装 Ollama：Windows / Mac / Linux 通用步骤
5.1 Windows 安装步骤
1. 进入 Ollama 官网下载 Windows 安装包，运行安装程序。
2. 安装完成后，Ollama 会在后台运行，并在 cmd、PowerShell 或终端中提供 ollama 命令。
3. 打开 PowerShell，输入 ollama –version 验证是否安装成功。
4. 首次运行模型前，确认磁盘空间充足；如模型盘空间不足，可设置 OLLAMA_MODELS 环境变量调整模型保存位置。
| ollama –version ollama list |
5.2 Mac 安装步骤
1. 下载 macOS 版本安装包，将 Ollama 放入 Applications。
2. 启动 Ollama，确认菜单栏或后台服务正常运行。
3. 打开 Terminal，输入 ollama –version 测试命令是否可用。
4. Apple Silicon 机器通常运行本地模型更顺畅，Intel Mac 建议先使用小模型。
| ollama –version ollama run qwen3:1.7b |
5.3 Linux 安装步骤
Linux 推荐使用官方一行脚本安装，安装后用 systemctl 启动并查看服务状态。
| curl -fsSL https://ollama.com/install.sh | sh sudo systemctl start ollama sudo systemctl status ollama |
| 服务器提示：如果是云服务器或局域网机器，需要额外关注防火墙、端口暴露和访问控制。默认只在本机使用时，不建议随意对公网开放 11434 或 Open WebUI 管理页面。 |
六、拉取模型并测试本地对话
6.1 下载模型
Ollama 的模型下载使用 pull 命令。首次下载会占用较长时间，取决于网络速度和模型大小。
| # 中文办公起步 ollama pull qwen3:4b # 轻量体验 ollama pull qwen3:1.7b # 通用模型示例 ollama pull llama3.2 ollama pull gemma3 |
6.2 运行模型
| ollama run qwen3:4b |
进入交互界面后，可以先输入一句中文测试：
| 请用 5 条要点解释：本地部署大模型和直接使用 ChatGPT 的区别。 |
6.3 API 测试
Ollama 默认提供本地 API，常见地址是 http://localhost:11434。只要 API 可用，Open WebUI、Dify、FastGPT、n8n 等工具就可以进一步连接。
| curl http://localhost:11434/api/chat -d ‘{ “model”: “qwen3:4b”, “messages”: [ {“role”: “user”, “content”: “你好，请介绍一下你能做什么”} ], “stream”: false }’ |
七、安装 Open WebUI：推荐 Docker 路线
Open WebUI 有 Docker、pip、uv、桌面应用等多种安装方式。新手最推荐 Docker，因为迁移、升级和数据管理更清晰。
7.1 Ollama 已安装在本机时
如果 Ollama 已在同一台电脑上运行，Open WebUI 官方常用 Docker 命令如下：
| docker run -d -p 3000:8080 \ –add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ –name open-webui \ –restart always \ ghcr.io/open-webui/open-webui:main |
启动后，在浏览器打开：
| http://localhost:3000 |
| 关键点：-v open-webui:/app/backend/data 用来保存 Open WebUI 的数据库、账号和配置。不要省略，否则升级或重建容器时可能丢数据。 |
7.2 一体化安装：Open WebUI + Ollama 同容器
如果想少配置连接问题，也可以使用带 Ollama 的 Open WebUI 镜像。CPU 机器和 GPU 机器命令略有不同。
| # CPU 版本 docker run -d -p 3000:8080 \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ –name open-webui \ –restart always \ ghcr.io/open-webui/open-webui:ollama # Linux / WSL NVIDIA GPU 版本 docker run -d -p 3000:8080 –gpus=all \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ –name open-webui \ –restart always \ ghcr.io/open-webui/open-webui:ollama |
7.3 Windows 使用 WSL2 的注意事项
✓ 先安装 WSL2，再安装 Docker Desktop，并启用 WSL Integration。
✓ 建议在 WSL 终端里运行 docker 命令，而不是混用 PowerShell 与 WSL 路径。
✓ 如果容器访问不到 Ollama，优先检查 Ollama 是否运行、端口是否为 11434、容器内地址是否指向 host.docker.internal。
✓ 如果公司网络限制 GitHub Container Registry，需要先解决 Docker 镜像拉取问题。
八、连接 Ollama 与配置模型
8.1 首次进入 Open WebUI
1. 打开 http://localhost:3000，创建管理员账号。
2. 进入设置页面，查看模型连接是否自动识别 Ollama。
3. 在模型列表中选择已下载的 qwen3:4b、llama3.2 或其他模型。
4. 发送一条测试消息，确认 WebUI 能正常调用模型。
8.2 手动设置 Ollama 地址
如果 Open WebUI 没有识别到 Ollama，可以检查连接地址。常见情况如下：
| 场景 | Ollama 地址 | 说明 |
| Open WebUI 与 Ollama 都在宿主机 | http://localhost:11434 | 非 Docker 场景常见 |
| Open WebUI 在 Docker，Ollama 在宿主机 | http://host.docker.internal:11434 | Docker 容器不能把 localhost 当成宿主机 |
| Open WebUI 与 Ollama 同一 Docker 网络 | http://ollama:11434 | Docker Compose 服务名可作为主机名 |
| Ollama 在另一台服务器 | http://服务器IP:11434 | 需确保防火墙、认证和安全边界 |
九、知识库问答：把本地资料接入 AI
Open WebUI 的知识库能力可以把文档上传后做检索增强，让模型回答时参考你的资料。它适合做个人笔记问答、内部制度查询、产品说明书问答、教程资料整理等场景。
9.1 推荐资料准备方式
✓ 优先使用结构清晰的 Markdown、TXT、PDF 或网页文本。
✓ 上传前删除无关页眉、页脚、广告、重复目录和扫描噪声。
✓ 文件名要带主题，例如：2026-产品售后政策-v1.pdf。
✓ 不要一次上传大量资料，先用 3～5 个文档测试问答质量。
9.2 问答测试 Prompt
| 你现在是企业内部知识库助手。 请只根据已上传资料回答问题。 如果资料中没有明确答案，请说“资料中未找到明确依据”，不要编造。 回答格式：结论 → 依据 → 操作建议。 |
9.3 评估问答质量
| 测试项 | 合格标准 | 不合格表现 | 优化方向 |
| 召回准确 | 能找到正确文档和段落 | 答非所问、引用无关资料 | 清理文档、调整分段、换更强模型 |
| 回答稳定 | 同类问题答案一致 | 每次答案差异很大 | 固定系统提示词，降低温度 |
| 拒答边界 | 资料没有就明确说明 | 编造不存在的制度或数字 | 加入“不知道就说不知道”提示 |
| 速度体验 | 常见问题可快速返回 | 首字延迟很久 | 换小模型、减少上下文、升级硬件 |
十、典型应用场景：本地大模型适合做什么？
| 场景 | 适合程度 | 推荐做法 | 不建议做法 |
| 个人写作与摘要 | 高 | 用小到中等模型处理草稿、摘要、改写 | 要求它替代专业审稿或法律审核 |
| 企业内部制度问答 | 高 | 配合知识库、权限和固定提示词 | 直接开放给全员且无审计 |
| 代码解释与脚本辅助 | 中高 | 用于解释报错、生成简单脚本 | 不经 review 直接上线生产代码 |
| 离线资料整理 | 高 | 本地处理敏感笔记和内部文档 | 把敏感信息同步到不明插件 |
| 复杂推理与实时资讯 | 中低 | 只做初稿和辅助判断 | 依赖本地模型回答最新新闻和政策 |
十一、维护、升级与备份
11.1 更新 Ollama
Windows 和 Mac 通常可通过应用内更新；Linux 可重新运行安装脚本。
| curl -fsSL https://ollama.com/install.sh | sh |
11.2 更新 Open WebUI Docker 镜像
| docker pull ghcr.io/open-webui/open-webui:main docker stop open-webui docker rm open-webui # 使用原来的 docker run 命令重新创建容器，保留 -v open-webui:/app/backend/data |
| 备份建议：定期备份 open-webui 数据卷和 Ollama 模型目录。对于企业或团队使用，建议在升级前先导出配置、记录镜像版本，并保留回滚方案。 |
十二、常见报错与解决方案
| 问题 | 可能原因 | 解决方案 |
| ollama 不是内部或外部命令 | PATH 未生效或安装失败 | 重启终端；确认安装目录；Windows 重新运行安装包 |
| 模型下载很慢或失败 | 网络、代理或镜像访问受限 | 检查网络；按官方建议使用 HTTPS_PROXY；避免误设 HTTP_PROXY |
| Open WebUI 打不开 | 容器未启动或端口冲突 | docker ps 查看状态；换端口映射；查看 docker logs open-webui |
| WebUI 连接不到 Ollama | 容器 localhost 指向自己，不是宿主机 | 使用 host.docker.internal:11434 或同网络服务名 ollama |
| 回答速度很慢 | 模型过大、内存/显存不足 | 换小模型；减少上下文；关闭其他占用资源程序 |
| 知识库答非所问 | 文档噪声多、分段不合理、模型太弱 | 清洗文档；缩小资料范围；优化提示词；换更强模型 |
| 升级后数据丢失 | 没有挂载 /app/backend/data 数据卷 | 以后固定使用 -v open-webui:/app/backend/data，并提前备份 |
十三、FAQ
Q1：本地部署是不是完全免费？
软件本身可免费使用，但硬件、电费、磁盘、时间成本都要算进去。如果只是轻度聊天，云端工具可能更省事；如果要处理本地资料、做知识库和长期测试，本地部署更有价值。
Q2：没有显卡能不能用？
可以，但建议从 1B、3B、4B 这类小模型开始。无显卡也能跑，但速度通常不如有 NVIDIA GPU 或 Apple Silicon 的机器。
Q3：Open WebUI 一定要用 Docker 吗？
不一定。官方也提供 pip、uv、桌面应用等路线。不过对于新手和长期维护，Docker 的数据卷、升级和迁移更清晰。
Q4：为什么浏览器里连不上 Ollama？
最常见原因是 Docker 容器里的 localhost 不是宿主机。Open WebUI 在容器内时，通常需要使用 host.docker.internal:11434 或 Docker Compose 服务名。
Q5：可以把公司资料放进去吗？
技术上可以，但要先建立权限、备份、访问控制和数据合规边界。不要把含敏感信息的资料随意接入第三方插件或公网服务。
Q6：本地模型能不能联网搜索？
本地模型默认不会自动联网。需要额外工具、插件或工作流接入搜索能力。对于事实性、时效性强的问题，仍需要可靠来源核对。
Q7：适合和 Dify / FastGPT 搭配吗？
适合。Ollama 可作为本地模型服务，Dify、FastGPT、n8n 等工具可通过兼容接口或配置连接到本地模型，用于知识库、工作流和自动化。
十四、总结：先跑通链路，再追求效果
Ollama + Open WebUI 的最佳使用方式，不是一次性把所有功能都打开，而是先用最小链路跑通：一个轻量模型、一条终端命令、一个 WebUI 页面、一个小型知识库。确认能稳定回答后，再逐步升级模型、硬件、知识库、权限和自动化流程。
对普通用户来说，这套方案最大的意义是把“AI 能力”变成本地可控的工具箱；对小团队来说，它可以作为内部知识库问答、文档助手、自动化工作流和模型评估的基础底座。
参考资料
✓ Ollama Quickstart：https://docs.ollama.com/quickstart
✓ Ollama Windows 文档：https://docs.ollama.com/windows
✓ Ollama Linux 文档：https://docs.ollama.com/linux
✓ Ollama FAQ：https://docs.ollama.com/faq
✓ Open WebUI 官方文档：https://docs.openwebui.com/
✓ Open WebUI Quick Start：https://docs.openwebui.com/getting-started/quick-start/
✓ Open WebUI GitHub：https://github.com/open-webui/open-webui
✓ Ollama Model Library：https://ollama.com/library/
