适用对象：想在 NVIDIA 显卡上运行 Stable Diffusion、ComfyUI、Ollama、vLLM、PyTorch、TensorFlow、RAG/Embedding 服务的新手和自媒体教程读者。
一、先给结论：跑 AI 前不要盲目安装 CUDA
| 场景 | 推荐做法 |
| 只跑现成模型 | 先装 NVIDIA 显卡驱动，再按 PyTorch / TensorFlow / Ollama / ComfyUI 官方命令安装即可。很多框架会自带 CUDA 运行时，不需要手工复制 CUDA/cuDNN。 |
| 需要编译扩展 | 如 xformers、flash-attn、部分 vLLM/源码构建任务，再安装与项目匹配的 CUDA Toolkit、编译器和系统依赖。 |
| Windows 用户 | PyTorch 可直接在 Windows 原生跑 GPU；TensorFlow 新版 GPU 更推荐 WSL2 或 Linux。 |
| Linux 服务器 | 推荐：NVIDIA 驱动 → Python/conda/venv → PyTorch/vLLM/Ollama → Docker + NVIDIA Container Toolkit。 |
| Docker 部署 | 宿主机必须先安装 NVIDIA 驱动，容器要通过 NVIDIA Container Toolkit 暴露 GPU。 |
一句话记忆：驱动是地基，CUDA Toolkit 是工具箱，cuDNN 是深度学习加速库，PyTorch/TensorFlow 才是你真正调用 GPU 的框架。
二、部署前先确认：你的显卡和系统适不适合跑 AI
如果读者只是想“能跑起来”，最重要的不是版本越新越好，而是硬件、驱动、Python 环境、框架版本之间能稳定配合。
| 检查项 | 建议 |
| 显卡架构 | RTX 20/30/40/50 系列、A 系列、L 系列更适合 AI；GTX 老卡可跑但兼容性和性能有限 |
| 显存 VRAM | 4GB 可跑小模型或轻量图像任务；8GB 起步更舒服；12GB/16GB/24GB 适合大模型、SDXL、视频/多任务 |
| 系统选择 | Linux 服务器最稳定；Windows 新手可先原生跑 PyTorch；TensorFlow / vLLM / Docker 服务推荐 WSL2 或 Linux |
| 网络条件 | 需要能访问 Python 包源、模型仓库、Docker 镜像源；国内用户应准备镜像源或离线包 |
| 权限要求 | Windows 需要管理员权限；Linux 服务器需要 sudo 权限；Docker GPU 需要配置容器运行时 |
三、第一步：安装或更新 NVIDIA 显卡驱动
NVIDIA 驱动负责让系统识别显卡，是所有 AI 环境的基础。没有驱动，PyTorch、TensorFlow、CUDA、Docker 都无法调用 GPU。
1. Windows 驱动安装建议
推荐从 NVIDIA 官方驱动页面或 NVIDIA App 获取驱动。做 AI 创作、建模、视频和稳定推理时，通常优先选择 Studio Driver；如果兼顾游戏，也可以选择 Game Ready Driver。安装后重启电脑。
| # Windows PowerShell / CMD 验证 nvidia-smi |
能看到 GPU 型号、Driver Version、CUDA Version 字段，就说明驱动已被系统识别。注意：nvidia-smi 中显示的 CUDA Version 代表“驱动最高支持的 CUDA 运行时能力”，不等于你已经安装了完整 CUDA Toolkit。
2. Linux 服务器驱动安装建议
Ubuntu / Debian / Rocky / CentOS 服务器建议优先使用发行版仓库、云厂商镜像或 NVIDIA 官方仓库安装驱动，不建议新手直接下载 .run 文件硬装。安装后重启并验证：
| # Linux 验证显卡驱动 nvidia-smi # 查看内核模块 lsmod | grep nvidia |
如果 nvidia-smi 报错，先处理驱动，不要继续安装 CUDA、PyTorch 或模型工具。常见原因包括：Secure Boot、内核头文件缺失、驱动版本过旧、云服务器没有挂载 GPU。
四、第二步：CUDA Toolkit 到底要不要装？
这是新手最容易装乱的地方。CUDA Toolkit 不是“跑 AI 必装项”，它更多用于开发、编译和构建 CUDA 程序。很多 AI 框架会通过 pip/conda wheel 自带对应的 CUDA 运行时。
| 使用场景 | 是否建议手动安装 CUDA Toolkit |
| 只用 PyTorch 跑模型 | 通常不需要单独安装完整 CUDA Toolkit，按 PyTorch 官网选择器安装对应 CUDA wheel |
| 只用 ComfyUI / SD WebUI | 通常按项目说明安装 PyTorch GPU 版即可；除非扩展要求编译 |
| 跑 TensorFlow GPU | 新版推荐 Linux/WSL2，按 TensorFlow 官方 pip 方案安装 tensorflow[and-cuda] |
| 编译 xformers / flash-attn / 自定义 CUDA 扩展 | 需要安装项目匹配的 CUDA Toolkit、编译器、CMake 等 |
| vLLM / TensorRT / 源码构建 | 通常需要更严格的 CUDA、驱动、Python、GCC 版本匹配 |
| Docker GPU 服务 | 宿主机需要驱动；容器是否需要 CUDA 取决于镜像是否已内置运行时 |
版本关系重点：NVIDIA CUDA 13.x 的最低驱动要求为 580+；CUDA 12.x 的最低驱动要求为 525+；CUDA 11.x 的最低驱动要求为 450+。这说明“驱动太旧”是很多 AI 环境无法启动的根本原因。
五、第三步：cuDNN 是否需要单独安装？
cuDNN 是 NVIDIA 面向深度神经网络的加速库。对普通 AI 工具用户来说，它经常通过框架或依赖包间接安装；对需要手动配置 TensorFlow、源码编译或 C++ 推理服务的用户，才需要单独关注。
| 用户类型 | 建议 |
| PyTorch 用户 | 多数情况下不需要手动安装 cuDNN，使用官方 pip/conda 命令即可 |
| TensorFlow Linux/WSL2 用户 | 可按官方 pip 方案安装 tensorflow[and-cuda]，必要时再处理库路径 |
| Windows 原生 TensorFlow GPU | TensorFlow 2.10 是最后支持原生 Windows GPU 的版本；新版建议 WSL2 |
| C++/自定义服务 | 按 NVIDIA cuDNN 安装指南选择 Linux/Windows/conda/pip/tarball 方式 |
| Docker 镜像 | 优先选择官方或社区成熟镜像，避免在容器里手工乱装多个版本 |
六、第四步：配置 Python 虚拟环境
AI 项目最怕“所有包装到系统 Python 里”。建议每个项目单独创建环境：ComfyUI 一个环境，vLLM 一个环境，TensorFlow 一个环境，避免版本互相污染。
方案 A：venv，轻量、官方、适合新手
| # Windows py -m venv .venv .venv\Scripts\activate python -m pip install -U pip # Linux / WSL2 python3 -m venv .venv source .venv/bin/activate python -m pip install -U pip |
方案 B：conda / Miniconda，适合多 Python 版本与 AI 项目
| conda create -n ai-gpu python=3.11 -y conda activate ai-gpu python -m pip install -U pip |
推荐命名方式：项目名 + Python 版本 + GPU 信息，例如 sd-webui-py310、vllm-py312、torch-cu128。
七、第五步：安装 PyTorch GPU 版并验证
PyTorch 官方提供安装选择器。新手不要随便复制旧教程里的命令，应按当前系统、包管理器、Python 版本和 CUDA 平台生成命令。
| python – <<‘PY’ import torch print(“torch:”, torch.__version__) print(“cuda available:”, torch.cuda.is_available()) if torch.cuda.is_available(): print(“gpu:”, torch.cuda.get_device_name(0)) print(“cuda runtime:”, torch.version.cuda) PY |
如果返回 cuda available: True，并显示 GPU 名称，说明 PyTorch GPU 环境已经可用。若返回 False，优先检查：当前是否选对 Python 环境、是否装成 CPU 版、驱动是否能被 nvidia-smi 识别。
八、TensorFlow GPU：Windows 新手尤其要注意
TensorFlow 与 PyTorch 的路线不同。TensorFlow 官方文档说明，TensorFlow 2.10 是最后支持原生 Windows GPU 的版本；从 2.11 开始，Windows 用户如需 GPU 支持应使用 WSL2，或只安装 CPU 版本。
| python3 -m venv tf source tf/bin/activate pip install –upgrade pip pip install tensorflow[and-cuda] # 验证 GPU python3 -c “import tensorflow as tf; print(tf.config.list_physical_devices(‘GPU’))” |
如果输出 GPU 设备列表，说明 TensorFlow 能识别显卡。若为空，先用 nvidia-smi 验证驱动，再检查是否在 WSL2/Linux 环境中运行。
九、Docker 跑 AI：必须配置 NVIDIA Container Toolkit
很多本地 AI 服务如 Open WebUI、vLLM、Dify、LocalAI、部分 ComfyUI 镜像，都可以通过 Docker 部署。Docker 的关键点是：宿主机驱动归宿主机，容器通过 NVIDIA Container Toolkit 获得 GPU 访问能力。
Ubuntu / Debian 安装思路
| # 1. 安装 NVIDIA Container Toolkit sudo apt-get update sudo apt-get install -y ca-certificates curl gnupg2 # 按 NVIDIA 官方文档配置 libnvidia-container 源并安装 nvidia-container-toolkit # 2. 配置 Docker runtime sudo nvidia-ctk runtime configure –runtime=docker sudo systemctl restart docker # 3. 测试容器能否看到 GPU docker run –rm –gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi |
容器测试能看到显卡，才可以继续部署 vLLM、Open WebUI、Dify、LocalAI 等 GPU 服务。
十、部署不同 AI 工具时的推荐环境
| AI 工具 | 推荐系统 | 配置重点 |
| ComfyUI / Stable Diffusion WebUI | Windows 原生或 Linux | 驱动 + PyTorch GPU + Python 环境；显存越大越好 |
| Ollama | Windows / macOS / Linux | 安装包即可；NVIDIA GPU 加速依赖驱动支持，Linux 服务器更适合长期服务 |
| vLLM | Linux / WSL2 / Docker | 强烈建议 Linux + NVIDIA GPU；关注 CUDA、PyTorch、显存、模型格式 |
| TensorFlow | Linux / WSL2 | 新版 GPU 不建议 Windows 原生 |
| Open WebUI / Dify / LocalAI | Docker / Linux | 驱动 + Docker + NVIDIA Container Toolkit |
| RAG / Embedding 服务 | Linux / Docker | 小模型可 CPU，大模型或批量向量化建议 GPU |
十一、常见报错与快速修复
| 问题 | 优先排查 | 处理建议 |
| nvidia-smi: command not found | 驱动是否安装完整 | Linux 重新安装 NVIDIA 驱动；Windows 重启后再试 |
| CUDA driver version is insufficient | 驱动太旧 | 升级 NVIDIA 驱动，不要只升级 CUDA Toolkit |
| torch.cuda.is_available() 是 False | Python 环境和 PyTorch 版本 | 卸载 CPU 版 PyTorch，按官网选择器重装 GPU 版 |
| ImportError: libcudnn / cublas 找不到 | 库路径或依赖包冲突 | 优先使用官方 wheel；必要时重建虚拟环境 |
| Docker –gpus all 无效 | Container Toolkit 未安装或 runtime 未配置 | 安装 nvidia-container-toolkit，执行 nvidia-ctk 并重启 Docker |
| 显存不足 CUDA out of memory | 模型/分辨率/batch/context 过大 | 降低参数、使用量化模型、关闭占用显存程序 |
十二、新手推荐的最稳安装路线
路线 1：Windows 跑 ComfyUI / PyTorch
适合本地绘图、轻量模型推理、普通 AI 编程。
| 1. 安装 NVIDIA 驱动并重启 2. nvidia-smi 验证 3. 安装 Python 或 Miniconda 4. 创建虚拟环境 5. 按 PyTorch 官网选择器安装 GPU 版 PyTorch 6. 运行 torch.cuda.is_available() 验证 7. 再安装 ComfyUI / SD WebUI / 具体项目依赖 |
路线 2：Windows + WSL2 跑 TensorFlow / vLLM
适合想接近 Linux 服务器体验、后续要部署 API 服务的用户。
| 1. Windows 安装 NVIDIA 驱动 2. 启用 WSL2，安装 Ubuntu 3. 在 WSL2 中 nvidia-smi 验证 4. 创建 venv/conda 环境 5. 安装 TensorFlow GPU 或 vLLM 相关依赖 6. 通过 curl / OpenAI SDK 测试本地服务 |
路线 3：Linux 服务器 + Docker GPU
适合生产部署、长期运行、多工具并存。
| 1. 安装 NVIDIA 驱动 2. nvidia-smi 验证 3. 安装 Docker / Docker Compose 4. 安装 NVIDIA Container Toolkit 5. docker run –gpus all nvidia/cuda:xxx nvidia-smi 验证 6. 部署 Open WebUI / vLLM / Dify / LocalAI / ComfyUI 镜像 7. 配置反向代理、HTTPS、数据卷备份 |
十三、FAQ：NVIDIA AI 环境配置常见问题
Q1：nvidia-smi 显示 CUDA Version，是不是说明 CUDA 已经装好了？
不是。它代表当前驱动最高支持的 CUDA 能力，不等于已经安装 CUDA Toolkit。是否安装 Toolkit 要看你是否需要编译或开发 CUDA 程序。
Q2：我只是跑 ComfyUI，需要装 cuDNN 吗？
通常不需要手动装。优先按项目说明安装 PyTorch GPU 版，很多依赖会通过 wheel 或框架自动解决。
Q3：为什么别人说 CUDA 12.8，我电脑显示 CUDA 13.2？
nvidia-smi 中的 CUDA Version 和 PyTorch wheel 使用的 CUDA 运行时可以不同，只要驱动满足兼容要求即可。
Q4：TensorFlow 在 Windows 上还能跑 GPU 吗？
原生 Windows GPU 支持停留在 TensorFlow 2.10；新版 TensorFlow GPU 建议使用 WSL2 或 Linux。
Q5：显卡驱动是 Game Ready 还是 Studio Driver？
做 AI 创作、建模、视频、生产工具，优先 Studio Driver；如果主要玩游戏并兼顾 AI，Game Ready 也可以。
Q6：Docker 里为什么看不到 GPU？
只装 Docker 不够，还需要宿主机 NVIDIA 驱动和 NVIDIA Container Toolkit，并用 –gpus all 启动容器。
Q7：显存不够怎么办？
换小模型或量化模型，降低分辨率、batch size、context length，关闭浏览器/游戏/其他推理进程。
Q8：要不要总是安装最新 CUDA？
不建议盲目追新。项目支持哪个 CUDA / PyTorch / Python 组合，就按项目推荐来。稳定比最新更重要。
官方参考来源
| 来源 | 参考重点 |
| NVIDIA CUDA Toolkit Release Notes | CUDA 13.x / 12.x / 11.x 与最低驱动版本要求 |
| NVIDIA CUDA on WSL User Guide | Windows WSL2 使用 NVIDIA CUDA 的官方指南 |
| NVIDIA cuDNN Installation Guide | cuDNN Backend / Frontend / Linux / Windows / Python wheels 安装说明 |
| NVIDIA nvidia-smi Documentation | nvidia-smi 的跨平台监控与管理说明 |
| NVIDIA Container Toolkit Documentation | Docker / containerd / Podman GPU 容器运行时配置 |
| PyTorch Get Started Locally | PyTorch 官方安装选择器和验证方式 |
| TensorFlow Install with pip | TensorFlow pip 安装、GPU 验证、Windows 原生 GPU 支持说明 |
