如何运行本地LLM：在自己电脑上跑AI——给初学者的配置、工具与最佳模型

你大概以为大语言模型（LLM）必须跑在云端。其实，把AI完全运行在自己电脑里——也就是“本地LLM”——如今已是切实可行的选择。你的数据始终不离开本机，没有API费用，断网也能用。小模型的文件只有几GB，普通笔记本也能跑。

本文面向初学者，梳理本地LLM是什么、优点与短板、需要的配置、如何上手（按 Ollama 官方步骤从安装到确认运行）、如何选模型，以及与云端如何分工。

1. 什么是本地LLM

本地LLM，指的是把ChatGPT、Claude那样的AI模型，不放在云端，而是直接在自己的电脑（或手机）上运行。平时用的AI会把你的输入发往遥远的服务器，在那里处理后再把答案返回——而本地LLM把这些处理全部在你面前的机器上完成。

可以把它想成“音乐流媒体 vs 下载”。云端AI就像每次想听都要通过网络在线播放；本地LLM则像把曲目下载到设备上，于是可以离线、随时播放。把模型——一个几GB的文件——一次放进电脑后，就能在没有网络、不计费的情况下运行。

2. 为什么选本地？优点与短板

本地LLM有三大吸引力：隐私、成本、离线。由于输入绝不离开本机，机密数据更易于处理，也不产生API费用。因为没有按次计费，同样的处理重复几千次的用途，差距就越大。

当然也有短板。我们坦诚地把它们说清楚。

一言以蔽之：“在聪明程度上比最前沿稍逊一筹，但在隐私、成本、离线上完胜。”对于能接受这个取舍的用途，本地LLM是一个强力的选择。

3. 需要的电脑配置与量化

“我的电脑跑得动吗？”大概是你最关心的问题。关键在于内存（RAM 或 GPU 的显存）和量化。

量化（quantization）是一种压缩技术：降低模型数值的精度，换来大幅缩小的体积。本地使用的标准格式是 GGUF，其中 Q4_K_M 是公认的平衡之选。缩小多少，可以在 Ollama 的标签列表里确认：Llama 3.1 8B 在16位（fp16）下是 16 GB，Q4_K_M 则是 4.9 GB，约为原来的三成。执行 ollama run llama3.1:8b 下载的也正是这个 Q4_K_M 版本（llama3.1 的标签列表，截至2026年9月30日）。Hugging Face 上有 207,667 个 GGUF 格式的模型（Hugging Face 的 GGUF 筛选，同日）。

那么实际有多大？下面按从小到大列出 Ollama 模型库中显示的下载大小。

*来源：Ollama 模型库中各标签的页面（截至2026年9月30日）。大小的范围照录模型库的显示。音频：gemma4 页面的表格中只有 E2B、E4B 标为支持（标签列表本身显示为文本、图像）。muse-glimmer 这一行取自muse-glimmer 的标签列表（截至2026年10月5日）。

读这张表有两个要点。

• 需要的内存比文件更大：表中是文件大小。运行时还要加上记住对话内容（上下文）所需的内存。Ollama 默认的上下文是 4,096 个 token，设得越长越占内存（Ollama FAQ）。
• 是否完全装进 GPU，用 ollama ps 查看：PROCESSOR 列显示“100% GPU”表示整个模型都在 GPU 上，“100% CPU”表示在系统内存中运行。如果显示“48%/52% CPU/GPU”这样的拆分，说明有一部分溢出了（同一 FAQ）。跑在 CPU 上的部分往往更慢，这就是该换小一档标签的信号。

Apple Silicon 的 Mac 上，CPU 和 GPU 共用同一块内存（统一内存），所以内存大的 Mac 更容易在 GPU 上跑较大的标签。各工具官方页面给出的系统与硬件要求如下。

来源：Ollama 的 macOS 与 Windows 文档，以及 LM Studio 的系统要求（均截至2026年9月30日）。

近期笔记本电脑中内置的 NPU（AI 专用部件），目前 Ollama 还不会使用。NPU 有什么用，请参阅“NPU是什么？电脑需要吗？”。

第一次尝试，用表格上方（2–5 GB 左右）的标签就足够了。

相反，Claude Code、Codex 这类在服务器上运行模型的工具，电脑性能只影响本地运行命令的速度和内存余量，AI 思考的时间不会改变（“Claude Code与Codex所需的电脑配置”）。

4. 如何上手——选工具与第一次运行

想更深入使用 Ollama 的读者，请参阅Ollama 完全指南（命令、API、自定义）。

按自己的类型，从两款常用工具中选一个即可。

两者都免费，支持 Windows、Mac、Linux。此外还有 Jan、Open WebUI、llama.cpp 等。喜欢点鼠标而不是敲命令的人，装好 LM Studio、下载一个小模型是最快的第一步。不怕终端的话，按下面的 Ollama 步骤几分钟就能跑起来。

用 Ollama 跑起第一个模型

下面按照 Ollama 官方 README 和文档的步骤，从安装一直走到确认运行（截至2026年9月30日）。完整的命令列表和细节请看Ollama 完全指南的命令部分，这里只讲第一次需要的四件事。

① 安装。macOS 和 Linux 在终端中输入下面这一行。

curl -fsSL https://ollama.com/install.sh | sh

Windows 在 PowerShell 中输入下面这一行。

irm https://ollama.com/install.ps1 | iex

如果不想直接执行网上下载的脚本，也可以用官方的手动下载（Mac 用 Ollama.dmg，Windows 用 OllamaSetup.exe，Linux 参考手动安装步骤）。Docker 则有官方镜像 ollama/ollama（Ollama 的 README）。

② 运行模型。和 README 的第一个示例一样，我们来运行 Gemma 4。本机还没有的模型，会先下载，然后开始对话。

ollama run gemma4

gemma4 的默认标签有 6.6–9.5 GB。内存不太够的话，可以指定更小的标签，例如 ollama run gemma4:e2b 或 ollama run llama3.2（2.0 GB）。

③ 确认是否在运行。在另一个终端输入下面的命令，会显示已加载的模型和 PROCESSOR 列（GPU 还是 CPU）。正如第3节所说，“100% GPU”最理想。

ollama ps

④ 收尾。ollama stop gemma4 把模型从内存中卸下，不再需要时用 ollama rm gemma4 删除。模型的存放位置：macOS 是 ~/.ollama/models，Linux 是 /usr/share/ollama/.ollama/models，Windows 是 C:\Users\%username%\.ollama\models，可通过环境变量 OLLAMA_MODELS 修改（Ollama FAQ）。

5. 如何选模型（2026年9月的示例）

模型更新换代很快，与其记名字，不如先掌握选择的标准：①能否装进你的内存（第3节的表格）；②是否需要图像或音频输入；③是否擅长你的用途，比如中文或代码；④最近是否还在更新。候选模型的名称、大小和更新日期都可以在 Ollama 模型库中确认。截至2026年9月30日的代表性示例如下。

诀窍是“先试一个较小的标签，用 ollama ps 确认它在 GPU 上，不够用再升一档”，循序渐进。和云端AI的比较一样，是否适合自己的用途，要亲手试过才知道。

6. 本地与云端：何时用哪个

想更深入了解本地与云端的区别、性能差距与如何选择，可参阅我们的本地 LLM vs 云端 LLM 专题文章。

本地和云端并非二选一——聪明的做法是按角色分工。

• 本地适合：处理机密数据、高频或重复性任务、离线环境，以及想压低成本的日常工作。
• 云端适合：需要顶级准确度的难题、需要最新信息的调研，以及繁重的编程——也就是ChatGPT、Claude、Gemini等顶级模型大显身手的场景。

举例来说，“把起草、分类、摘要放在本地免费完成，只把最后的润色或难点交给云端”就很好用。不过“免费”指的是 API 费用，电费和电脑的费用照样要花。用量小的话，云端反而可能更便宜——哪边更划算，取决于用量。

总结

关于本地LLM，记住三点。

• 它是什么：把AI模型运行在自己的电脑上。数据不外流，没有API费用，也没有离线限制。
• 如何上手：初学者用LM Studio，开发者用Ollama（用官方脚本安装，ollama run 运行，再用 ollama ps 确认是否在 GPU 上）。先从 2–5 GB 左右的小标签开始。量化（Q4_K_M）能把模型缩到 fp16 的约三成。
• 何时使用：论聪明，云端更胜一筹。机密、高频、离线的工作交给本地，难题交给云端——两者结合最佳。

不妨先装上LM Studio，跑起一个小模型。“AI完全在自己电脑里说话”这种体验，比你想象的更新鲜。想了解其中原理，也可以看看LLM是如何工作的。

FAQ