Ollama 完全入门指南：本地 LLM 一条命令搞定 [2026]

Ollama 是一款在自己电脑上运行开放 LLM（大语言模型）的免费开源工具。它支持 Windows、macOS 和 Linux，只需一行 ollama run 模型名，就能完成从下载模型到对话的全过程。运行期间，它会在 localhost:11434 上启动一个 API 服务器，你自己的应用以及 Claude Code 等工具都能调用它。如今除了在本机运行的模型，名称以 :cloud 结尾的云端模型也能用同样的命令使用。

本文专注于 Ollama 这个工具本身怎么用，对照官方 GitHub 仓库（含源代码）、官方文档和价格页面的原文整理（截至 2026 年 11 月 12 日）。本地 LLM 的整体思路请看本地 LLM 入门，选哪个模型请看我们的本地 LLM 推荐模型深度对比，所需显存的计算请看硬件配置要求一文，接入编辑器写代码请看 Ollama + Cline 一文。

1. Ollama 是什么？——本地与云端两种运行方式

Ollama 是一款在自己电脑上轻松运行开放模型（Gemma、Qwen、gpt-oss 等）的免费开源工具。下载模型、处理量化格式、配置 GPU 等麻烦事都在后台完成，你只需“指定模型名然后运行”。推理底层使用 llama.cpp，在 Apple 芯片的 Mac 上，部分模型还提供基于 Apple MLX 运行的版本。

运行方式有两种。选哪一种，所需的电脑和费用会完全不同。

类似的工具还有 LM Studio。大致来说，Ollama＝以命令和 API 为中心，适合开发者、自动化以及接入智能体；LM Studio＝以图形界面为中心，适合想在一个窗口里完成从找模型到对话的人。两者都免费。本地和云端本身的区别（费用、性能、隐私）在本地 LLM 与云端 LLM 的对比中有详细介绍。

2. Ollama 的安装方法（Windows / macOS / Linux / Docker）

官方下载页面和 GitHub 上的 README 为每个系统提供了两种方式：粘贴到终端的一行命令和手动安装程序。两种方式结果相同。

Windows

不想用命令的话，就从下载页面获取 OllamaSetup.exe 并运行。根据官方的 Windows 页面，它默认安装在用户主目录，模型另外可能占用几十到几百 GB。如果 C 盘空间不够，可以用 OllamaSetup.exe /DIR="d:\some\location" 更改程序的安装位置，用环境变量 OLLAMA_MODELS 更改模型的存放位置（第 9 章）。安装后它会在后台常驻，在 cmd 和 PowerShell 中都能使用 ollama 命令。

macOS

手动安装时，打开 Ollama.dmg，把应用拖进“应用程序”文件夹。首次启动时，如果 PATH 中没有 ollama 命令，应用会请求在 /usr/local/bin 创建链接的权限（官方 macOS 页面）。

Linux

不使用脚本的手动安装步骤，以及面向 AMD GPU 的额外软件包，见官方 Linux 页面。Linux 没有 Windows 和 macOS 那样的应用，需要通过命令和 API 使用。

Docker

官方镜像 ollama/ollama 在 Docker Hub 上。仅用 CPU 运行的最简启动示例如下。使用 NVIDIA GPU 时，先安装 NVIDIA Container Toolkit 再加上 --gpus=all；使用 AMD GPU 时，换用 ollama/ollama:rocm 镜像（官方 Docker 页面）。另外，macOS 上的 Docker Desktop 无法使用 GPU（官方 FAQ），在 Mac 上直接安装应用会更快。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma4:e2b

3. 你的 GPU 能跑得快吗（支持的 GPU 一览）

Ollama 用不了 GPU 时会改用 CPU 运行，所以不会报错，但会慢上好几倍。安装前，先看看自己的 GPU 是否在官方的 Hardware support 列表中。要点整理如下表。

模型是否真的加载到了 GPU 上，在模型运行时输入 ollama ps 就能知道。PROCESSOR 列显示 100% GPU 表示全部在 GPU 上，如果像 48%/52% CPU/GPU 这样被拆开，就说明显存放不下了（官方 FAQ）。被拆开时该降低什么，见第 9 章的表格。各 GPU 所需显存的参考，汇总在硬件配置要求一文中。

4. Ollama 命令一览

下表整理了官方 CLI 参考以及源代码（cmd/cmd.go）中定义的命令。日常常用的大约是前 6 个。

ollama run 有一些实用的选项。加上 --verbose，每次回答后都会显示耗时和每秒 token 数（eval rate），换模型或换标签时就能用数字比较速度。--think=false 让会输出思考过程的模型不再输出，--format json 让回答以 JSON 返回，--keepalive 30m 改变模型留在内存中的时间。能识图的模型，只要像 ollama run gemma4 "这张图里有什么？ ./photo.png" 这样把文件路径写进提示词即可。

对话中（>>> 之后）可以使用以 / 开头的专用命令。/bye 退出，/? 查看列表，/clear 清除对话上下文，/set parameter num_ctx 8192 当场修改上下文长度。想输入多行时，用 """ 括起来。

5. 模型的下载方法与标签的读法

模型用名称＋标签指定。省略标签时会选择 latest，但 latest 指向哪个大小因模型而异。不看容量就安装，可能会下载到比预想大得多的版本。下面以官方的 gemma4 标签列表为例，整理了标签的读法（2026 年 11 月 12 日的显示）。

大小之所以是一个范围，是因为一个标签里包含多种格式，会选择适合当前环境的那一种。gemma4 的 latest 中，下限 6.6GB 与 e4b-it-q4_K_M 相同，上限 9.5GB 与 e4b-mlx 相同。拿不准时，选没有后缀的标签（如 gemma4:e4b），Ollama 会选择适合你环境的格式。量化格式本身（GGUF 的 Q4_K_M 怎么读等）在量化格式一文中介绍。

显存一栏是在模型大小上加上对话（上下文）余量的参考值。官方快速入门同样为 gemma4:e2b（默认安装的格式约 7.2GB） 推荐“8GB 显存（Mac 为统一内存）”。安装后可以用 ollama show gemma4 查看参数量、量化方式和上下文长度。

6. 用图形界面（Ollama 应用、Open WebUI 等）

“不擅长用终端”的人，先打开 Ollama 自己的应用就行。Windows 和 macOS 版自带选择模型并聊天的界面（官方博客“Ollama's new app”）。Linux 没有应用，请使用下面的其他界面。

7. 云端模型与价格

手头的 GPU 跑不动大模型时，可以用同样的操作使用在 Ollama 服务器上运行的云端模型。用 ollama signin 登录 ollama.com，然后像 ollama run gemma4:cloud 这样指定带 :cloud 的名称即可，无需下载（官方 Cloud 页面）。套餐如下（价格页面，截至 2026 年 11 月 12 日）。

用量按各模型每 100 万 token 的单价计算。例如 gemma4 云端版是输入 $0.14、输出 $0.40。使用 100 万输入 token、20 万输出 token，就是 0.14＋0.40×0.2＝约 0.22 美元。按这个比例，Pro 每月 $60 的额度约相当于 270 次（60÷0.22）。包含的用量不会结转到下个月。在本机运行的模型，任何套餐下都不限量、不收费。

8. API 用法（兼容 OpenAI 与 Anthropic）

Ollama 真正的价值在于本地 API。服务器默认监听 127.0.0.1:11434，向这里发送请求，自己的应用、脚本和工具就能使用本地 LLM。入口有三种格式。

/api/chat（传入对话历史）

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

回答在 message.content 中。去掉 "stream": false，回答会以 JSON 行的形式逐步返回（默认是流式输出）。只需回答一次的话，也可以向 /api/generate 传入 "prompt"。上面的写法适用于 macOS、Linux 的 shell；Windows 的 PowerShell 对引号的处理不同，请使用官方 Windows 页面中的以下写法（只替换了模型名）。

(Invoke-WebRequest -method POST -Body '{"model":"gemma4", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

兼容 OpenAI（/v1）

使用 OpenAI 官方库，只要把 base_url 指向 Ollama 就能运行。根据官方说明，在本地服务器上 API 密钥“必填但会被忽略”，随便填一个字符串即可。

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # required but ignored
)

chat_completion = client.chat.completions.create(
    messages=[{'role': 'user', 'content': 'Say this is a test'}],
    model='gemma4',
)
print(chat_completion.choices[0].message.content)

兼容 Anthropic（接入 Claude Code）

官方的 Anthropic 兼容说明要求为以 Anthropic API 为前提的工具设置以下两个环境变量。即使不自己设置环境变量，也可以用 ollama launch claude 在已连接的状态下启动。

export ANTHROPIC_AUTH_TOKEN=ollama  # required but ignored
export ANTHROPIC_BASE_URL=http://localhost:11434

两种兼容都只支持原 API 的一部分。例如 Responses 格式不保存状态，每次都需要发送对话历史。在编程智能体中使用本地模型时，下一章的上下文长度是关键。

9. 自定义（Modelfile、环境变量、内存调整）

Modelfile：打造自己的模型

Modelfile 是类似 Dockerfile 的配置文件。在基础模型（FROM，必填）上加入参数（PARAMETER）和系统提示词（SYSTEM），就能做出行为始终一致的“自己的模型”。最简示例如下。

FROM gemma4
PARAMETER temperature 0.7
PARAMETER num_ctx 16384
SYSTEM """你是一个简洁的助手，先说重点，用中文回答。"""

把它保存为名为 Modelfile 的文件，在同一文件夹中执行以下命令。把 num_ctx 写进 Modelfile，就能在不改动整个服务器默认值的情况下，只加长这个模型的上下文长度。

ollama create my-assistant -f Modelfile
ollama run my-assistant

现有模型由什么样的 Modelfile 构成，可以用 ollama show --modelfile gemma4 查看。照着改写是最快的办法。

主要环境变量

服务器的行为通过环境变量修改。完整列表可用 ollama serve --help 显示。下面列出常用的几个，并附上源代码（envconfig/config.go）和官方 FAQ 中写明的默认值。

设置方法因系统而异（官方 FAQ）。Windows 先在任务栏退出 Ollama，再在“环境变量”设置界面添加用户环境变量，然后从开始菜单重新启动 Ollama。macOS 用 launchctl setenv OLLAMA_HOST "0.0.0.0:11434" 这样的命令设置，再重启应用。Linux（用 systemd 运行时）步骤如下。

systemctl edit ollama.service
# 在 [Service] 下每个变量加一行
# Environment="OLLAMA_HOST=0.0.0.0:11434"
systemctl daemon-reload
systemctl restart ollama

内存不足、需要长上下文时的调整

显存不足 24GiB 时，默认上下文长度只有 4k（约 4,000 token）。官方 Context length 页面建议网络搜索、智能体和编程工具至少使用 64,000 token。不够时模型不会报错，而是悄悄忘掉前面的内容。为了能从症状反查，下表按想做的事整理了对应的设置。

修改后用 ollama ps 确认 CONTEXT 列是想要的长度、PROCESSOR 列仍是 100% GPU。上下文长度与内存关系的计算见硬件配置要求一文，智能体因上下文不足而出错时的症状见 Ollama + Cline 一文。

10. 常见问题的处理

下面汇总了常见的卡点，以及官方 FAQ 和 Troubleshooting 中给出的处理方法。

总结

Ollama 是一款能用同样的操作在本机或云端运行开放模型的工具。要点有四个。

• 安装前先确认 GPU：NVIDIA 需要 Compute Capability 5.0 及以上，AMD 看 ROCm v7 的支持列表或用 Vulkan，Mac 需要 Apple M 系列。运行后用 ollama ps 确认是否为 100% GPU。
• 读懂标签再选：latest 的内容因模型而异。看大小的数字（e2b、12b、31b），拿不准就选没有后缀的标签。
• 自己决定上下文长度：显存不足 24GiB 时默认是 4k。官方建议智能体至少使用 64k，内存可以靠 K/V 缓存的量化省出来。
• 用 API 和 launch 接入工具：通过兼容 OpenAI、Anthropic 的 API 和 ollama launch，自己的应用和 Claude Code 都能使用。重的模型就用 :cloud。

先打开应用，或者输入 ollama run gemma4:e2b 试试看。边运行边了解与云端的区别和模型的选法，是最能学到东西的方式。如果想更进一步，接入编辑器写代码，用本地 LLM 编程一文介绍了 Cline / Continue 的设置。

FAQ