其他AI工具评测与对比指南

想跑本地 LLM，最先担心的就是“我的电脑跑得动吗”。其实所需配置的 90% 都取决于 VRAM（GPU 显存）——只要把这一点搞定，就能立刻判断什么能跑、什么跑不了。本文按模型大小给出一张 VRAM 速查表和一个简单公式（大小 B × 约 0.6），讲清会随上下文长度增长的 KV 缓存陷阱，并对比 RTX 3060/4090/5090 与 Apple Mac 的实际速度。最后按预算分入门、标准、硬核三档给出推荐配置，让初次接触的人也能弄清自己该买哪一款。

在自己电脑上运行的本地 LLM，和 Claude、ChatGPT、Gemini 等云端服务型 LLM，同样都是“LLM”，但在性能、成本、隐私和投入精力上有着明显的不同。本文用一张对比表把两者一览无余，并诚实梳理常被误解的“性能差距”在 2026 年缩小到了什么程度。在此基础上，再针对你的具体用途引导你该选哪一个——对大多数人来说，混合使用才是答案。文章即使没有任何前置知识也能读懂。

把庞大的 AI 从头重新训练太贵，但你又想为自己稍作调整；LoRA（Low-Rank Adaptation）通过冻结原始模型、只训练一个极小的附加部件（适配器），把可训练参数减少到原始模型的 1% 以下，实现了这个愿望。LoRA 让微调大幅更便宜、更快，并在 Stable Diffusion 等图像生成中作为添加角色或画风的小文件极受欢迎。本文用补丁的比喻来讲解。LoRA 是参数高效微调（PEFT）的代表：把庞大的原始权重冻结，在每一层插入一个小的附加矩阵，只训练它（W = W0 + BA，其中 W0 被冻结，BA 是新增的那一小部分）。它的基础是这样一个假设：调整 AI 并不需要大的改动，低秩就足够，原论文的实验证实了这一点（也有报告指出在数学和编程上不如全量训练）。优势：可训练参数不到原来的 1%（原论文的 GPT-3 175B 上约为万分之一）、更省 GPU 内存（同一实验中训练时 1.2TB → 350GB）、训练更快更便宜、合并适配器后不增加推理延迟、不易遗忘原有能力。它最大的优势是适配器可更换：保留一个通用底座，按用途即时更换小巧的 LoRA 文件（客户支持、公司语气、某个特定角色）。很多人第一次接触 LoRA 是在图像生成中，Stable Diffusion 上学会了角色、画风或主体的 LoRA 被广泛共享（添加画风、学会角色、轻巧易分享）。QLoRA 结合量化，在 4-bit 底座之上训练 LoRA：以 16 位训练全部参数需要超过 780GB 的 65B 模型，用一块 48GB 的 GPU 即可微调，33B 可在 24GB 的消费级 GPU 上微调；论文的对比中成绩与 16 位方式相当（33B、65B 能否与全量训练比肩，论文自己写明尚未验证）。相比全量微调（训练所有权重），LoRA 在训练的权重、成本、产出和适用场景上都不同；对大多数工作，LoRA 就足够。底座保持原样，风味小幅调出。文中数值来自原论文等的实验条件，仅供参考。

一个庞大的 70B 模型不再需要数据中心的 GPU 机架，而能在家里一台 PC 上运行（消费级 GPU 装不下的部分交给 CPU 和内存），这要归功于量化——它降低模型权重的数值精度，从而大幅缩小体积和内存。模型蒸馏是把知识转移到另一个更小的模型，而量化则是让同一个模型变轻。本文用照片压缩的比喻来讲解。量化把以 FP16/FP32 小数存储的权重替换成 INT8（8 位）或 INT4（4 位）整数，减少每个权重的字节数（FP32=4、INT8=1、INT4=0.5）；就像把 RAW 照片压成 JPEG，你牺牲一点点精度换来大幅减重，令人惊讶的是放弃的东西竟然这么少。在内存上，4-bit 约为 FP16 的四分之一：70B 模型从 ~140GB 降到 ~35GB，8B 模型在 4-bit 下约 ~4.5-5GB，能塞进中端 8GB VRAM 的 GPU 用于本地运行（LLM 的民主化）。在精度上，INT8 几乎无损，据报道 INT4 在一般问答/常识类任务上退化不到 4%，但在数学、代码生成和高难度推理上损失更明显（表现为困惑度小幅上升），所以要按任务选位宽。主要方法：GPTQ（精确 4-bit 的先驱）、AWQ（保护最重要的约 ~1% 权重，与 GPTQ 孰优孰劣因评估而异）、GGUF（llama.cpp/Ollama 格式，Q2_K-Q8_0，CPU+GPU 混合，用于本地）和 QLoRA（4-bit 基础加 LoRA，在消费级 GPU 上微调）。它与蒸馏（转移到另一个小模型）和微调（增添任务知识）不同，三者通常组合使用（量化蒸馏后的模型；在量化基础上微调）。开始时，用 Ollama 一条命令跑一个 GGUF 模型，按 VRAM 选 Q4/Q8，代码或精确计算避开 INT4。多数主流模型已以量化形式发布，下载即用。保留聪明，只去掉重量。文中数字引用自公开资料，仅供方向参考。

庞大而高性能的 AI 聪明但又重又贵；模型蒸馏（知识蒸馏）通过把大教师模型的知识转移到小学生模型来解决这一问题，以小得多的体积和更快的速度保留接近教师的性能。本文用教师与学生的比喻讲解。关键在于软标签：普通训练只教“答案是猫”（硬标签），蒸馏则传递教师“90% 猫、8% 狗、2% 狐狸”这样的整个概率分布，其“犹豫程度”蕴含丰富信息；温度参数会软化概率以显现微妙关系（真实例子：OpenAI 于 2024 年在 API 中加入用大模型输出训练小模型的功能）。好处：又快又便宜、大幅更紧凑且保留接近教师的性能（TinyBERT 约 1/7.5 体积、96.8% 以上）、可在边缘端运行、擅长用途专精。两种方式：白盒（完全访问权重和内部表示，转移更深，用于自家或 OSS 模型）与黑盒（只能看到输出/API 响应，把别家 API 当教师可能违反条款）。它与量化（压缩同一模型的权重精度）、微调（对现有模型针对任务追加训练）不同——蒸馏是把知识转移到另一个小模型，三者可组合。法律与 ToS 现实是 2026 年的重大议题：技术正当，但 OpenAI、Anthropic、xAI 等都设有反蒸馏条款，禁止用输出打造竞争模型，因此用受限 API 蒸馏竞品可能违反条款。OpenAI 诉 DeepSeek 的纠纷（OpenAI 主张疑似 DeepSeek 相关账号绕过限制获取输出用于蒸馏，而 DeepSeek 条款据称允许蒸馏其输出）表明评估取决于适用谁的 API 条款，且 Claude Fable 5/Mythos 5 会把被判定为蒸馏的请求转给能力较低的 Opus 模型。要诀：用自家或已授权 OSS 模型当教师、用商用 API 前确认反蒸馏条款，并判断用途是否属于“开发竞争模型”。聪明靠大模型、运营靠小模型——但选谁当教师会改变技术与法律结果。数据引用自公开资料，仅供参考。

微调是通过额外训练，改变模型权重或加入适配器，从而调整文风、分类和输出倾向的技术。本文整理了它与 RAG、提示词的作用差异，全参数微调、LoRA 和 QLoRA 的原理，以及数据质量、评估和各项费用。OpenAI SFT 的最低 10 个示例和初次建议 50 个示例仅适用于该方法，并非所有方法的通用标准；文中还说明了自助服务型微调已停止接受新用户及现有用户的条件，并以问题分类为例展示决定是否采用的步骤。

你大概以为LLM必须跑在云端，但小模型的文件只有几GB，普通笔记本也能跑。本地LLM就是把AI模型直接运行在自己的电脑上，而非云端。优点是隐私（输入不离开本机）、没有API费用、断网也能用；短板是不如顶级云端AI聪明，且需要一台还算给力的电脑。本篇初学者指南讲解：量化（Q4_K_M 约为 fp16 的三成，Llama 3.1 8B 从 16 GB 缩到 4.9 GB）、Ollama 标签列表中的实际下载大小表（截至2026年9月30日）、Ollama 与 LM Studio 官方的系统要求、Ollama 官方步骤（macOS 和 Linux 用 install.sh，Windows 用 install.ps1，然后 ollama run gemma4，再用 ollama ps 确认是否在 GPU 上）、带“:cloud”的模型不在本机运行的提醒、如何选模型（以 Llama 3.1、Gemma 4、Qwen3.8、DeepSeek-R1 为例），以及本地与云端如何分工。

2026 年 6 月 9 日，Anthropic 发布了 Claude Fable 5——首次以普通用户和开发者都能使用的形式，释放出内部长期被视为最强的前沿模型“Mythos”级别的能力。Anthropic 将其定位为面向大众提供的最强模型，宣传语为“为长时间、复杂的工作而打造”。本篇写得让初学者也能跟上，讲清 Fable 5 是什么（以安全形式向公众开放的 Mythos 级别能力，为跑完一场马拉松而非单次问答而优化；模型 ID 为 claude-fable-5）、它与孪生兄弟 Mythos 5 有何不同（内部完全相同，只有安全机制不同；公众使用的是 Fable）、基准测试成绩（SWE-Bench Pro 80.0% 对 Opus 4.8 的 69.2 和 GPT-5.5 的 58.6，Hex 长时间分析史上首次突破 90%，Cognition FrontierCode 与 Hebbia 金融均居首，视觉方面无需辅助即可玩 Pokémon 的全新 SOTA）、它在长时间自主运行上的真正强项（在数百万 token 中保持专注、自主运行时间超过以往任何 Claude、Stripe 在一天内完成 5000 万行 Ruby 迁移、文件记忆使游戏任务提升约 Opus 4.8 的 3 倍）、价格与可用渠道（每 1M token $10/$50、1M 上下文与 128K 输出、6 月 9–22 日各方案内免费），与 Opus 4.8 的直接对比（标准 $5/$25 对 $10/$50、SWE-Bench Pro 领先 +10.8 个百分点），重头戏般的全新安全设计（网络、生化与蒸馏分类器只在危险时回退、触发率不到 5%、保留 Mythos 级别流量 30 天），以及发布前几天还警告 AI 太危险的背景。数字均引用自 Anthropic 公告与报道，可能变动。

输入一段文字，几秒钟就诞生一段带声音的视频——这在不久前还是科幻情节，到了 2026 年却变成现实，而局势正以惊人速度变化。曾主导话题的 OpenAI 的 Sora 已于 2026 年 4 月关停 App 与网页版（API 也已于 2026 年 9 月 24 日关停），取而代之的是 Google Veo、Kling 与 Runway 占据领先。这份截至当前（2026 年 6 月）、与具体工具无关的指南，涵盖什么是 AI 视频生成（从文字或图片生成动态影像，音频同步、1080p–4K 与图生视频已成标准）、2026 年的格局（Sora 关停——据报道背景为算力与成本压力及用户减少——以及当前领先者 Google Veo 3.1、Kling 3.0、Runway Gen-4.5，按秒计费为常态）、原理（扩散模型扩展到时间维度；文生视频与图生视频）、通用的 5 步流程（选工具、提示词/图片、设置时长/画幅/音频、生成并挑选、在剪辑中拼接）、核心的视频提示词技巧（主体 + 运动 + 运镜 + 风格 + 时长 + 音频，动词与运镜是关键，一镜一动、善用图生视频、多生成再挑选）、现在能做什么与还做不到什么（一次性做长片与完全一致性仍困难，按秒成本会累积），以及权利、水印与伦理要点（SynthID 等标示 AI 生成的数字水印成为标准、多数套餐无法移除，来源标准 C2PA 也在普及，纯 AI 输出受保护弱且各国有差异，商用取决于条款，真实人物的深度伪造是禁区）。不要追求一次性做出长片，而要做镜头再在剪辑中拼接。由于该领域变化迅速，请始终通过官方渠道确认最新信息。

“我不会画画，所以这跟我没关系”——这种对 AI 图像生成的成见恰恰说反了。只要用语言下达指令，几秒钟后你就能得到专业级的视觉作品。本篇跨工具指南讲解：什么是 AI 图像生成（用语言从零做出图像——考验的是表达沟通而非绘画的本领，可谓图像版的提示词工程）；它的原理（扩散模型以你的提示词为线索，从随机噪点中雕刻出一幅画，每次都从零绘制，所以结果会抖动）；在任何工具中都通用的 4 步工作流（选择工具、写提示词、生成并挑选、修整并完成——迭代是前提）；核心的 6 部分图像提示词结构（主体、场景/背景、风格、光线/色彩、构图/视角、技术参数）外加负面提示词与画面比例——不过排除、宽高比和图中文字的写法因工具而异（据各公司官方文档，Midjourney 用 --no，Google 要求用肯定句描述，Stability AI 的 API 有 negative_prompt）；7 个精通技巧（多跑几次、一点一点加、参考图、局部重绘、固定种子、放大、保存好用的提示词）；AI 不擅长什么（手、文字、一致性、精细准确度）及其应对；以及工作中必备的版权、商用和伦理要点（依据美国版权局的见解和 Thaler 案（2026 年联邦最高法院不予受理后确定），纯 AI 产出的保护很弱，且各国有别；商用取决于各工具的条款；深度伪造和未经许可模仿画风是禁区；来源标注正在普及，OpenAI 会给其图像同时加上 C2PA 元数据和 SynthID 水印）。该选哪个工具以及各工具的具体操作，链接到对比、Midjourney 和 Stable Diffusion 等文章。了解结构、多跑几次、把词语一点一点加上去——任何人都能逼近自己想要的那张图。

同样的 AI、同样的问题，有人说它没用，另一个人却惊叹它能干得几乎过头——造成这种差距的真正原因，往往不是 AI 的能力，而是提示词是怎么写的。本文把这项技能，即提示词工程，整理成一份实用大全，让初学者也能立刻上手。内容涵盖：什么是提示词工程（设计并改进你对 AI 的指令的技能，不是代码而是如何把话说好的功夫）、改变结果的三大原则（要具体、给出背景、指定输出，外加“要做 X”胜过“不要做 Y”）、核心的好提示词 6 个要素（角色、背景、指令、示例、格式、约束——各家厂商公开指南中反复出现的要素，并非每次都要全部用上）、7 个实用技巧（赋予角色、展示范例/few-shot、逐步推理、固定输出格式、用分隔符理清结构、别一次问太多、迭代——其中最强的是迭代）、一个 Before/After 示例、进阶技巧（思维链、自洽性、提示词链、ReAct——不过 o 系列和 Claude 扩展思考这类推理模型会在内部执行 CoT，因此说清目标更管用）、7 个常见误区，以及各模型小窍门与输入安全。文内附有指向应用开发提示词技巧和输入注意事项的内部链接。把含糊变具体，把一股脑变对话——任何人今天就能开始进步。

2025 年 6 月，OpenAI 的 Sam Altman 在博客上写道：“我们已越过事件视界，起飞已经开始”（《温和的奇点》）。然而另一些研究者却干脆把这一想法斥为永远不会到来的东西。这篇初学者指南讲清：奇点（技术奇点）是“AI 超越人类智能并开始自我改进，从而使进步快得爆炸、再也无法被预测或控制的临界点”（截至 2026 年仍是假设，尚未实现）。文章涵盖其核心——智能爆炸 = 递归式自我改进，聪明的 AI 打造出更聪明的 AI，改进者从人类变成 AI；它与 AGI 和 ASI 有何不同（AGI/ASI 是智能的“状态”，奇点是变得不可预测的“事件”；AGI → 自我改进 → 骤然跃升至 ASI = 奇点）；这个词的历史（I. J. Good 1965 年的“智能爆炸”→ Vinge 1993 年让它流行 → Kurzweil 以“2045”使其主流化）；预测的巨大分散（Kurzweil 说 2045、Altman 说“已经开始”、Vinge，以及 Gary Marcus 和已故 Paul Allen 的“复杂性刹车”等怀疑者）；突然的硬起飞 vs 渐进的软起飞；希望（疾病与科学上的突破）与风险（失控、对齐问题）；深刻的怀疑（复杂性刹车、物理极限、完全是另一回事）；以及“机器人统治”“AGI 一到来就立刻发生”“已确定在 2045 年”等常见误解。既不过度恐惧，也不过度幻想——充分用好今天的 AI，同时冷静地观望接下来可能到来的东西。