前面几章介绍了AI的便利之处和使用方法。但要真正"用好"AI，正确理解其风险是不可或缺的。了解风险不是为了害怕AI。就像开车要学会"如何使用刹车"一样，这是为了安全地驾驭AI而必备的基础知识。
风险不是"可怕"的东西，而是"应当了解"的东西
了解AI的五大风险
使用AI时需要把握的风险，大致可以归纳为五类。每一类的性质各不相同，我们先来把握整体图景，随后逐一深入。
把没有事实依据的信息一本正经、煞有介事地输出的现象。AI最大的风险。
训练数据与生成物两个层面的争议。全球诉讼正在进行中。
输入的数据可能被用于训练。一旦输入便无法撤回。
训练数据中包含的社会性偏差会原封不动地反映到输出中。
AI制作的真假难辨的虚假媒体。被滥用于诈骗和冒名顶替。
幻觉 ― AI会一本正经地胡说八道
幻觉（Hallucination）是指AI把没有事实依据的信息，仿佛真事一般煞有介事地输出的现象。说它是使用AI的最大风险也不为过。
为什么会发生 ― 理解其机制
AI是靠"预测下一个最可能出现的词"来运作的。也就是说，它输出的不是"正确的内容"，而只是"看起来合理的内容"。AI并不判断真伪。它不是在查字典，而只是在做模式匹配。
不同模型的幻觉率差异很大。2025年的一项基准测试显示，最优秀的模型（Gemini 2.0 Flash）为0.7%，而部分模型则有近30%的输出属于幻觉[2]。改善虽在推进，但无法归零。
实际发生的案例
- 虚构的判例 ― 美国一名律师把用ChatGPT查到的判例提交给法院，结果引用的判例根本不存在（2023年）
- 虚构的论文 ― 煞有介事地生成不存在的论文标题和作者名
- 错误的统计 ― 断言"○○的市场规模为△△亿元"，但与实际数字相差甚远
- 法律领域 ― 斯坦福大学的调查显示，在法律相关查询中，幻觉率甚至有高达69〜88%的情况[2]
四条防御措施
对付幻觉不是靠"归零"，而是靠"识破的机制"。请把下面四个步骤养成习惯。
反问"依据的出处是什么？"。对拿不出出处的说法要抱有怀疑。
数字、法律、人名等，务必用官方网站或原始文献等一手信息源核对。
把同一问题抛给多个AI，若答案不一致就视为需要留意的信号。
用Perplexity、Gemini等会附带出处链接作答的搜索型AI来查资料。
特别需要留意的信息有四类：统计数据与数字、人名与专有名词、法律与税制、最新新闻。这些信息务必用一手信息源来核实。
💡 实用技巧：使用Perplexity、Gemini等与网络搜索联动的AI工具，回答会附带出处链接。在重要的查资料类任务中，灵活搭配使用这类搜索型AI工具是聪明的做法。在企业层面，用机制来防范AI错误回答的AI护栏也在逐步引入。
版权 ― 能用吗？生成的东西归谁？
AI与版权的问题大致有两个："能不能把受版权保护的作品用于AI训练"，以及"AI生成的东西有没有版权"。
问题1：AI的训练数据与版权
AI模型是用互联网上大量的内容（文章、图像、代码等）训练出来的。有观点认为这未经版权人许可就使用了作品，全球范围内已因此引发诉讼。
| 诉讼 | 概要 | 状态（截至2026年） |
|---|---|---|
| NYT 诉 OpenAI | 《纽约时报》就文章被擅自用于训练提起诉讼 | 审理中 |
| Getty 诉 Stability AI | 就照片被擅自用于训练提起诉讼 | 审理中 |
| 艺术家集体诉讼 | 图像生成AI训练中擅自使用了作品 | 多起进行中 |
| 读卖、朝日、日经 诉 Perplexity | 就文章被擅自使用，索赔总额约66亿日元 | 2025年提起诉讼 |
问题2：AI生成物的版权
AI生成的内容能否被认定拥有版权，各国判断不一。
AI自主生成之物无版权。但若人类进行了创作性的参与，则有可能受到保护。
版权局持"不承认AI单独生成物享有版权"的立场。若有人类的创造性控制，则可能被部分认定。
关于AI生成物版权的规则制定正在推进中。
你应当注意的事
- 商用时务必确认各服务的使用条款
- 图像生成时不要指定特定艺术家的名字（"以○○的风格"是版权纠纷的诱因）
- 检查AI的输出是否与既有作品雷同
- 必要时明确标注为AI生成
隐私 ― 什么可以交给AI
2023年，三星电子的员工把公司内部的机密代码输入了ChatGPT，酿成了一起大新闻。以此事件为契机，许多企业开始制定关于向AI输入信息的政策。
输入给AI的数据，有可能被用于改进服务或训练模型。请以"一旦输入的信息便无法撤回"为前提来行动。关于该输入什么、如何输入，向AI输入时的注意事项有详细解说。
- 公司机密信息、未公开的源代码
- 客户、合作方的个人信息
- 密码、API密钥、认证凭据
- 未公开的财务、人事数据
- 他人托付的秘密信息
- 已经公开发布的信息
- 已将个人名、公司名匿名化的数据
- 自己撰写的、计划公开的文章
- 新闻稿、公开资料
- 虚构、示例的数据
数据保护的具体做法
| 措施 | 说明 |
|---|---|
| 关闭聊天记录 | ChatGPT、Claude都可在设置中停止将对话数据用于训练 |
| 企业版 | 面向企业的方案通常保证数据不会被用于训练 |
| 信息匿名化 | 输入前把个人名替换为"甲某"，公司名替换为"X公司" |
| 本地运行 | 用Ollama等在自己的电脑上运行开源模型 |
💡 拿不定主意时的判断标准：不妨自问一句"这条信息即便公开到互联网上也不会有麻烦吗？"。如果答案是"会有麻烦"，那就不该输入给AI。作为组织来运用时，把企业AI使用指南形成书面文件是更稳妥的做法。
偏见与深度伪造
AI偏见 ― 训练数据的偏差显现在输出中
AI偏见是指AI训练数据中包含的社会性偏见原封不动地反映到输出中的现象。AI输出的并非"正确答案"，而是倾向于输出"在训练数据中占多数的答案"。
- 性别偏见 ― 生成"护士"的图像时清一色是女性，"工程师"则清一色是男性
- 文化偏见 ― 倾向于给出偏向英语圈、西方中心价值观的回答
- 确认偏误 ― 过度反映多数派的意见，少数派的视角被遗漏
对策：不要全盘轻信AI的回答，养成指示它"也从别的视角想想""也提出反对意见"的习惯。在招聘、人事评价等重要决策中，尤其不能把AI的判断作为唯一依据。
深度伪造 ― 真假难辨的虚假信息
AI生成逼真图像、视频、音频的技术不断进化，深度伪造（用AI制作的虚假媒体）的风险急剧上升。据估计，社交媒体上的深度伪造从2023年的50万件激增至2025年的800万件[3]。
- 声音克隆诈骗 ― 用AI模仿家人或上司声音的电话诈骗。仅凭几秒钟的语音样本就能克隆
- 虚假视频 ― 利用名人或政界人物的虚假视频进行舆论操纵或冒名顶替
- 虚假新闻 ― 用AI生成的看似合理的新闻文章被大量传播
🛡️ 保护自己的要点
- 对"赶紧汇款"之类的紧急电话，要通过其他方式确认本人身份
- 对社交媒体上看到的震撼图像、视频，要确认其出处
- 对可能由AI生成的内容，始终保持一定的怀疑
随着AI智能体的普及，也出现了包括此类滥用在内的新型攻击。企业方视角可参考AI智能体安全事件解析。
全球监管动向 ― 规则制定已经开始
为应对AI的风险，世界各国的立法正在加速推进。
| 地区 | 监管 | 特点 |
|---|---|---|
| 欧盟 | 《AI法案》（2024年通过） | 基于风险的监管。对高风险AI（招聘、医疗、司法）设有严格标准。自2025年起分阶段开始适用 |
| 日本 | 《AI推进法》（2025年5月通过） | "创新优先"路径。在重视推进甚于监管的同时，也完善安全标准 |
| 美国 | 关于AI安全性的行政命令 | 尚无联邦层面的综合性法律。各州各自推进监管 |
日本于2025年12月经内阁会议通过"AI基本计划"，计划在5年内投入1万亿日元规模的AI相关投资[1]。既不过度强化监管，又在促进创新的同时完善安全标准——这种"日本式"路径备受关注。
AI使用安全清单
在理解了风险之后，具体该如何行动呢？我们分别从个人和组织两个立场整理了检查清单。
- 不全盘轻信输出 ― 重要信息务必用一手信息源验证
- 不输入机密信息 ― 用"公开出去也不怕吗"来判断
- 核实数字与专有名词 ― 这是最容易发生幻觉的领域
- 留意偏见 ― 意识到AI的输出是否存在偏差
- 确认版权 ― 商用时务必查看使用条款
- 恰当标注AI使用 ― 在报告或文章中披露使用了AI
- 最终责任在自己 ― 使用AI输出所产生的结果，责任在使用者
- 制定并宣贯AI使用政策 ― 用书面形式明确在哪些业务中可输入什么
- 实施员工培训 ― 教育AI的正确用法与风险
- AI生成物的审核流程 ― 建立公开前由人工确认的机制
- 考虑企业版 ― 考虑数据处理保障更充分的企业方案
- 完善事件应对流程 ― 事先确定出问题时的应对流程
- AI的风险不是"可怕"的东西，而是"应当了解"的东西。我们一览了五大风险。
- 幻觉对策的根本是交叉核实 ― 要求出处、一手信息、多AI对比、善用搜索型AI四个步骤。
- 隐私对策的根本是"公开出去也不怕吗"测试。机密不要输入。
- 版权、偏见、深度伪造也要留意，别忘了最终责任在使用者。
- 欧盟《AI法案》、日本《AI推进法》等全球监管也在加速完善。
参考文献
- "Japan adopts first AI basic plan." The Japan Times, December 23, 2025.
- Vectara. "Hallucination Leaderboard." GitHub, 2025. / Stanford RegLab. "Legal Hallucination Study." 2025.
- Deepstrike. "Deepfake Statistics 2025." deepstrike.io, 2025.
相关链接：
- EU AI Act Explorer ― 欧盟AI监管法的全文与解读
- 日本总务省 AI相关政策 ― 日本AI政策概览
下一章将解说AI的最新动向 ―― 多模态AI、AI智能体、2025-2026年的趋势。