AI的回答即使读起来通顺,内容也可能有误。能生成图片或文字,与能否公开发布,也是两回事。本章将通过具体示例和步骤,介绍输入信息之前、使用回答之前、公开发布之前需要确认的事项。
本章目标
学会发现AI回答中的错误,并能自行确认依据、版权以及是否可以共享。同时掌握在犹豫时暂停输入或发布的判断标准。
使用 AI 时的五项确认要点
在使用AI进行写作或资料查询时,首先需要注意以下五点。应该谨慎到什么程度,取决于具体的使用场景。
幻觉:即使回答自然,也要对照原始资料核实
幻觉是指AI给出看似合理的错误答案。它可能写出与你提供的资料不一致的内容,甚至会为错误附上看似可信的理由或出处。[2]
文本生成与事实核实是不同的处理过程
生成文本的语言模型会预测延续上下文的词元(字符或词的片段等单位)。它们经常能给出正确的内容,但行文自然与事实正确是两回事。即便是结合了搜索或计算功能的服务,你也需要自己确认AI所参考的资料或计算条件是否正确。[2]
原始备忘
内部学习会的会议室只是暂时预订。日期和讲师都还没有决定。
错误通知的示例
“学习会定于11月12日举行。讲师是销售部的田中,会议室也已确定。”
日期、讲师和场地都是备忘中没有的信息。
依据备忘的修改方式
“我们正在计划举办内部学习会。日期和讲师尚未确定。会议室目前只是暂时预订,具体情况确定后会另行通知。”
在把文字整理成通知的格式时,尚未决定的事项被悄悄加了进去。这是幻觉的一个常见例子。
核实回答的四个步骤
- 找出需要核实的内容提取数字、日期、人名、引用,以及“会……”之类的承诺性表述。
- 亲自打开引用的出处确认资料确实存在,且相应段落确实写着与回答相同的内容。仅有链接并不能作为依据。
- 在相同条件下对照确认对象、地区、期间和单位与原文一致,并自己重新计算。同时检查“计划”是否已被改成“决定”。
- 确定可以使用的范围将已核实的事实与尚未核实的部分区分开。重要判断应在向负责人或专家确认之后再使用。
即使多个AI的答案一致,也只是核实的起点。
它们可能都参考了同样的错误信息或出处。不要只停留在“请注明出处”或“请再检查一遍”,而要回到原始资料进行核实。具体的核实方法可以在确认回答依据一章中练习。
版权:分开确认输入、生成与发布的条件
在版权问题上,要把能否使用他人的作品与自己生成的内容是否受到保护分开考虑。即使服务条款写着“允许商业用途”,也不代表你已经核实了他人作品的权利。
① 输入的资料
需要确认作品的创作者是谁,是否有使用许可或授权,以及是否存在法律上的例外情形。仅仅因为作品可以在网上看到,并不代表可以把它输入AI或再次利用。
② 生成的表达
需要确认生成内容是否再现了既有作品的创造性表达。日本文化厅从相似性与依赖性的角度,对生成和利用阶段的侵权情形进行了梳理。[5]
③ 公开或销售的用途
在试作阶段没有问题的用法,在公开或发布时可能需要另行确认。请综合考虑用途、媒介、地区和合同条件。[5]
“自己是否拥有版权”是另一项确认
根据日本文化厅的观点,需要逐一判断一个人在多大程度上进行了创造性参与。仅仅因为指令很长,或者反复重新生成,并不能决定是否受到保护。美国版权局2025年的报告同样区分了两种情况:一是人对表达进行了决定或创造性编辑;二是仅仅给出了提示词。[5] [6]
“风格相似”与“再现表达”是两回事。
画风或创意相似,与既有作品的创造性表达相似并不相同。不能仅凭提示词中是否包含画家的名字来判断,应当把原作与生成结果进行对照。另外,即使生成内容不被认定享有版权,也不代表可以随意使用其中包含的他人作品或商标。[5]
示例:如果你在网上找到一幅插画,用AI加工后用于广告,就需要确认原插画的使用条件、生成结果中残留的原作表达,以及用于广告时的相关规定。不要认为“经过AI加工就没问题”。对于难以判断的情况,应咨询权利人或公司内部的负责人。
隐私:可以把哪些信息交给 AI
能否输入信息,取决于三个方面:信息的种类、所用的服务和套餐,以及组织是否允许。不要只根据一个条件做判断,比如“付费套餐就安全”或“隐去了名字就没问题”。
学习、保存、删除、发送分开考虑
这是决定数据是否用于改进模型的设置。关闭之后,历史记录并不会消失,也不代表不再保存。
屏幕上显示的历史记录、服务方的保存以及安全审查是各自独立的事项。即使是临时聊天,在某些情况下也可能被保存。
需要确认哪些内容会被删除、何时删除,以及是否存在例外。即使从屏幕上消失,服务方的保存或此前的使用记录也不一定会全部清除。
连接的应用、共享链接和发送功能各自有不同的条件。仅凭AI本身的设置无法做出判断。
练习输入与实际工作输入分开
- 公司的机密信息或未公开的源代码
- 客户或交易对象的个人信息
- 他人委托保管的保密信息
- 未公开的财务或人事数据
- 能够识别个人或案件的详细经过或编号
- 不存在的公司、人物或咨询
- 自己编制的、与真实人物或案件无关的样例
- 已确认可使用范围的公开资料
- 公开前的自己的文章(确认可以共享之后)
密码、API 密钥和私钥无论用于写作还是练习,都没有输入的必要。另外,即使把姓名改成“A先生”,仍然可能从地址、案件名称、日期和时间等信息中看出是谁。仅仅隐去姓名,既不能算作匿名化,也不代表已经获得了共享的许可。
在官方资料中确认三种服务的条件
以下内容针对个人聊天使用的情况(2026年10月14日依据各公司的官方资料确认)。如果使用的是公司签约的套餐,条件和管理设置会有所不同,请分别确认。
企业版套餐中的“不用于训练”,也不代表数据不会被保存、不会与外部连接,或者无人查看。OpenAI 面向组织的说明同样提醒,应按套餐、功能和连接对象分别确认保存与管理的方式。在确认合同内容之后,请再与组织的规则对照。
通过回复咨询来减少输入的练习
包含真实姓名、联系方式、订单编号或未公开案件的咨询。即使只隐去了姓名,对方或交易仍可能从其他信息中被识别出来。
“一家合作客户询问了某商品的交货期。我们尚未确定可以交货的日期。请帮我起草一份面向外部的礼貌回复。请不要承诺交货期。”
输入前的步骤:将信息限定在目的所需的范围内 → 确认所用服务、套餐和连接对象中的处理方式 → 与组织的规则对照。如果无法判断,就停止输入,改用不存在的示例进行尝试。详情请参阅向 AI 输入信息时的注意事项。
如果已经输入了信息,首先要确认可以删除的范围和条件;如果是工作信息,则应咨询组织的负责人。例如,ChatGPT 的官方说明指出:归档与删除不同;删除后的保存期限存在例外;另行保存的文件以及连接对象中的原始数据需要另外处理。需要注意的是,仅仅输入信息,并不意味着它已经被用于训练,或已经泄露给他人。
应对偏见与冒充
偏见:不仅与数据有关,也与设计和使用方式有关
AI的偏见不仅来自训练数据的构成,也来自人的判断,以及社会和组织使用AI的机制。某些属性的人可能受到不公平的对待,不同语言或群体之间的准确度也可能存在差异。[7]
应聘材料的示例
应聘材料中只写了“半年的空白期”,没有写明原因。
不应添加的推测
如果断定“有空白期,所以积极性不高”,材料中没有的推测就会混入评价之中。
确认的方法
先写明“从材料中无法得知原因”,然后按照与工作相关的同一标准进行评价。仅仅让AI提供另一种视角,并不代表偏见已经消除。
在招聘或人事评价等会影响人的待遇的场合,应当先确定会受到谁的影响、判断依据是什么标准,并准备好由人来复查结果的流程。
深度伪造:即使声音或视频很像,也要核实身份
用AI生成或修改的图像、视频和音频,也会被用于冒充和诈骗。FBI列举的警示案例包括:模仿家人的声音要求紧急汇款,以及冒充高管的视频通话。[3]
- 不要当场照办遇到紧急汇款、索要密码等认证信息,或要求变更收款账户时,不要只凭声音或视频就推进。
- 自己回拨挂断电话,然后用原本就知道的号码,或组织的官方联系方式,主动回拨过去。
- 确认之前先暂停确认对方是否本人、请求的内容以及组织是否已批准。如果无法确认,就停止汇款或提供信息,并咨询负责人。
外观不自然可以作为线索,但没有不自然之处,并不代表就是真实的。对于在社交媒体上看到的图片和视频,也应先确认是谁、何时发布的,以及前后的上下文,再进行转发。企业内部的应对措施,也可以参考AI 智能体安全解析。
法律与规则:确认地区、用途与立场
除了专门针对AI的法律之外,还应确认与所做事情相关的版权、个人信息、消费者保护等规则。出发点是:在哪个地区、出于什么目的、以AI提供方还是使用方的身份参与。
以下内容依据截至2026年10月16日各国和地区的官方资料。是否适用于你的使用方式,请以链接中的原文为准,或向公司内部相关部门确认。
欧盟:不同用途的适用时间不同
《人工智能法案》原则上自2026年8月2日起适用。禁止性行为等较早开始适用;雇佣、教育等部分高风险用途自2027年12月2日起适用,嵌入受监管产品中的高风险AI自2028年8月2日起适用,时间各不相同。
AI生成内容的标识义务同样根据对象和立场,设有相应的条件和例外。[8]
美国:既有规则同样适用于AI
美国联邦贸易委员会(FTC)说明,即使是AI服务,也必须遵守对用户做出的隐私承诺;不能因为是AI,就免除既有法律的适用。
请确认你所使用或提供的业务适用哪些法规和合同。[9]
中国:面向公众的服务与标识
《生成式人工智能服务管理暂行办法》适用于例如向中国境内公众提供服务的情形。对于未向公众提供的研究或内部使用,同样的规定不一定直接适用。
《人工智能生成合成内容标识办法》于2025年9月1日施行。请确认对提供者,以及公开发布生成内容的用户适用的条件。[10]
日本:推进应用与应对风险
《人工智能推进法》于2025年9月1日全面施行。内阁府同时说明了推进AI应用和应对其风险这两方面的内容。《人工智能基本计划》于2026年7月14日修订。
即使国家鼓励应用,也不代表某种具体用法已经获得认可。同时请确认权利、合同和组织规则。[1]
使用前与发布前的检查清单
检查自己的工作
- 输入前:只保留必要的信息,确认所用服务的处理方式以及是否可以共享。练习时使用不存在的示例。
- 使用回答前:将数字、日期、引用和承诺与原始资料对照,无法核实的部分应保留为未确认状态。
- 发布前:确认资料和生成内容的权利、标识条件,以及发送对象和公开范围。
- 重要判断:不要仅凭AI的回答作出决定,应咨询负责人或专家。
在组织内部确定流程
- 确定可以使用的服务、套餐和连接对象,以及允许输入的信息。
- 确定负责确认发布或发送的人员,以及需要审批的操作。
- 准备好能够复查偏见和错误、并修正判断的流程。
- 确定出现问题时的联系人,以及暂停使用和调查的程序。
本章小结
在输入信息之前、使用回答之前和发布之前,需要确认信息的处理方式、与原始资料是否一致、权利、判断中的偏见,以及对方是否就是本人。核实是使用者的重要职责,但责任并不总是只由使用者承担。根据合同和具体行为,AI提供方和组织的责任也可能被纳入考虑。[5] [9]
参考文献
- 内阁府:人工智能推进法概要、人工智能基本计划。
- NIST:生成式 AI 风险管理框架(2024年,英文 PDF)。涉及错误的生成内容,以及对其进行核实和管理的思路。
- FBI/IC3:关于利用生成式 AI 实施金融诈骗的警示(2024年12月3日,英文)。
- 隐私部分的官方资料(2026年10月14日确认):OpenAI 的数据控制、Anthropic 的模型改进设置、Google 的 Gemini 隐私说明。关于保存、删除和临时聊天的各项单独资料,可在正文相应位置查阅。
- 日本文化厅:关于AI与版权的思考(2024年3月,PDF)。区分开发与学习、生成与利用,以及生成内容的著作物性。
- 美国版权局:关于AI生成作品版权报告的发布(2025年1月29日,英文)。
- NIST:AI 偏见并非只来自数据(2022年,英文)。
- 欧盟委员会:AI 法案的适用对象与时间表(英文)。
- 美国联邦贸易委员会(FTC):AI 企业遵守隐私与保密承诺(2024年,英文)。
- 中国国家互联网信息办公室:生成式人工智能服务管理暂行办法、人工智能生成合成内容标识办法(中文)。