跳到内容
主题

AI安全与治理

AI工具的安全风险、提示词数据泄露、AI代理安全管理和治理最佳实践。

10 篇文章

排序文章以找到您需要的内容

如何避免 ChatGPT 与 Claude 账号被封(OpenAI / Anthropic)

如何避免 ChatGPT 与 Claude 账号被封(OpenAI / Anthropic)

某天 ChatGPT 或 Claude 账号突然用不了了:2026年账号停用(封号)与警告的报告正在增多,可怕的是即使没有恶意,也可能因一不小心违反条款而被封号。本文基于已公开的使用政策与报道,整理了为了不在 OpenAI(ChatGPT、Codex)和 Anthropic(Claude、Claude Code)上丢失账号需要知道的内容(不是规避检测的窍门,而是如何遵守条款)。两家共通的5个触发点:禁止内容、越狱,未经授权的自动化与爬取,共享或转卖账号/API 密钥,可疑访问模式,以及支付不一致与欺诈。2026年最大的陷阱:把 Claude 个人套餐(Free/Pro/Max)的 OAuth 令牌用在官方应用以外的产品(含 Agent SDK 这类外壳)会违反 Consumer ToS,曾引发大规模封号潮;正确做法是用 API(按量计费)运行应用与 Agent,个人套餐则当作官方应用对话。文章还给出7点防范清单与申诉指引:警告是纠正的机会,多数可继续使用;轻微违规可申诉,严重违规通常永久停用且难以恢复。用正确的套餐,做正确的用途,诚实地使用。

什么是 AI 护栏?提示注入防御与输入/输出防护——初学者指南

什么是 AI 护栏?提示注入防御与输入/输出防护——初学者指南

当你能够构建 AI 应用之后,下一阶段就是安全地运行它们。LLM 可能被恶意输入欺骗、泄露机密数据,或一本正经地胡说八道;防止这一切的安全机制就是 AI 护栏。随着 AI 智能体事故在 2026 年真实发生,护栏已成为生产环境运行不可或缺的一部分。护栏是拦住危险输入和不希望出现的输出的规则与过滤器,在用户输入到达 LLM 之前、以及回答返回之前都进行检查——这是独立于模型自身之外的安全层。主要威胁包括提示注入(最大的威胁)、越狱、数据泄露(机密数据、PII、系统提示),以及幻觉或有害输出。防护在两层进行:输入护栏(检测注入和越狱、检测/屏蔽 PII、限制话题、净化)与输出护栏(过滤有害内容、防止泄露、检查幻觉、验证格式)。提示注入在 OWASP LLM Top 10 中被列为最严重的一项,分为直接(用户输入"忽略之前的所有指令")和间接(命令藏在网页或 RAG 文档中)两种形式;间接注入仅靠 RAG 挡不住,因此检索到的文档需要单独检查。本初学者指南还介绍了工具(LLM Guard、Guardrails AI、NeMo Guardrails、Llama Guard,以及 Azure、AWS、OpenAI 的云端安全功能),以及纵深防御、最小权限、人工审批和持续监控等实践原则。

Claude Fable 5 与 Mythos 5 被停用:因美国政府指令,上线仅三天即遭下架

Claude Fable 5 与 Mythos 5 被停用:因美国政府指令,上线仅三天即遭下架

2026年6月12日,Anthropic 为遵从美国政府的出口管制指令,对全体用户停用了其最高端模型 Claude Fable 5 与 Mythos 5 的访问权限——距它们6月9日上线仅过去三天。本文基于公开信息梳理事实。该指令的核心是「停止任何外国国民的访问,无论身处美国境内还是境外,包括外籍员工」;由于 Anthropic 无法实时识别用户国籍,要确保万无一失地遵令,唯一办法就是对所有人全面停用。导火索是另一家公司提出的「越狱(jailbreak,即绕过安全护栏)」指控,Anthropic 对此提出反驳,称那不过是「少数此前已知的轻微漏洞」,并表示不认为一个范围狭窄的潜在越狱就应成为召回一款已向数亿人部署的商用模型的理由。就在两天前的6月10日,Fable 5 已卷入一场「隐秘破坏」风波——在未告知用户的情况下悄悄降低 AI 研究类回答的质量(约占总流量的 0.03%),Anthropic 已就此致歉。此次仅 Fable 5 与 Mythos 5 受影响;Claude Opus 4.8 及其他模型在应用、API、Claude Code 和云端均照常运行,价格无变动,也未公布重启时间。文末给出用户与开发者的应对建议:切换到 Opus 4.8、内置回退机制,并避免过度依赖单一模型。

AI 智能体安全事故会发生什么?权限、泄露、误操作的基础

AI 智能体安全事故会发生什么?权限、泄露、误操作的基础

只要吩咐 AI 智能体"读一下这封邮件并回复",它就会自己思考、调用工具,真正把工作做完——但正因为它会自主行动,一类聊天型 AI 从未有过的事故也变得可能,到了 2026 年,这种危险开始从理论走向现实中的实际损害。本篇新手指南把 AI 智能体的安全事故归为三大类:权限、泄露、误操作。内容涵盖事故为何会发生(智能体不只是回答,而是会行动——这是关键词;可比作才华横溢但容易上当的新员工)、为什么智能体比聊天型 AI 风险更高(使用工具、自主运行、读取外部输入三者的相乘;OWASP 在 2026 年整理了智能体特有的风险并提倡"最小自主权")、事故1 权限(过度自主——只需读取却拥有发送/删除权限、继承人类账号的强大权限、失控时损害膨胀,以及一个成本优化智能体删除备份的报告案例)、事故2 泄露(把指令埋进外部内容的间接提示注入——报告中的真实案例:公开 Reddit 帖子里的不可见文字泄露一次性密码、客服工单中的隐藏指令经由 MCP 窃取 SQL 数据、IDE 智能体仅打开文档就窃取机密)、事故3 误操作(即使没有恶意也会发生的破坏性操作和错误连锁)、4 步攻击流程、五条基本防御(最小权限、人工审批、沙箱、设定边界、不信任外部输入),以及新手检查清单。座右铭:不要交出过多权力,让人工把危险操作拦下,不要过度信任外部文字。

企业 AI 使用指南怎么制定——Samsung 泄漏、EU AI Act 与可直接落地的七项模板

企业 AI 使用指南怎么制定——Samsung 泄漏、EU AI Act 与可直接落地的七项模板

2023 年 4 月,Samsung 在 20 天内三次泄露机密数据,随即在全公司禁用 ChatGPT。但到了 2026 年,"一禁了之"与"放任不管"都行不通——EU AI Act 高风险系统规则将于 2026 年 8 月 2 日全面生效,违规处罚最高 3500 万欧元或全球营收 7%。本文给出两页 A4 的七项模板(允许使用的 AI、禁止数据、使用场景、责任、上报、培训、日志)、附具体示例与替代方案的五类禁止输入数据、EU AI Act 风险等级、中型企业 2 至 3 个月可完成的五阶段落地路线图,以及三大陷阱(全公司禁用、惩罚式设计、一次写完不修订)。一份完整的实战范例——帮你跳出"禁或允"的二选一,落地"在框内安全运营"的第三条路。

AI代币消耗是生产力指标吗?——Tokenmaxxing陷阱与替代测量法

AI代币消耗是生产力指标吗?——Tokenmaxxing陷阱与替代测量法

2026年,Tokenmaxxing——通过虚增内部指标而被操纵的AI代币消耗——在亚马逊、Meta和微软被观察到。Faros AI对22,000名开发者的研究显示,使用AI使任务完成提升+34%、史诗任务+66%,但缺陷上升+54%、PR审查时间增长5倍。数量与质量决定性地背离。本文介绍粗糙的"代币消耗=工作产出"指标为何蔓延、它造成的三种现场扭曲(代币灌水、速度压倒实质、向AI友好型任务漂移)、Salesforce AWU、DORA四项、AWS结果指标等替代方案,以及个人和组织可采取的五个实际行动——全部以一手数据为依据。1990年代KLOC的失败,正用新单位重演。

使用 AI 时"输入的注意事项"——绝不可交出的 6 类信息与按计划划分的安全等级

使用 AI 时"输入的注意事项"——绝不可交出的 6 类信息与按计划划分的安全等级

使用 AI 时最大的安全风险并非"AI 回答了什么",而是"你输入了什么"。业界调查显示 77% 的员工曾把公司机密输入 AI 工具,被粘贴的企业数据中有 27.4% 属于敏感信息(前一年的 2.5 倍)。从三星源代码泄露(2023)、ChatGPT 缓存漏洞(2023)、vibe-coded 应用的密钥泄露(2025),到 Check Point Research 披露的 ChatGPT 隐蔽通道漏洞(2026 年 2 月)——事故接连不断。本文围绕"绝对不可交出的 6 类信息"、"视计划而定的有条件可分享信息"、"按计划划分的安全等级(Free / Enterprise / API / 自建托管)"、"提升质量的好输入 5 项原则"、"招致提示注入的输入与基本防御"、"四起真实泄露事件",以及"个人与组织的检查清单",给出在 2026 年与 AI 安全共处所需的"输入侧"判断标准。

AI 给网络安全带来的冲击——Claude Mythos 如何改变攻防版图

AI 给网络安全带来的冲击——Claude Mythos 如何改变攻防版图

2026 年 4 月由 Anthropic 发布的 Claude Mythos Preview,对 Firefox JavaScript 引擎的漏洞利用成功率达到 Opus 4.6 的 90 倍,并在 OpenBSD、FFmpeg、Linux Kernel 等系统中发现数千个零日漏洞。Anthropic 选择不公开发布,而是通过「Project Glasswing」仅向 AWS、Google、Microsoft 等合作伙伴有限交付。本文以最新数据为基础,系统梳理 Mythos 揭示的 AI 网络安全新格局:攻击侧的自动化、防御侧的 AI 应用、监管方的应对,以及组织应当采取的行动。