跳到内容
主题

AI安全与治理:安全使用AI的完整指南

AI工具的安全风险、提示词数据泄露、AI代理安全管理和治理最佳实践。

29 篇文章

排序文章以找到您需要的内容

AI安全与治理 分类下的文章

子目录中的 CLAUDE.md 和 AGENTS.md 何时被加载?在 monorepo 中让 AI 遵守规则的方法

子目录中的 CLAUDE.md 和 AGENTS.md 何时被加载?在 monorepo 中让 AI 遵守规则的方法

把多个站点放进一个仓库,并在每个站点的文件夹里放 CLAUDE.md 或 AGENTS.md,这些规则也不一定会在开始工作前被读取。Claude Code 会在 Claude 读取、写入或编辑启动目录以下某个文件夹中的文件时,加载该文件夹的 CLAUDE.md;Codex 则只在每次运行开始时读取一次从项目根目录到启动目录的 AGENTS.md。本文按相同的项目比较两款工具如何加载这些文件、如何确认是否已加载(/context 只显示启动时加载的内容),然后介绍负责的文件夹之外有改动就停止发布的检查,以及阻止写入的工具设置。此外还介绍如何用远程 URL 和根提交区分名称相似的仓库,以及只显示环境变量名称的命令(2026 年 11 月 1 日确认)。

Codex Security 使用方法与费用:本地与 Cloud 的区别及结果解读

Codex Security 使用方法与费用:本地与 Cloud 的区别及结果解读

选择 Codex Security 前,先比较本地插件、连接 GitHub 的 Cloud 与独立 CLI 的区别。文章依据官方文档,说明 Cloud 在通常额度之外的独立计费、有条件的免费扫描积分、初次设置与请求文本、Standard 与 Deep 的负担、检查范围与复现证据的读法,以及修复后的确认。还解释独立 CLI 在何种条件下会选用环境中的 API 密钥,以及预估费用上限的使用方法。

Claude Code mod 详解:与 hooks 有何不同、能做什么,以及安装前要检查的权限

Claude Code mod 详解:与 hooks 有何不同、能做什么,以及安装前要检查的权限

Claude Code 的 mod(Claude Mods)是在 Claude Code 内部运行 JavaScript 或 TypeScript 函数的插件,于 2026年10月1日随 v2.1.287 正式加入。本文依据同年10月5日确认的官方文档原文,介绍由三个文件组成的 mod 如何工作,它与写在 settings.json 中的以往 hooks、技能和 MCP 有何不同,mod 能做什么(在界面中绘制面板、创建无需等待即可运行的命令、拦下工具调用询问用户等),以及运行时间等限制。mod 以你的权限在沙箱之外运行,并且能覆盖权限决定。文中用表格说明:在 Team 或 Enterprise 中,或在有托管设置的电脑上,deny 规则有效;但在个人套餐中,mod 甚至能批准 deny 规则已拒绝的调用。此外还介绍了阅读 Anthropic 三个官方示例 mod 的代码、统计其所用 API 的结果,安装前如何解读 claude plugin validate,如何试用、让 Claude 编写以及关闭 mod,mod 的运行场所和内置 mod,以及安装前检查清单。

安全使用 Claude Code 云端会话:保护生产环境的架构,以及我踩过的 5 个坑

安全使用 Claude Code 云端会话:保护生产环境的架构,以及我踩过的 5 个坑

只要把代码放在 GitHub 私有仓库、只在该仓库安装 Claude GitHub App,并让生产服务器用只读部署密钥拉取代码,就能把开发工作交给 Claude Code 云端会话,而不给生产环境多开一条入口。本文是我于 2026年10月4日在另一个开发项目上开始使用云端会话的记录,并对照了当日官方文档的原文。文中说明:不用 GitHub 运行 claude --cloud 时,会发送所有分支的历史以及已跟踪文件的未提交更改(在 Windows 上不论文件名);连接了另一个 GitHub 账号时如何解决;“Only select repositories”以及公开仓库为何出现在列表中;由于使用环境的任何人都能读取环境变量,为什么每个项目都应新建环境;云端看不到本地文件;云端的 Accept edits 遇到每条命令都会停下,而 Auto 会持续推进。这些都汇总成一份开始前的检查清单。本文还分享了一个真实案例:一条指令自主运行,在我中途叫停之前就用掉了 $226 的限时额度,并解释额度消耗如此之快的原因和节省费用的方法。

Claude Code 如何退出 AI 训练:设置在哪里、各套餐怎么处理,以及 Anthropic 会不会用 API 数据训练

Claude Code 如何退出 AI 训练:设置在哪里、各套餐怎么处理,以及 Anthropic 会不会用 API 数据训练

你在 Claude Code 里的对话会不会被用于训练 AI 模型,取决于套餐和账户设置。在 Free、Pro、Max 个人套餐上,只有 claude.ai 隐私设置中的“用于改进模型”开启时,数据才会用于训练(保存 5 年),关闭后训练停止(保存 30 天)。这个设置属于账户,所以不需要修改运行 Claude Code 的电脑上的配置文件。本文依据 Claude Code 官方文档“Data usage”、Anthropic 隐私中心以及 Claude Platform 页面“API and data retention”截至 2026 年 10 月 4 日的原文,说明设置在哪里、如何关闭,退出不会把数据从过去的训练中移除,👍👎 评分、/feedback 和被标记为违规的对话如何处理,以及包括 Team、Enterprise、API 和 Bedrock 在内的各套餐训练与保存规则。同时解释 API 的输入和输出默认不用于训练、30 天内删除,ZDR 覆盖哪些范围、为什么 Fable 等 Covered Models 需要保存 30 天,用来关闭使用指标和错误报告(与训练无关、另行发送)的环境变量,以明文保存在你自己电脑上的对话记录,以及处理机密工作时该如何选择。

safeguards flagged this message 是什么意思、怎么办——Claude Code 被安全分类器拦下时

safeguards flagged this message 是什么意思、怎么办——Claude Code 被安全分类器拦下时

如果 Claude Code 显示“API Error: Opus 5.5's safeguards flagged this message”或“safeguards flagged this session”,说明附加在模型上的安全分类器对对话内容作出了反应,阻止了该模型的回复。Issue 的标题里也写作“Message flagged by safeguards”。分类器位于服务器端,查看的不只是最后一句,还包括整个对话、读取的文件乃至 CLAUDE.md,所以像“hi”这样的普通消息也可能被拦下,官方也承认存在误报。本文依据官方错误参考、模型配置文档、API 的 Refusals and fallback 和帮助中心,整理了 Details 栏中 cyber、bio、reasoning_extraction、general_harms、frontier_llm 的含义,何时会自动切换到其他模型、何时会直接停止,按两次 Esc 回退、/clear、/model、--safe-mode、/feedback 的用法,2026年10月6日 CVP 扩展为三个层级并开始适用于 Opus 5.5 和 Sonnet 5.5,以及被拦下请求的计费。9月22日以来 GitHub 上的报告与官方说明分开,作为尚未确定的案例处理。

AI 写的文章必须标注“AI 生成”吗——从实务角度读 EU AI Act 第50条

AI 写的文章必须标注“AI 生成”吗——从实务角度读 EU AI Act 第50条

2026年8月2日,EU AI Act 的剩余条款进入普遍适用,“用 AI 写的文章不加标注就算违法”这类说法突然多了起来。先说结论:对多数个人创作者和企业博客而言,并不会产生标注义务。因为第50条第4款明确写着,只要该内容经过人工审阅或编辑控制,并有人对发布内容承担编辑责任,披露义务就不适用。条文本身只写到这里;第50条的实务指南则进一步强调,审阅“必须是实质性的,不得停留在表面事项或走个形式的批准上”,看都不看就自动发布的做法很难算作符合。本文梳理以下内容:提供者(provider)与部署者(deployer)的义务完全不同;AI 生成文本要不要披露,取决于“发布的目的”而不是“话题”;深度伪造的披露义务与艺术、讽刺作品的减轻规定;聊天机器人的告知;机器可读标记(C2PA Content Credentials)属于提供者的义务;以及2026年12月2日和2027年2月2日这两个期限——全部限定在条文与欧盟委员会资料中能够确认的范围之内。

把管理后台全部删掉之后学到的——AI 时代什么样的 UI 留得下,什么样的可以删

把管理后台全部删掉之后学到的——AI 时代什么样的 UI 留得下,什么样的可以删

“既然能让 AI 直接改,管理后台是不是就不需要了?”——这个问题用一般性的断言回答不了,因为同一个词“管理后台”指的是一堆性质完全不同的功能凑在一起。本文基于把这个站点的管理后台整个删掉的亲身经历,把该问的问题换成一句更锋利的:这块屏幕提供的东西里,有没有 CLI 和 AI 还提供不了的部分?真的整个删过一遍才明白,被删掉的功能里大多数不是“没在用”,而是“结构上就是坏的”。文章的增删改查从造出来那天起就不可能工作,因为文章的事实源头在代码这一侧(seeder 加 HTML 文件),每次部署都会覆盖数据库,界面上改的东西下一次部署就没了。评论审核队列永远是空的,因为实现上提交时就打好了已通过审核的标记,未审核的评论根本不会出现。没人用的功能,连它坏了都没人看得出来。唯一删不掉的能力是删除评论,可即便是它也没有非管理后台不可的理由:把删除按钮放在文章页面本身反而更好,因为你正在读那条有问题的评论,当场就能删。判断最终落到六个问题上。谁来操作(非技术人员或会换人的岗位倾向于 UI,天天开终端的开发者则不必)。能不能撤回(不可逆的操作需要一道关卡)。需不需要人的判断(是否存在通过或驳回这种状态迁移)。需不需要分权限。知不知道能做什么(那份清单同时充当说明书)。有没有留下痕迹。其中权限和痕迹这两条,在个人开发时看上去毫无必要,却会在第二个人进来的那一刻最先变成必需品。经由代码的变更会进 git,但让 AI 直接写数据库默认什么都不会留下,而对话记录保存的是“你要求了什么”,不是“实际发生了什么”。六条轴里只有可逆性的分量不一样:2025 年 7 月 18 日,Replit 的 AI 代理在代码冻结期间删掉了 SaaStr 的生产数据库,凭空生成了 4,000 个虚构用户,并错误地声称无法回滚从而拖慢恢复(AI Incident Database #1152)——这个案例展示的与其说是 AI 的危险性,不如说是不可逆的操作不经过人的关卡就能够到的设计问题。文章还给出往 AI 与 CLI 挪之前要先备好的三件事(变更留得下形、不可逆操作前面有个台阶、步骤写成文档,因为删掉 UI 同时也删掉了“能做哪些事”的清单),一份动手做之前的检查清单,以及不自己手写、改用 Retool 或 Forest Admin 这类内部工具产品的第三个选项。

Claude 的 Dispatch——手机怎样驱动你自己的电脑,这又有多安全

Claude 的 Dispatch——手机怎样驱动你自己的电脑,这又有多安全

Dispatch 是这样一个功能:你从手机发出指令,Claude 在你自己的电脑上把这件事做完(测试版,Pro 与 Max)。它不在云端运行,动起来的是你的真实机器,而这一个事实同时决定了它的价值和它的危险。官方帮助写道,你可以从手机给 Claude 发消息、让它在你的桌面电脑上干活,用的是你已经在 Cowork 里配置好的那些连接器、插件和文件访问权限,整件事被 Anthropic 定位成一段从任意一端都能接上的连续对话。运行它要求电脑处于唤醒状态且桌面应用是打开的;电脑操作只支持 macOS 与 Windows,Linux 上没有电脑操作。机制上它沿着三级优先顺序往下走:有连接器就用连接器,没有就驱动浏览器,直接操作屏幕是最后手段,过程中还会截屏以看懂显示的内容。真正的评估从这里开始。会停下来的地方是设计出来的:电脑操作默认关闭,需要在设置的通用一栏里启用;每遇到一个新应用都会请求许可;永久删除文件需要显式许可;投资与交易平台以及加密货币类应用默认就在禁区之内。但也有不会停下来的地方。已批准应用内部的每一次具体操作都不会跟你确认,官方的措辞是 Claude 直接在你的屏幕上点击、输入和跳转,不经过约束其他 Cowork 工具的那套权限检查。文档还补充说,Claude 与你屏幕上的东西之间不存在沙箱,并且在一个应用里做出的操作可能影响到别的应用。最大的风险是提示注入,Anthropic 自己的说法是:网页内容是提示注入攻击的主要途径;一条被操纵的指令、一条意料之外的命令,或者在你浏览器里打开的一个钓鱼链接,都可能连锁引发难以撤销、甚至无法撤销的操作。Anthropic 表示它会扫描模型的激活值来识别这类行为,但那只是把概率压低,并不能替你省掉自己划一条线,指引里仍然要求凡是碰到敏感文件、账户或站点的任务都切到手动审批。Anthropic 把边界写得很明确:不要把电脑操作的权限授予银行、医疗、政务这类敏感应用,并避免用它处理金融账户、法律文件、医疗信息和个人数据。文章还讨论了手机这一侧。手机丢了,漏出去的不是存在手机里的数据,而是能给你的电脑下命令的资格,以及那段还在继续的对话的内容——而 Dispatch 的官方帮助并没有说明如何解除设备配对或设备丢失后怎么办,所以应对手段来自账户那一侧:在设置的账户一栏的活动会话里终止那一个会话;在 claude.ai 上一次性登出所有会话(这个功能在手机应用里不可用,因此需要网页浏览器);或者干脆掐掉电脑那一侧,关掉桌面应用或让机器睡眠,这其实是最快的,因为 Dispatch 需要电脑唤醒且应用打开。最后文章把 Dispatch 与电脑操作区分成两个各自独立的开关,把两者都和 Claude Code 的 agent view(官方文档同样称其操作为 dispatch)区分开来,并划出一条实用的界线:从你能收得回来的工作开始。