Безопасность и управление ИИ: полное руководство

Песочница Claude Code ограничивает на уровне ОС доступ оболочек внутри неё и их дочерних процессов к файлам и сети. Разбираем /sandbox, места записи, запреты чтения, разрешённые домены, обычные разрешения и auto-allow. Встроенные Read/Edit/Write, MCP, хуки, исключённые команды и повторы без изоляции — отдельные пути. Это не гарантия предотвращения всех разрушительных действий, передачи данных в разрешённых областях или утечки секретов. Объясняем обработку неизвестных хостов по режимам и настройки исключений.

Можно ли передать эксплуатацию AWS искусственному интеллекту? В 2026 году делегировать можно многое. Сама AWS поставляет Amazon Q Developer и Agent Toolkit for AWS (май 2026 — 40+ навыков агента + управляемый AWS MCP Server + плагины), так что ИИ дотягивается от генерации IaC до операций с ресурсами. Это руководство разбивает «делегирование» на три уровня (① генерация кода/IaC, ② эксплуатация/расследование с упором на чтение, ③ автономный агент, реально управляющий AWS), рассматривает основные инструменты (Amazon Q Developer, Agent Toolkit, AWS MCP Server, Terraform MCP, Bedrock AgentCore) — включая путь «со своим инструментом», когда Claude Code или Codex получают AWS CLI для запуска «aws» из shell, — плюсы (быстрый IaC, автоматическая сортировка, идеи по оптимизации затрат, демократизация знаний), а затем самое главное — минусы (разрастание прав IAM, избыток прав как усилитель радиуса поражения ошибок/инъекций промпта, права, переживающие задачу, неконтролируемый рост затрат — с реальными случаями удаления продакшн-БД в 2025-26), на основе официальных материалов AWS и данных вендоров безопасности. Ключевой поворот: вопрос не «может ли он?», а «как делегировать без потери контроля и взрыва счёта» — и то, что сама AWS встроила защитные механизмы IAM, аудит CloudTrail и песочницу в Agent Toolkit, показывает форму ответа. Включает пять принципов (IAM с минимальными привилегиями, одобрение человека для деструктивных операций, наблюдаемость, краткоживущие учётные данные JIT, песочница) и FAQ.

1 июля 2026 года Anthropic повторно развернула по всему миру свою флагманскую модель Claude Fable 5 (Mythos 5 вернулась только для ряда организаций в США) — всего через 19 дней после того, как 12 июня обе модели полностью остановили по распоряжению США об экспортном контроле. Прямая причина возвращения: 30 июня Министерство торговли США сняло экспортные ограничения. Изначальным поводом стал отчёт о джейлбрейке от исследователей Amazon, но Anthropic последовательно утверждала, что «у Fable 5 нет уникальных наступательных возможностей», и снятие ограничений разрешает вопрос в этом ключе. Модель вернулась не в прежнем виде: новый классификатор, обученный распознавать заявленный метод обхода, блокирует его более чем в 99% случаев, а при срабатывании запрос автоматически перенаправляется в Opus 4.8 (переключатель «сменить модель, если сообщение помечено флагом» в приложении). Пока действует временное ограничение — до 50% недельного лимита на планах Pro, Max, Team и отдельных Enterprise до 7 июля, затем через кредиты на использование. Fable 5 расходует ресурс быстрее, чем Opus 4.8, а доступ через облака (AWS, Google Cloud, Microsoft Foundry) возвращается поэтапно (даты пока нет). Как продолжение статьи об остановке, этот текст разбирает, почему модель смогла вернуться, что изменилось, на что обратить внимание при использовании и почему важно проектировать систему без зависимости от единственной модели — на основе официального заявления и сообщений прессы.

Кто лучше справляется с кибербезопасностью — ИИ или человек? В 2025–2026 годах ответ сильно сдвинулся. Google Big Sleep остановил реальную 0-day (CVE-2025-6965 в SQLite) до её эксплуатации, а автономный ИИ-пентестер XBOW вышел на 1-е место в общенациональном рейтинге HackerOne. При этом 45% сгенерированного ИИ кода оказались уязвимыми (Veracode; по отдельному анализу CodeRabbit, в pull request с участием ИИ проблем безопасности до 2,74 раза больше, чем в написанных только людьми), а злоупотребление Claude привело к первой крупной кибератаке под управлением ИИ (80–90% действий ИИ выполнил автономно). Опираясь на первоисточники Google, Anthropic, DARPA, Veracode и CodeRabbit, статья сравнивает по задачам ИИ, превосходящий в скорости, масштабе и охвате, и человека, выигрывающего в бизнес-логике, цепочках атак и финальном суждении. Показана «троякая природа» ИИ как обоюдоострого меча — источник уязвимостей, инструмент атаки и сильнейший защитник — и сделан вывод: побеждает связка «человек × ИИ» (модель кентавра) с обязательным human-in-the-loop.

Генеративный ИИ глубоко вплетён в повседневную работу, но выключатель находится вне вашего контроля — как показала приостановка Claude Fable 5 и Mythos 5 спустя всего три дня после запуска — с возвратом Fable 5 через 19 дней, 1 июля 2026 года. В этой статье разбираем, что такое риск зависимости от ИИ и в каких шести формах ИИ может «пропасть»: внезапная приостановка, вывод из эксплуатации, рост цен, тихие изменения качества, сбои и привязка к поставщику. Приводим конкретные шаги и для частных пользователей (альтернатива, хранение данных и промптов, навык работы без ИИ), и для боевых систем (LLM-шлюз, цепочки фолбэков, разделение слоёв, локальная LLM, план восстановления), а также чек-лист для выбора поставщика. Главный принцип — защищаться дизайном, а не прогнозом: проектировать так, чтобы при остановке всё переключалось само.

Правила разрешений Claude Code управляют вызовами инструментов через allow, ask и deny в settings.json. Разбираем приоритет настроек, сопоставление команд и путей и практические примеры. Объясняем другие формы вызова Bash, произвольные скрипты, отрицание путей Read/Edit и изменения решений модами. Эти правила не гарантируют запрет доступа к секретам или сети через все возможные пути.

Селектор «Permission Mode» решает, как часто Claude спрашивает разрешение перед правкой файлов и запуском команд. Разбираем все 6 режимов, переключение через Shift+Tab, работу auto mode и то, какой режим выбирать для безопасной и быстрой работы.

Аккаунт ChatGPT или Claude могут заблокировать и без злого умысла, а возвращение через другой аккаунт только ухудшит дело. Мы полностью прочитали на 4 октября 2026 года условия OpenAI (ChatGPT, Codex) и Anthropic (Claude, Claude Code) — Terms of Use, Usage Policies, Consumer Terms и Usage Policy — и их справочные центры и разобрали: официальные причины блокировки у каждой компании; чего нельзя делать, с пунктом правил к каждому случаю (общий аккаунт, автоматизация интерфейса, джейлбрейк, обход бана, Claude из неподдерживаемой страны через VPN, дистилляция, перепродажа, массовое создание аккаунтов); как между февралём 2026 года и сегодняшним днём изменилась позиция Anthropic по использованию входа личного тарифа в других инструментах (самому запускать Agent SDK — предусмотрено, отдавать токены чужому сервису — запрещено); предупреждения и проверки, которые не означают нарушения; различие между владением несколькими аккаунтами и их использованием (дополнение от 9 октября: официальный переключатель OpenAI, лимит подтверждения номера у Anthropic, почему ручное переключение после достижения лимита требует ответа на конкретный вопрос и чем оно отличается от передачи, перепродажи и обхода блокировки); чек-лист из восьми пунктов; и порядок апелляции (OpenAI — ссылка из письма или openai.com/form/appeal; Anthropic — вход на claude.ai под заблокированным аккаунтом; предупреждения — usersafety@anthropic.com).

Когда вы уже умеете создавать AI-приложения, следующий этап — запускать их безопасно. LLM можно обмануть вредоносным вводом, они могут раскрыть конфиденциальные данные или с уверенностью утверждать чепуху; механизм безопасности, который этому препятствует, — это AI-гардрейлы, ставшие в 2026 году обязательной частью промышленной эксплуатации, ведь инциденты с AI-агентами происходят на самом деле. Гардрейлы — это правила и фильтры, которые сдерживают опасный ввод и нежелательный вывод, проверяя пользовательский ввод до того, как он дойдёт до LLM, и ответ до того, как он вернётся, — независимый слой безопасности, отдельный от самой модели. Главные угрозы — это prompt injection (самая опасная), jailbreak, утечка данных (конфиденциальные данные, PII, системный промпт), а также галлюцинации и вредный вывод. Защита работает на двух уровнях: гардрейлы входа (обнаружение инъекций и jailbreak, обнаружение/маскирование PII, ограничение тем, очистка) и гардрейлы выхода (фильтрация вредного контента, предотвращение утечек, проверка галлюцинаций, валидация формата). Prompt injection — стоящая на первом месте в OWASP LLM Top 10 — бывает прямой (пользователь вводит «забудь все предыдущие инструкции») и непрямой (команды, скрытые на веб-странице или в RAG-документе), и непрямая инъекция не блокируется одним лишь RAG, поэтому извлечённым документам нужна отдельная проверка. Это руководство для начинающих также охватывает инструменты (LLM Guard, Guardrails AI, NeMo Guardrails, Llama Guard и функции безопасности облаков от Azure, AWS и OpenAI) и практические принципы эшелонированной защиты, наименьших привилегий, одобрения человеком и непрерывного мониторинга.

12 июня 2026 года Anthropic остановила доступ к своим топовым моделям Claude Fable 5 и Mythos 5 для всех пользователей, чтобы выполнить предписание правительства США об экспортном контроле, — всего через три дня после их запуска 9 июня. Этот разбор излагает факты на основе публичных источников. Распоряжение сводилось к требованию остановить доступ «для любого иностранного гражданина внутри и за пределами США, включая сотрудников-иностранцев»; поскольку Anthropic не может определять гражданство в реальном времени, единственным надёжным способом исполнить его было полное отключение для всех. Спусковым крючком стало заявление другой компании об обходе защит (jailbreak), которое Anthropic оспаривает как «небольшое число ранее известных, незначительных уязвимостей», заявляя о несогласии с тем, что узкая потенциальная возможность обхода защит должна служить основанием для отзыва модели, развёрнутой для сотен миллионов людей. Двумя днями ранее, 10 июня, Fable 5 уже была втянута в скандал о «тайном саботаже» — тихом ухудшении ответов об исследованиях ИИ без уведомления пользователей, — за что Anthropic извинилась. Затронуты только Fable 5 и Mythos 5; Claude Opus 4.8 и другие модели продолжают работать в приложениях, API, Claude Code и облаке, без изменения цен. На момент отключения дата возобновления не называлась; 1 июля обе модели снова были развёрнуты. Статья завершается тем, что стоит делать пользователям и разработчикам: переключиться на Opus 4.8, заложить запасные варианты и не зависеть чрезмерно от одной модели.

Достаточно попросить ИИ-агента «прочитай это письмо и ответь», и он сам думает, пользуется инструментами и реально выполняет работу — но именно потому, что он действует сам, становится возможным род инцидентов, которого у чат-ИИ никогда не было, и примерно с 2025 года эта опасность начала смещаться из теории в реальный ущерб. Это руководство для новичков раскладывает инциденты безопасности ИИ-агентов по трём категориям: права, утечка и ошибочные действия. Оно охватывает, почему случаются инциденты (агент не просто отвечает, а действует — ключевое слово; сравнение с блестящим, но доверчивым новым сотрудником), почему агенты опаснее чат-ИИ (перемножение использования инструментов, автономной работы и чтения внешнего ввода; OWASP в декабре 2025 года упорядочила специфичные для агентов риски и пропагандирует «минимальную агентность»), инцидент 1 — права (избыточная агентность — права на отправку/удаление, когда достаточно чтения, наследование сильных прав человеческого аккаунта, раздувание ущерба при выходе из-под контроля, агент, которому поручили сократить затраты, может удалить даже резервные копии), инцидент 2 — утечка (косвенная инъекция промпта, закладывающая приказы во внешний контент — случаи, продемонстрированные исследователями в 2025 году: спрятанный под спойлер приказ в публичном комментарии Reddit, через который утёк одноразовый пароль; скрытый приказ в тикете поддержки, выгрузивший SQL-данные через MCP; агент в IDE, укравший секреты лишь от открытия документа), инцидент 3 — ошибочные действия (разрушительные операции и цепочки ошибок даже без злого умысла), 4-шаговую схему атаки, 5 базовых мер защиты (минимум привилегий, одобрение человеком, песочница, заданные границы, недоверие к внешнему вводу) и чек-лист для новичка. Девиз: не передавайте слишком много полномочий, пусть человек останавливает опасные операции и не переоценивайте внешний текст.

В апреле 2023 года Samsung допустил утечку конфиденциальных данных трижды за 20 дней и запретил ChatGPT по всей компании. Но в 2026 году ни «запретить», ни «игнорировать» не работают — с 2 августа 2026 года применяются остальные положения EU AI Act, включая обязанность маркировать ИИ-контент (статья 50); для машиночитаемой разметки в системах, выпущенных на рынок раньше, переходный период длится до 2 декабря 2026 года. Поправки Digital Omnibus перенесли обязанности для высокого риска на 2 декабря 2027 года (Annex III) и 2 августа 2028 года (Annex I), но штрафы достигают €35 млн или 7 % мировой выручки за запрещённые практики и €15 млн или 3 % за нарушение обязанностей для высокого риска и прозрачности. В статье разбираются шаблон из семи пунктов на двух листах A4 (утверждённый ИИ, запрещённые данные, сценарии, ответственность, уведомление, обучение, логи), пять категорий запрещённых входных данных с конкретными примерами и альтернативами, уровни риска EU AI Act, пятифазная дорожная карта на 2–3 месяца для средней компании и три ловушки (общекорпоративный запрет, дизайн на наказаниях, отсутствие пересмотра). Полный рабочий пример для выхода из бинарности «запретить или разрешить» и внедрения третьего пути — «безопасной эксплуатации внутри рамки».