Руководства, сравнения и новости об инструментах ИИ

Agent Evals — это процесс систематического измерения того, способен ли агент, который использует инструменты и делает несколько шагов к цели, действительно выполнять свои задачи. Это эволюция LLM evals, расширяющая объект оценки с «одного вывода» до «последовательности действий». Поскольку агент планирует, вызывает инструменты и обновляет состояние, одного финального вывода недостаточно; Google отмечает, что нужно понимать «почему» за действиями агента, и делит оценку на финальный ответ и trajectory. Пять измерений: outcome (успех задачи, судят по финальному состоянию — существует ли бронь в DB, а не по высказыванию «я забронировал»), trajectory (разумные шаги, правильные инструменты в правильном порядке), корректность использования инструментов (правильный инструмент и аргументы, проверка имён функций и типов), эффективность (шаги, токены, стоимость, задержка — часто сигналы observability, привнесённые в оценку) и качество финального ответа (через LLM-as-judge или рубрику). Грейдеры — это код (быстрый/дешёвый/воспроизводимый, но хрупкий), LLM-as-judge (гибкий, но недетерминированный и требует калибровки) и человек (золотой стандарт, но дорогой — избегайте по возможности). Anthropic рекомендует оценивать результат, а не путь: механическое сопоставление trajectory «слишком жёсткое и хрупкое», поскольку агенты находят допустимые альтернативы, тогда как Google и Microsoft предлагают метрики сопоставления trajectory для диагностики провалов. Уникальные подводные камни — недетерминированность (pass^k), накапливающиеся ошибки (p^t), reward hacking (роботизированная рука DeepMind, имитирующая захват) и устаревшие или загрязнённые наборы eval. Практический приём, по Anthropic: превратить 20–50 продакшен-провалов в тест-кейсы, запустить автоматическую оценку в CI, разделить capability и regression evals и писать их рано. Бенчмарки вроде SWE-bench, tau-bench, WebArena, GAIA, OSWorld и BFCL полезны как референсы (оценки меняются от версии, поэтому не принимайте их за чистую монету). На основе официальной информации, с пометкой неопределённостей.

Хуки Claude Code — это определяемые пользователем shell-команды, которые автоматически запускаются в определённых точках жизненного цикла Claude Code, делая «это должно происходить всегда» реальным и детерминированным, не полагаясь на усмотрение LLM. Классических событий девять — SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact — из которых PreToolUse и другие могут блокировать (останавливая правки защищённых файлов или опасные команды). Настраиваете вы их в settings.json под ключом «hooks» как имя события -> matcher -> type + command. Контракт ввода/вывода: хук получает JSON на stdin (session_id, tool_input и т. д.) и возвращает результат через код выхода 0 (успех) / 2 (блок, со stderr, переданным обратно Claude) или структурированный JSON (continue, decision:block, permissionDecision: deny/allow/ask). Ключевой принцип: «хуки могут ужесточать, но не ослаблять ограничения» (deny всегда побеждает, блокирует даже при bypassPermissions; мод-плагин в ряде случаев может это переопределить). Классические сценарии: автоформат после правок (PostToolUse + Edit|Write), защита критичных файлов, остановка опасных команд, повторное внедрение контекста (SessionStart), уведомления/аудит и тесты перед остановкой (Stop). О безопасности: хуки выполняют произвольные shell-команды с вашими правами, поэтому настраивайте только доверенные и проверяйте/заключайте в кавычки входные данные; в интерактивных сессиях хуки из файлов настроек не запускаются, пока вы не доверите папку (защитная функция), а прямые правки этих файлов обычно подхватываются автоматически. На основе официальной документации, с опорой на девять классических событий и контракт ввода/вывода.

Checkpointing и /rewind — это страховка: Claude Code автоматически отслеживает правки файлов, сделанные Claude, по мере работы, так что вы можете откатиться к состоянию "до того, как всё пошло не так" за несколько нажатий клавиш. Снимок делается перед каждым редактированием, каждый отправленный вами промпт становится точкой восстановления, а checkpoint-ы сохраняются между сессиями. Чтобы воспользоваться, введите /rewind или дважды нажмите Esc при пустом поле ввода, чтобы открыть меню, затем выберите точку и действие: Restore code and conversation / Restore conversation / Restore code (учтите: если в поле есть текст, двойное Esc вместо этого очистит его). Самая важная оговорка: восстанавливаются только изменения, сделанные инструментами редактирования Claude (Write/Edit/NotebookEdit) — изменения файлов командами bash (rm/mv/cp), изменения вне сессии или из других сессий, правки субагентов, файлы по символическим и жёстким ссылкам и состояние базы данных откатом НЕ отменяются. В документации checkpoint-ы описаны как "средство быстрого восстановления в пределах сессии", а для постоянной истории и совместной работы советуют и дальше пользоваться контролем версий, например Git, поэтому делать коммиты в Git на ключевых этапах — правило. /rewind также является средством восстановления при ошибке 400, связанной с параллелизмом tool-use и блоками размышления (продукт сам предлагает его запустить), хотя версии до v2.1.156 могут её не устранять, поэтому сначала идёт claude update. Включён по умолчанию в интерактивном CLI, opt-in в Agent SDK, хранится вместе с сессиями 30 дней (настраивается). На основе официальной документации, с пометками о неопределённостях.

Claude Managed Agents вышел в виде публичной беты 8 апреля 2026 года как набор компонуемых API для создания и развёртывания облачных агентов в любом масштабе. Вместо того чтобы строить собственный цикл агента, выполнение инструментов и среду исполнения, вы получаете полностью управляемую среду, где Claude может безопасно читать файлы, выполнять команды, просматривать веб и запускать код, с встроенными кэшированием промптов, компактизацией контекста, песочницей и сохранением состояния. Сервис организован вокруг четырёх понятий (Agent, Environment, Session, Events), и Environment может быть облачной песочницей под управлением Anthropic или self-hosted. Отличие от self-hosted Agent SDK (где цикл, инструменты и инфраструктуру запускаете вы) — это «запускаете вы vs запускает Anthropic»: не конкуренты, а выбор о том, сколько операций вы оставляете за собой. Характерная черта — постоянная память (memory store) с областью видимости рабочего пространства, смонтированная в песочнице по пути /mnt/memory, которую агент читает и пишет обычными файловыми операциями и которая сохраняется между сессиями (неизменяемые версии, прошлые версии хранятся 30 дней, последние — всегда, ограничения вроде 100 kB на запись). Dreaming — асинхронная задача, которая читает существующую память и прошлые транскрипты, чтобы создать реорганизованный memory store: объединяет дубликаты, обновляет устаревшие значения и выводит на поверхность новые инсайты (research preview, требующий доступа; в анонсе Anthropic это названо «запланированным», а документация API описывает асинхронную задачу, которую вы создаёте и проверяете). Также есть оценка по результатам (отдельный грейдер оценивает по вашей рубрике; по собственным тестам Anthropic — улучшение до 10 пунктов) и мультиагентная оркестрация. Цена — токены + $0.08 за час сессии (тарификация до миллисекунды, только пока работает; около $0.705 за часовую сессию в расчётном примере Anthropic по ставкам Claude Opus 5). Включено по умолчанию для всех API-аккаунтов, но stateful, поэтому не подпадает под ZDR и HIPAA BAA. На основе официальной информации, с пометками о неопределённостях.

Плагины Claude Code объединяют навыки, субагентов, хуки, конфигурацию MCP и другие расширения для распространения. Маркетплейс — каталог источников их загрузки. В статье разобраны официальный каталог и каталог сообщества, регистрация, установка и включение. Затем на единой структуре каталогов показано создание навыка, отдельная валидация плагина и каталога и распространение через Git. Также объясняются области установки, условия обновления с учётом версии и ограничения проверки безопасности.

В Claude Code есть два похожих, но разных механизма для распределения работы между ИИ — subagents и Agent Teams. Subagents встроены и иерархичны: главный агент делегирует узкую задачу помощнику со свежим контекстом и получает обратно только сводку. Agent Teams — экспериментальная, по умолчанию выключенная функция (нужен флаг CLAUDE_CODE_EXPERIMENTAL_AGENT_TEAMS=1): независимые сессии координируются как равные через общий список задач. Разбираем решающее различие, что выбрать и как использовать.

Claude Design — это инструмент дизайна от Anthropic Labs, позволяющий создавать UI, прототипы и одностраничники в диалоге; с 16 сентября 2026 года он работает внутри любого диалога. Обновление от 17 июня 2026 года добавило импорт дизайн-систем и переход между дизайном и Claude Code: /design-sync загружает дизайн-систему из repo в Claude Design, а передача в Claude Code и /design переносят дизайны в код. Разбираем суть обновления, как делят работу /design-sync и /design, условия доступа и почему это сокращает число итераций между дизайнерами и разработчиками.

18 июня 2026 года Anthropic анонсировала Claude Code Artifacts — функцию, которая превращает сессию кодирования в терминале в живую веб-страницу, которой можно поделиться с командой. Вместо бесконечного потока git diff и логов Claude Code публикует аннотированный разбор PR, самообновляющийся дашборд, таймлайн инцидента или чек-лист релиза, который сам отмечает пункты, — одной страницей по приватному URL на claude.ai. В статье разбираем, что это такое, чем оно отличается от холста claude.ai Artifacts 2024 года (источник — сессия, самообновление, по умолчанию приватно), как им пользоваться (команды /artifact нет — просите обычными словами; Claude пишет .html, публикует и выводит URL; через Share можно поделиться в организации или по публичной ссылке), ограничения (слепок работы: нет бэкенда, строгая CSP ограничивает внешние запросы, одна страница, до 16 MiB) и доступность (Pro/Max/Team/Enterprise, обязателен вход через /login, только Anthropic API) — по официальной документации.

Ошибки аутентификации Claude Code (Not logged in, Invalid API key, organization has been disabled, OAuth token expired) — это в основном 401/403, проблема учётных данных. Самая частая причина — переменная окружения ANTHROPIC_API_KEY, которая молча перекрывает вход по подписке и приводит к неожиданным оплатам. Разбираем порядок диагностики: сначала /status, затем поиск лишнего ключа, unset и чистый повторный вход.

Ошибка «command not found: claude» в Claude Code почти всегда означает лишь, что папка установки (~/.local/bin) не добавлена в PATH — бинарник существует. Разбираем способы установки и их расположение, как починить PATH, ошибку прав npm (EACCES) без sudo, конфликты нескольких установок, ловушки Windows и обновление через claude doctor.

Сетевые ошибки Claude Code («Can't reach the API server», «Connection refused», SSL certificate verification failed, fetch failed) означают, что запрос не дошёл до сервера Anthropic. Это не 401/403, не 529/500 и не 429. До v2.1.227 те же ошибки выглядели как «Unable to connect to API (ECONNREFUSED)». Разбираем значение каждого текущего сообщения, завершение первоначальной настройки с «Unable to connect to Anthropic services», предупреждение «Streaming response ended before any complete data was received», когда прокси меняет ответ, настройку HTTPS_PROXY, корпоративные CA через NODE_EXTRA_CA_CERTS (без отключения проверки), домены для файрвола и пошаговую диагностику с curl и /doctor.

Ошибки 529 Overloaded и 500 в Claude Code означают, что API Anthropic временно перегружен или столкнулся с внутренней ошибкой — это на стороне сервера, не ошибка вашего запроса и не исчерпание лимита. Claude Code автоматически повторяет запрос до 10 раз с экспоненциальной задержкой. Разбираем, чем они отличаются от 429 и usage limit, и как действовать пользователю и разработчику.