Guias, comparações e novidades sobre ferramentas de IA

As avaliações de agentes são o processo de medir sistematicamente se um agente — que usa ferramentas e dá várias etapas para atingir um objetivo — consegue de fato cumprir suas tarefas. Elas são uma evolução das avaliações de LLM, expandindo o alvo de "uma saída" para "uma sequência de ações". Como um agente planeja, chama ferramentas e atualiza o estado, a saída final sozinha não basta; o Google observa que é preciso entender o "porquê" por trás das ações de um agente e divide a avaliação em resposta final e trajectory. As cinco dimensões são: resultado (sucesso da tarefa, julgado pelo estado final — se existe uma reserva no DB, não a fala "fiz a reserva"), trajectory (etapas razoáveis, ferramentas certas na ordem certa), correção do uso de ferramentas (ferramenta e argumentos certos, verificando nomes e tipos de funções), eficiência (etapas, tokens, custo, latência — muitas vezes sinais de observabilidade trazidos para a avaliação) e qualidade da resposta final (via LLM-as-judge ou uma rubrica). Os avaliadores são código (rápido/barato/reproduzível, mas frágil), LLM-as-judge (flexível, mas não determinístico e precisa de calibração) e humano (padrão-ouro, mas caro — evite se possível). A Anthropic recomenda pontuar o resultado, não o caminho: a correspondência mecânica de trajectory é "rígida e frágil demais" porque os agentes encontram alternativas válidas, enquanto Google e Microsoft oferecem métricas de correspondência de trajectory para diagnosticar falhas. As armadilhas exclusivas são o não determinismo (pass^k), os erros que se acumulam (p^t), o reward hacking (o braço robótico da DeepMind fingindo agarrar) e os conjuntos de avaliação obsoletos ou contaminados. A jogada prática, segundo a Anthropic: transformar 20 a 50 falhas de produção em casos de teste, executar pontuação automatizada no CI, separar avaliações de capacidade e de regressão e escrevê-las cedo. Benchmarks como SWE-bench, tau-bench, WebArena, GAIA, OSWorld e BFCL são referências úteis (as pontuações variam por versão, então não as tome ao pé da letra). Com base em informações oficiais, com as incertezas sinalizadas.

Os hooks do Claude Code são comandos de shell definidos pelo usuário que rodam automaticamente em pontos específicos do ciclo de vida do Claude Code, tornando o "isto precisa sempre acontecer" real e determinístico sem depender do julgamento do LLM. Os eventos clássicos são nove — SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact — dos quais PreToolUse e outros podem bloquear (impedindo edições em arquivos protegidos ou comandos perigosos). Você os configura em settings.json sob a chave "hooks" como nome do evento -> matcher -> type + command. O contrato de E/S: um hook recebe JSON na stdin (session_id, tool_input, etc.) e retorna via código de saída 0 (sucesso) / 2 (bloquear, com a stderr passada de volta ao Claude) ou JSON estruturado (continue, decision:block, permissionDecision: deny/allow/ask). O princípio-chave é "os hooks podem apertar, mas não afrouxar restrições" (deny sempre vence, bloqueia até sob bypassPermissions; um mod de plugin pode anular isso em alguns casos). Casos de uso clássicos: formatar após edições (PostToolUse + Edit|Write), proteger arquivos críticos, bloquear comandos perigosos, reinjetar contexto (SessionStart), notificações/log de auditoria e testar antes de parar (Stop). Sobre segurança, os hooks executam comandos de shell arbitrários com os seus privilégios, então configure apenas os confiáveis e valide/coloque entre aspas as entradas; nas sessões interativas, os hooks dos arquivos de configuração só rodam depois que você confia na pasta (um recurso de segurança), e edições diretas nesses arquivos normalmente entram em vigor sozinhas. Com base na documentação oficial, ancorado nos nove eventos clássicos e no contrato de E/S.

O checkpointing e o /rewind são uma rede de segurança: o Claude Code rastreia automaticamente as edições de arquivos do Claude enquanto você trabalha, para que você possa reverter para "antes de dar errado" com alguns toques de tecla. Um snapshot é tirado antes de cada edição, cada prompt que você envia vira um ponto de restauração, e os checkpoints persistem entre sessões. Para usar, digite /rewind ou pressione Esc duas vezes quando o campo está vazio para abrir o menu, escolha um ponto e selecione Restaurar código e conversa / Restaurar conversa / Restaurar código (atenção: se o campo tem texto, Esc duas vezes o limpa em vez disso). A ressalva mais importante: apenas as mudanças feitas pelas ferramentas de edição do Claude (Write/Edit/NotebookEdit) são restauradas — mudanças de arquivo por comandos bash (rm/mv/cp), mudanças fora da sessão ou de outras sessões, edições de subagentes, arquivos com links simbólicos ou físicos e estado de banco de dados NÃO são desfeitas pelo rewind. A documentação descreve os checkpoints como "feitos para uma recuperação rápida, no nível da sessão" e pede para continuar usando um controle de versão como o Git para histórico permanente e colaboração, então fazer commit no Git nos marcos é a regra. O /rewind também é a recuperação para o erro 400 ligado à concorrência de uso de ferramentas e blocos de raciocínio (o próprio produto pede para rodá-lo), embora versões anteriores à v2.1.156 possam não eliminá-lo, então claude update vem primeiro. Está ativado por padrão na CLI interativa, é opt-in no Agent SDK e retido junto com as sessões por 30 dias (configurável). Com base na documentação oficial, com incertezas sinalizadas.

Os Claude Managed Agents foram lançados como beta público em 8 de abril de 2026, como um conjunto de APIs combináveis para construir e implantar agentes hospedados na nuvem em escala. Em vez de construir o seu próprio loop de agente, execução de ferramentas e runtime, você ganha um ambiente totalmente gerenciado onde o Claude pode ler arquivos, executar comandos, navegar na web e rodar código com segurança, com cache de prompt, compactação de contexto, sandboxing e persistência de estado embutidos. Está organizado em torno de quatro conceitos (Agent, Environment, Session, Events), e o Environment pode ser um sandbox em nuvem gerenciado pela Anthropic ou um auto-hospedado. A diferença para o Agent SDK auto-hospedado (onde você roda o loop, as ferramentas e a infraestrutura) é "você roda vs a Anthropic roda" — não são concorrentes, mas uma escolha sobre quanto da operação você mantém. Um recurso marcante é a memória persistente com escopo de workspace (um memory store) montada no sandbox em /mnt/memory, que o agente lê e escreve com operações normais de arquivo e que persiste entre sessões (versões imutáveis, versões anteriores guardadas por 30 dias e as recentes sempre, limites como 100 kB por memória). O dreaming é um job assíncrono que lê a memória existente e transcrições passadas para produzir um memory store reorganizado — mesclando duplicatas, atualizando valores obsoletos e trazendo à tona novos insights (um research preview que exige acesso; o anúncio da Anthropic o chama de "agendado", mas a documentação da API descreve um job assíncrono que você cria e acompanha). Também tem avaliação baseada em resultados (um avaliador separado avalia contra a sua rubrica; melhoria de até 10 pontos em testes da própria Anthropic) e orquestração multiagente. O preço é tokens + $0.08 por hora de sessão (medido ao milissegundo, apenas enquanto roda; cerca de $0.705 para uma sessão de 1 hora no exemplo da Anthropic com tarifas do Claude Opus 5). Habilitado por padrão para todas as contas de API, mas stateful, então não elegível para ZDR nem para um HIPAA BAA. Com base em informações oficiais, com incertezas sinalizadas.

Plugins do Claude Code agrupam skills, subagentes, hooks, configuração MCP e outras extensões para distribuição. Um marketplace é um catálogo que indica onde obtê-los. Este artigo explica os catálogos oficial e comunitário, registro, instalação e ativação; depois mostra como criar uma skill, validar seu plugin e catálogo e distribuí-los por Git com uma estrutura de diretórios consistente. Também aborda escopos de instalação, condições de atualização conforme a versão e o que uma revisão de segurança não garante.

No Claude Code existem dois mecanismos parecidos, mas diferentes, para dividir o trabalho entre AIs: os subagents (nativos) e os Agent Teams (experimentais). Os subagents são hierárquicos — o agente principal delega uma tarefa focada a um ajudante de contexto novo e recebe de volta apenas um resumo, e aninham por padrão até 3 camadas. Os Agent Teams são peer-to-peer e desativados por padrão (precisam de CLAUDE_CODE_EXPERIMENTAL_AGENT_TEAMS=1). Este artigo explica, com base na documentação oficial, a diferença decisiva, qual usar e como.

O Claude Design é uma ferramenta do Anthropic Labs que permite criar designs de UI, protótipos e one-pagers por meio de conversa; desde 16 de setembro de 2026, funciona dentro de qualquer conversa. A grande reformulação de 17 de junho de 2026 adicionou a importação de design systems e a ida e volta com o Claude Code: o /design-sync leva o design system do seu repo para o Claude Design, e a entrega ao Claude Code e o /design levam os designs ao código. Este artigo explica, com base em informações oficiais, o que é, o que mudou em junho, a disponibilidade e por que isso importa.

Em 18 de junho de 2026, a Anthropic anunciou o Claude Code Artifacts, um recurso que transforma uma sessão de programação no terminal em uma página web viva que sua equipe pode compartilhar. Em vez de despejar git diff e logs sem fim como texto, o Claude Code publica um passo a passo anotado de PR, um dashboard que se atualiza sozinho, uma linha do tempo de incidente ou uma checklist que se marca sozinha, como uma página em uma URL privada do claude.ai. Este artigo explica o que é, como difere do Artifacts estilo canvas do claude.ai de 2024 (originado da sessão, autoatualizável, privado por padrão), como usar (sem comando /artifact: você pede em linguagem natural; o Claude escreve um .html, publica e exibe a URL; o Share permite compartilhar na organização ou por link público), seus limites (uma captura do trabalho: sem backend, uma CSP estrita limita requisições externas, página única, até 16 MiB) e a disponibilidade (Pro/Max/Team/Enterprise, login via /login obrigatório, somente a API da Anthropic), com base na documentação oficial.

Os erros de login e autenticação do Claude Code (Not logged in, Invalid API key, organization disabled, OAuth token expired) são, em sua maioria, 401/403 de credencial. A causa mais frequente é a variável de ambiente ANTHROPIC_API_KEY sobrepondo silenciosamente o login da assinatura, gerando cobranças inesperadas. Diagnostique sempre com /status, cace a chave perdida com env | grep ANTHROPIC e refaça /logout → /login.

O erro "command not found: claude" do Claude Code, na maioria das vezes, significa apenas que o diretório de instalação (~/.local/bin) não está no PATH — o binário existe. Este guia cobre métodos de instalação, como corrigir o PATH, o erro de permissão EACCES do npm (sem sudo: use o nativo), conflitos de múltiplas instalações, armadilhas do Windows e o fluxo de diagnóstico com claude doctor.

Os erros de rede do Claude Code ("Can't reach the API server", "Connection refused", SSL certificate verification failed, fetch failed) significam que a requisição nunca chegou ao servidor da Anthropic — diferente de autenticação (401/403), servidor (529/500) e taxa (429). Antes da v2.1.227, os mesmos erros apareciam como "Unable to connect to API (ECONNREFUSED)". Este guia explica o que cada mensagem atual significa, o encerramento na configuração inicial com "Unable to connect to Anthropic services", o aviso "Streaming response ended before any complete data was received" quando um proxy altera a resposta, a configuração de proxy (HTTPS_PROXY), a CA corporativa em NODE_EXTRA_CA_CERTS (com segurança), os domínios a liberar e o fluxo de diagnóstico começando por curl.

O "API Error: 529 Overloaded" e o "500 Internal server error" do Claude Code são eventos do lado do servidor: a API da Anthropic está temporariamente sobrecarregada ou com erro interno. Não são culpa sua nem esgotamento de cota, e o Claude Code já tenta de novo até 10 vezes com backoff exponencial. A solução é esperar, trocar de modelo com /model e verificar o status.claude.com — e como distinguir de 429, usage limit e 400.