Agentes IA e Automação: RAG, Workflows e Guias

Você construiu sobre a OpenAI, depois quis testar o Claude e comparar o Gemini — e perdeu horas com os SDKs, formatos e tratamentos de erro diferentes por provedor. Um LLM gateway (AI gateway / LLM proxy) é um relay que você encaixa entre a sua aplicação e os provedores: ele expõe uma única API compatível com OpenAI para alcançar todos os modelos e assume as tarefas transversais — fallback, controle de custos, chaves virtuais, cache, rate limiting e observabilidade. Este guia cobre por que você precisa de um, o que um gateway realmente é, os três tipos (proxy self-hosted = LiteLLM / hospedado = OpenRouter / SDK = Vercel AI SDK), como escolher entre LiteLLM, OpenRouter e o Vercel AI SDK, o código de configuração mínima que só troca o endpoint, e os limites — um salto de latência, o gateway como novo ponto de falha, taxas (o OpenRouter cobra 5,5% sobre compras), perda de recursos e privacidade.

Depois de construir um agente de IA, você sempre esbarra no mesmo muro: "Certo, mas será que funciona de verdade?" O mecanismo que decide se uma mudança de prompt ou modelo deixou as coisas melhores ou piores com dados em vez de intuição são os evals. LLMs produzem uma saída diferente a cada vez para a mesma entrada, então testes unitários de correspondência exata não se encaixam. Este artigo se concentra nos passos para criar e rodar evals na prática, cobrindo cinco formas de medir a qualidade (① correspondência com o gabarito ② verificações baseadas em regras ③ LLM-as-judge ④ teste de regressão ⑤ monitoramento em produção), avaliação específica de agentes (taxa de sucesso da tarefa, chamadas de ferramenta corretas, trajetória, custo), como começar pequeno a partir de 20 exemplos de falha, armadilhas comuns e ferramentas principais (Anthropic Console/Evals, OpenAI Evals, LangSmith, Langfuse, Ragas) — escrito para quem põe a mão na massa.

A eterna pergunta da automação: "agentes de IA ou RPA?" A resposta não é um ou outro — escolha pelo papel, e o padrão vencedor de 2026 é um híbrido dos dois. O RPA são "mãos" determinísticas que executam um procedimento fixo de forma rápida e precisa (mas quebram quando a tela/especificação muda); um agente de IA é um "cérebro" probabilístico que lê a situação e decide (forte diante de ambiguidade e exceções, mas não idêntico a cada vez). Este artigo cobre a diferença de princípio de funcionamento, uma tabela comparativa (o trade-off entre reprodutibilidade e resistência à mudança), como escolher (o eixo é "dá para escrever tudo como regras?" — sim → RPA, julgamento que você não consegue escrever → agente de IA), a tendência de 2026 (os líderes de RPA UiPath, Automation Anywhere, Blue Prism tornando-se agênticos — convergência; a pergunta já não é "qual dos dois", mas "onde deve morar o raciocínio" = orquestração primeiro) e a resposta prática: um híbrido em que o cérebro (agente de IA) cuida do julgamento/orquestração e as mãos (RPA) executam a parte determinística — não coloque um agente onde se exige determinismo e combine o julgamento delegado com guardrails e aprovação humana. Com base nas informações oficiais dos fornecedores, com um FAQ.

Dá para entregar a operação da AWS à IA? Em 2026 você pode delegar bastante. A própria AWS oferece o Amazon Q Developer e o Agent Toolkit for AWS (maio de 2026 — mais de 40 skills de agente + um AWS MCP Server gerenciado + plugins), então a IA vai da geração de IaC até a operação de recursos. Este guia enquadra o "delegar" em três níveis (① geração de código/IaC, ② operação/investigação orientada a leitura, ③ um agente autônomo que opera a AWS de verdade), cobre as principais ferramentas (Amazon Q Developer, Agent Toolkit, AWS MCP Server, Terraform MCP, Bedrock AgentCore) — incluindo a rota traga o seu próprio de dar ao Claude Code ou ao Codex a AWS CLI para rodar "aws" pelo shell — as vantagens (IaC rápido, triagem automatizada, ideias de otimização de custos, conhecimento democratizado) e, então, o ponto que importa, as desvantagens (proliferação de permissões IAM, excesso de privilégio como amplificador do raio de destruição de erros/injeção de prompt, permissões que sobrevivem à tarefa, custos fora de controle — com incidentes reais de exclusão de bancos de dados de produção em 2025-26), com base em fontes oficiais da AWS e de fornecedores de segurança. A virada essencial: a pergunta não é "dá para fazer?", mas "como delegar sem que a coisa saia do controle ou a fatura exploda" — e o fato de a própria AWS ter embutido guardrails de IAM, auditoria via CloudTrail e sandbox no Agent Toolkit revela o formato da resposta. Inclui os cinco princípios (IAM de menor privilégio, aprovação humana para operações destrutivas, observabilidade, credenciais JIT de curta duração, sandbox) e um FAQ.

O primeiro obstáculo ao colocar um agente de IA em trabalho real é "em qual framework construí-lo". Da ótica do desenvolvedor e de quem seleciona a tecnologia, este artigo compara seis frameworks principais — LangGraph, CrewAI, AutoGen (integrado ao Microsoft Agent Framework, GA em abril de 2026), OpenAI Agents SDK, Google ADK e Claude Agent SDK — por abordagem de orquestração (grafo dirigido / crew baseada em papéis / GroupChat conversacional / handoffs / árvore hierárquica / laço autônomo de ferramentas), linguagem, curva de aprendizado, controle, maturidade em produção, custo de tokens e caso de uso ideal. A ressalva central: o framework "mais rápido de prototipar" (CrewAI) pode ser o mais caro em produção — cerca de 3× os tokens (41k contra 18,5k do LangGraph em um benchmark) e não determinístico, o que o torna inadequado para finanças e saúde. Também explica como 2026 trouxe interoperabilidade via MCP (ferramentas) e A2A (agente a agente), de modo que agentes de frameworks diferentes agora trabalham juntos e o lock-in desapareceu. Inclui um guia de seleção por caso de uso e FAQ.

Em "Como construir um sistema multiagente" dissemos para instrumentar cada handoff antes de adicionar agentes; a tecnologia que sustenta essa instrumentação em produção é a observabilidade de IA. Ela torna visível o que LLMs e agentes realmente fazem em produção (qual modelo com qual prompt, quais ferramentas e buscas, o que foi retornado, quanto tempo e quanto custou) para que você possa rastrear até a causa. A diferença decisiva em relação ao monitoramento comum: a IA pode retornar 200 OK em 50ms e ainda alucinar com confiança, então a maioria das falhas de IA são falhas de qualidade (alucinação, recuperação fraca, respostas inseguras, tarefas incompletas, uso ruim de ferramentas, regressões após mudar o prompt), não falhas de infraestrutura. A observabilidade se apoia em três pilares: traces (uma requisição como árvore de spans mostrando chamadas de LLM, ferramentas, recuperação, cadeias de raciocínio; a estrela da observação de IA), métricas (latência, custo, tokens, taxa de erro, throughput) e logs (detalhe por evento). O padrão da indústria, as convenções GenAI do OpenTelemetry, captura prompts, respostas, uso de tokens e chamadas de ferramentas/agentes em um esquema neutro alimentável no Datadog/Grafana. A distinção mais confundida é observabilidade vs avaliação (evals): a observabilidade mostra o que aconteceu (fácil de medir, mas não diz se a resposta está correta), enquanto as evals medem se a resposta é boa (precisão, groundedness, segurança) e exigem avaliação explícita. Como custo e latência são fáceis de medir mas a qualidade da resposta não, as ferramentas de 2026 combinam exibição de traces com pontuação de saídas e alertas de degradação. As métricas se dividem em operacionais (custo, latência, tokens, taxa de erro) e de qualidade (alucinação, groundedness/fidelidade que é a mais crítica para RAG, segurança, conclusão da tarefa), com detecção de alucinação via LLM-as-a-judge, similaridade semântica e scores de groundedness. Principais ferramentas: LangSmith (LangChain), Langfuse (open-source self-host), Arize Phoenix (depuração de RAG), MLflow (ciclo de vida), AgentOps (agentes) e OpenTelemetry (o padrão). Comece capturando traces (compatível com OpenTelemetry), visualize métricas operacionais e depois conecte as evals antes de subir para produção. Para sistemas multiagente a observação é essencial, pois as falhas se escondem em cadeias de múltiplos passos visíveis apenas em um trace da sessão completa. Observar mais avaliar é o que torna a IA de nível de produção. Figuras e características são citadas de materiais públicos, direcionais.

Depois de assimilar o conceito em "O que é um sistema multi-agente?", esta é a continuação prática. Usando o padrão supervisor, o padrão de fato de 2026, ela guia iniciantes por uma construção em 5 passos. O princípio-chave: construa primeiro com um único agente e adicione mais de forma mínima só após bater num limite (~80% dos casos de uso ficam bem com um; usar multi para trabalho linear simples infla o custo 3-10x e, segundo pesquisa do Google, reduz a precisão em −39-70% em tarefas sequenciais). Três sinais para ir a multi: separação de especialidades, paralelismo, separação de decisão. O padrão supervisor (o supervisor recebe a tarefa global, decompõe-a, delega a workers especialistas e agrega resultados) é onde os subagentes do Claude Code, o LangGraph Supervisor e os handoffs do OpenAI Agents SDK convergiram, por ter o suporte mais amplo de frameworks, um modo de falha conhecido (delegação excessiva, limitada por um teto de iterações) e ser fácil de auditar. Os 5 passos: 1) decompor a tarefa com clareza desde o início; 2) definir workers com um papel + ferramentas + formato de saída (máx. 3-5); 3) projetar o supervisor, listando explicitamente os nomes chamáveis (limite rígido) e gastando o máximo de tempo aqui; 4) decidir handoff e compartilhamento de contexto, passando só o necessário (o padrão é A2A); 5) instrumentar cada handoff antes de adicionar agentes, limitar iterações/tokens/custo e configurar evals e guardrails. O pseudocódigo independente de framework mostra as definições de workers, um supervisor com limite rígido e um loop de execução com teto de iterações. Armadilhas comuns e soluções: delegação excessiva (limite + restringir workers chamáveis), inchaço de tokens (compartilhar só o necessário + cache), instabilidade (manter 3-5 + saída fixa), queda de precisão em sequencial (voltar ao único) e ponto de falha desconhecido (observabilidade). A lição compartilhada: prompts, design de ferramentas e o harness de eval decidem o sucesso mais do que o framework. Construa pequeno, meça e adicione só quando compensa. Os dados são citados de materiais públicos e pesquisa, dependentes de condições.

Agora que os agentes de IA se tornaram comuns, o próximo desafio é como fazê-los colaborar entre si. Se o MCP conecta um agente às suas ferramentas, o A2A (Agent2Agent) conecta um agente a outro agente — um padrão aberto para que IAs construídas com fornecedores e frameworks diferentes se descubram, se comuniquem e cooperem por meio de uma convenção comum. O Google o lançou em abril de 2025, doou-o à Linux Foundation em junho daquele ano, e ele chegou à v1.0 em 2026. Este guia para iniciantes cobre o que é o A2A (a analogia da etiqueta de uma parceria de negócios), por que é necessário (agentes especializados revezam o trabalho — um agente de planejamento, um de reserva de hotel, um de pagamento), como se diferencia do MCP (o MCP é vertical, agente ↔ ferramentas; o A2A é horizontal, agente ↔ agente; empilhar os dois é a configuração padrão de duas camadas), como funciona (um Agent Card — um JSON "cartão de visita" em /.well-known/agent-card.json — é usado para descobrir capacidades, depois uma Task carrega a solicitação por estados como working, input-required e completed, e um Artifact retorna o resultado, tudo sobre HTTP, Server-Sent Events e JSON-RPC 2.0, com os agentes mantendo seus detalhes internos ocultos), e qual é a situação atual e a implementação (em abril de 2026, 150+ organizações em produção, 22.000+ estrelas no GitHub, SDKs em cinco linguagens — Python, JavaScript, Java, Go, .NET — com Microsoft, Salesforce, SAP e ServiceNow envolvidos). O mnemônico: conectar a ferramentas = MCP, conectar a pares = A2A.

Você montou um RAG, mas a qualidade da busca está mediana — é exatamente aí que o reranking ajuda. O reranking repontua os candidatos reunidos de forma aproximada pela busca por embedding (vetorial) com base na relevância em relação à consulta e os reordena, mantendo apenas os melhores; essa única etapa pode mudar drasticamente a qualidade das respostas de um sistema RAG. Este guia para iniciantes cobre o que é reranking (com a analogia de uma triagem inicial e uma entrevista final), por que ele é necessário (a busca por embedding vetoriza a consulta e os documentos separadamente, então julga a relevância apenas de forma grosseira, e uma ordenação ruim reduz diretamente a qualidade da resposta — pesquisas reportam um ganho de cerca de 40% na precisão do RAG ao adicionar reranking, e sobrepô-lo à hybrid search é o padrão de 2026), como funciona a recuperação em duas etapas ("reunir amplo" com a busca por embedding rápida para o recall, depois "refinar com inteligência" com o reranker para a precision, e por fim entregar os melhores ao LLM), por que um reranker é mais preciso (um bi-encoder vetoriza a consulta e o documento individualmente e é rápido, mas aproximado; um cross-encoder os alimenta juntos e gera uma pontuação de relevância de 0–1, preciso, mas pesado — então você reúne com o bi-encoder rápido e refina com o cross-encoder preciso) e os modelos e a implementação (tipo API como Cohere Rerank, Voyage e Jina; open-source como BGE reranker, mixedbread e FlashRank; e pontuação baseada em LLM como RankLLM — basta recuperar 50–100 e refinar até os 5 melhores). O princípio: reunir amplo, refinar com inteligência e ajustar as quantidades com avaliações de IA.

Depois que você já consegue criar apps de IA, a próxima etapa é operá-los com segurança. Os LLMs podem ser enganados por entradas maliciosas, vazar dados confidenciais ou afirmar absurdos com confiança; o mecanismo de segurança que evita isso são os guardrails de IA, hoje parte essencial da produção em 2026, à medida que incidentes de agentes de IA acontecem de verdade. Guardrails são regras e filtros que contêm entradas perigosas e saídas indesejadas, verificando a entrada do usuário antes de ela chegar ao LLM e a resposta antes de ela retornar — uma camada de segurança independente, separada do próprio modelo. As principais ameaças são prompt injection (a maior), jailbreaks, vazamento de dados (dados confidenciais, PII, o system prompt) e alucinação ou saída nociva. A proteção funciona em duas camadas: guardrails de entrada (detectar injection e jailbreaks, detectar/mascarar PII, restringir tópicos, higienizar) e guardrails de saída (filtrar conteúdo nocivo, evitar vazamentos, checar alucinações, validar formato). O prompt injection — classificado como o mais crítico no OWASP LLM Top 10 — vem em formas direta (um usuário digita "ignore todas as instruções anteriores") e indireta (comandos escondidos em uma página web ou documento de RAG), e a injection indireta não é bloqueada só pelo RAG, então os documentos recuperados precisam de sua própria verificação. Este guia para iniciantes também cobre ferramentas (LLM Guard, Guardrails AI, NeMo Guardrails, Llama Guard e recursos de segurança em nuvem da Azure, AWS e OpenAI) e os princípios práticos de defesa em profundidade, privilégio mínimo, aprovação humana e monitoramento contínuo.

O RAG, a busca semântica e as recomendações dependem todos de um trabalhador invisível: o embedding (vetor). Um embedding é o significado de um texto (ou de uma imagem) convertido em uma sequência de números — um vetor. A palavra "cachorro" vira uma lista de centenas a milhares de números que funcionam como "coordenadas de significado", de modo que palavras próximas em significado ficam perto umas das outras ("cachorro" e "filhote" estão próximos; "cachorro" e "carro" estão distantes), e a proximidade é quantificada com medidas como a cosine similarity. Exemplo famoso: "rei − homem + mulher ≈ rainha". Por causa disso, a máquina consegue julgar se o significado é próximo mesmo quando os caracteres não coincidem. Este guia para iniciantes cobre o que é um embedding (um "mapa de significados"), por que a proximidade mede significado (dimensões e cosine similarity), para que serve (RAG, busca semântica, classificação e remoção de duplicatas, recomendações e multimodal), como escolher um modelo de embedding (tipo API como OpenAI text-embedding-3, Cohere, Gemini, Voyage; open-source como BGE-M3, Nomic, Qwen3; além da Matryoshka, que pode reduzir 3.072 dimensões para 1.024 mantendo cerca de 95% da qualidade por aproximadamente um terço do custo), e os bancos de dados vetoriais (Pinecone, Weaviate, Qdrant, Chroma, pgvector) com um começo em três passos (escolher um modelo, vetorizar e armazenar documentos, vetorizar a pergunta e buscar). Os embeddings são a base da implementação de RAG.

Você refinou seus prompts, adicionou conhecimento com RAG e talvez tenha feito fine-tuning — então, como confirmar que realmente melhorou? As AI evals entram em cena, e em 2026 a avaliação é tão essencial que a chamam de "infraestrutura". AI evals significam medir sistematicamente a qualidade da saída de um LLM (precisão, alucinações, aderência ao formato, tom) com uma régua fixa, em vez de no feeling; sem elas, melhorar é só um palpite. Há dois métodos: avaliação baseada em código para itens mecanicamente mensuráveis (correspondência exata, formato, palavras obrigatórias/proibidas — rápida, barata, estável) e LLM-as-judge para os subjetivos (usando um LLM potente como árbitro para pontuar saídas, via comparação pairwise ou pontuação de saída única). O princípio: meça com código tudo o que o código puder medir. O LLM-as-judge tem vieses de verbosidade, posição e autopreferência; as correções são usar uma família de modelo diferente como corretor, inverter a ordem e corrigir duas vezes, incluir a concisão na rubrica e calibrar contra o julgamento humano. Escalas grosseiras (pass/fail ou 1–3) superam as finas de 1–10. Na prática, rode três camadas — verificações de código instantâneas a cada mudança, testes de regressão noturnos com LLM-as-judge e monitoramento contínuo em produção — com ferramentas como DeepEval, Promptfoo e RAGAS para CI, mais Braintrust, LangSmith e Arize para monitoramento. Comece reunindo 10 boas e 10 más saídas e pontuando-as.