KI-Agenten & Automatisierung: RAG, Workflows, Guides

Sie haben auf OpenAI aufgebaut, wollten dann Claude ausprobieren und Gemini vergleichen — und verloren Stunden an die je Anbieter unterschiedlichen SDKs, Formate und Fehlerbehandlung. Ein LLM-Gateway (AI-Gateway / LLM-Proxy) ist ein Relais, das Sie zwischen Ihre App und die Anbieter schieben: es stellt eine einzige OpenAI-kompatible API bereit, um jedes Modell zu erreichen, und übernimmt die querschnittlichen Aufgaben — Fallback, Kostenverfolgung, virtuelle Keys, Caching, Rate-Limiting und Observability. Dieser Leitfaden behandelt, warum Sie eines brauchen, was ein Gateway wirklich ist, die drei Typen (Self-hosted-Proxy = LiteLLM / hosted = OpenRouter / SDK = Vercel AI SDK), wie Sie zwischen LiteLLM, OpenRouter und dem Vercel AI SDK wählen, minimalen Setup-Code, der nur den Endpunkt tauscht, und die Grenzen — ein Latenz-Hop, das Gateway als neuer Ausfallpunkt, Gebühren (OpenRouter berechnet 5,5% auf Käufe), Feature-Verlust und Privatsphäre.

Nachdem du einen KI-Agenten gebaut hast, stößt du immer an dieselbe Wand: „Okay, aber läuft das wirklich?“ Der Mechanismus, mit dem du entscheidest, ob eine Prompt- oder Modelländerung die Sache mit Daten statt Bauchgefühl besser oder schlechter gemacht hat, sind Evals. LLMs liefern für dieselbe Eingabe jedes Mal eine andere Ausgabe, weshalb Exact-Match-Unit-Tests nicht passen. Dieser Artikel legt den Schwerpunkt auf die Schritte, mit denen du Evals tatsächlich baust und betreibst, und behandelt fünf Wege, Qualität zu messen (① Ground-Truth-Abgleich ② regelbasierte Prüfungen ③ LLM-as-judge ④ Regressionstest ⑤ Produktionsmonitoring), die agent-spezifische Bewertung (Aufgaben-Erfolgsrate, korrekte Tool-Aufrufe, Trajektorie, Kosten), wie du klein mit 20 Fehlerbeispielen anfängst, häufige Fallstricke und wichtige Tools (Anthropic Console/Evals, OpenAI Evals, LangSmith, Langfuse, Ragas) — geschrieben für Praktiker.

Die ewige Automatisierungsfrage: „KI-Agenten oder RPA?“ Die Antwort ist kein Entweder-oder – wählen Sie nach Rolle, und das erfolgreiche Muster 2026 ist ein Hybrid aus beidem. RPA sind deterministische „Hände“, die einen festen Ablauf schnell und präzise ausführen (aber abbrechen, wenn sich Bildschirm/Spezifikation ändert); ein KI-Agent ist ein probabilistisches „Gehirn“, das die Lage liest und entscheidet (stark bei Mehrdeutigkeit und Ausnahmen, aber nicht jedes Mal identisch). Dieser Artikel behandelt den Unterschied im Funktionsprinzip, eine Vergleichstabelle (den Kompromiss zwischen Reproduzierbarkeit und Robustheit), die Auswahl (die Achse lautet „lässt es sich vollständig als Regeln ausschreiben?“ – ja → RPA, nicht ausschreibbares Urteilen → KI-Agent), den Trend 2026 (RPA-Anbieter UiPath, Automation Anywhere, Blue Prism werden agentisch – Konvergenz; die Frage ist nicht mehr „welches von beiden“, sondern „wo ist das Schlussfolgern angesiedelt“ = Orchestration-first) und die praktische Antwort: einen Hybrid, bei dem das Gehirn (KI-Agent) Urteilen/Orchestrierung übernimmt und die Hände (RPA) die deterministische Ausführung leisten – setzen Sie keinen Agenten dort ein, wo Determinismus verlangt wird, und koppeln Sie delegiertes Urteilen mit Leitplanken und menschlicher Freigabe. Auf Basis offizieller Anbieterinformationen, mit FAQ.

Kann man den AWS-Betrieb an KI abgeben? 2026 lässt sich vieles delegieren. AWS selbst liefert Amazon Q Developer und das Agent Toolkit for AWS (Mai 2026 – 40+ Agent-Skills + ein verwalteter AWS MCP Server + Plugins), sodass KI von der IaC-Generierung bis zu Ressourcenoperationen reichen kann. Dieser Leitfaden fasst „Delegieren“ in drei Stufen (① Code-/IaC-Generierung, ② lesegetriebener Betrieb/Analyse, ③ ein autonomer Agent, der AWS tatsächlich betreibt), behandelt die wichtigsten Werkzeuge (Amazon Q Developer, Agent Toolkit, AWS MCP Server, Terraform MCP, Bedrock AgentCore) – einschließlich des Bring-your-own-Wegs, Claude Code oder Codex die AWS CLI zu geben, um „aws“ aus der Shell auszuführen – die Vorteile (schnelle IaC, automatisierte Triage, Ideen zur Kostenoptimierung, demokratisiertes Wissen) und dann den eigentlichen Punkt, die Nachteile (IAM Permission Sprawl, Überberechtigung als Verstärker des Blast-Radius für Fehler/Prompt Injection, Berechtigungen, die die Aufgabe überdauern, Kosten-Amoklauf – mit realen Vorfällen gelöschter Prod-DBs 2025-26), auf Basis offizieller AWS-Quellen und Berichten von Security-Anbietern. Der entscheidende Dreh: Die Frage ist nicht „geht das?“, sondern „wie delegiert man ohne Amoklauf oder explodierende Rechnung“ – und dass AWS selbst IAM-Guardrails, CloudTrail-Audit und Sandboxing in das Agent Toolkit einbaut, zeigt die Gestalt der Antwort. Enthält die fünf Prinzipien (Least-Privilege-IAM, menschliche Freigabe für destruktive Operationen, Observability, kurzlebige JIT-Zugangsdaten, Sandboxing) und eine FAQ.

Die erste Hürde beim Einbau eines KI-Agenten in echte Arbeit ist die Frage, „auf welchem Framework man ihn baut“. Aus der Sicht von Entwicklern und Technologie-Entscheidern vergleicht dieser Artikel sechs wichtige Frameworks — LangGraph, CrewAI, AutoGen (im Microsoft Agent Framework aufgegangen, GA April 2026), OpenAI Agents SDK, Google ADK und Claude Agent SDK — nach Orchestrierungsansatz (gerichteter Graph / rollenbasierte Crew / konversationsbasierter GroupChat / Handoffs / hierarchischer Baum / autonome Werkzeugschleife), Sprache, Lernkurve, Steuerbarkeit, Produktionsreife, Token-Kosten und passendem Anwendungsfall. Der zentrale Vorbehalt: Das Framework, das sich „am schnellsten prototypisieren lässt“ (CrewAI), kann im Produktivbetrieb das teuerste sein — rund das 3-Fache der Tokens (41k gegenüber 18,5k bei LangGraph in einem Benchmark) und nicht-deterministisch, was es für Finanz- und Gesundheitswesen ungeeignet macht. Außerdem erklärt der Artikel, wie 2026 die Interoperabilität über MCP (Werkzeuge) und A2A (Agent-to-Agent) kam, sodass Agenten aus verschiedenen Frameworks nun zusammenarbeiten können und der Lock-in verblasst ist. Mit Leitfaden zur Auswahl nach Anwendungsfall und FAQ.

In „So baust du ein Multi-Agenten-System“ hieß es, jede Übergabe zu instrumentieren, bevor man Agenten hinzufügt; die Technologie, die diese Instrumentierung in der Produktion trägt, ist AI observability. Sie macht sichtbar, was LLMs und Agenten in der Produktion tatsächlich tun (welches Modell mit welchem Prompt, welche Tools und Suchen, was zurückkam und wie lange und wie viel es kostete), damit du bis zur Ursache zurückverfolgen kannst. Der entscheidende Unterschied zum gewöhnlichen App-Monitoring: KI kann 200 OK in 50ms zurückgeben und trotzdem selbstbewusst halluzinieren, sodass die meisten KI-Ausfälle Qualitäts-Ausfälle sind (Halluzination, schwaches Retrieval, unsichere Antworten, unvollständige Aufgaben, schlechte Tool-Nutzung, Regressionen nach Prompt-Änderung) und keine Infrastruktur-Ausfälle. Observability ruht auf drei Säulen: traces (eine Anfrage als Baum aus spans, der LLM-Aufrufe, Tools, Retrieval und Argumentationsketten zeigt; der Star der KI-Beobachtung), metrics (Latenz, Kosten, Tokens, Fehlerrate, Durchsatz) und logs (Detail pro Ereignis). Der Industriestandard OpenTelemetry GenAI-Konventionen erfasst Prompts, Antworten, Token-Verbrauch und Tool-/Agenten-Aufrufe in einem herstellerneutralen Schema, einspeisbar in Datadog/Grafana. Die am häufigsten verwechselte Unterscheidung ist Observability vs. Evaluation (evals): Observability zeigt, was passiert ist (leicht zu messen, kann aber nicht sagen, ob die Antwort korrekt ist), während evals messen, ob die Antwort gut ist (Genauigkeit, groundedness, Sicherheit) und explizite Bewertung erfordern. Da Kosten und Latenz leicht zu messen sind, die Antwortqualität aber nicht, kombinieren Tools von 2026 die trace-Anzeige mit Output-Bewertung und Verschlechterungs-Alarmen. Kennzahlen teilen sich in betriebliche (Kosten, Latenz, Tokens, Fehlerrate) und qualitative (Halluzination, groundedness/faithfulness, am wichtigsten für RAG, Sicherheit, Aufgabenerfüllung), mit Halluzinationserkennung via LLM-as-a-judge, semantischer Ähnlichkeit und groundedness-Scores. Wichtige Tools: LangSmith (LangChain), Langfuse (Open-Source-Self-Host), Arize Phoenix (RAG-Debugging), MLflow (Lebenszyklus), AgentOps (Agenten) und OpenTelemetry (der Standard). Beginne mit dem Erfassen von traces (OpenTelemetry-konform), visualisiere betriebliche Kennzahlen und binde dann evals an, bevor du ausrollst. Für Multi-Agenten-Systeme ist Beobachtung unverzichtbar, da sich Fehler in mehrstufigen Ketten verbergen, die nur in einem vollständigen Session-Trace sichtbar sind. Beobachten plus bewerten macht KI produktionsreif. Abbildungen und Merkmale sind aus öffentlichen Materialien zitiert, als Richtwert.

Nachdem das Konzept in „Was ist ein Multi-Agent-System?“ geklärt wurde, ist dies die praktische Fortsetzung. Anhand des De-facto-Standards von 2026, des supervisor-Musters, führt der Artikel Anfänger durch einen Bau in 5 Schritten. Das Kernprinzip: zuerst Single bauen und Agenten nur minimal hinzufügen, sobald man an eine Grenze stößt (rund 80% der Anwendungsfälle reichen mit einem; Multi für einfache lineare Arbeit treibt die Kosten um das 3-10-Fache hoch und senkt laut Google-Forschung die Genauigkeit bei sequenziellen Aufgaben um -39-70%). Drei Anzeichen für Multi: Aufteilung nach Fachgebieten, Parallelität, Entscheidungstrennung. Das supervisor-Muster (der supervisor empfängt die Gesamtaufgabe, zerlegt sie, delegiert an spezialisierte Worker und fasst die Ergebnisse zusammen) ist die Form, auf die Claude Code Subagenten, LangGraph Supervisor und OpenAI Agents SDK handoffs konvergiert sind – wegen breitester Framework-Unterstützung, eines bekannten Fehlermodus (Über-Delegation, begrenzt durch eine Iterations-Obergrenze) und leichter Auditierbarkeit. Die 5 Schritte: 1) die Aufgabe vorab klar zerlegen; 2) Worker mit einer Rolle + Tools + Ausgabeformat definieren (höchstens 3-5); 3) den supervisor entwerfen, aufrufbare Worker-Namen explizit auflisten (harte Obergrenze) und hier die meiste Zeit verwenden; 4) Handoff und Kontextteilung festlegen, nur Nötiges weitergeben (Standard ist A2A); 5) jeden Handoff vor dem Hinzufügen von Agenten instrumentieren, Iterationen/Tokens/Kosten begrenzen und evals und Guardrails einrichten. Framework-unabhängiger Pseudocode zeigt Worker-Definitionen, einen hart begrenzten supervisor und eine iterationsbegrenzte Ausführungsschleife. Häufige Fallstricke und Lösungen: Über-Delegation (Obergrenze + aufrufbare Worker begrenzen), Token-Aufblähung (nur Nötiges teilen + Cache), Instabilität (bei 3-5 halten + fixe Ausgabe), Genauigkeitsverlust bei sequenziellen Aufgaben (zurück zu Single) und unklarer Fehlerort (Beobachtbarkeit). Die gemeinsame Lektion: Prompts, Tool-Design und das eval-Harness entscheiden mehr über den Erfolg als das Framework. Klein bauen, messen, nur erweitern, wenn es sich lohnt. Zahlen stammen aus öffentlichen Materialien und Forschung, kontextabhängig.

Jetzt, da KI-Agenten alltäglich sind, lautet die nächste Herausforderung, wie man Agenten miteinander kooperieren lässt. Wenn MCP einen Agenten mit seinen Werkzeugen verbindet, verbindet A2A (Agent2Agent) einen Agenten mit einem anderen Agenten — ein offener Standard, mit dem sich KIs auf unterschiedlichen Anbietern und Frameworks finden, kommunizieren und über eine gemeinsame Konvention kooperieren. Google veröffentlichte ihn im April 2025, übergab ihn im Juni an die Linux Foundation, und 2026 erreichte er v1.0. Dieser Einsteiger-Leitfaden erklärt, was A2A ist (mit der Analogie der Umgangsformen einer Geschäftspartnerschaft), warum es nötig ist (spezialisierte Agenten reichen Arbeit weiter — ein Planungs-Agent zu einem Hotelbuchungs-Agent zu einem Bezahl-Agent), wie es sich von MCP unterscheidet (MCP ist vertikal, Agent ↔ Werkzeuge; A2A ist horizontal, Agent ↔ Agent; beide übereinanderzulegen ist das zweischichtige Standard-Setup), wie es funktioniert (eine Agent Card — ein JSON als „Visitenkarte“ unter /.well-known/agent-card.json — dient zum Entdecken der Fähigkeiten, dann trägt ein Task die Anfrage durch Zustände wie working, input-required und completed, und ein Artifact liefert das Ergebnis, alles über HTTP, Server-Sent Events und JSON-RPC 2.0, wobei die Agenten ihre Interna verborgen halten) sowie aktueller Stand und Umsetzung (Stand April 2026: 150+ Organisationen im Produktivbetrieb, 22.000+ GitHub-Sterne, SDKs in fünf Sprachen — Python, JavaScript, Java, Go, .NET — mit Microsoft, Salesforce, SAP und ServiceNow beteiligt). Die Eselsbrücke: mit Werkzeugen verbinden = MCP, mit Partnern verbinden = A2A.

Sie haben RAG aufgebaut, aber die Suchqualität ist mittelmäßig – genau dann hilft Reranking. Reranking bewertet die grob von der Embedding-Suche (Vektorsuche) gesammelten Kandidaten nach ihrer Relevanz zur Anfrage neu und ordnet sie um, behält nur die besten; dieser eine Schritt kann die Antwortqualität eines RAG-Systems dramatisch verändern. Dieser Einsteigerleitfaden behandelt, was Reranking ist (ein Vergleich von Vorauswahl und finalem Vorstellungsgespräch), warum es nötig ist (die Embedding-Suche vektorisiert Anfrage und Dokumente getrennt und beurteilt die Relevanz daher nur grob, und eine schlechte Reihenfolge senkt die Antwortqualität unmittelbar – Studien berichten von etwa 40 % RAG-Genauigkeitszugewinn durch Reranking, und das Aufsetzen auf eine hybride Suche ist der Standard 2026), wie zweistufiges Retrieval funktioniert („breit sammeln“ mit schneller Embedding-Suche für Recall, dann „klug eingrenzen“ mit dem Reranker für Precision, dann die besten an das LLM übergeben), warum ein Reranker genauer ist (ein Bi-Encoder vektorisiert Anfrage und Dokument einzeln, ist schnell, aber näherungsweise; ein Cross-Encoder gibt beide gemeinsam ein und liefert einen Relevanzwert von 0–1, genau, aber schwergewichtig – daher sammeln Sie mit dem schnellen Bi-Encoder und grenzen mit dem genauen Cross-Encoder ein) sowie die Modelle und Umsetzung (API-Typ wie Cohere Rerank, Voyage und Jina; Open Source wie BGE reranker, mixedbread und FlashRank; und LLM-basiertes Scoring wie RankLLM – einfach 50–100 abrufen und auf die Top 5 eingrenzen). Das Prinzip: breit sammeln, klug eingrenzen und die Anzahlen mit KI-Evaluierungen abstimmen.

Wenn man KI-Apps bauen kann, ist die nächste Stufe, sie sicher zu betreiben. LLMs lassen sich durch bösartige Eingaben täuschen, geben vertrauliche Daten preis oder behaupten Unsinn mit Überzeugung; der Sicherheitsmechanismus, der das verhindert, sind KI-Guardrails — im Jahr 2026 ein unverzichtbarer Bestandteil des Produktivbetriebs, da Vorfälle mit KI-Agenten tatsächlich passieren. Guardrails sind Regeln und Filter, die gefährliche Eingaben und unerwünschte Ausgaben zurückhalten, indem sie die Nutzereingabe prüfen, bevor sie das LLM erreicht, und die Antwort, bevor sie zurückkehrt — eine unabhängige Sicherheitsebene, getrennt vom Modell selbst. Die Hauptbedrohungen sind Prompt Injection (die größte), Jailbreaks, Datenlecks (vertrauliche Daten, PII, der System-Prompt) sowie Halluzination oder schädliche Ausgabe. Der Schutz wirkt auf zwei Ebenen: Eingabe-Guardrails (Injection und Jailbreaks erkennen, PII erkennen/maskieren, Themen einschränken, bereinigen) und Ausgabe-Guardrails (schädliche Inhalte filtern, Lecks verhindern, Halluzinationen prüfen, Format validieren). Prompt Injection — auf den OWASP LLM Top 10 als kritischste eingestuft — tritt in direkter (ein Nutzer tippt „ignoriere alle vorherigen Anweisungen“) und indirekter Form (in einer Webseite oder einem RAG-Dokument versteckte Befehle) auf, und indirekte Injection wird durch RAG allein nicht blockiert, sodass abgerufene Dokumente eine eigene Prüfung brauchen. Dieser Einsteigerleitfaden behandelt auch Werkzeuge (LLM Guard, Guardrails AI, NeMo Guardrails, Llama Guard sowie Cloud-Sicherheitsfunktionen von Azure, AWS und OpenAI) und die praktischen Prinzipien der mehrschichtigen Verteidigung, der geringsten Rechte, der menschlichen Freigabe und der kontinuierlichen Überwachung.

RAG, semantische Suche und Empfehlungen beruhen alle auf einem unbesungenen Arbeitspferd: dem Embedding (Vektor). Ein Embedding ist die in eine Zahlenfolge — einen Vektor — umgewandelte Bedeutung von Text (oder eines Bildes). Das Wort „Hund“ wird zu einer Liste aus Hunderten bis Tausenden von Zahlen, die als „Koordinaten der Bedeutung“ wirken, sodass Wörter mit naher Bedeutung nah beieinander liegen („Hund“ und „Welpe“ sind nah; „Hund“ und „Auto“ sind fern), und die Nähe wird mit Maßen wie der Kosinus-Ähnlichkeit quantifiziert. Berühmtes Beispiel: „König − Mann + Frau ≈ Königin.“ Dadurch kann eine Maschine beurteilen, ob die Bedeutung nah ist, selbst wenn die Zeichen nicht übereinstimmen. Dieser Einsteiger-Leitfaden behandelt, was ein Embedding ist (eine „Landkarte der Bedeutung“), warum Nähe Bedeutung misst (Dimensionen und Kosinus-Ähnlichkeit), wofür es verwendet wird (RAG, semantische Suche, Klassifikation und Deduplizierung, Empfehlungen sowie multimodal), wie man ein Embedding-Modell auswählt (API-Typ wie OpenAI text-embedding-3, Cohere, Gemini, Voyage; Open-Source wie BGE-M3, Nomic, Qwen3; plus Matryoshka, das 3.072 Dimensionen auf 1.024 senken kann und dabei etwa 95 % der Qualität bei rund einem Drittel der Kosten erhält) sowie Vektordatenbanken (Pinecone, Weaviate, Qdrant, Chroma, pgvector) mit einem Drei-Schritte-Start (ein Modell wählen, Dokumente vektorisieren und speichern, die Frage vektorisieren und suchen). Embeddings sind das Fundament der RAG-Implementierung.

Sie haben Ihre Prompts verfeinert, mit RAG Wissen ergänzt und vielleicht Fine-Tuning betrieben – aber wie bestätigen Sie, dass es wirklich besser geworden ist? Hier rücken AI Evals in den Mittelpunkt, und bis 2026 ist Evaluierung so unverzichtbar, dass man sie als „Infrastruktur“ bezeichnet. AI Evals bedeuten, die Qualität der Ausgaben eines LLM systematisch zu messen (Korrektheit, Halluzinationen, Formattreue, Ton) anhand eines festen Maßstabs statt nach Bauchgefühl; ohne sie ist Verbesserung nur eine Vermutung. Es gibt zwei Methoden: code-basierte Evaluierung für mechanisch messbare Punkte (exakte Übereinstimmung, Format, geforderte/verbotene Wörter – schnell, günstig, stabil) und LLM-as-Judge für subjektive (ein leistungsstarkes LLM als Schiedsrichter, der Ausgaben über Pairwise-Vergleich oder Einzelausgabe-Bewertung benotet). Das Prinzip: Messen Sie mit Code alles, was Code messen kann. LLM-as-Judge hat Wortfülle-, Positions- und Selbstbevorzugungs-Verzerrungen; die Lösungen sind ein anderes Bewerter-Modell, Reihenfolge tauschen und zweimal benoten, Prägnanz ins Raster aufnehmen und an menschlichem Urteil kalibrieren. Grobe Skalen (pass/fail oder 1–3) schlagen feinkörnige 1–10. In der Praxis laufen drei Stufen – sofortige Code-Checks bei jeder Änderung, nächtliche LLM-as-Judge-Regressionstests und kontinuierliche Produktionsüberwachung – mit Tools wie DeepEval, Promptfoo und RAGAS für CI sowie Braintrust, LangSmith und Arize für die Überwachung. Beginnen Sie damit, 10 gute und 10 schlechte Ausgaben zu sammeln und zu bewerten.