KI-Entwicklung & Programmierung: Apps bauen mit KI

Nachdem du einen KI-Agenten gebaut hast, stößt du immer an dieselbe Wand: „Okay, aber läuft das wirklich?“ Der Mechanismus, mit dem du entscheidest, ob eine Prompt- oder Modelländerung die Sache mit Daten statt Bauchgefühl besser oder schlechter gemacht hat, sind Evals. LLMs liefern für dieselbe Eingabe jedes Mal eine andere Ausgabe, weshalb Exact-Match-Unit-Tests nicht passen. Dieser Artikel behandelt, was Evals sind, fünf Wege, Qualität zu messen (① Ground-Truth-Abgleich ② regelbasierte Prüfungen ③ LLM-as-judge ④ Regressionstest ⑤ Produktionsmonitoring), die agent-spezifische Bewertung (Aufgaben-Erfolgsrate, korrekte Tool-Aufrufe, Trajektorie, Kosten), wie du klein mit 20 Fehlerbeispielen anfängst, häufige Fallstricke und wichtige Tools (Anthropic Console/Evals, OpenAI Evals, LangSmith, Langfuse, Ragas) — geschrieben für Praktiker.

Die ewige Automatisierungsfrage: „KI-Agenten oder RPA?“ Die Antwort ist kein Entweder-oder – wählen Sie nach Rolle, und das erfolgreiche Muster 2026 ist ein Hybrid aus beidem. RPA sind deterministische „Hände“, die einen festen Ablauf schnell und präzise ausführen (aber abbrechen, wenn sich Bildschirm/Spezifikation ändert); ein KI-Agent ist ein probabilistisches „Gehirn“, das die Lage liest und entscheidet (stark bei Mehrdeutigkeit und Ausnahmen, aber nicht jedes Mal identisch). Dieser Artikel behandelt den Unterschied im Funktionsprinzip, eine Vergleichstabelle (den Kompromiss zwischen Reproduzierbarkeit und Robustheit), die Auswahl (die Achse lautet „lässt es sich vollständig als Regeln ausschreiben?“ – ja → RPA, nicht ausschreibbares Urteilen → KI-Agent), den Trend 2026 (RPA-Anbieter UiPath, Automation Anywhere, Blue Prism werden agentisch – Konvergenz; die Frage ist nicht mehr „welches von beiden“, sondern „wo ist das Schlussfolgern angesiedelt“ = Orchestration-first) und die praktische Antwort: einen Hybrid, bei dem das Gehirn (KI-Agent) Urteilen/Orchestrierung übernimmt und die Hände (RPA) die deterministische Ausführung leisten – setzen Sie keinen Agenten dort ein, wo Determinismus verlangt wird, und koppeln Sie delegiertes Urteilen mit Leitplanken und menschlicher Freigabe. Auf Basis offizieller Anbieterinformationen, mit FAQ.

Claude Fable 5 und Opus 5 sind beide Spitzenklasse, aber die Antwort lautet weder „immer Fable 5“ noch „immer Opus 5“ — wählen Sie nach Aufgabe. Mit dem Erscheinen von Opus 5 am 24. Juli 2026 hat sich diese Antwort spürbar verschoben: Die Vorgängergeneration Opus 4.8 galt als „eine Stufe unter Fable 5, dafür halb so teuer“, während Opus 5 denselben Preis von $5 / $25 hält und Fable 5 bei agentischen Benchmarks erreicht oder übertrifft (Frontier-Bench 43,3 % vs. 33,7 % und OSWorld 2.0 70,6 % vs. 66,1 %, beide aus der Presse; bei CursorBench 3.2 kommt Opus 5 laut Anthropic bis auf 0,5 % an Fable 5 heran, zu etwa den halben Kosten). Beim schwersten Denken in einem Zug neigt sich die Waage weiterhin zu Fable 5, aber nur knapp — Humanity's Last Exam 56,5 % vs. 56,3 % und DeepSWE v1.1 69,7 % vs. 68,8 % (aus der Presse). Kontextfenster (1M) und maximale Ausgabe (128K) sind gleich; den Fast Mode (rund 2,5-fach) gibt es nur bei Opus 5, allerdings zum doppelten Preis und nur über die Claude API, und Opus 5 hat den neueren Wissensstand (Mai 2026). Der Entscheidungsablauf: zuerst Opus 5 probieren und nur dort zu Fable 5 hochstufen, wo es auf ein Plateau läuft. In der Praxis ist „Opus 5 als Basis, Fable 5 für die harten Teile“ optimal, gestützt durch das automatische Umschalten bei Sicherheitssperren in der App und den neuen API-Rückfallmodus „default“. Behandelt Verfügbarkeit (Aussetzung im Juni, erneuter Rollout im Juli), das Vermeiden von Einzelmodell-Abhängigkeit, effort-Tuning für die Kosten und ein FAQ — und verknüpft das Fable-5-Cluster mit dem Leitfaden zum Opus-5-Release.

Die erste Hürde beim Einbau eines KI-Agenten in echte Arbeit ist die Frage, „auf welchem Framework man ihn baut“. Aus der Sicht von Entwicklern und Technologie-Entscheidern vergleicht dieser Artikel sechs wichtige Frameworks — LangGraph, CrewAI, AutoGen (im Microsoft Agent Framework aufgegangen, GA April 2026), OpenAI Agents SDK, Google ADK und Claude Agent SDK — nach Orchestrierungsansatz (gerichteter Graph / rollenbasierte Crew / konversationsbasierter GroupChat / Handoffs / hierarchischer Baum / autonome Werkzeugschleife), Sprache, Lernkurve, Steuerbarkeit, Produktionsreife, Token-Kosten und passendem Anwendungsfall. Der zentrale Vorbehalt: Das Framework, das sich „am schnellsten prototypisieren lässt“ (CrewAI), kann im Produktivbetrieb das teuerste sein — rund das 3-Fache der Tokens (41k gegenüber 18,5k bei LangGraph in einem Benchmark) und nicht-deterministisch, was es für Finanz- und Gesundheitswesen ungeeignet macht. Außerdem erklärt der Artikel, wie 2026 die Interoperabilität über MCP (Werkzeuge) und A2A (Agent-to-Agent) kam, sodass Agenten aus verschiedenen Frameworks nun zusammenarbeiten können und der Lock-in verblasst ist. Mit Leitfaden zur Auswahl nach Anwendungsfall und FAQ.

Ollama ist das erste Tool, das du für lokale LLMs installieren solltest – es nimmt dir die mühsame Einrichtung fast vollständig ab, sodass du ein Modell mit einem einzigen Befehl herunterladen und sofort loschatten kannst. Dieser Einsteiger-Leitfaden führt von A bis Z durch Installation (Win/Mac/Linux), die wichtigsten Befehle, das Beschaffen und Auswählen von Modellen nach VRAM-Größe, GUIs wie Open WebUI, die lokale und OpenAI-kompatible API zum Einbinden in eigene Apps, Anpassung über Modelfile und Umgebungsvariablen sowie Fehlerbehebung – damit du Ollama als „Docker für LLMs“ schnell zum Laufen bringst.

Welches lokale LLM solltest du installieren? Dieser Leitfaden für 2026 ordnet die wichtigsten Modellfamilien – Qwen, Llama, Gemma, DeepSeek, Mistral, Phi und mehr – nach Entwickler, Herkunftsland, Einsatzzweck, Größe und Lizenz, damit du das passende „erste Modell“ für deinen PC findest. Mit einem eigenen Abschnitt zu deutschen und europäischen Modellen wie Teuken-7B (OpenGPT-X/Fraunhofer), Aleph Alpha, den Llama-Feintunings LeoLM und DiscoLM sowie Mistral aus Frankreich – plus klaren Empfehlungen nach VRAM-Größe, praktischen Tipps zur kommerziellen Lizenzierung und dem Hinweis, dass lokal betriebene Modelle deine Eingaben nie nach außen senden.

Du willst ein lokales LLM betreiben, weißt aber nicht, ob dein PC ausreicht? 90 % der nötigen Spezifikation hängt am VRAM – dem Speicher deiner GPU. Dieser Guide liefert eine VRAM-Schnelltabelle nach Modellgröße (7B bis 70B), eine einfache Formel zum Selbstrechnen, die oft übersehene Speicherfalle aus Kontextlänge und KV-Cache sowie realistische Geschwindigkeiten für gängige GPUs und Macs. Am Ende findest du empfohlene Konfigurationen in drei Budget-Stufen, damit auch Einsteiger sicher entscheiden können, welche Hardware sie wirklich kaufen sollten.

Ein lokales LLM auf dem eigenen PC oder cloudbasierte Dienste wie Claude, ChatGPT und Gemini — beide sind „LLMs“, unterscheiden sich aber klar in Leistung, Kosten, Datenschutz und Aufwand. Dieser Artikel stellt die Unterschiede in einem Vergleich nebeneinander und legt ehrlich dar, wie weit sich der oft missverstandene Leistungsabstand bis 2026 geschlossen hat. Anschließend führt er dich anhand deines Anwendungsfalls zu der Frage, wofür du dich entscheiden solltest — für die meisten Menschen ist Hybrid die Antwort. Geschrieben, sodass man ihn ohne Vorkenntnisse lesen kann.

Der Aufwandsregler in Claude Code steuert, wie viel Denken und wie viele Token in jede Antwort fließen. Wir erklären die 5 API-Stufen (low–max), warum „Extra“ = xhigh und nicht das Maximum ist, den Zusatzmodus Ultracode sowie wann du welche Stufe nutzt.

Agent Evals sind der Prozess, systematisch zu messen, ob ein Agent – einer, der Tools nutzt und mehrere Schritte unternimmt, um ein Ziel zu erreichen – seine Aufgaben tatsächlich erfüllen kann. Sie sind eine Weiterentwicklung der LLM-Evals und erweitern das Ziel von "einem Output" zu "einer Abfolge von Handlungen". Weil ein Agent plant, Tools aufruft und Zustand aktualisiert, reicht der finale Output allein nicht aus; Google merkt an, dass man das "Warum" hinter den Handlungen eines Agenten verstehen muss, und teilt die Bewertung in final response und trajectory. Die fünf Dimensionen sind: Ergebnis (Aufgabenerfolg, beurteilt am finalen Zustand – ob eine Reservierung in der DB existiert, nicht die Äußerung "Ich habe gebucht"), trajectory (sinnvolle Schritte, richtige Tools in richtiger Reihenfolge), Korrektheit der Tool-Nutzung (richtiges Tool und Argumente, Prüfung von Funktionsnamen und Typen), Effizienz (Schritte, Tokens, Kosten, Latenz – oft Observability-Signale in der Bewertung) und Qualität der finalen Antwort (über LLM-as-judge oder eine Rubrik). Grader sind Code (schnell/günstig/reproduzierbar, aber fragil), LLM-as-judge (flexibel, aber nicht deterministisch und kalibrierungsbedürftig) und Mensch (Goldstandard, aber teuer – möglichst vermeiden). Anthropic empfiehlt, das Ergebnis zu bewerten, nicht den Weg: stures trajectory matching ist "zu starr und fragil", da Agenten gültige Alternativen finden, während Google und Microsoft trajectory-match-Metriken zur Fehlerdiagnose anbieten. Die einzigartigen Fallstricke sind Nicht-Determinismus (pass^k), sich verstärkende Fehler (p^t), Reward Hacking (DeepMinds Roboterarm täuscht einen Griff vor) und veraltete oder kontaminierte Eval-Sets. Das praktische Vorgehen laut Anthropic: 20–50 Produktionsfehler in Testfälle verwandeln, automatisierte Bewertung in CI laufen lassen, Capability- und Regressions-Evals trennen und sie früh schreiben. Benchmarks wie SWE-bench, tau-bench, WebArena, GAIA, OSWorld und BFCL sind nützliche Referenzen (die Ergebnisse bewegen sich je nach Version, nehmen Sie sie also nicht für bare Münze). Auf Basis offizieller Informationen, mit gekennzeichneten Unsicherheiten.

Claude Code Hooks sind benutzerdefinierte Shell-Befehle, die an bestimmten Punkten im Lebenszyklus von Claude Code automatisch laufen und machen "das muss immer passieren" real und deterministisch, ohne sich auf das Ermessen des LLM zu verlassen. Die klassischen Events sind neun – SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact –, von denen PreToolUse und andere blockieren können (Bearbeitungen geschützter Dateien oder gefährliche Befehle stoppen). Konfiguriert werden sie in settings.json unter dem Schlüssel "hooks" als Event-Name -> matcher -> type + command. Der E/A-Kontrakt: Ein Hook empfängt JSON über stdin (session_id, tool_input usw.) und gibt über Exit-Code 0 (Erfolg) / 2 (blockieren, mit stderr zurück an Claude) oder strukturiertes JSON (continue, decision:block, permissionDecision: deny/allow/ask) zurück. Das zentrale Prinzip lautet "Hooks können Beschränkungen verschärfen, aber nicht lockern" (deny gewinnt immer, blockiert sogar unter bypassPermissions). Klassische Anwendungsfälle: Auto-Format nach Bearbeitungen (PostToolUse + Edit|Write), kritische Dateien schützen, gefährliche Befehle stoppen, Kontext erneut einspeisen (SessionStart), Benachrichtigungen/Audit-Logging und Testen vor dem Stoppen (Stop). Zur Sicherheit: Hooks führen beliebige Shell-Befehle mit deinen Rechten aus, konfiguriere also nur vertrauenswürdige und validiere/quote Eingaben; die Hook-Konfiguration wird beim Session-Start erfasst (ein Sicherheitsmerkmal), sodass Änderungen mitten in der Session nicht greifen. Auf Basis der offiziellen Dokumentation, gestützt auf die neun klassischen Events und den E/A-Kontrakt.

Checkpointing und /rewind sind ein Sicherheitsnetz: Claude Code verfolgt Claudes Dateibearbeitungen automatisch, während Sie arbeiten, sodass Sie mit ein paar Tastendrücken zu "bevor es schiefging" zurückrollen. Vor jeder Bearbeitung wird ein Snapshot erstellt, jeder gesendete Prompt wird zu einem Wiederherstellungspunkt, und Checkpoints bleiben über Sitzungen hinweg erhalten. Zum Nutzen: tippen Sie /rewind oder drücken Sie zweimal Esc bei leerem Eingabefeld, um das Menü zu öffnen, wählen Sie dann einen Punkt und Code und Konversation wiederherstellen / Konversation wiederherstellen / Code wiederherstellen (Hinweis: enthält das Eingabefeld Text, löscht zweimaliges Esc stattdessen die Eingabe). Der wichtigste Vorbehalt: nur Änderungen durch Claudes Bearbeitungstools (Write/Edit/NotebookEdit) werden wiederhergestellt – Dateiänderungen durch bash-Befehle (rm/mv/cp), Änderungen außerhalb der Sitzung oder aus anderen Sitzungen, Verzeichnisoperationen, Remote-Dateien und der Datenbankzustand werden durch Rewind NICHT rückgängig gemacht. Die Dokumentation rahmt es als "Checkpoints = lokales Rückgängig, Git = dauerhafte Historie" und sagt, dass es die Versionskontrolle ergänzt, aber nicht ersetzt, weshalb das Committen an Meilensteinen in Git die Regel ist. /rewind ist auch die Wiederherstellung beim 400-Fehler rund um die Nebenläufigkeit der Tool-Nutzung und Thinking-Blöcke (das Produkt selbst fordert Sie dazu auf), wobei Versionen vor v2.1.156 ihn möglicherweise nicht beheben, sodass claude update zuerst kommt. Es ist in der interaktiven CLI standardmäßig aktiviert, im Agent SDK ein Opt-in, und wird mit den Sitzungen 30 Tage aufbewahrt (konfigurierbar). Auf Basis der offiziellen Dokumentation, mit gekennzeichneten Unsicherheiten.