KI-Tool-Anleitungen, Vergleiche und Neuigkeiten

Agent Evals sind der Prozess, systematisch zu messen, ob ein Agent – einer, der Tools nutzt und mehrere Schritte unternimmt, um ein Ziel zu erreichen – seine Aufgaben tatsächlich erfüllen kann. Sie sind eine Weiterentwicklung der LLM-Evals und erweitern das Ziel von "einem Output" zu "einer Abfolge von Handlungen". Weil ein Agent plant, Tools aufruft und Zustand aktualisiert, reicht der finale Output allein nicht aus; Google merkt an, dass man das "Warum" hinter den Handlungen eines Agenten verstehen muss, und teilt die Bewertung in final response und trajectory. Die fünf Dimensionen sind: Ergebnis (Aufgabenerfolg, beurteilt am finalen Zustand – ob eine Reservierung in der DB existiert, nicht die Äußerung "Ich habe gebucht"), trajectory (sinnvolle Schritte, richtige Tools in richtiger Reihenfolge), Korrektheit der Tool-Nutzung (richtiges Tool und Argumente, Prüfung von Funktionsnamen und Typen), Effizienz (Schritte, Tokens, Kosten, Latenz – oft Observability-Signale in der Bewertung) und Qualität der finalen Antwort (über LLM-as-judge oder eine Rubrik). Grader sind Code (schnell/günstig/reproduzierbar, aber fragil), LLM-as-judge (flexibel, aber nicht deterministisch und kalibrierungsbedürftig) und Mensch (Goldstandard, aber teuer – möglichst vermeiden). Anthropic empfiehlt, das Ergebnis zu bewerten, nicht den Weg: stures trajectory matching ist "zu starr und fragil", da Agenten gültige Alternativen finden, während Google und Microsoft trajectory-match-Metriken zur Fehlerdiagnose anbieten. Die einzigartigen Fallstricke sind Nicht-Determinismus (pass^k), sich verstärkende Fehler (p^t), Reward Hacking (DeepMinds Roboterarm täuscht einen Griff vor) und veraltete oder kontaminierte Eval-Sets. Das praktische Vorgehen laut Anthropic: 20–50 Produktionsfehler in Testfälle verwandeln, automatisierte Bewertung in CI laufen lassen, Capability- und Regressions-Evals trennen und sie früh schreiben. Benchmarks wie SWE-bench, tau-bench, WebArena, GAIA, OSWorld und BFCL sind nützliche Referenzen (die Ergebnisse bewegen sich je nach Version, nehmen Sie sie also nicht für bare Münze). Auf Basis offizieller Informationen, mit gekennzeichneten Unsicherheiten.

Claude Code Hooks sind benutzerdefinierte Shell-Befehle, die an bestimmten Punkten im Lebenszyklus von Claude Code automatisch laufen und machen "das muss immer passieren" real und deterministisch, ohne sich auf das Ermessen des LLM zu verlassen. Die klassischen Events sind neun – SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact –, von denen PreToolUse und andere blockieren können (Bearbeitungen geschützter Dateien oder gefährliche Befehle stoppen). Konfiguriert werden sie in settings.json unter dem Schlüssel "hooks" als Event-Name -> matcher -> type + command. Der E/A-Kontrakt: Ein Hook empfängt JSON über stdin (session_id, tool_input usw.) und gibt über Exit-Code 0 (Erfolg) / 2 (blockieren, mit stderr zurück an Claude) oder strukturiertes JSON (continue, decision:block, permissionDecision: deny/allow/ask) zurück. Das zentrale Prinzip lautet "Hooks können Beschränkungen verschärfen, aber nicht lockern" (deny gewinnt immer, blockiert sogar unter bypassPermissions; ein Plugin-Mod kann das in manchen Fällen übergehen). Klassische Anwendungsfälle: Auto-Format nach Bearbeitungen (PostToolUse + Edit|Write), kritische Dateien schützen, gefährliche Befehle stoppen, Kontext erneut einspeisen (SessionStart), Benachrichtigungen/Audit-Logging und Testen vor dem Stoppen (Stop). Zur Sicherheit: Hooks führen beliebige Shell-Befehle mit deinen Rechten aus, konfiguriere also nur vertrauenswürdige und validiere/quote Eingaben; in interaktiven Sessions laufen Hooks aus Einstellungsdateien erst, wenn du dem Ordner vertraust (ein Sicherheitsmerkmal), und direkte Änderungen an diesen Dateien werden normalerweise automatisch übernommen. Auf Basis der offiziellen Dokumentation, gestützt auf die neun klassischen Events und den E/A-Kontrakt.

Checkpointing und /rewind sind ein Sicherheitsnetz: Claude Code verfolgt Claudes Dateibearbeitungen automatisch, während Sie arbeiten, sodass Sie mit ein paar Tastendrücken zu "bevor es schiefging" zurückrollen. Vor jeder Bearbeitung wird ein Snapshot erstellt, jeder gesendete Prompt wird zu einem Wiederherstellungspunkt, und Checkpoints bleiben über Sitzungen hinweg erhalten. Zum Nutzen: tippen Sie /rewind oder drücken Sie zweimal Esc bei leerem Eingabefeld, um das Menü zu öffnen, wählen Sie dann einen Punkt und Code und Konversation wiederherstellen / Konversation wiederherstellen / Code wiederherstellen (Hinweis: enthält das Eingabefeld Text, löscht zweimaliges Esc stattdessen die Eingabe). Der wichtigste Vorbehalt: nur Änderungen durch Claudes Bearbeitungstools (Write/Edit/NotebookEdit) werden wiederhergestellt – Dateiänderungen durch bash-Befehle (rm/mv/cp), Änderungen außerhalb der Sitzung oder aus anderen Sitzungen, Bearbeitungen durch Subagents, per Symlink oder Hardlink eingebundene Dateien und der Datenbankzustand werden durch Rewind NICHT rückgängig gemacht. Die Dokumentation beschreibt Checkpoints als "für die schnelle Wiederherstellung auf Sitzungsebene gedacht" und rät, für dauerhafte Historie und Zusammenarbeit weiterhin eine Versionskontrolle wie Git zu nutzen, weshalb das Committen an Meilensteinen in Git die Regel ist. /rewind ist auch die Wiederherstellung beim 400-Fehler rund um die Nebenläufigkeit der Tool-Nutzung und Thinking-Blöcke (das Produkt selbst fordert Sie dazu auf), wobei Versionen vor v2.1.156 ihn möglicherweise nicht beheben, sodass claude update zuerst kommt. Es ist in der interaktiven CLI standardmäßig aktiviert, im Agent SDK ein Opt-in, und wird mit den Sitzungen 30 Tage aufbewahrt (konfigurierbar). Auf Basis der offiziellen Dokumentation, mit gekennzeichneten Unsicherheiten.

Claude Managed Agents startete am 8. April 2026 als öffentliche Beta – eine Suite zusammensetzbarer APIs zum Erstellen und Bereitstellen cloud-gehosteter Agenten im großen Maßstab. Statt eine eigene Agent-Schleife, Tool-Ausführung und Laufzeitumgebung zu bauen, erhalten Sie eine vollständig verwaltete Umgebung, in der Claude sicher Dateien lesen, Befehle ausführen, im Web surfen und Code ausführen kann, mit eingebautem Prompt-Caching, Kontext-Kompaktierung, Sandboxing und Zustandspersistenz. Es ist um vier Konzepte herum organisiert (Agent, Environment, Session, Events), und das Environment kann eine von Anthropic verwaltete Cloud-Sandbox oder eine selbst gehostete sein. Der Unterschied zum selbst gehosteten Agent SDK (wo Sie Schleife, Tools und Infrastruktur betreiben) ist „Sie betreiben es vs. Anthropic betreibt es“ – keine Konkurrenten, sondern eine Wahl darüber, wie viel des Betriebs Sie behalten. Ein charakteristisches Merkmal ist workspace-bezogener persistenter Speicher (ein memory store), in der Sandbox unter /mnt/memory eingehängt, den der Agent mit normalen Dateioperationen liest und schreibt und der über Sitzungen hinweg erhalten bleibt (unveränderliche Versionen, frühere Versionen 30 Tage, jüngste dauerhaft, Limits wie 100 kB pro Speicher). Dreaming ist ein asynchroner Job, der den vorhandenen Speicher und vergangene Transkripte liest, um einen reorganisierten memory store zu erzeugen – Duplikate zusammenführen, veraltete Werte aktualisieren und neue Erkenntnisse hervorheben (eine Research Preview, die Zugang erfordert; Anthropics Ankündigung nennt es „geplant“, die API-Dokumentation beschreibt einen asynchronen Job, den man anlegt und abfragt). Es verfügt außerdem über outcomes-basierte Bewertung (ein separater Grader bewertet anhand Ihrer Rubrik; laut Anthropics eigenen Tests bis zu 10 Punkte besser) und Multi-Agent-Orchestrierung. Die Preise sind Tokens + $0.08 pro Sitzungsstunde (auf die Millisekunde abgerechnet, nur während des Betriebs; etwa $0.705 für eine 1-stündige Sitzung im Rechenbeispiel von Anthropic zu Preisen von Claude Opus 5). Standardmäßig für alle API-Konten aktiviert, aber zustandsbehaftet und daher nicht für ZDR oder ein HIPAA BAA geeignet. Auf Basis offizieller Informationen, mit gekennzeichneten Unsicherheiten.

Claude-Code-Plugins bündeln Skills, Subagenten, Hooks, MCP-Konfigurationen und weitere Erweiterungen zur Verteilung. Ein Marketplace ist der Katalog ihrer Bezugsquellen. Dieser Artikel erklärt offiziellen und Community-Katalog, Registrierung, Installation und Aktivierung. Eine einheitliche Verzeichnisstruktur führt durch einen eigenen Skill, die getrennte Validierung von Plugin und Katalog und die Verteilung über Git. Außerdem werden Installationsbereiche, versionsabhängige Updatebedingungen und die Grenzen einer Sicherheitsprüfung erläutert.

Subagents und Agent Teams in Claude Code teilen beide Arbeit auf mehrere KIs auf, koordinieren sich aber grundverschieden. Subagents sind eingebaut, hierarchisch und liefern nur eine Zusammenfassung; Agent Teams sind experimentell, standardmäßig deaktiviert (benötigen CLAUDE_CODE_EXPERIMENTAL_AGENT_TEAMS=1) und koordinieren sich als gleichberechtigte Partner. Dieser Artikel klärt den entscheidenden Unterschied, welches Sie wann verwenden und wie.

Claude Design ist ein Design-Werkzeug aus den Anthropic Labs, mit dem du UI, Prototypen und One-Pager im Gespräch erstellst – seit dem 16. September 2026 in jedem Gespräch. Das Generalupdate vom Juni 2026 brachte den Import von Designsystemen und den Wechsel zwischen Design und Claude Code: /design-sync holt das Designsystem deines Repos in Claude Design, die Übergabe an Claude Code und /design bringen Designs in den Code. Dieser Artikel erklärt, was Claude Design ist, die Arbeitsteilung von /design-sync und /design, die Verfügbarkeit (seit dem 8. Oktober 2026 ohne Beta in allen Tarifen, auch im kostenlosen; claude.ai/design schließt am 14. Dezember 2026) und warum es das Hin und Her zwischen Designern und Entwicklern verkürzt.

Am 18. Juni 2026 hat Anthropic Claude Code Artifacts angekündigt — eine Funktion, die eine Coding-Sitzung im Terminal in eine lebende Webseite verwandelt, die Ihr Team teilen kann. Statt endlos git diff und Logs als Text auszugeben, veröffentlicht Claude Code einen annotierten PR-Walkthrough, ein sich selbst aktualisierendes Dashboard, eine Incident-Zeitleiste oder eine Release-Checkliste, die sich selbst abhakt, als eine Seite unter einer privaten claude.ai-URL. Dieser Artikel erklärt auf Basis der offiziellen Dokumentation, was es ist, wie es sich von den Canvas-artigen claude.ai Artifacts von 2024 unterscheidet (aus der Sitzung gespeist, sich selbst aktualisierend, standardmäßig privat), wie man es nutzt (kein /artifact-Befehl — man fragt in natürlicher Sprache; Claude schreibt eine .html, veröffentlicht sie und gibt die URL aus; über Share teilt man in der Organisation oder per öffentlichem Link), seine Grenzen (eine Momentaufnahme der Arbeit: kein Backend, eine strikte CSP schränkt externe Anfragen ein, eine einzelne Seite, höchstens 16 MiB) und die Verfügbarkeit (Pro/Max/Team/Enterprise, Anmeldung über /login erforderlich, nur die Anthropic API).

Die Auth-Fehler von Claude Code (Not logged in, Invalid API key, organization disabled, OAuth token expired) sind meist 401/403 und damit ein Problem mit den Anmeldedaten. Die häufigste wahre Ursache: die Umgebungsvariable ANTHROPIC_API_KEY überschreibt stillschweigend dein Abo. Dieser Artikel zeigt den Diagnose-Workflow — zuerst /status, dann den verirrten Key mit unset entfernen und sauber neu anmelden.

Du hast Claude Code installiert, doch die Eingabe von claude liefert "zsh: command not found: claude", "bash: claude: command not found" oder unter Windows "is not recognized as an internal or external command". In den meisten Fällen ist das Installationsverzeichnis schlicht nicht im PATH, und die Installation selbst war erfolgreich. Dieser Artikel erklärt, wie die Shell die PATH-Ordner durchsucht, die Installationsmethoden und -orte (der native Installer wird empfohlen und landet in ~/.local/bin, unter Windows %USERPROFILE%\.local\bin; npm benötigt seit v2.1.198 Node.js 22+ und installiert dieselbe native Binary; Homebrew/WinGet; nur die VS Code-Erweiterung zu installieren fügt claude nicht zum PATH hinzu), die Hauptursachen und Lösungen (~/.local/bin zum PATH hinzufügen und das Terminal neu starten, ein npm-EACCES-Berechtigungsfehler sollte zu nativ wechseln statt sudo, ein altes Node.js, das nur eine EBADENGINE-Warnung auslöst und nicht die Ursache ist, Konflikte mehrerer Installationen geprüft mit which -a / where.exe und auf eine native reduziert, sowie der Fall der nicht gefundenen nativen Binary beim Überspringen optionaler Abhängigkeiten sowie die Warnung „Native installation exists but ~/.local/bin is not in your PATH“), Windows-spezifische Fallstricke (die Shell-Verwechslung wie irm in CMD, das Terminal neu starten, der alte Claude Desktop WindowsApps Claude.exe-Konflikt, CLAUDE_CODE_GIT_BASH_PATH für Git Bash, „Could not locate the Claude CLI on PATH“ in VS Code und die nach einem Update fehlende claude.exe), Auto-Update und Aktualisieren (claude update, claude install, claude doctor für das Update-Ergebnis, was bei „Auto-update failed · Run claude doctor“ hilft, DISABLE_AUTOUPDATER / DISABLE_UPDATES) sowie den Diagnose-Workflow (claude doctor zu which -a zu PATH zum Entfernen überflüssiger Versionen zur nativen Neuinstallation) – abgeglichen mit der offiziellen Dokumentation, Stand 29. September 2026.

Wenn Claude Code auf einem Firmenrechner oder über VPN mit „Can't reach the API server“, „Connection refused“, SSL certificate verification failed oder fetch failed scheitert, hat die Anfrage den Server nie erreicht – ein TCP/TLS/DNS-Fehler, kein Auth-, Server- oder Rate-Limit-Problem. Vor v2.1.227 lauteten dieselben Fehler „Unable to connect to API (ECONNREFUSED)“. Dieser Artikel erklärt, was jede aktuelle Meldung bedeutet, das Beenden der Ersteinrichtung mit „Unable to connect to Anthropic services“, die Warnung „Streaming response ended before any complete data was received“, wenn ein Proxy die Antwort verändert, die Proxy-Konfiguration mit HTTPS_PROXY, das sichere Vertrauen der Firmen-CA über NODE_EXTRA_CA_CERTS (niemals NODE_TLS_REJECT_UNAUTHORIZED=0), die freizugebenden Firewall-Domains und den Diagnose-Workflow ab curl -I https://api.anthropic.com.

„API Error: 529 Overloaded“ und „500 Internal server error“ in Claude Code sind serverseitige Ereignisse — kein Fehler in deiner Anfrage und kein aufgebrauchtes Kontingent. Claude Code wiederholt automatisch bis zu 10 Mal mit exponentiellem Backoff. Dieser Artikel erklärt die Ursachen, die Abgrenzung zu 429/usage limit und die einfache Lösung: warten, mit /model wechseln, Status prüfen.