Was ist RAG? Funktionsweise und Anwendungsfälle einfach erklärt

„ChatGPT soll unser Firmenhandbuch heranziehen und Fragen beantworten.“ „Es soll neue Forschungsarbeiten suchen und zusammenfassen.“ Dafür reicht das erlernte Wissen eines Modells möglicherweise nicht aus. Sie können ihm beim Antworten die benötigten Unterlagen bereitstellen.

Eine Möglichkeit ist RAG (Retrieval-Augmented Generation): Relevante Informationen aus externen Quellen werden gesucht und dem Antwortkontext hinzugefügt. Auch fertige KI-Funktionen können Dokumente heranziehen. Ein Datei-Upload löst jedoch nicht immer denselben Suchprozess aus.

Dieser Artikel erklärt RAG in drei Schritten und behandelt Vektor-Datenbanken, eine LangChain-Implementierung sowie die Abgrenzung zum Fine-Tuning — verständlich für Einsteiger und trotzdem technisch korrekt.

1. Was ist RAG — Retrieval-Augmented Generation

RAG (Retrieval-Augmented Generation) bedeutet wörtlich „durch Retrieval (Suche) augmentierte (erweiterte) Generation“. Auf Deutsch oft als retrieval-erweiterte Erzeugung bezeichnet.

Kurz gesagt: Ein LLM nutzt beim Antworten relevante Informationen, die aus externen Quellen abgerufen wurden. Die Diagramme zeigen das Grundmuster: zuerst suchen, dann antworten. Bestehende Datenbanken und Stichwortsuche sind ebenfalls möglich; eine Vektordatenbank ist nicht zwingend erforderlich.

Eine Analogie aus der Küche

Ein LLM allein ist wie ein Koch, der nur aus dem Gedächtnis kocht. Er ist gut, aber unbekannte Rezepte kann er nicht — und was im Kühlschrank liegt, weiß er auch nicht.

RAG bedeutet, dem Koch ein Rezeptbuch in die Hand zu drücken und ihm den Kühlschrank-Inhalt mitzuteilen, bevor er kocht. So kann er mit dem, was vorhanden ist, das beste Gericht zubereiten.

Die Rollen von Retrieval, Augmented und Generation

Wichtig: Das LLM selbst wird nicht neu trainiert — vielmehr wird ihm pro Anfrage das benötigte Wissen extern übergeben. Genau das ist der entscheidende Unterschied zum Fine-Tuning, das später behandelt wird.

Der Retrieval-Leitfaden von LangChain erläutert dieses Grundmuster und die Nutzung bestehender SQL-Datenbanken oder Dokumentensysteme.

2. Warum RAG nötig ist — drei Grenzen reiner LLMs

Drei Probleme lassen sich mit ChatGPT, Claude oder anderen LLMs allein nicht lösen.

Grenze 1: Wissens-Cutoff (Aktualität)

Das erlernte Wissen eines Modells kann spätere Änderungen nicht von sich aus überprüfen. Der Wissensstand hängt vom Modell ab; spätere Ereignisse müssen anhand von Dokumenten oder Suchergebnissen geprüft werden.

• „Welches Produkt wurde gestern angekündigt?“ → Ankündigung prüfen
• „Was änderte sich letzte Woche in den Bedingungen?“ → neue Fassung prüfen
• „Wie lautet der heutige Wechselkurs?“ → Daten mit Zeitangabe prüfen

RAG kann Nachrichten, Datenbanken oder APIs nutzen. Veraltete Quellen können trotzdem veraltete Antworten erzeugen. Dokumente und Suchergebnisse müssen geprüft werden.

Grenze 2: Halluzinationen (plausibel klingende Falschaussagen)

Wird ein LLM zu Unbekanntem befragt, neigt es dazu, plausibel klingende, aber erfundene Antworten zu liefern. Das nennt man Halluzination.

Ohne die private Firmenregelung könnte das Modell eine plausible Zahl zu Urlaubstagen erfinden. Dies ist ein Erklärungsbeispiel, keine für diesen Artikel ausgeführte oder beobachtete Antwort.

RAG ruft Dokumente ab, um Antworten mit Belegen zu unterstützen. Metadaten können Namen oder Seiten anzeigen. Eine Quellenangabe beweist jedoch nicht die Richtigkeit: Die Suche kann Informationen übersehen und das Modell kann sie falsch verstehen.

Grenze 3: Kein Zugriff auf interne und private Daten

Gehen Sie nicht davon aus, dass ein öffentliches Modell private Firmenhandbücher oder Verträge kennt. Prüfen Sie vor der Bereitstellung die Nutzungsberechtigung und die Übermittlungsziele.

RAG wählt relevante Inhalte aus, garantiert aber keine Vertraulichkeit. Auch bei eigener Datenbank erhalten externe Embedding- oder LLM-APIs Dokumente, Fragen oder Textstellen. Prüfen Sie Suchberechtigungen, Übermittlungsziele, Speicherung und Protokolle; die FAQ unterscheiden diese Punkte.

3. Funktionsweise — RAG in drei Schritten

RAG hat zwei Phasen: „Vorbereitung (Index aufbauen)“ und „Laufzeit (Anfrage beantworten)“.

Vorbereitung — Dokumente vektorisieren und ablegen

1. Dokumente sammeln: PDF, Word, HTML, Markdown — was immer benötigt wird
2. Chunking: die Texte in passende Längen schneiden (z.B. 500–1000 Zeichen)
3. Embedding: jeden Chunk durch ein Embedding-Modell (z.B. OpenAI text-embedding-3-small) jagen und in einen Vektor (z.B. 1536-dimensionales Zahlenarray) umwandeln
4. In Vektor-DB speichern: Chunks und ihre Vektoren in einer spezialisierten Datenbank ablegen (Pinecone, Qdrant usw.)

Dieser Schritt läuft, sobald Dokumente hinzukommen oder aktualisiert werden.

Laufzeit — Anfrage in drei Schritten

Wenn eine Nutzeranfrage eingeht, geschieht Folgendes:

1. Schritt 1: Retrieval (Suche)
   • Die Frage wird mit demselben Embedding-Modell vektorisiert
   • Die K nächsten Textabschnitte zum Fragevektor abrufen (3 in diesem Beispiel)
   • Als Ähnlichkeitsmaß dient z.B. die Kosinus-Ähnlichkeit
2. Schritt 2: Augmented (Anreichern)
   • Die abgerufenen Chunks werden als „Kontext“ in den Prompt eingebaut
   • Etwa: „Beantworte die Frage anhand der folgenden Informationen: [Suchergebnisse] Frage: [Nutzerfrage]“
3. Schritt 3: Generation (Erzeugung)
   • Das LLM (GPT, Claude, Gemini usw.) erzeugt die Antwort gestützt auf den Kontext
   • Bei Bedarf werden die zitierten Dokumentstellen mitgeliefert

Konkretes Beispiel: Betriebsordnung in ChatGPT befragen

Die folgenden Urlaubstage, Beschäftigungszeiten und Artikelnummern gehören zu einer fiktiven Firmenregelung und beschreiben keinen tatsächlichen Anspruch.

Ablauf bei der Frage „Wie viele Urlaubstage gibt es?“:

1. Frage wird vektorisiert → [0.12, -0.45, 0.78, ...]
2. Aus der Vektor-DB werden 3 Chunks zu „Urlaub“ / „bezahlter Urlaub“ geholt
3. Beispielhafte Chunks: „§15 Jahresurlaub: nach sechs Monaten Betriebszugehörigkeit zehn Tage…“ / „je nach Dienstjahren bis zu 20 Tage…“
4. Prompt: „Kontext: §15 … Frage: Wie viele Urlaubstage gibt es?“
5. Antwort des LLM: „Nach sechs Monaten Betriebszugehörigkeit zehn Tage, je nach Dienstjahren bis zu 20 (vgl. §15 der Betriebsordnung).“

4. Die zentralen Komponenten von RAG

RAG besteht aus fünf Bausteinen.

1. Embedding-Modell

Ein KI-Modell, das Text in numerische Vektoren übersetzt. Es ist so trainiert, dass „semantisch ähnliche Texte im Vektorraum nah beieinander liegen“.

Der offizielle Embedding-Leitfaden erläutert OpenAIs Standarddimensionen und ihre Verkürzung. Bewerten Sie Kandidaten mit Ihren Dokumenten, nicht allein nach Dimensionen. Eine Datenbank oder Erweiterung speichert Vektoren und ruft ähnliche ab; mehr dazu im nächsten Abschnitt.

2. Vektor-Datenbank

3. Retriever

Neben der Vektor-Suche werden oft Stichwortsuche (z.B. BM25) oder Hybrid-Verfahren kombiniert.

4. LLM (Generator)

Das große Sprachmodell, das die endgültige Antwort schreibt. GPT, Claude, Gemini, Llama usw. — kommerzielle APIs ebenso wie OSS-Modelle lokal. Alle diese Modellfamilien wechseln ständig ihre Versionen; die aktuellen Modellnamen finden Sie in unserer Liste der wichtigsten KI-Modelle.

5. Prompt-Vorlage

Die Schablone, die Suchergebnisse und Nutzerfrage zusammensetzt. Sie entscheidet wesentlich über die RAG-Qualität.

Du bist ein Assistent fuer interne Regelungen.
Beantworte die Frage ausschliesslich anhand des folgenden Kontexts.
Falls die Antwort nicht im Kontext steht, sage „Keine Information vorhanden."

[Kontext]
{retrieved_chunks}

[Frage]
{user_question}

[Antwort]

5. Was ist eine Vektor-Datenbank?

Eine Vektordatenbank bietet Indizes und Funktionen zum Speichern hochdimensionaler Vektoren und Abrufen ähnlicher Vektoren. Sie können einen eigenen Dienst wählen oder eine bestehende Datenbank erweitern, etwa PostgreSQL mit pgvector. Geschwindigkeit und Genauigkeit hängen von Index, Daten und Einstellungen ab.

Wichtige Vektor-DBs im Vergleich

Welche soll man wählen?

Die Preise von Pinecone und Weaviate wurden am 9. Oktober 2026 auf den offiziellen Seiten geprüft. Auch kostenlose Software benötigt Hosting und Wartung. Cloud-Kosten hängen von Kapazität, Suchvolumen, Zusatzfunktionen und weiteren Optionen ab.

• Suche in Python erproben: Chroma oder ähnliche Tools; Pakete und Modelle vorbereiten
• Vorhandenes PostgreSQL nutzen: pgvector (alles in einer DB)
• Infrastruktur verwalten lassen: Pinecone oder anderer Managed-Dienst; Indizes, Kapazität und Rechte müssen weiterhin konfiguriert werden
• Eigener Betrieb: Qdrant oder Weaviate; Betrieb und Rechte selbst verwalten
• Große Sammlungen: Kandidaten wie Milvus mit realen Daten auf Indizes, Kapazität und Suchleistung prüfen

Zur Hosting-Wahl hilft auch PaaS (Vercel & Co.) im Vergleich mit Shared Hosting, VPS und Cloud.

6. Typische Anwendungsfälle

RAG kann Antworten auf Basis interner Dokumente, Produktinformationen und anderer Quellen unterstützen. Hier sind mögliche Einsatzbeispiele.

Fall 1: Internes Dokumenten-Q&A (Knowledge Base)

Rufen Sie Regelungen, Handbücher, Spezifikationen, Protokolle oder Vertriebsunterlagen für Mitarbeiterfragen ab. Das System muss Zugriffsrechte berücksichtigen und Änderungen im Index abbilden.

Fall 2: Automatisierter Kundensupport

FAQs und Support-Historien werden RAG-fähig — Chatbots übernehmen die Erstantwort, Menschen kümmern sich um die komplexen Fälle.

Fall 3: Fachwissen in Recht und Medizin

Gesetze, Entscheidungen, medizinische Arbeiten oder Leitlinien können als Referenzen dienen. Eine Quellenangabe belegt weder Aktualität noch Richtigkeit der Antwort. Wichtige Entscheidungen erfordern die Prüfung der Originale, Bedingungen und Rechtsordnung durch Fachpersonen.

Fall 4: Forschungsliteratur durchsuchen und zusammenfassen

Suchen Sie nach zur Nutzung freigegebenen Arbeiten oder Zusammenfassungen zu Entwicklungen und verwandter Forschung. Geben Sie Zeitraum und Quellenumfang an und prüfen Sie Ergebnisse und Bedingungen in den Originalen.

Fall 5: Produktsuche und FAQ im E-Commerce

Produktanleitungen, Bewertungen, Rückgaberichtlinien werden in einem RAG zusammengeführt. Anfragen wie „Eignet sich dieser Staubsauger für Tierhaare?“ lassen sich in natürlicher Sprache lösen.

Fall 6: Doku-Chats für Entwickler

Bibliotheks- und API-Dokumentation kann Fragen wie „Gibt es ein Beispiel für diesen Verarbeitungsschritt?“ unterstützen. Prüfen Sie Versionen und Bedingungen der gefundenen Beispiele.

Fall 7: Suchen und Erklären in der eigenen Codebasis

Code und Entwurfsunterlagen können Funktionen erklären oder ähnliche Implementierungen auffindbar machen. Entwicklungswerkzeuge können Code heranziehen; ihr interner Ablauf muss jedoch nicht diesem Diagramm entsprechen. Beispiele für Werkzeuge zur Codeabfrage: GitHub Copilot und Cursor, Claude Code und andere AI-Entwicklungstools.

Fall 8: AI-Optimierung etwa mit llms.txt

llms.txt ist ein Vorschlag, um KI-Werkzeuge auf ausgewählte Seiten hinzuweisen. Er garantiert nicht, dass ein Dienst diese liest, indexiert oder zitiert. Prüfen Sie den Aufnahmemechanismus und die Berechtigungen.

7. RAG vs. Fine-Tuning — was wählen?

Neben RAG ist Fine-Tuning der zweite klassische Weg, einem LLM eigenes Wissen zu vermitteln. Beide Ansätze sind grundsätzlich verschieden.

Grundsätzlicher Unterschied

Wann passt RAG

• Wissen ändert sich oft (News, interne Dokumente, Produktdaten)
• Antworten müssen belegt werden (Recht, Medizin, Finanzen)
• Je nach Frage werden andere Dokumente benötigt; relevante Abschnitte statt des gesamten Materials abrufen
• Dokumentabfragen ohne erneutes Modelltraining erproben

Wann passt Fine-Tuning

• Antworten in einem bestimmten Stil/Tonfall (Markenstimme, Charaktere)
• Sprachmuster eines Fachgebiets sollen verinnerlicht werden (Medizinisches, Juristisches)
• Kürzere Prompts oder kleinere Modelle einschließlich Trainingskosten bewerten
• Sie können erwartete Antwortbeispiele und Evaluationsdaten bereitstellen

Zusätzliches Training ist je nach Dienst unterschiedlich verfügbar. Laut der am 9. Oktober 2026 geprüften offiziellen OpenAI-Dokumentation steht Fine-Tuning neuen Nutzern nicht zur Verfügung. Prüfen Sie Modelle und Bedingungen vor der Auswahl.

Bei Bedarf kombinieren und das Ergebnis bewerten

RAG und Fine-Tuning lassen sich kombinieren: etwa Antwortformate trainieren und aktualisierte Dokumente per Suche bereitstellen. Die Kombination garantiert jedoch keine bessere Qualität.

Definieren Sie Antworten und Evaluation; erproben Sie zunächst Anweisungen und Dokumente. RAG dient der Quellenabfrage, Fine-Tuning der Verhaltensanpassung. Vergleichen Sie Kosten, Geschwindigkeit und Qualität mit realen Eingaben. OpenAIs Leitfaden beschreibt eine entsprechende Iteration. Lokaler Betrieb hängt von Gewichten, Lizenz und Ressourcen ab.

8. Bevor Sie selbst bauen — mit eigenen Dokumenten testen

Bevor Sie ein eigenes RAG bauen, prüfen Sie mit Ihren Dokumenten, ob das Muster „erst suchen, dann antworten“ überhaupt hilft. Das erspart Umwege, und meist braucht der erste Test keinen Code.

Schritt 1: Prüfen, ob alle Dokumente direkt bereitgestellt werden können

Passt das Material in das Kontextfenster, können Sie es auch ohne Suche bereitstellen. In der Contextual-Retrieval-Erklärung von 2024 empfahl Anthropic, Sammlungen unter 200.000 Tokens (etwa 500 Seiten) direkt in den Prompt zu geben und Prompt-Caching zu verwenden (offizielle Erklärung). Dies ist kein allgemeiner Grenzwert: Entscheidend sind aktuelles Modelllimit, Umfang, Qualität und Kosten.

Schritt 2: Dokumente in eine fertige „Projekte“-Funktion laden und Fragen stellen

Claudes Projects schalten automatisch auf RAG um, wenn sich das Projektwissen der Kontextgrenze nähert, und fassen dann bis zu zehnmal mehr Inhalt. Das ist eine Funktion der kostenpflichtigen Pläne; ist sie aktiv, erscheint ein Hinweis, und Claude nutzt beim Antworten ein Werkzeug namens „project knowledge search“ (Claude-Hilfecenter). Auch die Projects von ChatGPT erlauben es, Dateien abzulegen und dazu Fragen zu stellen; Grenzen wie die Dateianzahl hängen vom Plan ab.

Schritt 3: Mit 10 Fragen testen, deren Antwort Sie kennen

Schreiben Sie 10 Fragen, bei denen Sie wissen, wo die Antwort in den Dokumenten steht, und notieren Sie drei Dinge.

1. Ist die Antwort richtig?
2. Ist die als Beleg genannte Stelle die richtige?
3. Sagt es bei einer Frage, deren Antwort nicht in den Dokumenten steht, dass sie dort fehlt?

Erfindet es Antworten, wiederholen Sie den Test mit der Anweisung, fehlende Informationen zu benennen. Zehn Fragen sind ein erster Versuch, kein Nachweis für Produktionsreife oder Sicherheit. Erweitern Sie die Prüfung auf wichtige Fragen, Widersprüche, ähnliche Dokumente und Rechte.

Schritt 4: Eigene und Managed-Lösungen bei höherem Kontrollbedarf vergleichen

Anthropic berichtete, dass Contextual Embeddings mit Contextual BM25 die Ausfallrate beim Abruf der ersten 20 Abschnitte um 49 % senkten, mit Reranking um 67 % (Bedingungen und Ergebnisse). Dies sind Anbietermessungen auf eigenen Evaluationsdaten, keine garantierte Verringerung von Antwortfehlern in Ihrem System.

Die minimale Eigenbau-Variante folgt im nächsten Abschnitt; Verbesserungen für den Produktivbetrieb wie hybride Suche und Reranking behandelt der Implementierungsleitfaden für RAG und Vektordatenbanken.

9. Implementierung — RAG mit LangChain

Zuerst die wichtigsten Frameworks, dann ein minimales Codebeispiel in Python.

Wichtige Frameworks

Minimales LangChain-RAG

Dieses Lernbeispiel ruft PDF-Abschnitte ab und übergibt sie dem Modell. LangChain 1.x benötigt Python 3.10 oder neuer. Hinterlegen Sie den Schlüssel in OPENAI_API_KEY und stellen Sie Zugriff auf die API-Modelle bereit. Schreiben Sie den Schlüssel niemals in Code oder öffentliche Repositories.

PDF-Text und Fragen werden an die Embedding-API gesendet, Fundstellen und Fragen an die LLM-API. Lokales Chroma bedeutet nicht vollständig lokale Verarbeitung. Die API-Abrechnung ist von ChatGPT getrennt. Verwenden Sie nicht vertrauliches, zur Übermittlung freigegebenes Material. Dieser Code ist ein Lernbeispiel, dessen Funktion nicht geprüft wurde. Vergleichen Sie ihn vor dem Ausführen mit der offiziellen Anleitung der von Ihnen verwendeten Bibliotheksversion.

# pip install -U langchain-openai langchain-chroma langchain-text-splitters langchain-community pypdf
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_chroma import Chroma

# 1. Dokumente laden
loader = PyPDFLoader("betriebsordnung.pdf")
docs = loader.load()

# 2. In Chunks teilen
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=50
)
chunks = splitter.split_documents(docs)

# 3. Embeddings + Vektor-DB aufbauen
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

# 4. Suchen (die 3 Chunks, die der Frage am nächsten sind)
question = "Wie viele Urlaubstage gibt es?"
found = retriever.invoke(question)
context = "\n\n".join(d.page_content for d in found)

# 5. Belege übergeben und Antwort erzeugen
llm = ChatOpenAI(model="gpt-6-luna")
answer = llm.invoke([
    {"role": "system", "content": "Antworte nur anhand des folgenden Materials. Steht die Antwort nicht darin, sag das.\n\n" + context},
    {"role": "user", "content": question},
])
print(answer.content)
print("Quellen:", [d.metadata for d in found])

Das Beispiel ruft PDF-Abschnitte ab und übergibt sie GPT-6 Luna; außerdem gibt es Metadaten aus. Seitenangaben hängen von Dokument und Loader ab. Quellenangaben in der erzeugten Antwort müssen separat überprüft werden.

gpt-6-luna wurde am 9. Oktober 2026 auf der offiziellen Modellseite geprüft. Prüfen Sie APIs, Bedingungen und Preise in der Modellliste. Vergleichen Sie Kandidaten anhand derselben Dokumente und Fragen auf Interpretation, Qualität, Geschwindigkeit und Kosten.

Der Code nutzt die Paketstruktur von LangChain 1.x. In Version 1.0 wechselten ältere Beispiele mit langchain.chains, darunter RetrievalQA, zu langchain-classic. Hier wird langchain_text_splitters importiert und 2-Step RAG umgesetzt: suchen, dann generieren. Prüfen Sie Imports und Python-Anforderungen im Migrationsleitfaden. Dokumentieren Sie Versionen und prüfen Sie den Code in einer reproduzierbaren Umgebung.

Für den Produktionseinsatz zusätzlich

• Optimierung des Chunkings (semantisches Splitten, hierarchische Chunks)
• Hybrid-Suche (Vektor + Stichwort BM25)
• Re-Ranking (Cohere Rerank, voyage-rerank)
• Query-Umformulierung (HyDE, Multi-Query)
• Evaluation (automatisierte Bewertung mit RAGAS)

10. Herausforderungen und Lösungen

Prüfen Sie im Produktivbetrieb diese Aspekte von RAG.

Problem 1: schwieriges Chunking

Die Wahl der Chunk-Größe beeinflusst die Suchqualität stark. Zu kurz: Kontext geht verloren. Zu lang: Suche wird ungenau.

Lösungen:

• Semantisches Splitten (nach Sinneinheiten)
• Overlap (benachbarte Chunks überlappen)
• Hierarchische Chunks (Eltern-Kind: suchen im Kind, referenzieren im Eltern-Chunk)

Problem 2: Genauigkeit der Suche

Ähnliche, aber falsche Chunks landen oben; wichtige Stellen werden übersehen.

Lösungen:

• Hybrid-Suche (Vektor + BM25)
• Re-Ranking nach der Vorauswahl
• Multi-Query (gleiche Frage in mehreren Formulierungen suchen)

Problem 3: Begrenzung der Kontextlänge

LLMs verarbeiten nur eine begrenzte Token-Menge — sehr viele Chunks passen nicht.

Lösungen:

• K klein halten (Top 3–5)
• Vorab zusammenfassen und dann übergeben
• Modelle mit langem Kontext nutzen (das Limit unterscheidet sich je nach Modell, manche verarbeiten heute rund eine Million Tokens; das Limit des eigenen Modells in der offiziellen Dokumentation prüfen)

Problem 4: schwierige Bewertung

Die Antwortqualität objektiv zu messen, ist nicht trivial. Auch das Aufstellen von Referenzantworten ist Arbeit.

Lösungen:

• RAGAS (OSS-Framework zur RAG-Evaluierung)
• Kennzahlen wie Antwortrichtigkeit, Relevanz, Treue zur Quelle automatisch berechnen
• LLM-as-a-Judge (ein anderes LLM bewertet)

Problem 5: mehrsprachig und multimodal

Dokumente, die Deutsch und Englisch mischen, PDFs mit Bildern, Tabellen oder Diagrammen — alles eine Herausforderung.

Lösungen:

• Mehrsprachige Embedding-Modelle (BGE-M3, Cohere Multilingual)
• Bilder/Tabellen vorab per LLM in Text wandeln (OCR + VLM)
• Multimodale Embeddings (CLIP, Nomic usw.)

11. Wichtige Tools und Dienste im Überblick

Eine Sortierung der wichtigsten Werkzeuge für den RAG-Bau.

Frameworks und Bibliotheken

• LangChain — Integrationen für Suche, Modelle und Datenquellen
• LlamaIndex — Spezialist für Datenanbindung
• Haystack — enterprise-tauglich
• DSPy — automatisierte Prompt-Optimierung

Vektor-DBs (managed)

• Pinecone — verwaltete Vektorsuche
• Weaviate Cloud — GraphQL
• Qdrant Cloud — verwalteter Qdrant-Dienst
• Zilliz Cloud — Milvus als Managed-Service

Vektor-DBs (OSS / Self-Hosting)

• Chroma — Vektorsuche über Python
• Qdrant — Vektorsuche und Filter
• Weaviate — OSS-Variante
• Milvus — Vektordatenbank
• pgvector — PostgreSQL-Erweiterung

Embedding-Modelle

• OpenAI text-embedding-3 — Embeddings über eine API
• Voyage AI — in der Anthropic-Dokumentation vorgestellt
• Cohere Embed — mehrsprachig
• BGE-M3 — mehrsprachiger Kandidat für lokale Nutzung

No-Code- und Managed-RAG-Dienste

• ChatGPT Projects / bestehende Custom GPTs — Dokumentabfrage; Verarbeitung und Bedingungen je Funktion prüfen
• Claude Projects — RAG bei Anthropic
• Notion AI — Suche in Notion-Dokumenten
• Microsoft Copilot (Microsoft 365) — Kandidat für interne Dokumente; Vertrag, Verbindungen und Rechte prüfen
• Dify — OSS-Plattform für No-Code-AI
• Vertex AI Agent Builder — RAG-Aufbau in Google Cloud
• Amazon Bedrock Knowledge Bases — Managed-RAG bei AWS

Evaluations-Tools

• RAGAS — OSS-Framework für RAG-Evaluation
• TruLens — allgemeine Bewertung von LLM-Anwendungen
• LangSmith — Tracing und Evaluation von LangChain

Wenn Sie tiefer in das Fine-Tuning einsteigen möchten, lesen Sie auch was ist Fine-Tuning: Es erklärt, wann man es statt RAG nutzt, und Methoden wie LoRA/QLoRA — für Einsteiger.

FAQ

Am 9. Oktober 2026 wurden Preise, Produktverfügbarkeit und API-Datenverarbeitung anhand offizieller Quellen geprüft. Code- oder API-Ausführung, Kosten und Vertraulichkeit in einer realen Umgebung wurden nicht verifiziert. Prüfen Sie die aktuellen Bedingungen vor der Implementierung.