Was ist RAG? Funktionsweise und Anwendungsfälle einfach erklärt

„Wir wollen ChatGPT unsere Betriebsordnung beibringen und Mitarbeiterfragen automatisch beantworten lassen.“ „Eine aktuelle Forschungsdatenbank durchsuchen und zusammenfassen lassen.“ Solche Anforderungen werden immer häufiger. Aber die Trainingsdaten von ChatGPT enden zu einem bestimmten Zeitpunkt — und vertrauliche interne Dokumente einfach trainieren zu lassen, geht auch nicht.

Die Lösung dafür heißt RAG (Retrieval-Augmented Generation). Seit 2023 ist es eines der wichtigsten Stichworte für den AI-Einsatz in Unternehmen geworden — und auch ChatGPTs „Custom GPTs“ und „Projects“ arbeiten intern mit RAG.

Dieser Artikel erklärt RAG in drei Schritten und behandelt Vektor-Datenbanken, eine LangChain-Implementierung sowie die Abgrenzung zum Fine-Tuning — verständlich für Einsteiger und trotzdem technisch korrekt.

1. Was ist RAG — Retrieval-Augmented Generation

RAG (Retrieval-Augmented Generation) bedeutet wörtlich „durch Retrieval (Suche) augmentierte (erweiterte) Generation“. Auf Deutsch oft als retrieval-erweiterte Erzeugung bezeichnet.

In einem Satz: ein LLM (großes Sprachmodell) sucht vor der Antwort relevante Informationen in einer externen Datenquelle und erzeugt die Antwort dann mit Bezug auf diese Suchergebnisse.

Eine Analogie aus der Küche

Ein LLM allein ist wie ein Koch, der nur aus dem Gedächtnis kocht. Er ist gut, aber unbekannte Rezepte kann er nicht — und was im Kühlschrank liegt, weiß er auch nicht.

RAG bedeutet, dem Koch ein Rezeptbuch in die Hand zu drücken und ihm den Kühlschrank-Inhalt mitzuteilen, bevor er kocht. So kann er mit dem, was vorhanden ist, das beste Gericht zubereiten.

Die Rollen von Retrieval, Augmented und Generation

Wichtig: Das LLM selbst wird nicht neu trainiert — vielmehr wird ihm pro Anfrage das benötigte Wissen extern übergeben. Genau das ist der entscheidende Unterschied zum Fine-Tuning, das später behandelt wird.

2. Warum RAG nötig ist — drei Grenzen reiner LLMs

Drei Probleme lassen sich mit ChatGPT, Claude oder anderen LLMs allein nicht lösen.

Grenze 1: Wissens-Cutoff (Aktualität)

LLMs werden mit Daten bis zu einem bestimmten Stichtag trainiert; was danach passiert, kennen sie nicht. Die frühe GPT-4-Version etwa hatte nur Wissen bis April 2023.

• „Erzähl mir vom Produkt, das gestern angekündigt wurde.“ → keine Antwort möglich
• „Was steht in der Gesetzesnovelle der letzten Woche?“ → keine Antwort möglich
• „Wie ist der heutige Wechselkurs?“ → keine Antwort möglich

Mit RAG lassen sich aktuelle News, Datenbanken oder APIs anzapfen und die Antwort darauf stützen.

Grenze 2: Halluzinationen (plausibel klingende Falschaussagen)

Wird ein LLM zu Unbekanntem befragt, neigt es dazu, plausibel klingende, aber erfundene Antworten zu liefern. Das nennt man Halluzination.

Beispiel: „Wie viele Urlaubstage gewährt Ihre Firma?“ — das LLM kennt die Antwort nicht und sagt trotzdem „üblicherweise 10 bis 20 Tage“. So nicht einsetzbar.

RAG lässt die tatsächliche Betriebsordnung durchsuchen und referenziert die passende Stelle, sodass belegte Antworten entstehen — inklusive Quellenangabe nach Dokument und Seite.

Grenze 3: Kein Zugriff auf interne und private Daten

Handbücher, Verträge, Kundendaten Ihrer Firma stehen nicht in den Trainingsdaten eines LLM. Geheime Inhalte einfach zu trainieren, ist ebenfalls keine Option (Risiko des Datenabflusses, Kosten).

RAG legt interne Dokumente in eine eigene Vektor-Datenbank und übergibt nur die relevanten Auszüge an das LLM. So lassen sich interne Daten nutzen, ohne Sicherheit aufzugeben.

3. Funktionsweise — RAG in drei Schritten

RAG hat zwei Phasen: „Vorbereitung (Index aufbauen)“ und „Laufzeit (Anfrage beantworten)“.

Vorbereitung — Dokumente vektorisieren und ablegen

1. Dokumente sammeln: PDF, Word, HTML, Markdown — was immer benötigt wird
2. Chunking: die Texte in passende Längen schneiden (z.B. 500–1000 Zeichen)
3. Embedding: jeden Chunk durch ein Embedding-Modell (z.B. OpenAI text-embedding-3-small) jagen und in eine Vektor (z.B. 1536-dimensionales Zahlenarray) umwandeln
4. In Vektor-DB speichern: Chunks und ihre Vektoren in einer spezialisierten Datenbank ablegen (Pinecone, Qdrant usw.)

Dieser Schritt läuft, sobald Dokumente hinzukommen oder aktualisiert werden.

Laufzeit — Anfrage in drei Schritten

Wenn eine Nutzeranfrage eingeht, geschieht Folgendes:

1. Schritt 1: Retrieval (Suche)
   • Die Frage wird mit demselben Embedding-Modell vektorisiert
   • In der Vektor-DB werden die zur Frage „nächstgelegenen“ Chunks geholt — Top-K (typisch 3–10)
   • Als Aehnlichkeitsmass dient z.B. die Kosinus-Ähnlichkeit
2. Schritt 2: Augmented (Anreichern)
   • Die abgerufenen Chunks werden als „Kontext“ in den Prompt eingebaut
   • Etwa: „Beantworte die Frage anhand der folgenden Informationen: [Suchergebnisse] Frage: [Nutzerfrage]“
3. Schritt 3: Generation (Erzeugung)
   • Das LLM (GPT-4, Claude, Gemini usw.) erzeugt die Antwort gestützt auf den Kontext
   • Bei Bedarf werden die zitierten Dokumentstellen mitgeliefert

Konkretes Beispiel: Betriebsordnung in ChatGPT befragen

Ablauf bei der Frage „Wie viele Urlaubstage gibt es?“:

1. Frage wird vektorisiert → [0.12, -0.45, 0.78, ...]
2. Aus der Vektor-DB werden 3 Chunks zu „Urlaub“ / „bezahlter Urlaub“ geholt
3. Beispielhafte Chunks: „§15 Jahresurlaub: nach sechs Monaten Betriebszugehoerigkeit zehn Tage…“ / „je nach Dienstjahren bis zu 20 Tage…“
4. Prompt: „Kontext: §15 … Frage: Wie viele Urlaubstage gibt es?“
5. Antwort des LLM: „Nach sechs Monaten Betriebszugehoerigkeit zehn Tage, je nach Dienstjahren bis zu 20 (vgl. §15 der Betriebsordnung).“

4. Die zentralen Komponenten von RAG

RAG besteht aus fünf Bausteinen.

1. Embedding-Modell

Ein KI-Modell, das Text in numerische Vektoren übersetzt. Es ist so trainiert, dass „semantisch ähnliche Texte im Vektorraum nah beieinander liegen“.

2. Vektor-Datenbank

Speichert große Mengen von Vektoren und durchsucht „ähnliche Vektoren“ sehr schnell. Details im nächsten Kapitel.

3. Retriever

Neben der Vektor-Suche werden oft Stichwortsuche (z.B. BM25) oder Hybrid-Verfahren kombiniert.

4. LLM (Generator)

Das große Sprachmodell, das die endgültige Antwort schreibt. GPT-4, Claude, Gemini, Llama 3 usw. — kommerzielle APIs ebenso wie OSS-Modelle lokal.

5. Prompt-Vorlage

Die Schablone, die Suchergebnisse und Nutzerfrage zusammensetzt. Sie entscheidet wesentlich über die RAG-Qualität.

Du bist ein Assistent fuer interne Regelungen.
Beantworte die Frage ausschliesslich anhand des folgenden Kontexts.
Falls die Antwort nicht im Kontext steht, sage „Keine Information vorhanden."

[Kontext]
{retrieved_chunks}

[Frage]
{user_question}

[Antwort]

5. Was ist eine Vektor-Datenbank?

Eine Vektor-DB ist anders als eine klassische RDB (z.B. MySQL): sie ist darauf spezialisiert, in einem hochdimensionalen Vektorraum schnell den nächsten Nachbarn (die ähnlichsten Vektoren) zu finden.

Wichtige Vektor-DBs im Vergleich

Welche soll man wählen?

• Erst einmal ausprobieren: Chroma (mit pip installieren, sofort lauffähig)
• Vorhandenes PostgreSQL nutzen: pgvector (alles in einer DB)
• Produktion mit minimalem Aufwand: Pinecone (kein Setup-Aufwand)
• OSS für Produktion: Qdrant oder Weaviate
• Hunderte Millionen bis Milliarden Einträge: Milvus

Zur Hosting-Wahl hilft auch PaaS (Vercel & Co.) im Vergleich mit Shared Hosting, VPS und Cloud.

6. Typische Anwendungsfälle

RAG ist seit 2023 eine der meistgenutzten Techniken im KI-Einsatz von Unternehmen. Hier die wichtigsten Felder.

Fall 1: Internes Dokumenten-Q&A (Knowledge Base)

Betriebsordnungen, Handbücher, Spezifikationen, Protokolle, Vertriebsunterlagen werden RAG-fähig gemacht — Mitarbeitende fragen wie in ChatGPT. Auch Microsoft 365 Copilot nutzt RAG über SharePoint-Dokumente.

Fall 2: Automatisierter Kundensupport

FAQs und Support-Historien werden RAG-fähig — Chatbots übernehmen die Erstantwort, Menschen kümmern sich um die komplexen Fälle.

Fall 3: Fachwissen in Recht und Medizin

Urteilsdatenbanken, medizinische Studien, Leitlinien werden eingebunden — Anwaeltinnen und Ärzte erhalten ein Recherchewerkzeug. Da Quellen ausgewiesen werden, passt RAG hier besonders gut.

Fall 4: Forschungsliteratur durchsuchen und zusammenfassen

arXiv, PubMed, Google Scholar werden indiziert — „Wie ist der aktuelle Stand zu Thema X?“ oder „Welche Studien ähneln Methode Y?“ werden beantwortbar. Bekannte Beispiele: Elicit, Perplexity.

Fall 5: Produktsuche und FAQ im E-Commerce

Produktanleitungen, Bewertungen, Rueckgaberichtlinien werden in einem RAG zusammengeführt. Anfragen wie „Eignet sich dieser Staubsauger für Tierhaare?“ lassen sich in natürlicher Sprache lösen.

Fall 6: Doku-Chats für Entwickler

Offizielle Dokumentationen werden über RAG erschlossen — „Wie schreibe ich das in AWS Lambda?“ liefert Beispielcode. Stripe, Vercel, Supabase und andere setzen das ein.

Fall 7: Suchen und Erklären in der eigenen Codebasis

GitHub-Code wird RAG-fähig — „Wie verwende ich diese Funktion?“ oder „Welche Datei macht etwas Ähnliches?“. GitHub Copilot Chat sowie Cursor, Claude Code und andere AI-Entwicklungstools nutzen intern RAG-ähnliche Verfahren.

Fall 8: AI-Optimierung etwa mit llms.txt

Auch llms.txt harmoniert mit RAG: Website-Betreiber stellen strukturierte Informationen bereit, die KI-Systeme zuverlässig auswerten können.

7. RAG vs. Fine-Tuning — was wählen?

Neben RAG ist Fine-Tuning der zweite klassische Weg, einem LLM eigenes Wissen zu vermitteln. Beide Ansätze sind grundsätzlich verschieden.

Grundsaetzlicher Unterschied

Wann passt RAG

• Wissen ändert sich oft (News, interne Dokumente, Produktdaten)
• Antworten müssen belegt werden (Recht, Medizin, Finanzen)
• Es gibt sehr viele Dokumente (alles trainieren ist unrealistisch)
• Schneller Start gewünscht (kurze Entwicklungszeit)

Wann passt Fine-Tuning

• Antworten in einem bestimmten Stil/Tonfall (Markenstimme, Charaktere)
• Sprachmuster eines Fachgebiets sollen verinnerlicht werden (Medizinisches, Juristisches)
• Inferenzkosten senken (Prompt wird kürzer)
• Es liegen bereits viele Trainingsbeispiele vor

Beide kombiniert ist am stärksten

Tatsächlich sind RAG und Fine-Tuning keine Gegensätze, sie lassen sich kombinieren. Stil per Fine-Tuning, aktuelles Wissen per RAG — ein in der Praxis häufiges Setup.

Für Einsteiger gilt jedoch: zuerst RAG ausprobieren. Aufbau und Betrieb sind ungleich einfacher als beim Fine-Tuning.

8. Implementierung — RAG mit LangChain

Zuerst die wichtigsten Frameworks, dann ein minimales Codebeispiel in Python.

Wichtige Frameworks

Minimales LangChain-RAG

Ein RAG, das Fragen zu einer internen Betriebsordnung (PDF) beantwortet — in rund 30 Zeilen LangChain.

from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. Dokumente laden
loader = PyPDFLoader("betriebsordnung.pdf")
docs = loader.load()

# 2. In Chunks teilen
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=50
)
chunks = splitter.split_documents(docs)

# 3. Embeddings + Vektor-DB aufbauen
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(chunks, embeddings)

# 4. RAG-Kette aufsetzen
llm = ChatOpenAI(model="gpt-4o-mini")
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
    return_source_documents=True,
)

# 5. Frage stellen
result = qa.invoke({"query": "Wie viele Urlaubstage gibt es?"})
print(result["result"])
print("Quellen:", [d.metadata for d in result["source_documents"]])

Damit werden passende Stellen aus dem PDF gesucht und GPT-4o-mini erzeugt eine Antwort. Da Seitenzahlen mitgeliefert werden, lassen sich Antworten wie „siehe §15“ mit Verweis ausgeben.

Für den Produktionseinsatz zusätzlich

• Optimierung des Chunkings (semantisches Splitten, hierarchische Chunks)
• Hybrid-Suche (Vektor + Stichwort BM25)
• Re-Ranking (Cohere Rerank, voyage-rerank)
• Query-Umformulierung (HyDE, Multi-Query)
• Evaluation (automatisierte Bewertung mit RAGAS)

9. Herausforderungen und Lösungen

RAG ist mächtig, im Betrieb tauchen aber typische Probleme auf.

Problem 1: schwieriges Chunking

Die Wahl der Chunk-Größe beeinflusst die Suchqualität stark. Zu kurz: Kontext geht verloren. Zu lang: Suche wird ungenau.

Lösungen:

• Semantisches Splitten (nach Sinneinheiten)
• Overlap (benachbarte Chunks überlappen)
• Hierarchische Chunks (Eltern-Kind: suchen im Kind, referenzieren im Eltern-Chunk)

Problem 2: Genauigkeit der Suche

Ähnliche, aber falsche Chunks landen oben; wichtige Stellen werden übersehen.

Lösungen:

• Hybrid-Suche (Vektor + BM25)
• Re-Ranking nach der Vorauswahl
• Multi-Query (gleiche Frage in mehreren Formulierungen suchen)

Problem 3: Begrenzung der Kontextlänge

LLMs verarbeiten nur eine begrenzte Token-Menge — sehr viele Chunks passen nicht.

Lösungen:

• K klein halten (Top 3–5)
• Vorab zusammenfassen und dann übergeben
• Modelle mit langem Kontext nutzen (Claude 200K Tokens, Gemini 1M usw.)

Problem 4: schwierige Bewertung

Die Antwortqualität objektiv zu messen, ist nicht trivial. Auch das Aufstellen von Referenzantworten ist Arbeit.

Lösungen:

• RAGAS (OSS-Framework zur RAG-Evaluierung)
• Kennzahlen wie Antwortrichtigkeit, Relevanz, Treue zur Quelle automatisch berechnen
• LLM-as-a-Judge (ein anderes LLM bewertet)

Problem 5: mehrsprachig und multimodal

Dokumente, die Deutsch und Englisch mischen, PDFs mit Bildern, Tabellen oder Diagrammen — alles eine Herausforderung.

Lösungen:

• Mehrsprachige Embedding-Modelle (BGE-M3, Cohere Multilingual)
• Bilder/Tabellen vorab per LLM in Text wandeln (OCR + VLM)
• Multimodale Embeddings (CLIP, Nomic usw.)

10. Wichtige Tools und Dienste im Überblick

Eine Sortierung der wichtigsten Werkzeuge für den RAG-Bau.

Frameworks und Bibliotheken

• LangChain — am weitesten verbreitet
• LlamaIndex — Spezialist für Datenanbindung
• Haystack — enterprise-tauglich
• DSPy — automatisierte Prompt-Optimierung

Vektor-DBs (managed)

• Pinecone — Industriestandard
• Weaviate Cloud — GraphQL
• Qdrant Cloud — leistungsstark
• Zilliz Cloud — Milvus als Managed-Service

Vektor-DBs (OSS / Self-Hosting)

• Chroma — schlank, Python-freundlich
• Qdrant — schnell (Rust)
• Weaviate — OSS-Variante
• Milvus — für große Mengen
• pgvector — PostgreSQL-Erweiterung

Embedding-Modelle

• OpenAI text-embedding-3 — Standard, günstig
• Voyage AI — von Anthropic empfohlen
• Cohere Embed v3 — mehrsprachig
• BGE-M3 — OSS, sehr gute Qualität

No-Code- und Managed-RAG-Dienste

• ChatGPT Projects / Custom GPTs — RAG bei OpenAI
• Claude Projects — RAG bei Anthropic
• Notion AI — Suche in Notion-Dokumenten
• Microsoft Copilot (Microsoft 365) — übergreifende Suche in SharePoint und Teams
• Dify — OSS-Plattform für No-Code-AI
• Vertex AI Agent Builder — RAG-Aufbau in Google Cloud
• Amazon Bedrock Knowledge Bases — Managed-RAG bei AWS

Evaluations-Tools

• RAGAS — OSS-Framework für RAG-Evaluation
• TruLens — allgemeine Bewertung von LLM-Anwendungen
• LangSmith — Tracing und Evaluation von LangChain

Wenn Sie tiefer in das Fine-Tuning einsteigen möchten, lesen Sie auch was ist Fine-Tuning: Es erklärt, wann man es statt RAG nutzt, und Methoden wie LoRA/QLoRA — für Einsteiger.

FAQ

Dieser Artikel basiert auf dem Stand vom April 2026. RAG-Tools und -Modelle entwickeln sich schnell — vor dem Einsatz bitte die jeweils aktuelle Dokumentation der einzelnen Anbieter prüfen.