KI-Halluzinationen in der Rechtsrecherche: Warum 0% der neue Standard sein muss
Ein US-Anwalt wurde sanktioniert, weil er von ChatGPT erfundene Urteile zitierte. In Deutschland wäre das nicht nur peinlich — es verstößt gegen § 138 ZPO und § 43a BRAO. Hier erfahren Sie, warum das passiert und wie Sie es vermeiden.
Das Problem: KI erfindet Quellen
Generische KI-Chatbots wie ChatGPT, Claude oder Gemini sind beeindruckend gut darin, Texte zu formulieren. Was sie nicht können: in einer echten Datenbank nachschlagen.
Wenn Sie ChatGPT bitten, „relevante BGH-Urteile zum Eigenbedarf" zu nennen, erzeugt es plausibel klingende Aktenzeichen — die oft nicht existieren. Das Modell „halluziniert": Es generiert Text, der statistisch wahrscheinlich aussieht, aber keinen Bezug zur Realität hat.
Mata v. Avianca (2023) — der Warnschuss
Der New Yorker Anwalt Steven Schwartz reichte einen Schriftsatz ein, der sechs Gerichtsentscheidungen zitierte — alle von ChatGPT generiert, keine davon real. Das Gericht verhängte eine Geldstrafe von $5.000.
Schwartz erklärte, er habe „nicht gewusst, dass ChatGPT Inhalte erfinden kann." Diese Ausrede wird kein deutsches Gericht akzeptieren.
Warum das in Deutschland besonders kritisch ist
In den USA war Mata v. Avianca ein Einzelfall, der Schlagzeilen machte. Im deutschen Recht sind die Konsequenzen strukturell schwerwiegender:
§ 138 Abs. 1 ZPO — Wahrheitspflicht
Parteien dürfen im Zivilprozess nur wahre Tatsachenbehauptungen aufstellen. Wer nicht existierende Urteile zitiert, verstößt gegen diese Pflicht. Das Gericht kann daraus prozessuale Nachteile ableiten.
§ 43a BRAO — Gewissenhaftigkeit
Anwälte sind zur gewissenhaften Berufsausübung verpflichtet. Dazu gehört, die Zuverlässigkeit der eigenen Quellen zu prüfen. Blindes Vertrauen auf einen KI-Chatbot dürfte nicht als gewissenhaft gelten.
Haftungsrecht — § 280 BGB
Wenn ein Anwalt aufgrund halluzinierter Quellen falsch berät und dem Mandanten dadurch ein Schaden entsteht, kann das eine Pflichtverletzung aus dem Mandatsvertrag begründen.
Die Lösung: Erst suchen, dann zusammenfassen (RAG)
Die Architektur, die Halluzinationen verhindert, heißt Retrieval-Augmented Generation (RAG). Der Schlüssel: Die KI darf nicht frei assoziieren — sie darf nur über echte Dokumente sprechen, die vorher aus einer Datenbank abgerufen wurden.
ChatGPT-Ansatz
- User stellt Frage
- Sprachmodell generiert Antwort aus dem Gedächtnis
- Aktenzeichen werden statistisch „erraten"
- Keine Verifizierung gegen echte Datenbank
RAG-Ansatz
- User stellt Frage
- Semantische Suche in echter Urteilsdatenbank
- Relevante Urteile mit Aktenzeichen werden abgerufen
- KI fasst nur diese echten Ergebnisse zusammen
Checkliste: Woran Sie ein zuverlässiges Legal-AI-Tool erkennen
Drei Fragen, die Sie jedem Tool stellen sollten, bevor Sie ihm vertrauen:
Aktenzeichen sichtbar?
Jedes zitierte Urteil muss ein reales, nachprüfbares Aktenzeichen tragen.
Originalurteil verlinkt?
Sie sollten mit einem Klick zum Volltext des Urteils gelangen können.
Echte Datenbank als Quelle?
Ergebnisse aus einer verifizierten Urteilsdatenbank, nicht aus einem Chatbot-Kontext.
Bei OffeneUrteileSuche: Alle drei Punkte erfüllt.
Jedes Suchergebnis zeigt Aktenzeichen, Gericht und Datum. Jedes Urteil ist im Volltext verlinkt. Alle Ergebnisse stammen aus 590.000+ verifizierten deutschen Gerichtsentscheidungen — nicht aus dem „Gedächtnis" eines Chatbots.
Häufige Fragen
Was sind KI-Halluzinationen in der Rechtsrecherche?
KI-Halluzinationen sind Fälle, in denen eine KI falsche Informationen als Fakten präsentiert — z. B. erfundene Aktenzeichen, nicht existierende Urteile oder falsch zugeordnete Rechtssätze. Bei generischen KI-Chatbots wie ChatGPT passiert das regelmäßig, weil sie Text generieren, statt in einer echten Datenbank zu suchen.
Warum halluziniert ChatGPT bei juristischen Fragen?
ChatGPT ist ein Sprachmodell, das auf Wahrscheinlichkeit trainiert ist — nicht auf juristische Korrektheit. Es erzeugt plausibel klingende Antworten, hat aber keinen Zugriff auf eine verifizierte Urteilsdatenbank. Aktenzeichen werden statistisch „erraten“, nicht nachgeschlagen. Das Ergebnis: überzeugend formulierte, aber inhaltlich falsche Zitate.
Wie verhindert RAG (Retrieval-Augmented Generation) Halluzinationen?
RAG trennt Suche und Zusammenfassung: Zuerst werden relevante Dokumente aus einer echten Datenbank abgerufen, dann fasst die KI diese zusammen. Da die KI nur über tatsächlich existierende Dokumente spricht, werden erfundene Quellen verhindert. OffeneUrteileSuche nutzt RAG über 590.000+ verifizierte deutsche Gerichtsentscheidungen.
Woran erkenne ich, ob ein Legal-AI-Tool halluziniert?
Drei Prüfpunkte: (1) Zeigt das Tool Aktenzeichen? (2) Können Sie auf das Originalurteil klicken? (3) Stammen die Ergebnisse aus einer echten Datenbank oder aus einem Chat-Interface ohne Quellennachweis? Wenn Sie die Quelle nicht mit einem Klick verifizieren können, vertrauen Sie dem Tool nicht.
0% halluzinierte Quellen — testen Sie selbst
Jedes Ergebnis mit Aktenzeichen. Jedes Urteil im Volltext nachprüfbar. Semantische Suche über 590.000+ echte Gerichtsentscheidungen.