Begriff
Faithfulness
Faithfulness ist eine RAG-Eval-Metrik (0–1), die misst, wie viele Aussagen einer Antwort sich tatsächlich aus den abgerufenen Kontexten ableiten lassen — ein direkter Halluzinations-Indikator.
Faithfulness — ausführlicher erklärt
Faithfulness („Faktentreue”) prüft, ob eine generierte Antwort durch die mitgelieferten Quell-Kontexte gedeckt ist. Der Score bewegt sich zwischen 0 und 1: 1 bedeutet, jede Behauptung in der Antwort ist aus dem Kontext belegbar, 0 bedeutet, keine ist es. Berechnung in drei Schritten: 1) Claim-Extraktion — die Antwort wird in einzelne, atomare Aussagen zerlegt. 2) Claim-Verifikation — pro Aussage wird geprüft, ob sie sich aus den Kontexten logisch ableiten lässt. 3) Score = unterstützte Claims / gesamte Claims.
Beispiel / Praxisbezug
Frage: „Wann wurde Einstein geboren?”. Kontext: „Einstein wurde am 14. März 1879 in Deutschland geboren”. Antwort A: „Einstein wurde am 14. März 1879 in Deutschland geboren” — alle Behauptungen gedeckt → Score 1,0. Antwort B: „Einstein wurde am 20. März 1879 in Deutschland geboren” — Geburtsort gedeckt, Datum widerspricht → Score 0,5. In der Praxis berechnet etwa RAGAS diesen Wert per LLM-Judge oder per Spezial-Klassifizierer wie HHEM-2.1-Open.
Abgrenzung zu ähnlichen Begriffen
Faithfulness misst nur die Bindung an den gegebenen Kontext — nicht, ob die Antwort objektiv wahr ist. Eine Antwort kann faithful gegenüber einem fehlerhaften Kontext sein und trotzdem inhaltlich falsch. Davon abzugrenzen: Answer Relevancy (passt die Antwort zur Frage), Context Precision (wie viel des Kontexts ist überhaupt relevant) und Factual Correctness (Abgleich mit einer Goldantwort). In Produktion meist als Set zusammen gemessen, weil jede Metrik einen anderen Fehlerfall sichtbar macht.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarGround Truth
Eine als korrekt geltende Referenz-Wahrheit, gegen die man Modell-Outputs misst. In der KI-Code-Analyse ist es ein Code-Stück mit gezielt eingebauten, bekannten Fehlern, sodass messbar wird, wie viel ein Modell wirklich findet.
LexikonAgent-Evaluation — Task-Success-Rate, Eval-Harness, Benchmarks
Wie man KI-Agenten bewertet: Eval-Harness, Task-Success-Rate, Benchmarks wie GAIA und Tau-Bench, LLM-as-a-Judge — und die Abgrenzung zur reinen Modell-Qualität.