Agent-Evaluation — Task-Success-Rate, Eval-Harness, Benchmarks
Wie man KI-Agenten bewertet: Eval-Harness, Task-Success-Rate, Benchmarks wie GAIA und Tau-Bench, LLM-as-a-Judge — und die Abgrenzung zur reinen Modell-Qualität.
Martin Rau
KI-Konzepte
Grundbegriffe und Mechanik moderner Sprachmodelle und KI-Workflows.
-
-
Agent-Memory — Kurzzeit- und Langzeitgedächtnis von KI-Agenten
Kurzzeit- vs. Langzeitgedächtnis bei KI-Agenten: Kontextfenster, externe Memory-Stores und Vektor-DBs — wie Agenten Kontext über Sessions halten.
Redaktion -
Das Kontextfenster von LLMs — was reinpasst und was nicht
Was das Kontextfenster ist, wie groß moderne Fenster sind, das Lost-in-the-Middle-Phänomen, Kosten und Latenz, und die Abgrenzung zu RAG und Langzeitgedächtnis.
Martin Rau -
Embeddings einfach erklaert
Ein Embedding ist ein Vektor aus Zahlen, der Bedeutung im Raum verortet. Warum aehnliche Inhalte nah liegen und wofuer man Embeddings braucht.
Martin Rau -
Fine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.
Redaktion -
Function Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.
Martin Rau -
Guardrails für Agenten — Leitplanken, Policy-Checks und Tool-Grenzen
Wie Guardrails Agenten absichern: Input/Output-Filter, Policy-Checks, Tool-Grenzen und Schutz vor Prompt-Injection im Verhältnis zu Security und HITL.
Redaktion -
Halluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.
Martin Rau -
KI-Agenten bauen — vom Tool Use zum Multi-Agent-System
Wie KI-Agenten funktionieren: vom einfachen Tool-Call über MCP, Strukturierte Outputs und LangGraph bis zur Frage, wann Multi-Agent-Setups sinnvoll sind.
Redaktion -
LLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.
Martin Rau -
LLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.
Martin Rau -
Mit der LLM-API arbeiten — Streaming, Caching, Rate Limits
Praktische API-Mechanik jenseits des Pricings: Streaming für UX, Prompt Caching gegen Token-Kosten, Batch-API für Massenjobs, Rate Limits ohne 429-Drama.
Martin Rau -
Prompt Caching bei LLM-APIs — Mechanik, Kosten und TTL-Wahl
Wie Prompt Caching bei Claude, GPT-6 Astra und Gemini 3 Pro funktioniert: Cache-Schreiben und -Lesen, TTL-Varianten, Modellunterschiede und wann es sich lohnt.
Martin Rau -
Prompt-Sicherheit — Injection, Leaking, Guardrails
Wie Prompt Injection, Prompt Leaking und Jailbreaks funktionieren — und welche Verteidigungen (Guardrails, Spotlighting, Sanitization) wirklich helfen.
Redaktion -
Prompting-Techniken im Überblick
Zero-Shot, Few-Shot, Chain-of-Thought, Tree of Thoughts, ReAct & Co. — wann welche Prompting-Technik lohnt und wie sie zusammenspielen.
Redaktion -
RAG verstehen — von der Idee bis zum produktiven System
Wie eine RAG-Pipeline funktioniert: Embedding, Vektor-DB, Retrieval, Reranking, Prompt — und welche Stolperfallen typisch sind.
Redaktion -
RAG-Tuning und Balancing — Embeddings, Gewichte, Decay und MCP für Fortgeschrittene
Wie man Retrieval gezielt steuert: Embedding-Wahl, Hybrid-Gewichte, Reranker-Cascade, Time-Decay, Authority-Boost, MMR und MCP als Retrieval-Tool.
Redaktion -
Strukturierte Ausgaben (Structured Outputs)
Wie Structured Outputs bei Anthropic, OpenAI und Gemini JSON-Schemas erzwingen: Grammatik statt Bitte, validierte Outputs für Pipelines statt Freitext.
Redaktion -
Temperatur, Top-p und Sampling bei LLMs
Wie ein LLM das nächste Token wählt: Temperatur staucht oder spreizt die Wahrscheinlichkeiten, Top-p und Top-k begrenzen die Auswahl. Welche Einstellung wofür.
Martin Rau -
Tokens und Tokenisierung bei LLMs erklärt
Was ein Token ist, wie Tokenizer Text zerlegen und warum Tokens über Kosten, Kontextfenster und Geschwindigkeit entscheiden — mit Faustregeln zur Schätzung.
Martin Rau