Begriff
Token
Ein Token ist die kleinste Einheit, mit der ein Sprachmodell intern arbeitet — meist ein Wortteil, gelegentlich ein einzelnes Zeichen.
Token — ausführlicher erklärt
Sprachmodelle verarbeiten Text nicht Buchstabe für Buchstabe und auch nicht Wort für Wort, sondern in Tokens — kleinen Bausteinen, die meist Wortteilen entsprechen. Die genaue Zerlegung bestimmt der Tokenizer des jeweiligen Modells. Als Faustregel entsprechen rund vier Zeichen englischer Text einem Token; Deutsch braucht durch Komposita und Flexion tendenziell mehr Tokens pro Wort.
Praxisbezug
Tokens sind die zentrale Abrechnungseinheit von API-Aufrufen: Eingabe-Tokens und Ausgabe-Tokens werden meist getrennt bepreist. Sie bestimmen außerdem die Auslastung des Kontextfensters und die Antwortgeschwindigkeit — längere Eingaben kosten nicht nur mehr Geld, sondern auch mehr Zeit.
Abgrenzung zu ähnlichen Begriffen
Ein Token ist nicht dasselbe wie ein Wort: ein langes Wort wie „Versionskontrollsystem” wird typischerweise in mehrere Tokens zerlegt. Auch nicht zu verwechseln mit Authentifizierungs-Tokens (API-Keys o. Ä.) — sprachlich identischer Begriff, völlig anderes Konzept.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarKI-Wasserzeichen (AI Watermarking)
Verfahren, mit dem KI-Anbieter erzeugte Inhalte maschinell erkennbar markieren. Bei Text geschieht das durch ein unsichtbares statistisches Muster in der Wortwahl, bei Dateien durch signierte Herkunfts-Metadaten. Ziel ist der Nachweis, dass ein Modell an einem Inhalt beteiligt war.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.