Zurück zum Glossar

Begriff

Llama 3.1

Llama 3.1 (Juli 2024) ist Metas Open-Weight-Familie in 8B, 70B und 405B mit 128K-Kontext und Mehrsprachigkeit — das 405B war das erste offene Modell auf Augenhoehe mit GPT-4o und Claude 3.5 Sonnet.

Llama 3.1 — ausfuehrlicher erklaert

Llama 3.1 ist eine Familie von Open-Weight-Sprachmodellen von Meta, veroeffentlicht am 23. Juli 2024. Sie erschien in drei Groessen — 8 Milliarden, 70 Milliarden und 405 Milliarden Parameter — jeweils als vortrainierte Basis- und als instruktionsfeingetunte (Instruct-)Variante. Das 405B-Modell war zu diesem Zeitpunkt das groesste offen verfuegbare Sprachmodell und zugleich das erste offene Modell, das in Benchmarks konkurrenzfaehig mit den damaligen Spitzen-API-Modellen GPT-4o und Claude 3.5 Sonnet war.

Zentrale Neuerungen gegenueber Llama 3 waren ein auf 128.000 Tokens erweitertes Kontextfenster sowie offizielle Mehrsprachigkeit in acht Sprachen: Englisch, Deutsch, Franzoesisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai. In Benchmarks erreichte Llama 3.1 405B Instruct unter anderem 87,3 Prozent auf MMLU (5-shot), 96,8 Prozent auf GSM-8K (Mathematik, CoT), 89,0 Prozent auf HumanEval (Code) und 91,6 auf MGSM (mehrsprachige Mathematik) — Letzteres auf dem Niveau von Claude 3.5 Sonnet. Die Modelle stehen unter der Llama-Community-Lizenz, die kommerzielle Nutzung erlaubt, aber einige Bedingungen enthaelt (etwa Nutzungsrichtlinien und eine Schwelle fuer sehr grosse Anbieter) und daher nicht als vollstaendig freie Open-Source-Lizenz wie Apache 2.0 gilt.

Beispiel / Praxisbezug

Die Groessenstaffelung macht Llama 3.1 in der Praxis flexibel: Das 8B-Modell laeuft auf einer einzelnen Consumer-GPU oder quantisiert auf einem Laptop und eignet sich fuer lokale Chat-, Extraktions- oder Klassifikationsdienste; das 70B ist ein starker Allrounder fuer Server-Deployments; das 405B zielt auf anspruchsvolle Aufgaben und dient als offene Alternative zu geschlossenen Frontier-Modellen. Ein typischer Einsatz: Ein Unternehmen betreibt Llama 3.1 70B selbst gehostet, um Kundendaten zu verarbeiten, ohne sie an eine externe API zu geben — die offenen Gewichte machen genau das moeglich. Zudem diente Llama 3.1 als beliebte Basis fuer unzaehlige Fine-Tunes, darunter deutschsprachige Varianten.

Abgrenzung

Innerhalb der Llama-Reihe folgt 3.1 auf Llama 3 (dieselbe Generation, aber ohne langen Kontext und Mehrsprachigkeit) und wurde spaeter von Llama 3.2 (mit kleinen und multimodalen Modellen) sowie der Llama-4-Generation abgeloest. Der zentrale Unterschied zu API-only-Modellen (GPT, Claude, Gemini) liegt in den offenen Gewichten. Zu beachten ist die Lizenz: Die Llama-Community-Lizenz ist offen, aber nicht so uneingeschraenkt wie Apache 2.0 (etwa bei Mistral) — daher spricht man bei Llama praeziser von Open Weight als von Open Source. Alle 3.1-Modelle sind dichte (dense) Transformer, kein Mixture-of-Experts.

Entdecke mehr

Themenuebersicht