Begriff
Transformers (Library)
Open-Source-Python-Bibliothek von Hugging Face, die einen einheitlichen Zugriff auf tausende vortrainierte Modelle für Text, Bild und Audio bietet.
Transformers (Library) — ausführlicher erklärt
Die transformers-Library ist das De-facto-Standard-Toolkit, um vortrainierte Modelle aus dem Hugging Face Hub in Python zu laden und zu nutzen. Sie bietet eine einheitliche API über verschiedene Modellfamilien hinweg (BERT, GPT, Llama, Whisper, ViT, Stable Diffusion-Komponenten u. a.) und unterstützt sowohl PyTorch als auch TensorFlow und JAX als Backend.
Beispiel / Praxisbezug
Mit wenigen Zeilen Code lässt sich ein Modell für eine konkrete Aufgabe nutzen — die pipeline()-Funktion abstrahiert Tokenisierung, Inferenz und Postprocessing:
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier("I love open source.")Für mehr Kontrolle stehen AutoTokenizer und AutoModel zur Verfügung, die das jeweils passende Modul anhand des Modell-Namens auswählen. Die Library wird auch für Fine-Tuning eingesetzt, oft kombiniert mit accelerate für Multi-GPU-Training und peft für parametereffiziente Methoden wie LoRA.
Abgrenzung zu ähnlichen Begriffen
Die Transformers-Library ist nicht zu verwechseln mit der Transformer-Architektur selbst (das neuronale Netz aus dem Paper „Attention Is All You Need”). Im Gegensatz zu Inferenz-Engines wie llama.cpp oder vLLM zielt transformers auf Trainings- und Forschungsworkflows ab; für reine Produktions-Inferenz mit hohem Durchsatz sind die spezialisierten Engines effizienter.