LLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.
Martin Rau
Lokales LLM (Konzepte)
Konzepte rund um lokalen Modellbetrieb — Formate, Quantisierung, Hardware.