Welches Open-Weight-Modell sollten Sie selbst hosten?

Warum selbst hosten eine zweite Chance verdient

Das Argument gegen Open-Weight-Modelle war früher simpel: Die gehostete Frontier liegt so weit vorne, dass alles andere eine Fehlinvestition ist. Dieses Argument verlor durch 2024 und 2025 jedes Quartal an Überzeugungskraft. Die stärksten offenen Modelle erreichen heute das Niveau, das vor einem Jahr als Flaggschiff der gehosteten Anbieter galt — ausreichend für fast jede Produktions-Workload, die kein kundenseitiger Chat ist. Die Lücke zur scharfen Kante besteht noch; die Lücke zu "gut genug" ist weg.

Der Grund für den lokalen Betrieb liegt selten in der Qualität. Es geht um Datenresidenz, laufende Kosten, Latenz in Regionen, die die großen Anbieter kaum bedienen, und die Sicherheit, ein Modell zu betreiben, das sich nicht unter einem verändert, wenn der Anbieter eine Generation abkündigt. Ein Team, das zehn Millionen interne Dokumente pro Monat klassifiziert, kann auf selbst-gehosteter Infrastruktur gegenüber Pay-per-Token sechsstellig im Jahr sparen. Ein Team mit regulierten Daten umgeht einen ganzen Beschaffungsprozess. Ein Team in einer Region mit hoher Latenz zu US-Rechenzentren bedient Nutzer eine Größenordnung schneller.

Die Kostenrechnung ist nicht so einfach wie "Modellgewichte sind gratis". Sie zahlen für GPUs — gekauft oder gemietet — und für die Engineering-Stunden, die den Betrieb erfordern. Die Gewinnschwelle hängt vom Tokenvolumen ab: Unter rund hundert Millionen Tokens pro Monat gewinnen gehostete APIs fast immer bei den Gesamtkosten; über einer Milliarde gewinnt Self-Hosting fast immer. Im mittleren Bereich entscheiden die workload-spezifischen Details.

Fünf Einschränkungen bestimmen die Wahl: wie viel VRAM das Modell bei einer akzeptablen Qualität benötigt, die Lizenzbedingungen für den eigenen Anwendungsfall, die Reife des umgebenden Ökosystems und die Latenz, die das Modell auf der eigenen Hardware tatsächlich liefert. Das richtige Modell ist das, das alle fünf erfüllt — nicht das mit dem besten Paper-Benchmark-Score.

Die fünf Dimensionen, die entscheiden, welches Modell passt

Dies sind die Achsen, nach denen unsere Scorecard ein Open-Weight-Modell für produktives Self-Hosting bewertet. Die relative Gewichtung verschiebt sich mit dem Hardware-Budget, der Jurisdiction und der Toleranz gegenüber Ecosystem-Rauheiten — aber jeder ernsthafte Kandidat muss auf allen fünf eine Mindestanforderung erfüllen.

1. 01 — Hardware-Fit

   Läuft es auf den Karten, die Sie tatsächlich haben?

   Ein Modell, das einen Multi-GPU-Knoten erfordert, ist eine andere Proposition als eines, das auf einer einzelnen Consumer-Karte läuft. Berechnen Sie stets den VRAM-Bedarf bei der geplanten Quantisierung und fügen Sie ausreichend Puffer für den KV-Cache bei der Ziel-Kontextlänge hinzu. Der günstigste Fehler ist zu viel Hardware zu kaufen; der teuerste ist zu wenig.

2. 02 — Qualität bei Quantisierung

   Wie viel verliert es beim Quant-Niveau, das noch passt?

   Quantisierung tauscht Qualität gegen Speicher und Geschwindigkeit. Manche Modelle halten bei Vier-Bit-Quants gut stand; andere verschlechtern sich merklich unterhalb von acht Bit. Die veröffentlichten Full-Precision-Benchmarks sagen wenig — messen Sie auf dem Quant-Niveau, das Ihre Hardware tatsächlich erlaubt, und akzeptieren Sie, dass das die Rangliste umkehren kann.

3. 03 — Lizenzbedingungen

   Dürfen Sie es so verwenden, wie Sie es vorhaben?

   Offene Gewichte bedeuten nicht zwingend offene Lizenzen. Manche erlauben breite kommerzielle Nutzung ohne Auflagen; andere enthalten Nutzungsschwellen, Attributionspflichten oder Vertriebsbeschränkungen. Lesen Sie die Lizenz vor dem Aufbau, nicht danach. Eine großzügige Lizenz mit etwas weniger Qualität schlägt meist eine restriktivere, die Ihre Rechtsabteilung letztlich ablehnen wird.

4. 04 — Ökosystem-Unterstützung

   Ist der Serving-Stack roh oder ausgereift?

   Ein Modell mit erstklassiger Unterstützung in vLLM, Ollama und llama.cpp ist um Größenordnungen günstiger zu betreiben als eines, das lediglich ein Referenzskript und eine hoffnungsvolle README mitbringt. Die Tooling-Reife ist der versteckte Kostenfaktor, den die meisten Teams unterschätzen — er zeigt sich in den Engineer-Stunden, die Sie bei Incidents aufwenden.

5. 05 — Latenz auf Ihrer Hardware

   Generiert es schnell genug für den Anwendungsfall?

   Ein selbst-gehostetes Modell, das auf der GPU, die Sie sich leisten können, zehn Tokens pro Sekunde produziert, ist ein Modell, das Sie nicht für Chat einsetzen können. Messen Sie Tokens-pro-Sekunde unter realistischer Gleichzeitigkeit auf genau der Karte, die Sie deployen wollen — Werte von jemand anderem H100 übertragen sich nicht auf Ihre L40S.

Tokonomix Top 5 Picks für selbst-gehostetes Deployment heute

Was folgt, ist die Auswahl, die wir nächste Woche tatsächlich auf Bare Metal deployen würden. Self-Hosting belohnt eine andere Auswahl als die Welt der gehosteten APIs — das richtige Hauptmodell ist meist das größte, das auf der GPU bei dem Quant-Niveau, das Sie tolerieren, noch Spielraum lässt. Ergänzen Sie es durch ein kleineres Modell hinter einem Router für Anfragen, die das große nicht benötigen, und die Wirtschaftlichkeit beginnt sich zu Ihren Gunsten zu verschieben.

Gehostete Preisreferenz (wenn Sie nicht selbst hosten)

Self-Hosting ist eine Option; die andere ist der Kauf von Inference bei einem Anbieter, der dieselben Open-Weight-Modelle für Sie betreibt. Das Diagramm zeigt den aktuellen gehosteten Preis pro Million Output-Tokens für die Picks, die einen veröffentlichen — nützlich als Plausibilitätsprüfung für Ihre eigenen selbst-gehosteten Unit Economics.

Feldleitfaden: welches Modell für welche Hardware

Die folgende Zuordnung ist das, was wir für die Beratung eines Teams bei der ersten selbst-gehosteten Modellwahl verwenden würden. Behandeln Sie es als Startpunkt, nicht als Urteil — Tokens-pro-Sekunde auf der eigenen GPU zu messen schlägt jede allgemeine Empfehlung.

Testen Sie auf Ihrer eigenen Hardware, bevor Sie sich festlegen

Leihen Sie sich die GPU aus, auf der Sie deployen wollen. Laden Sie zwei Kandidaten bei dem Quant-Niveau, das Sie tatsächlich ausliefern wollen — nicht die Full-Precision-Version auf einer geliehenen H100 — und schicken Sie dieselben hundert Prompts bei realistischer Gleichzeitigkeit durch beide. Sie werden an einem Nachmittag mehr darüber erfahren, welches Modell zu Ihnen passt, als Ihnen jede Benchmark-Seite in einem Quartal sagen kann.

Lesen Sie dann, was herauskommt. Hat es die Quantisierung verkraftet? Hat der Durchsatz unter gleichzeitiger Last gehalten? Hat die Lizenz die erste Prüfung durch Ihre Rechtsabteilung überstanden? Behandelt Ihr gewählter Serving-Stack es als First-Class-Citizen oder als Nachgedanken? Das Modell, das auf Ihrer Hardware gewinnt, ist das, das in Produktion geht — auch wenn kein Leaderboard es an die Spitze setzt.