Lokale KI wird doppelt so schnell: Was Multi-Token-Prediction für Unternehmen ändert
Wir werden diese Frage in Beratungsgesprächen inzwischen fast wöchentlich gestellt: „Können wir so etwas wie ChatGPT nicht einfach bei uns im Haus betreiben?“ Die ehrliche Antwort lautete bisher: Können Sie — es wird Ihnen nur zu langsam sein. Diese Antwort muss ich gerade korrigieren.
Worum geht es überhaupt?
Kurz zum Hintergrund für alle, die nicht täglich damit zu tun haben. KI-Sprachmodelle kann man auf zwei Wegen nutzen. Der übliche Weg: Sie tippen etwas bei einem Anbieter wie OpenAI, Google oder Anthropic ein, die Rechenarbeit passiert in deren Rechenzentrum. Der andere Weg: Sie lassen ein frei verfügbares Modell auf einem Rechner in Ihren eigenen Räumen laufen — man nennt das lokale KI.
Der Reiz daran ist schnell erklärt. Was der Rechner im Nebenraum verarbeitet, verlässt das Haus nicht. Keine Frage nach dem Serverstandort, kein Auftragsverarbeitungsvertrag für den Inhalt Ihrer Angebote, keine laufenden Kosten pro Anfrage. Für Kanzleien, Arztpraxen, Steuerberater oder jeden Betrieb mit sensiblen Kundendaten ist das ein starkes Argument.
Der Haken war die Geschwindigkeit. Wer schon einmal darauf gewartet hat, wie sich eine Antwort Wort für Wort aufbaut, weiß, was gemeint ist.
Warum ist lokale KI überhaupt langsam?
Das ist der eigentlich spannende Teil, und man kann es ohne Fachbegriffe erklären. Ein Sprachmodell schreibt seine Antwort in kleinen Häppchen — Fachleute sagen Token, das ist grob ein Wortteil. Für jedes einzelne dieser Häppchen wird das komplette Modell einmal durchgerechnet. Bei einem großen Modell bedeutet das: Milliarden von Zahlen müssen aus dem Speicher geholt werden, nur um einen halben Wortteil zu erzeugen. Dann wieder. Und wieder.
Der Engpass ist dabei nicht die Rechenleistung, sondern das ständige Hin und Her zum Speicher. Die Grafikkarte langweilt sich, während sie auf Daten wartet.
Der Trick: mehrere Häppchen auf einmal raten
Genau hier setzt Multi-Token-Prediction an, kurz MTP. Die Idee ist verblüffend einfach: Das Modell sagt nicht nur den nächsten Wortteil vorher, sondern gleich mehrere — als Vermutung. Anschließend prüft es in einem einzigen Durchgang, ob diese Vermutungen richtig waren. Passen sie, werden sie alle auf einmal übernommen. Passt eine nicht, wird ab dort normal weitergerechnet.
Das Entscheidende dabei: Es wird nichts geraten und dann so stehen gelassen. Jeder Wortteil wird verifiziert, bevor er in die Antwort geht. Die Qualität der Ausgabe bleibt also identisch — es wird nur der Weg dorthin abgekürzt. Und weil das Modell die Vorhersage mit eigenen, dafür trainierten Ausgängen macht, braucht es kein zweites Hilfsmodell und damit auch keinen zusätzlichen Grafikspeicher.
Wie viel bringt das konkret?
In veröffentlichten Messungen mit einem 27-Milliarden-Parameter-Modell stieg der Durchsatz von rund 36 auf 84 Wortteile pro Sekunde — Faktor 2,3 auf exakt derselben Hardware. Andere Messungen auf gebrauchten Spielergrafikkarten zeigen Sprünge um Faktor 1,7. Die Bandbreite ist groß, weil sie stark vom Modell und der Aufgabe abhängt: Bei gut vorhersagbarem Text — etwa Programmcode oder formelhafter Korrespondenz — liegt das Modell mit seinen Vermutungen häufiger richtig und wird entsprechend schneller.
Unterstützt wird das Verfahren inzwischen von den beiden verbreiteten Programmen zum Betrieb solcher Modelle, vLLM und llama.cpp; an letzterem wurde noch im August 2026 aktiv weiterentwickelt.
Was wir davon halten
Unser Tipp aus der Praxis vorweg: Nicht jedes Modell kann das. Die Vorhersage-Ausgänge müssen beim Training eingebaut worden sein. Modelle aus den Reihen DeepSeek, Qwen, GLM oder Nemotron bringen sie mit, ältere Modelle wie Llama 3 oder klassische Mistral-Varianten nicht. Wer heute ein lokales Modell auswählt, sollte MTP-Unterstützung deshalb auf die Anforderungsliste setzen — das ist ein Kriterium, das vor einem Jahr noch niemand genannt hätte.
Und meine ehrliche Einschätzung zum großen Bild: Ich halte das für wichtiger, als es klingt. Der Grund, warum lokale KI in kleinen Unternehmen bisher selten ankommt, war nie die Ideologie — es war die Wartezeit. Wenn die Antwort doppelt so schnell kommt, verschiebt sich die Rechnung. Nicht für jeden, aber für deutlich mehr Betriebe als vorher.
Häufige Fragen
Was kostet ein Rechner für lokale KI?
Für ein brauchbares mittelgroßes Modell reden wir über eine Maschine im niedrigen vierstelligen Bereich — vergleichbar mit einem guten Arbeitsplatzrechner. Nach oben ist alles offen. Wichtiger als die reine Rechenleistung ist ausreichend schneller Grafikspeicher.
Ist ein lokales Modell so gut wie ChatGPT?
Bei allgemeinen Aufgaben in der Regel nicht ganz. Bei klar umrissenen Aufgaben — Texte zusammenfassen, Dokumente durchsuchen, Standardantworten formulieren — ist der Unterschied für die Praxis oft irrelevant.
Brauchen wir dafür eigene IT-Leute?
Für die Einrichtung ja, für den Betrieb kaum. Es ist eher wie ein Server im Haus: einmal sauber aufsetzen, danach läuft es. Wir begleiten so etwas regelmäßig.
Ersetzt das die Cloud-Dienste komplett?
Aus unserer Sicht nicht — und das muss es auch nicht. Ein sinnvoller Aufbau ist gemischt: sensible Inhalte lokal, alles andere beim Anbieter mit den besten Modellen.
Unser Fazit
Multi-Token-Prediction ist kein Produkt, das man kaufen kann, sondern eine technische Verbesserung, die einfach eintrifft — mit dem nächsten Update. Genau deshalb finde ich sie erwähnenswert: Für Unternehmen, die aus Datenschutzgründen mit einer eigenen KI liebäugeln, ist das Hauptargument dagegen gerade um die Hälfte geschrumpft. Wenn Sie dieses Thema vor einem Jahr geprüft und wegen der Geschwindigkeit verworfen haben, lohnt sich ein zweiter Blick.
Quellen
- https://onebonsai.com/blog/inference-updates-speculative-decoding-mtp-vllm-llamacpp
- https://www.datacamp.com/tutorial/multi-token-prediction-llama-cpp
- https://github.com/ggml-org/llama.cpp/pull/27005
Hinweis zur Transparenz: Dieser Beitrag wurde KI-gestützt erstellt und vor der Veröffentlichung redaktionell geprüft. Inhalte können Fehler enthalten — für wichtige Entscheidungen bitte die verlinkten Originalquellen heranziehen.
