---
title: "Was ist Mixture of Experts (MoE)? So funktioniert es"
description: "Mixture of Experts (MoE) ist ein Modelldesign, bei dem ein Router jedes Token an wenige von vielen Experten-Teilnetzen schickt. Funktionsweise und Kosten."
url: https://proxynet.io/de/blog/what-is-mixture-of-experts
date: 2026-11-18
author: "Acar Diveroli"
category: "KI"
lang: de
---

# Was ist Mixture of Experts (MoE)? So funktioniert es

Der technische Bericht eines offenen Modells gibt dessen Größe mit 47 Milliarden Parametern an und sagt im selben Satz, dass es für jedes Token nur 13 Milliarden davon nutzt. Beide Zahlen stimmen, und der Abstand zwischen ihnen ist die ganze Idee von Mixture of Experts: Das Modell besitzt weit mehr Parameter, als es für ein einzelnes Token nutzt, das es liest oder schreibt. Wenn Sie ein solches Modell selbst betreiben wollen, entscheidet die erste Zahl, wie viel Speicher Sie brauchen, und die zweite über den größten Teil der Rechenlast.

Dieser Beitrag erklärt, was ein Mixture-of-Experts-Modell (MoE) ist, wie der Router die Experten auswählt, was Gesamtparameter und aktive Parameter bedeuten, wie sich MoE von einem dichten Modell unterscheidet, was es kostet und ob sich die Experten wirklich spezialisieren.

> **Hinweis: Kurzantwort**
>
> Mixture of Experts (MoE) ist ein Aufbau neuronaler Netze, bei dem eine Schicht viele parallele Teilnetze, die Experten, und einen kleinen Router enthält. Für jedes Token bewertet der Router alle Experten, behält nur die besten wenigen (oft einen oder zwei) und mischt deren Ausgaben nach diesen Bewertungen; die übrigen Experten bleiben untätig. In großen Sprachmodellen ersetzen die Experten meist den Feed-Forward-Block jeder Transformer-Schicht. Das Modell erhält so eine sehr große Gesamtzahl an Parametern, aber weit weniger aktive Parameter pro Token, und kann damit mehr speichern, ungefähr zum Rechenaufwand eines kleineren Modells. Der Preis ist Speicher, weil jeder Experte geladen bleiben muss, dazu ein schwierigeres Training und mehr Datenverkehr zwischen den Chips.

## Was ist Mixture of Experts?

Mixture of Experts ist eine Bauweise für eine Schicht eines neuronalen Netzes: Sie besteht aus mehreren kleineren Netzen, den Experten, und einem Router (auch Gate genannt), der entscheidet, welche von ihnen eine Eingabe verarbeiten. Eine dichte Schicht wendet bei jeder Eingabe alle ihre Gewichte an; eine MoE-Schicht führt nur die Experten aus, die der Router auswählt, sodass die meisten ihrer Gewichte in jedem Moment ungenutzt bleiben. Deshalb heißen MoE-Modelle auch spärliche Modelle: Für jedes Token ist nur ein kleiner Teil des Netzes aktiv.

Am meisten zählt dieser Aufbau bei großen Sprachmodellen (LLMs), also neuronalen Netzen, die mit riesigen Textmengen darauf trainiert werden, das nächste Textstück vorherzusagen; wie sie aufgebaut sind, erklärt unser [Leitfaden zu LLMs](/de/blog/what-is-a-large-language-model). Jede Transformer-Schicht eines solchen Modells hat einen Attention-Block (Aufmerksamkeitsblock), der jedes Token die anderen Tokens berücksichtigen lässt, und einen Feed-Forward-Block, der danach jedes Token für sich verarbeitet. Ein MoE-Modell behält den Attention-Block und ersetzt den einzelnen Feed-Forward-Block durch viele Experten-Varianten davon, jede mit eigenen Gewichten.

Das Wort „Experte“ ist ein Name, keine Stellenbeschreibung: Niemand teilt einem Experten ein Fachgebiet zu, und jede Arbeitsteilung, die sich zeigt, wird im Training gelernt.

## Woher kommt die Idee?

Die Idee ist mehr als dreißig Jahre alt. 1991 veröffentlichten Robert Jacobs, Michael Jordan, Steven Nowlan und Geoffrey Hinton in der Fachzeitschrift Neural Computation den Artikel „Adaptive Mixtures of Local Experts“: getrennte Netze, von denen jedes einen Teil der Trainingsfälle lernt, und ein Gating-Netzwerk, das entscheidet, welchem Netz zu vertrauen ist.

Die Form, die heutige Sprachmodelle nutzen, beginnt mit einem Paper von Noam Shazeer und Kollegen aus dem Jahr 2017, [Outrageously Large Neural Networks](https://arxiv.org/abs/1701.06538). Es setzte eine spärlich gesteuerte MoE-Schicht (sparsely-gated) mit bis zu Tausenden von Experten zwischen die Schichten eines Sprachmodells, erreichte bis zu 137 Milliarden Parameter und meldete eine mehr als 1.000-fach größere Modellkapazität bei nur geringen Einbußen an Recheneffizienz.

2021 schickte das [Switch-Transformer-Paper](https://jmlr.org/papers/v23/21-0998.html) jedes Token zu einem einzigen Experten und trainierte Modelle mit bis zu 1,6 Billionen Parametern. Die Autoren berichteten von einem bis zu 7-mal schnelleren Vortraining als bei einem dichten T5-Base-Modell mit denselben Rechenressourcen und benannten, was MoE bis dahin gebremst hatte: Komplexität, Kommunikationskosten und Trainingsinstabilität. Danach folgten Open-Weight-Sprachmodelle mit MoE-Aufbau, also Modelle mit veröffentlichten Gewichten, darunter Mixtral 8x7B von Mistral AI und DeepSeek-V3.

## Wie funktioniert eine Mixture-of-Experts-Schicht?

Eine MoE-Schicht bewertet für jedes Token jeden Experten, führt nur die besten wenigen aus und mischt deren Ergebnisse. Bis dahin wurde der Text bereits in Tokens zerlegt, die kleinen Stücke, die ein Modell liest, etwa Wörter oder Wortteile (wie das geschieht, zeigt unser Beitrag über [Tokens in der KI](/de/blog/what-are-tokens-in-ai)), und jedes Token durchläuft das Modell als Vektor, also als lange Liste von Zahlen.

1. **Das Token kommt als Vektor an**, und zwar aus dem Attention-Block derselben Schicht, der bereits Informationen aus den umgebenden Tokens eingemischt hat.
2. **Der Router bewertet jeden Experten.** Der Router ist eine kleine gelernte Schicht, die jedem Experten für dieses Token eine Bewertung gibt. Er lässt sich günstig ausführen, egal wie groß die Experten sind.
3. **Nur die Top-k-Experten bleiben übrig.** Die Zahl k wird beim Entwurf des Modells festgelegt: 1 im Switch Transformer, 2 bei Mixtral, 8 von 256 gerouteten Experten bei DeepSeek-V3. Alle anderen Experten erhalten das Gewicht null.
4. **Die behaltenen Bewertungen werden zu Gewichten.** Eine Softmax-Funktion macht daraus Anteile, die zusammen 1 ergeben.
5. **Die gewählten Experten verarbeiten das Token.** Jeder Experte ist ein gewöhnliches Feed-Forward-Netz mit eigenen Gewichten.
6. **Die Ausgaben werden gemischt.** Die Ausgabe der Schicht ist die gewichtete Summe der Ausgaben der gewählten Experten und geht weiter an die nächste Schicht.
7. **Die nächste Schicht wählt erneut.** Jede MoE-Schicht hat ihren eigenen Router und ihre eigenen Experten, sodass ein Token in einer Schicht die Experten 2 und 5 nutzen kann und in der nächsten die Experten 1 und 7.

Ein ausgedachtes Beispiel zeigt die Rechnung. In einer Schicht mit 8 Experten gibt der Router einem Token die Bewertung 2,1 für Experte 3, 1,3 für Experte 6 und niedrigere Werte für die anderen sechs. Beim Top-2-Routing laufen nur die Experten 3 und 6; eine Softmax über die beiden behaltenen Bewertungen ergibt Gewichte von etwa 0,69 und 0,31, sodass die Ausgabe der Schicht zu 69 % aus dem Ergebnis von Experte 3 und zu 31 % aus dem von Experte 6 besteht. Sechs Experten haben für dieses Token nichts getan.

Die Entwürfe unterscheiden sich: DeepSeek-V3 etwa ergänzt die gerouteten Experten um einen gemeinsamen Experten (Shared Expert), den jedes Token durchläuft.

## Gesamtparameter und aktive Parameter: Was ist der Unterschied?

Gesamtparameter sind alle Gewichte, die das Modell besitzt; aktive Parameter sind die Gewichte, die tatsächlich zur Verarbeitung eines Tokens genutzt werden. Ein Parameter ist eine einzelne gelernte Zahl im Netz. Ein dichtes Modell nutzt für jedes Token alle seine Parameter, bei ihm sind beide Zahlen also gleich; bei einem MoE-Modell gehen sie auseinander.

Das [Mixtral-Paper](https://arxiv.org/abs/2401.04088) liefert ein klares Beispiel. Jede Schicht hat 8 Experten, und der Router wählt für jedes Token 2 davon aus; jedes Token hat damit Zugriff auf 47 Milliarden Parameter, nutzt aber nur 13 Milliarden. Der Name „8x7B“ legt 56 Milliarden nahe, doch nur die Feed-Forward-Blöcke gibt es achtmal; Attention und die übrigen Teile jeder Schicht sind gemeinsam und werden einmal gezählt.

[DeepSeek-V3](https://github.com/deepseek-ai/DeepSeek-V3) vergrößert den Abstand: 671 Milliarden Gesamtparameter, von denen für jedes Token 37 Milliarden aktiviert werden, also etwa jedes achtzehnte Gewicht.

Die beiden Zahlen beantworten verschiedene Fragen:

- **Die Gesamtparameter bestimmen den Speicher.** Jeder Experte muss geladen sein, weil das nächste Token jeden von ihnen brauchen kann. Die Mixtral-Autoren schreiben, dass der Speicherbedarf im Betrieb proportional zur gesamten, spärlichen Parameterzahl ist.
- **Die aktiven Parameter bestimmen den größten Teil der Rechenlast pro Token** und damit einen großen Teil der Kosten jedes erzeugten Tokens.
- **Keine der beiden Zahlen sagt allein etwas über die Qualität.** Ein Modell mit 13 Milliarden aktiven Parametern ist nicht dasselbe wie ein dichtes Modell mit 13 Milliarden Parametern, weil es auf einen viel größeren Vorrat gespeicherter Gewichte zurückgreift.

## Dichtes Modell und MoE-Modell: Was ist der Unterschied?

Ein dichtes Modell führt für jedes Token jeden Parameter aus, während ein MoE-Modell gleicher Gesamtgröße nur einen Bruchteil davon ausführt; das spart Rechenaufwand, aber keinen Speicher. Die Tabelle vergleicht beide bei gleicher Gesamtzahl an Parametern.

| | Dichtes Modell | MoE-Modell |
|---|---|---|
| Genutzte Parameter pro Token | Alle | Nur die gewählten Experten und gemeinsame Teile |
| Rechenaufwand pro Token | Wächst mit der Gesamtgröße | Wächst mit der aktiven Größe |
| Speicher für den Betrieb | Gesamtgröße | Gesamtgröße: alle Experten geladen |
| Training | Gut erforscht | Lastverteilung nötig, weniger stabil |
| Verteilung auf viele Chips | Nach Schichten oder Tensoren | Experten auf verschiedenen Chips, mehr Datenverkehr |
| Fine-Tuning mit wenig Daten | Vorhersehbar | Neigt früher zur Überanpassung |

Das Bild ändert sich, wenn Sie stattdessen den Rechenaufwand festhalten. Gegenüber einem dichten Modell mit gleich vielen aktiven Parametern rechnet ein MoE-Modell pro Token etwa gleich viel, braucht aber ein Mehrfaches an Speicher und hat dafür weit mehr Gewichte, in denen es Gelerntes ablegen kann.

## Was kostet Mixture of Experts?

Mixture of Experts tauscht Rechenaufwand gegen Speicher und bringt drei Probleme mit, die ein dichtes Modell nicht hat: ungleich verteilte Last auf die Experten, weniger stabiles Training und mehr Kommunikation zwischen den Chips.

**Speicher.** Jeder Experte muss auf irgendeinem Beschleuniger (etwa einer GPU) geladen sein, obwohl die meisten für ein bestimmtes Token untätig sind. Der technische Bericht zu DeepSeek-V3 beschreibt für die Phase, in der Text erzeugt wird, eine minimale Bereitstellungseinheit aus 40 Knoten mit 320 GPUs, wobei jede GPU einen Experten hält. Ein MoE-Modell auf einem einzigen Rechner zu betreiben heißt deshalb, alle Experten im Speicher unterzubringen, nicht nur die aktiven.

**Lastverteilung.** Wählt der Router immer wieder dieselben wenigen Experten, werden diese mehr trainiert, besser und noch häufiger gewählt; Shazeers Paper nennt dieses Ungleichgewicht selbstverstärkend. Die übliche Abhilfe ist ein Hilfsverlust (Auxiliary Loss), ein zusätzlicher Term im Trainingsziel, der ungleiche Last bestraft. Der Switch Transformer gibt außerdem jedem Experten eine feste Kapazität pro Batch: Ein Token, das ankommt, wenn sein Experte voll ist, überspringt den Experten und geht direkt zur nächsten Schicht; das nennt man Token Dropping. DeepSeek-V3 nutzt stattdessen einen Bias-Wert pro Experte, der während des Trainings angepasst wird, weil ein zu großer Hilfsverlust laut den Autoren die Modellleistung beeinträchtigt.

**Trainingsinstabilität.** Router reagieren empfindlich auf kleine numerische Fehler. Die Autoren des Switch Transformer stellten fest, dass die Instabilität ein Training in bfloat16, einem Zahlenformat mit geringer Genauigkeit, verhinderte, und lösten das Problem, indem sie den Router mit 32-Bit-Genauigkeit berechneten und mit kleineren Anfangsgewichten starteten. Metas Bericht zu Llama 3 trifft aus demselben Grund die umgekehrte Wahl: Sein größtes Modell mit 405 Milliarden Parametern ist ein gewöhnlicher dichter Transformer, der einem Mixture-of-Experts-Aufbau vorgezogen wurde, um die Trainingsstabilität zu maximieren.

**Kommunikation.** Große MoE-Modelle verteilen ihre Experten auf viele Chips, also muss jede MoE-Schicht jedes Token an die Chips schicken, die seine gewählten Experten halten, und die Ergebnisse wieder einsammeln. DeepSeek-V3 begrenzt diesen Verkehr, indem es jedes Token an Experten auf höchstens 4 Knoten schickt.

## Sind die Experten Spezialisten für Themen?

Nicht so, wie der Name vermuten lässt: Untersuchungen trainierter MoE-Modelle finden Experten für bestimmte Arten von Tokens, etwa Satzzeichen oder Teile der Code-Syntax, statt für Fachgebiete wie Medizin oder Recht.

Das Mixtral-Team prüfte, welche Experten für Texte aus verschiedenen Quellen gewählt wurden, darunter arXiv-Paper, Biologie-Abstracts aus PubMed, philosophische Fachartikel und Code von GitHub, und fand kein offensichtliches Muster nach Thema. Das Routing schien eher an die Syntax gebunden: Das Wort `self` in Python und die Einrückungs-Tokens im Code gingen oft an dieselben Experten, und aufeinanderfolgende Tokens teilten sich häufig Experten.

Ältere Arbeiten weisen in dieselbe Richtung. Shazeers Paper von 2017 berichtete von Experten, die sich stark nach Syntax und Semantik spezialisiert hatten. Das ST-MoE-Paper von 2022 fand im Encoder Experten für Satzzeichen, Verben, Eigennamen und Zählen, eine viel schwächere Spezialisierung im Decoder und keinen Hinweis darauf, dass sich Experten in einem mehrsprachigen Modell nach Sprache spezialisieren.

Ein Prompt lässt sich also nicht an „den Rechtsexperten“ richten: Der Router entscheidet pro Token und pro Schicht, und die Arbeitsteilung, die er lernt, ist statistisch.

## Wo begegnet Ihnen Mixture of Experts?

- **Model Cards und technische Berichte**, die zwei Größen angeben, Gesamtparameter und aktive Parameter: das deutlichste Zeichen für ein MoE-Modell.
- **Open-Weight-Modelle, die Sie herunterladen und selbst betreiben**, etwa Mixtral und DeepSeek-V3; hier entscheidet die Gesamtgröße, ob das Modell auf Ihre Hardware passt.
- **Geschlossene Modelle hinter einer API**, deren Architektur oft nicht veröffentlicht ist. Manche Anbieter legen sie offen: Googles Bericht zu Gemini 1.5 beschreibt Gemini 1.5 Pro als spärlichen Mixture-of-Experts-Transformer. Wo ein Anbieter nichts gesagt hat, sind Aussagen über die Bauweise Vermutungen.

Ändert MoE die Daten, die ein Modell braucht? Nein. Ob spärlich oder dicht: Ein Sprachmodell wird mit sehr großen Textsammlungen trainiert, die zu einem großen Teil aus öffentlichen Webseiten stammen. Teams, die Modelle per Fine-Tuning anpassen, per Grounding (Verankerung in Quellen) an aktuelle Dokumente binden oder bewerten, sammeln ebenfalls laufend Seiten, oft aus mehreren Ländern, weil Preise, Regeln und Produktangaben je nach Markt verschieden sind. Bei dieser Erhebung kommen Proxys ins Spiel: Ein [Residential-Proxy](https://proxynet.io/de/residential-proxy) lässt einen Crawler eine öffentliche Seite so laden, wie ein Besucher in einem bestimmten Land sie sieht, in einem Anfragetempo, das die Website verkraftet.

## Häufige Fehler

- **Hardware nach den aktiven Parametern bemessen.** Ein Modell mit 13 Milliarden aktiven Parametern braucht trotzdem Speicher für alle 47 Milliarden.
- **Den Namen ausmultiplizieren.** „8x7B“ bedeutet nicht 56 Milliarden Parameter; die gemeinsamen Teile jeder Schicht werden einmal gezählt.
- **Modelle an einer einzigen Zahl vergleichen.** Nehmen Sie die aktiven Parameter für die Rechenlast, die Gesamtparameter für den Speicher und Ihre eigenen Test-Prompts für die Qualität.
- **Themen-Experten erwarten.** Ein Prompt kann keinen Experten auswählen, und Experten entsprechen selten Fachgebieten.
- **Fine-Tuning mit einem winzigen Datensatz ohne zurückgehaltene Testdaten.** Die ST-MoE-Studie fand, dass spärliche Modelle bei kleinen Aufgaben eher zur Überanpassung (Overfitting) neigen; messen Sie daher an Beispielen, die das Modell nicht gesehen hat. Die Grundlagen stehen in unserem [Leitfaden zum Fine-Tuning](/de/blog/what-is-fine-tuning).
- **Gerüchte über geschlossene Modelle wiederholen.** Hat ein Anbieter die Architektur nicht veröffentlicht, ist sie unbekannt.

## Entscheidungshilfe

| Ihre Situation | Was MoE für Sie bedeutet |
|---|---|
| Sie nutzen ein Modell über eine kostenpflichtige API | Vergleichen Sie Preis, Latenz und Antworten; die Architektur ist Sache des Anbieters |
| Sie betreiben ein offenes Modell auf Ihrer eigenen GPU | Die Gesamtparameter müssen vollständig in den Speicher passen |
| Sie wollen mehr Qualität bei gleichem Rechenaufwand | Ein MoE-Modell ist einen Test wert |
| Speicher ist Ihre harte Grenze | Ein kleineres dichtes Modell ist einfacher |
| Sie bedienen viele Nutzer auf einem GPU-Cluster | Planen Sie die Platzierung der Experten und den Verkehr zwischen den Chips |
| Sie machen Fine-Tuning mit einem kleinen Datensatz | Prüfen Sie die Ergebnisse auf zurückgehaltenen Daten auf Überanpassung |
| Sie vergleichen zwei Model Cards | Lesen Sie Gesamtparameter und aktive Parameter getrennt |

## Häufige Fragen

### Ist ein MoE-Modell schneller als ein dichtes Modell?

Pro Token ja, verglichen mit einem dichten Modell gleicher Gesamtgröße, weil es nur die gewählten Experten berechnet. Verglichen mit einem dichten Modell gleicher aktiver Größe rechnet es etwa gleich viel, bewegt aber mehr Daten, weil verschiedene Tokens in einem Batch verschiedene Experten aufrufen. Die tatsächliche Geschwindigkeit hängt von der Hardware, der Batch-Größe und der Platzierung der Experten ab.

### Warum brauchen MoE-Modelle so viel Speicher?

Weil jeder Experte geladen bleiben muss, obwohl jedes Token nur wenige nutzt. Der Router entscheidet zur Laufzeit, Token für Token, also kann als Nächstes jeder Experte gebraucht werden. Die Mixtral-Autoren geben an, dass sich der Speicherbedarf im Betrieb nach den 47 Milliarden Gesamtparametern richtet, nicht nach den 13 Milliarden aktiven.

### Was bedeutet Top-k-Routing?

Top-k-Routing bedeutet, dass der Router für ein Token die k Experten mit den höchsten Bewertungen behält und den Rest ignoriert. Der Wert von k ist eine Entwurfsentscheidung: Der Switch Transformer nutzt 1, Mixtral 2 und DeepSeek-V3 8 seiner 256 gerouteten Experten. Ein größeres k kostet mehr Rechenaufwand pro Token, ein kleineres ist günstiger.

### Sind die Experten eines MoE-Modells nach Themen spezialisiert?

Meistens nicht. Untersuchungen trainierter Modelle finden Experten, die an Token-Arten und Syntax gebunden sind, etwa Satzzeichen, Verben oder Einrückungen im Code, und das Mixtral-Team fand bei Texten aus Wissenschaft, Biologie, Philosophie und Code kein offensichtliches Muster nach Thema.

### Was ist der Unterschied zwischen Mixture of Experts und einem Modell-Ensemble?

Ein Ensemble führt mehrere vollständige, getrennt trainierte Modelle mit derselben Eingabe aus und kombiniert ihre Antworten, zahlt also bei jeder Eingabe für jedes Modell. Ein MoE-Modell ist ein einziges, als Ganzes trainiertes Netz, in dem ein Router in jeder MoE-Schicht jedes Token an nur wenige Experten schickt.

### Nutzen alle großen Sprachmodelle Mixture of Experts?

Nein. Mixtral und DeepSeek-V3 sind MoE-Modelle, und Googles Bericht zu Gemini 1.5 beschreibt Gemini 1.5 Pro als ein solches, während das größte Llama-3-Modell von Meta ein dichter Transformer mit 405 Milliarden Parametern ist. Viele Anbieter geschlossener Modelle veröffentlichen ihre Architektur überhaupt nicht.

## Fazit

Mixture of Experts teilt eine Schicht in viele Expertennetze auf und lässt einen Router jedes Token an nur wenige davon schicken, sodass ein Modell weit mehr Parameter besitzen kann, als es für ein einzelnes Token berechnet. Die Gesamtparameter bestimmen den Speicher, die aktiven Parameter den größten Teil der Rechenlast, und die Kosten sind Speicher, Lastverteilung, Trainingsstabilität und Verkehr zwischen den Chips. Die Experten werden gelernt, nicht Fachgebieten zugeteilt. Für Teams, die öffentliche Webseiten in großem Umfang erheben müssen, um Modelle zu bauen oder zu testen, beschreibt die Seite [Data Scraping](/de/data-scraping) unsere Web Scraping API, einen über das Vertriebsteam angebotenen Dienst zur verwalteten Seitenextraktion.
