---
title: "¿Qué es la mezcla de expertos (MoE)? Cómo funciona"
description: "La mezcla de expertos (MoE) es un diseño de modelo en el que un enrutador envía cada token a unos pocos expertos de entre muchos. Cómo funciona y qué cuesta."
url: https://proxynet.io/es/blog/what-is-mixture-of-experts
date: 2026-11-18
author: "Acar Diveroli"
category: "IA"
lang: es
---

# ¿Qué es la mezcla de expertos (MoE)? Cómo funciona

El informe técnico de un modelo abierto da su tamaño en 47 mil millones de parámetros y, en la misma frase, dice que solo usa 13 mil millones de ellos para cada token. Las dos cifras son correctas, y la distancia entre ellas es toda la idea de la mezcla de expertos (mixture of experts): el modelo tiene muchos más parámetros de los que usa para cualquier token que lee o escribe. Si piensas ejecutar un modelo así por tu cuenta, la primera cifra decide cuánta memoria necesitas y la segunda, la mayor parte del cómputo.

Este artículo explica qué es un modelo de mezcla de expertos (MoE), cómo elige expertos el enrutador (router), qué significan los parámetros totales y activos, en qué se diferencia de un modelo denso, qué cuesta y si los expertos de verdad se especializan.

> **Nota: Respuesta breve**
>
> La mezcla de expertos (MoE) es un diseño de red neuronal en el que una capa contiene muchas subredes en paralelo, llamadas expertos, y un pequeño enrutador. Para cada token, el enrutador puntúa a todos los expertos, se queda solo con los mejores (a menudo uno o dos) y combina sus salidas según esas puntuaciones; el resto de los expertos queda inactivo. En los modelos de lenguaje grandes, los expertos suelen sustituir al bloque feed-forward de cada capa del transformer. El modelo obtiene así un número total de parámetros muy grande, pero muchos menos parámetros activos por token, de modo que puede almacenar más con un cómputo parecido al de un modelo más pequeño. El precio es la memoria, porque todos los expertos deben permanecer cargados, además de un entrenamiento más difícil y más tráfico entre chips.

## ¿Qué es la mezcla de expertos?

La mezcla de expertos es una forma de construir una capa de red neuronal a partir de varias redes más pequeñas, los expertos, y un enrutador (también llamado compuerta, o gate) que decide cuáles de ellos procesan cada entrada. Una capa densa aplica todos sus pesos a cada entrada; una capa MoE solo ejecuta los expertos que elige el enrutador, así que la mayoría de sus pesos están inactivos en cada momento. Por eso a los modelos MoE también se les llama modelos dispersos: para cada token solo está activa una parte reducida de la red.

El diseño importa sobre todo en los modelos de lenguaje grandes (LLM), redes neuronales entrenadas con enormes cantidades de texto para predecir el siguiente fragmento de texto; nuestra [guía sobre los LLM](/es/blog/what-is-a-large-language-model) explica cómo se construyen. Cada capa del transformer de un modelo así tiene un bloque de atención (attention), que permite a cada token tener en cuenta los demás tokens, y un bloque feed-forward (de propagación hacia delante), que después procesa cada token por separado. Un modelo MoE conserva el bloque de atención y sustituye el único bloque feed-forward por muchas versiones expertas de él, cada una con sus propios pesos.

La palabra «experto» es un nombre, no un cargo: nadie asigna un tema a un experto, y cualquier reparto del trabajo que aparezca se aprende durante el entrenamiento.

## ¿De dónde viene la idea?

La idea tiene más de treinta años. En 1991, Robert Jacobs, Michael Jordan, Steven Nowlan y Geoffrey Hinton publicaron «Adaptive Mixtures of Local Experts» en la revista Neural Computation: redes separadas, cada una de las cuales aprendía un subconjunto de los casos de entrenamiento, y una red de compuerta (gating network) que decidía en cuál confiar.

La forma que usan los modelos de lenguaje actuales parte de un artículo de 2017 de Noam Shazeer y sus colegas, [Outrageously Large Neural Networks](https://arxiv.org/abs/1701.06538). Colocó una capa MoE de compuerta dispersa (sparsely-gated), con hasta miles de expertos, entre las capas de un modelo de lenguaje, alcanzó hasta 137 mil millones de parámetros e informó de una capacidad de modelo más de 1.000 veces mayor con solo pequeñas pérdidas de eficiencia computacional.

En 2021, el [artículo del Switch Transformer](https://jmlr.org/papers/v23/21-0998.html) envió cada token a un único experto y entrenó modelos de hasta 1,6 millones de millones de parámetros. Sus autores informaron de un preentrenamiento hasta 7 veces más rápido que el de un modelo denso T5-Base con los mismos recursos computacionales, y nombraron lo que había frenado este enfoque: la complejidad, los costos de comunicación y la inestabilidad del entrenamiento. Después llegaron los modelos de lenguaje MoE de pesos abiertos (open-weight), entre ellos Mixtral 8x7B, de Mistral AI, y DeepSeek-V3.

## ¿Cómo funciona una capa de mezcla de expertos?

Una capa MoE puntúa a cada experto para cada token, ejecuta solo los mejores y combina sus resultados. Antes de ese punto, el texto ya se ha dividido en tokens, los pequeños fragmentos que lee un modelo, como palabras o partes de palabras (nuestra guía sobre [los tokens en IA](/es/blog/what-are-tokens-in-ai) muestra cómo), y cada token recorre el modelo como un vector, es decir, una larga lista de números.

1. **El token llega como un vector** desde el bloque de atención de la misma capa, que ya ha incorporado información de los tokens que lo rodean.
2. **El enrutador puntúa a cada experto.** El enrutador es una pequeña capa aprendida que da a cada experto una puntuación para este token. Ejecutarlo es barato, por grandes que sean los expertos.
3. **Solo se conservan los k mejores expertos (top-k).** El número k se fija al diseñar el modelo: 1 en el Switch Transformer, 2 en Mixtral, 8 de 256 expertos enrutados en DeepSeek-V3. Todos los demás expertos reciben un peso de cero.
4. **Las puntuaciones conservadas se convierten en pesos.** Una función softmax las transforma en proporciones que suman 1.
5. **Los expertos elegidos procesan el token.** Cada experto es una red feed-forward corriente con sus propios pesos.
6. **Las salidas se combinan.** La salida de la capa es la suma ponderada de las salidas de los expertos elegidos, y pasa a la capa siguiente.
7. **La capa siguiente vuelve a elegir.** Cada capa MoE tiene su propio enrutador y sus propios expertos, así que un token puede usar los expertos 2 y 5 en una capa y los expertos 1 y 7 en la siguiente.

Un ejemplo inventado muestra la aritmética. En una capa con 8 expertos, el enrutador da a un token una puntuación de 2,1 para el experto 3, de 1,3 para el experto 6 y puntuaciones más bajas para los otros seis. Con enrutamiento top-2 solo se ejecutan los expertos 3 y 6; una softmax sobre las dos puntuaciones conservadas da pesos de aproximadamente 0,69 y 0,31, de modo que la salida de la capa es un 69 % el resultado del experto 3 y un 31 % el del experto 6. Seis expertos no trabajaron para este token.

Los diseños varían: DeepSeek-V3, por ejemplo, añade junto a los expertos enrutados un experto compartido por el que pasan todos los tokens.

## Parámetros totales y activos: ¿cuál es la diferencia?

Los parámetros totales son todos los pesos que tiene el modelo; los parámetros activos son los pesos que se usan de verdad para procesar un token. Un parámetro es un único número aprendido dentro de la red. Un modelo denso usa todos sus parámetros para cada token, así que en él las dos cifras coinciden; en un modelo MoE se separan.

El [artículo de Mixtral](https://arxiv.org/abs/2401.04088) da un ejemplo claro. Cada capa tiene 8 expertos y el enrutador elige 2 para cada token, de modo que cada token tiene acceso a 47 mil millones de parámetros, pero solo usa 13 mil millones de ellos. El nombre «8x7B» sugiere 56 mil millones, pero solo los bloques feed-forward existen ocho veces; la atención y las demás partes de cada capa se comparten y se cuentan una vez.

[DeepSeek-V3](https://github.com/deepseek-ai/DeepSeek-V3) amplía la distancia: 671 mil millones de parámetros totales, de los que cada token activa 37 mil millones, más o menos uno de cada dieciocho pesos.

Las dos cifras responden a preguntas distintas:

- **Los parámetros totales determinan la memoria.** Todos los expertos tienen que estar cargados, porque el siguiente token puede necesitar cualquiera de ellos. Los autores de Mixtral escriben que el costo de memoria para servir su modelo es proporcional al número total (disperso) de parámetros.
- **Los parámetros activos determinan la mayor parte del cómputo por token**, y con ello buena parte del costo de cada token generado.
- **Ninguna de las dos cifras indica por sí sola la calidad.** Un modelo con 13 mil millones de parámetros activos no equivale a un modelo denso de 13 mil millones de parámetros, porque recurre a una reserva mucho mayor de pesos almacenados.

## Modelo denso frente a modelo MoE: ¿cuál es la diferencia?

Un modelo denso ejecuta todos sus parámetros para cada token, mientras que un modelo MoE del mismo tamaño total ejecuta solo una fracción, lo que ahorra cómputo pero no memoria. La tabla compara los dos con el mismo número total de parámetros.

| | Modelo denso | Modelo MoE |
|---|---|---|
| Parámetros usados por token | Todos | Solo los expertos elegidos y las partes compartidas |
| Cómputo por token | Crece con el tamaño total | Crece con el tamaño activo |
| Memoria para servir el modelo | Tamaño total | Tamaño total: todos los expertos cargados |
| Entrenamiento | Bien conocido | Requiere balanceo de carga, menos estable |
| Reparto entre muchos chips | Por capas o por tensores | Expertos en chips distintos, más tráfico |
| Ajuste fino (fine-tuning) con pocos datos | Predecible | Puede sobreajustarse antes |

El panorama cambia si lo que fijas es el cómputo. Frente a un modelo denso con el mismo número de parámetros activos, un modelo MoE hace más o menos la misma aritmética por token, pero necesita varias veces más memoria y, a cambio, tiene muchos más pesos en los que guardar lo que aprendió.

## ¿Qué costos tiene la mezcla de expertos?

La mezcla de expertos cambia cómputo por memoria y trae tres problemas que un modelo denso no tiene: carga desigual entre los expertos, un entrenamiento menos estable y más comunicación entre chips.

**Memoria.** Cada experto tiene que estar cargado en algún acelerador (como una GPU), aunque la mayoría esté inactiva para un token dado. El informe técnico de DeepSeek-V3 describe una unidad mínima de despliegue de 40 nodos con 320 GPU para la etapa que genera texto, en la que cada GPU aloja un experto. Por eso, ejecutar un modelo MoE en una sola máquina significa que todos sus expertos tienen que caber en memoria, no solo los activos.

**Balanceo de carga.** Si el enrutador elige una y otra vez los mismos pocos expertos, esos expertos reciben más entrenamiento, mejoran y se eligen todavía más; el artículo de Shazeer dice que este desequilibrio se refuerza a sí mismo. La solución habitual es una pérdida auxiliar (auxiliary loss), un término adicional en el objetivo de entrenamiento que penaliza las cargas desiguales. El Switch Transformer, además, da a cada experto una capacidad fija por lote (batch): un token que llega cuando su experto está lleno se salta ese experto y pasa directamente a la capa siguiente, lo que se llama descarte de tokens (token dropping). DeepSeek-V3 usa en su lugar un sesgo (bias) por experto que se ajusta durante el entrenamiento porque, según sus autores, una pérdida auxiliar demasiado grande perjudica el rendimiento del modelo.

**Inestabilidad del entrenamiento.** Los enrutadores son sensibles a pequeños errores numéricos. Los autores del Switch Transformer comprobaron que la inestabilidad les impedía entrenar en bfloat16, un formato numérico de baja precisión, y la resolvieron calculando el enrutador con precisión de 32 bits y partiendo de pesos iniciales más pequeños. El informe de Llama 3 de Meta toma la decisión contraria por el mismo motivo: su modelo más grande, de 405 mil millones de parámetros, es un transformer denso estándar, elegido en lugar de una mezcla de expertos para maximizar la estabilidad del entrenamiento.

**Comunicación.** Los modelos MoE grandes reparten sus expertos entre muchos chips, así que cada capa MoE tiene que enviar cada token a los chips que alojan sus expertos elegidos y recoger los resultados. DeepSeek-V3 limita ese tráfico enviando cada token a expertos de como máximo 4 nodos.

## ¿Los expertos se especializan en temas?

No de la forma que sugiere el nombre: los estudios sobre modelos MoE entrenados encuentran expertos que se ocupan de tipos de tokens, como signos de puntuación o fragmentos de sintaxis de código, y no de materias como medicina o derecho.

El equipo de Mixtral comprobó qué expertos se elegían para textos de distintas fuentes, entre ellas artículos de arXiv, resúmenes de biología de PubMed, artículos de filosofía y código de GitHub, y no encontró ningún patrón evidente por tema. El enrutamiento parecía más ligado a la sintaxis: la palabra `self` en Python y los tokens de sangría del código solían ir a los mismos expertos, y los tokens consecutivos a menudo compartían expertos.

Trabajos anteriores apuntan en la misma dirección. El artículo de Shazeer de 2017 describió expertos muy especializados según la sintaxis y la semántica. El artículo ST-MoE, de 2022, encontró en el codificador (encoder) expertos para signos de puntuación, verbos, nombres propios y conteo, una especialización mucho más débil en el decodificador (decoder) y ninguna prueba de que los expertos se especializaran por idioma en un modelo multilingüe.

Así que no puedes dirigir un prompt «al experto en derecho»: el enrutador decide por token y por capa, y el reparto del trabajo que aprende es estadístico.

## ¿Dónde te encuentras con la mezcla de expertos?

- **Fichas de modelo (model cards) e informes técnicos** que dan dos tamaños, parámetros totales y activos: la señal más clara de un modelo MoE.
- **Modelos de pesos abiertos que descargas y ejecutas**, como Mixtral y DeepSeek-V3, donde el tamaño total decide si el modelo cabe en tu hardware.
- **Modelos cerrados detrás de una API**, cuya arquitectura a menudo no se publica. Algunos proveedores la publican: el informe de Gemini 1.5 de Google describe Gemini 1.5 Pro como un transformer de mezcla de expertos dispersa. Cuando un proveedor no ha dicho nada, las afirmaciones sobre su diseño son conjeturas.

¿Cambia la MoE los datos que necesita un modelo? No. Disperso o denso, un modelo de lenguaje se entrena con colecciones de texto muy grandes, en buena parte procedentes de páginas web públicas. Los equipos que aplican ajuste fino, grounding (anclaje en fuentes) o evaluación a los modelos también siguen recopilando páginas, a menudo de varios países, porque los precios, las normas y los datos de producto cambian según el mercado. En ese trabajo de recopilación encajan los proxies: con los [Proxies residenciales](https://proxynet.io/es/residential-proxy), un rastreador web puede cargar una página pública tal como la ve un visitante de un país concreto, a un ritmo de solicitudes que el sitio pueda soportar.

## Errores frecuentes

- **Dimensionar el hardware por los parámetros activos.** Un modelo con 13 mil millones de parámetros activos sigue necesitando memoria para los 47 mil millones.
- **Multiplicar el nombre.** «8x7B» no son 56 mil millones de parámetros; las partes compartidas de cada capa se cuentan una vez.
- **Comparar modelos por una sola cifra.** Usa los parámetros activos para el cómputo, los totales para la memoria y tus propios prompts de prueba para la calidad.
- **Esperar expertos por tema.** Un prompt no puede elegir un experto, y los expertos rara vez corresponden a materias.
- **Hacer ajuste fino con un conjunto de datos diminuto sin una validación aparte.** El estudio ST-MoE observó que los modelos dispersos son más propensos al sobreajuste (overfitting) en tareas pequeñas, así que mide con ejemplos que el modelo no haya visto; lo básico está en nuestra [guía de ajuste fino](/es/blog/what-is-fine-tuning).
- **Repetir rumores sobre modelos cerrados.** Si un proveedor no ha publicado la arquitectura, es desconocida.

## Guía de decisión

| Tu situación | Qué significa la MoE para ti |
|---|---|
| Usas un modelo a través de una API de pago | Compara precio, latencia y respuestas; la arquitectura es asunto del proveedor |
| Ejecutas un modelo abierto en tu propia GPU | Todos los parámetros totales tienen que caber en memoria |
| Quieres más calidad con el mismo cómputo | Vale la pena probar un modelo MoE |
| La memoria es tu límite estricto | Un modelo denso más pequeño es más sencillo |
| Sirves a muchos usuarios en un clúster de GPU | Planifica la ubicación de los expertos y el tráfico entre chips |
| Haces ajuste fino con un conjunto de datos pequeño | Vigila el sobreajuste en los resultados de validación |
| Comparas dos fichas de modelo | Lee por separado los parámetros totales y los activos |

## Preguntas frecuentes

### ¿Un modelo MoE es más rápido que un modelo denso?

Por token, sí, si se compara con un modelo denso del mismo tamaño total, porque solo calcula los expertos elegidos. Frente a un modelo denso del mismo tamaño activo, hace más o menos la misma aritmética, pero mueve más datos, porque los distintos tokens de un lote llaman a expertos distintos. La velocidad real depende del hardware, del tamaño del lote y de dónde estén ubicados los expertos.

### ¿Por qué los modelos MoE necesitan tanta memoria?

Porque todos los expertos tienen que permanecer cargados, aunque cada token use solo unos pocos. El enrutador decide en tiempo de ejecución, token a token, así que cualquier experto puede ser el siguiente que haga falta. Los autores de Mixtral afirman que la memoria para servir su modelo depende de sus 47 mil millones de parámetros totales y no de los 13 mil millones de parámetros activos.

### ¿Qué significa enrutamiento top-k?

El enrutamiento top-k significa que el enrutador conserva los k expertos con las puntuaciones más altas para un token e ignora el resto. El valor de k es una decisión de diseño: el Switch Transformer usa 1, Mixtral 2 y DeepSeek-V3 8 de sus 256 expertos enrutados. Un k mayor gasta más cómputo por token; uno menor es más barato.

### ¿Los expertos de un modelo MoE se especializan por tema?

En general, no. Los estudios sobre modelos entrenados encuentran expertos ligados a tipos de tokens y a la sintaxis, como signos de puntuación, verbos o la sangría del código, y el equipo de Mixtral no encontró ningún patrón evidente por tema en textos de ciencia, biología, filosofía y código.

### ¿Qué diferencia hay entre la mezcla de expertos y un conjunto de modelos (ensemble)?

Un ensemble ejecuta varios modelos completos, entrenados por separado, con la misma entrada y combina sus respuestas, así que paga por cada modelo en cada entrada. Un modelo MoE es una sola red entrenada como un todo, en la que un enrutador dentro de cada capa MoE envía cada token solo a unos pocos expertos.

### ¿Todos los modelos de lenguaje grandes usan mezcla de expertos?

No. Mixtral y DeepSeek-V3 son modelos MoE, y el informe de Gemini 1.5 de Google describe Gemini 1.5 Pro como uno de ellos, mientras que el modelo Llama 3 más grande de Meta es un transformer denso de 405 mil millones de parámetros. Muchos proveedores de modelos cerrados no publican su arquitectura en absoluto.

## En resumen

La mezcla de expertos divide una capa en muchas redes expertas y deja que un enrutador envíe cada token solo a unas pocas, de modo que un modelo puede tener muchos más parámetros de los que usa para calcular cualquier token. Los parámetros totales deciden la memoria, los activos deciden la mayor parte del cómputo, y los costos son memoria, balanceo de carga, estabilidad del entrenamiento y tráfico entre chips. Los expertos se aprenden, no se asignan a materias. Para los equipos que necesitan recopilar páginas web públicas a escala para construir o probar modelos, nuestra Web Scraping API, un servicio de extracción gestionada de páginas que se ofrece a través del equipo de ventas, se describe en la página de [extracción de datos](/es/data-scraping).
