---
title: "Mixture of Experts (MoE) Nedir? Nasıl Çalışır?"
description: "Mixture of experts (MoE), bir yönlendiricinin her token'ı birçok uzman alt ağdan yalnızca birkaçına gönderdiği model tasarımıdır. Nasıl çalıştığını anlattık."
url: https://proxynet.io/tr/blog/what-is-mixture-of-experts
date: 2026-11-18
author: "Acar Diveroli"
category: "Yapay Zekâ"
lang: tr
---

# Mixture of Experts (MoE) Nedir? Nasıl Çalışır?

Açık ağırlıklı (open-weight) bir modelin teknik raporu, modelin boyutunu 47 milyar parametre olarak veriyor ve aynı cümlede her token için bunların yalnızca 13 milyarını kullandığını söylüyor. İki sayı da doğru; aradaki fark da mixture of experts fikrinin özü: model, okuduğu ya da yazdığı her bir token için kullandığından çok daha fazla parametreye sahiptir. Böyle bir modeli kendi donanımınızda çalıştırmayı düşünüyorsanız ilk sayı ne kadar belleğe ihtiyacınız olduğunu, ikincisi ise hesaplama yükünün büyük kısmını belirler.

Bu yazıda mixture of experts (MoE, uzmanlar karışımı) modelinin ne olduğunu, yönlendiricinin (router) uzmanları nasıl seçtiğini, toplam ve aktif parametrenin ne anlama geldiğini, MoE'nin yoğun (dense) modelden farkını, maliyetini ve uzmanların gerçekten uzmanlaşıp uzmanlaşmadığını anlatıyoruz.

> **Not: Kısa cevap**
>
> Mixture of experts (MoE), bir katmanın uzman (expert) adı verilen çok sayıda paralel alt ağdan ve küçük bir yönlendiriciden (router) oluştuğu bir sinir ağı tasarımıdır. Yönlendirici her token için bütün uzmanları puanlar, yalnızca en iyi birkaçını (çoğunlukla bir ya da iki) tutar ve onların çıktılarını bu puanlara göre karıştırır; diğer uzmanlar boşta kalır. Büyük dil modellerinde uzmanlar genellikle her transformer katmanındaki ileri beslemeli (feed-forward) bloğun yerini alır. Sonuçta toplam parametre sayısı çok büyük, token başına aktif parametre sayısı ise çok daha küçük bir model elde edilir; bu model, küçük bir modelin hesaplama yüküne yakın bir maliyetle çok daha fazlasını depolayabilir. Bedeli bellektir, çünkü her uzmanın yüklü kalması gerekir; buna daha zor bir eğitim ve çipler arasında daha fazla trafik eklenir.

## Mixture of experts nedir?

Mixture of experts, bir sinir ağı katmanını uzman adı verilen birkaç küçük ağdan ve her girdiyi bunlardan hangilerinin işleyeceğine karar veren bir yönlendiriciden (router; buna gate, yani kapı da denir) kurma yöntemidir. Yoğun (dense) bir katman her girdide bütün ağırlıklarını çalıştırır; MoE katmanı ise yalnızca yönlendiricinin seçtiği uzmanları çalıştırır, bu yüzden ağırlıklarının çoğu herhangi bir anda boşta durur. MoE modellerine seyrek (sparse) model denmesinin nedeni budur: her token için ağın yalnızca küçük, seyrek bir bölümü çalışır.

Tasarımın en çok önem kazandığı yer, çok büyük miktarda metinle sıradaki metin parçasını tahmin etmek üzere eğitilen sinir ağları, yani büyük dil modelleridir (LLM); nasıl kurulduklarını [LLM rehberimizde](/tr/blog/what-is-a-large-language-model) anlattık. Böyle bir modelin her transformer katmanında iki blok bulunur: her token'ın diğer token'ları hesaba katmasını sağlayan dikkat (attention) bloğu ve ardından her token'ı tek başına işleyen ileri beslemeli blok. MoE modeli dikkat bloğunu korur, tek ileri beslemeli bloğun yerine ise her biri kendi ağırlıklarına sahip çok sayıda uzman sürümünü koyar.

"Uzman" kelimesi bir ad, bir görev tanımı değildir: kimse bir uzmanı belirli bir konuya atamaz; ortaya çıkan iş bölümü eğitim sırasında öğrenilir. MoE kısaltmasının havacılık gibi başka alanlarda başka anlamları da vardır; bu yazı yalnızca yapay zekâdaki anlamını ele alıyor.

## Fikir nereden çıktı?

Fikir otuz yıldan eski. Robert Jacobs, Michael Jordan, Steven Nowlan ve Geoffrey Hinton, 1991'de Neural Computation dergisinde "Adaptive Mixtures of Local Experts" makalesini yayımladı: her biri eğitim örneklerinin bir alt kümesini öğrenen ayrı ağlar ve hangisine güvenileceğine karar veren bir kapılama ağı (gating network).

Bugünkü dil modellerinde kullanılan biçim, Noam Shazeer ve arkadaşlarının 2017 tarihli [Outrageously Large Neural Networks](https://arxiv.org/abs/1701.06538) makalesiyle başlar. Makale, binlerce uzmana kadar çıkan seyrek kapılı (sparsely-gated) bir MoE katmanını bir dil modelinin katmanları arasına yerleştirdi, 137 milyar parametreye kadar ulaştı ve hesaplama verimliliğinde yalnızca küçük kayıplarla model kapasitesinde 1.000 kattan fazla artış bildirdi.

2021'de [Switch Transformer makalesi](https://jmlr.org/papers/v23/21-0998.html) her token'ı tek bir uzmana gönderdi ve 1,6 trilyon parametreye kadar modeller eğitti. Yazarlar, aynı hesaplama kaynaklarıyla yoğun bir T5-Base modeline göre ön eğitimde 7 kata kadar hızlanma bildirdi ve MoE'yi o güne kadar geri tutan üç şeyi adlandırdı: karmaşıklık, iletişim maliyeti ve eğitim kararsızlığı. Ardından açık ağırlıklı MoE dil modelleri geldi; Mistral AI'ın Mixtral 8x7B'si ve DeepSeek-V3 bunlardan ikisidir.

## Mixture of experts katmanı nasıl çalışır?

MoE katmanı her token için bütün uzmanları puanlar, yalnızca en iyi birkaçını çalıştırır ve sonuçlarını harmanlar. Bu noktadan önce metin, modelin okuduğu küçük parçalara, yani kelime ya da kelime parçası gibi token'lara bölünmüştür ([yapay zekâda token](/tr/blog/what-are-tokens-in-ai) yazımız bunun nasıl yapıldığını gösteriyor); her token da modelin içinde bir vektör, yani uzun bir sayı listesi olarak ilerler.

1. **Token bir vektör olarak gelir.** Aynı katmanın dikkat bloğundan çıkar; bu blok, çevresindeki token'lardan gelen bilgiyi ona çoktan katmıştır.
2. **Yönlendirici her uzmanı puanlar.** Yönlendirici, her uzmana bu token için tek bir puan veren, öğrenilmiş küçük bir katmandır. Uzmanlar ne kadar büyük olursa olsun çalıştırması ucuzdur.
3. **Yalnızca en iyi k uzman (top-k) tutulur.** k sayısı model tasarlanırken sabitlenir: Switch Transformer'da 1, Mixtral'da 2, DeepSeek-V3'te 256 yönlendirilen uzmandan 8. Diğer bütün uzmanların ağırlığı sıfır olur.
4. **Tutulan puanlar ağırlığa dönüşür.** Softmax fonksiyonu bu puanları toplamı 1 eden paylara çevirir.
5. **Seçilen uzmanlar token'ı işler.** Her uzman, kendi ağırlıkları olan sıradan bir ileri beslemeli ağdır.
6. **Çıktılar karıştırılır.** Katmanın çıktısı, seçilen uzmanların çıktılarının ağırlıklı toplamıdır ve bir sonraki katmana geçer.
7. **Sonraki katman yeniden seçer.** Her MoE katmanının kendi yönlendiricisi ve uzmanları vardır; bu yüzden aynı token bir katmanda 2 ve 5 numaralı uzmanları, bir sonrakinde 1 ve 7 numaralıları kullanabilir.

Hesabı varsayımsal bir örnekle gösterelim. 8 uzmanlı bir katmanda yönlendirici bir token'a 3 numaralı uzman için 2,1, 6 numaralı uzman için 1,3 puan, diğer altısına daha düşük puanlar veriyor. Top-2 yönlendirmede yalnızca 3 ve 6 numaralı uzmanlar çalışır; tutulan iki puan üzerinde softmax yaklaşık 0,69 ve 0,31 ağırlık verir, yani katmanın çıktısının %69'u 3 numaralı uzmanın, %31'i 6 numaralı uzmanın sonucundan gelir. Diğer altı uzman bu token için hiç çalışmaz.

Tasarımlar farklılaşabilir: örneğin DeepSeek-V3, yönlendiricinin seçtiği uzmanların yanına her token'ın içinden geçtiği bir ortak uzman (shared expert) ekler.

## Toplam ve aktif parametre arasındaki fark nedir?

Toplam parametre modelin sahip olduğu bütün ağırlıklardır; aktif parametre ise tek bir token'ı işlemek için gerçekten kullanılan ağırlıklardır. Parametre, ağın içindeki öğrenilmiş tek bir sayıdır. Yoğun bir model her token için bütün parametrelerini kullanır, yani onda iki sayı aynıdır; MoE modelinde ise iki sayı birbirinden ayrılır.

[Mixtral makalesi](https://arxiv.org/abs/2401.04088) bunun net bir örneğini veriyor. Her katmanda 8 uzman var ve yönlendirici her token için 2'sini seçiyor; böylece her token 47 milyar parametreye erişebiliyor ama yalnızca 13 milyarını kullanıyor. "8x7B" adı 56 milyar parametreyi düşündürür; oysa yalnızca ileri beslemeli bloklar sekizer kez bulunur, dikkat bloğu ve katmanın diğer parçaları ortaktır ve bir kez sayılır.

[DeepSeek-V3](https://github.com/deepseek-ai/DeepSeek-V3) bu farkı daha da açar: 671 milyar toplam parametrenin 37 milyarı her token için etkinleştirilir, yani kabaca on sekiz ağırlıktan biri.

İki sayı farklı sorulara cevap verir:

- **Toplam parametre belleği belirler.** Her uzmanın yüklenmesi gerekir, çünkü bir sonraki token herhangi birine ihtiyaç duyabilir. Mixtral'ın yazarları, modeli sunmanın bellek maliyetinin toplam, yani seyrek parametre sayısıyla orantılı olduğunu yazıyor.
- **Aktif parametre token başına hesaplamanın büyük kısmını belirler**; üretilen her token'ın maliyetinin önemli bir bölümü de buna bağlıdır.
- **Tek başına hiçbiri kaliteyi söylemez.** 13 milyar aktif parametreli bir model, 13 milyar parametreli yoğun bir modelle aynı şey değildir, çünkü çok daha büyük bir ağırlık havuzundan yararlanır.

## Yoğun model ile MoE modeli arasındaki fark nedir?

Yoğun model her token için bütün parametrelerini çalıştırır, aynı toplam boyuttaki bir MoE modeli ise yalnızca bir kısmını; böylece hesaplamadan tasarruf edilir ama bellekten edilmez. Tablo ikisini aynı toplam parametre sayısında karşılaştırıyor.

| | Yoğun model | MoE modeli |
|---|---|---|
| Token başına kullanılan parametre | Hepsi | Yalnızca seçilen uzmanlar ve ortak parçalar |
| Token başına hesaplama | Toplam boyutla artar | Aktif boyutla artar |
| Sunmak için gereken bellek | Toplam boyut | Toplam boyut: bütün uzmanlar yüklü |
| Eğitim | İyi bilinir | Yük dengeleme gerekir, daha az kararlı |
| Çok sayıda çipe dağıtım | Katman ya da tensör bazında | Uzmanlar farklı çiplerde, daha çok trafik |
| Az veriyle fine-tuning (ince ayar) | Öngörülebilir | Daha çabuk aşırı öğrenebilir |

Hesaplamayı sabit tutarsanız durum değişir. Aynı sayıda aktif parametresi olan yoğun bir modelle kıyaslandığında MoE modeli token başına aşağı yukarı aynı hesaplamayı yapar ama birkaç kat bellek ister; karşılığında öğrendiklerini depolayabileceği çok daha fazla ağırlığı olur.

## MoE'nin maliyeti nedir?

Mixture of experts hesaplamadan kazandığını bellekle öder ve yoğun modelde olmayan üç sorun getirir: uzmanlar arasında dengesiz yük, daha az kararlı eğitim ve çipler arasında daha fazla iletişim.

**Bellek.** Her uzmanın bir hızlandırıcıya (GPU gibi) yüklenmesi gerekir, oysa herhangi bir token için uzmanların çoğu boştadır. DeepSeek-V3 teknik raporu, metnin üretildiği aşama için her GPU'nun bir uzman tuttuğu, 40 düğüm ve 320 GPU'dan oluşan en küçük dağıtım birimini anlatıyor. Bu yüzden bir MoE modelini tek makinede çalıştırmak, yalnızca aktif olanları değil bütün uzmanları belleğe sığdırmak demektir.

**Yük dengeleme.** Yönlendirici hep aynı birkaç uzmanı seçerse bu uzmanlar daha çok eğitilir, daha iyi olur ve daha da sık seçilir; Shazeer'in makalesi bu dengesizliğin kendi kendini beslediğini söyler. Olağan çözüm yardımcı kayıptır (auxiliary loss): eğitim hedefine eklenen ve dengesiz yükü cezalandıran ek bir terim. Switch Transformer ayrıca her uzmana yığın (batch) başına sabit bir kapasite verir: seçtiği uzman dolmuşken gelen token o uzmanı atlayıp doğrudan sonraki katmana geçer; buna token düşürme (token dropping) denir. DeepSeek-V3 ise bunun yerine eğitim sırasında ayarlanan, uzman başına bir sapma (bias) değeri kullanır, çünkü yazarlarına göre fazla büyük bir yardımcı kayıp modelin performansını bozar.

**Eğitim kararsızlığı.** Yönlendiriciler küçük sayısal hatalara karşı hassastır. Switch Transformer'ın yazarları, kararsızlığın düşük hassasiyetli bir sayı biçimi olan bfloat16 ile eğitim yapmalarını engellediğini gördü; sorunu yönlendiriciyi 32 bit hassasiyetle hesaplayarak ve eğitime daha küçük başlangıç ağırlıklarıyla başlayarak çözdü. Meta ise Llama 3'te aynı gerekçeyle ters yönde karar verdi: raporuna göre en büyük, 405 milyar parametreli model, eğitim kararlılığını en üst düzeye çıkarmak için mixture of experts yerine standart, yoğun bir transformer olarak kuruldu.

**İletişim.** Büyük MoE modelleri uzmanlarını çok sayıda çipe dağıtır; bu yüzden her MoE katmanı, her token'ı seçtiği uzmanları tutan çiplere göndermek ve sonuçları geri toplamak zorundadır. DeepSeek-V3 bu trafiği, her token'ı en fazla 4 düğümdeki uzmanlara göndererek sınırlar.

## Uzmanlar konulara göre mi uzmanlaşır?

Adın düşündürdüğü biçimde değil: eğitilmiş MoE modelleri üzerine yapılan çalışmalar, tıp ya da hukuk gibi konularla değil, noktalama işaretleri ya da kod sözdiziminin parçaları gibi token türleriyle ilgilenen uzmanlar buluyor.

Mixtral ekibi, aralarında arXiv makaleleri, PubMed'deki biyoloji özetleri, felsefe makaleleri ve GitHub kodu bulunan farklı kaynaklardan gelen metinler için hangi uzmanların seçildiğine baktı ve konuya göre belirgin bir örüntü bulamadı. Yönlendirme daha çok sözdizimine bağlı görünüyordu: Python'daki `self` kelimesi ve koddaki girinti token'ları çoğu zaman aynı uzmanlara gidiyor, art arda gelen token'lar da sıklıkla aynı uzmanları paylaşıyordu.

Daha önceki çalışmalar da aynı yönü gösteriyor. Shazeer'in 2017 makalesi, sözdizimine ve anlama göre büyük ölçüde uzmanlaşmış uzmanlar bildirdi. 2022 tarihli ST-MoE makalesi ise kodlayıcıda (encoder) noktalama, fiil, özel ad ve sayma işleriyle ilgilenen uzmanlar buldu; kod çözücüde (decoder) uzmanlaşma çok daha zayıftı ve çok dilli bir modelde uzmanların dile göre uzmanlaştığına dair bir kanıt çıkmadı.

Yani bir prompt'u "hukuk uzmanına" yönlendiremezsiniz: yönlendirici kararını her token ve her katman için ayrı verir ve öğrendiği iş bölümü istatistikseldir.

## MoE ile nerelerde karşılaşırsınız?

- **Model kartları ve teknik raporlar:** toplam ve aktif olmak üzere iki boyut veren belgeler. Bu ikili, bir MoE modelinin en açık işaretidir.
- **İndirip çalıştırdığınız açık ağırlıklı modeller:** Mixtral ve DeepSeek-V3 gibi. Modelin donanımınıza sığıp sığmayacağını burada toplam boyut belirler.
- **API üzerinden sunulan kapalı modeller:** mimari çoğu zaman yayımlanmaz. Bazı şirketler yayımlar: Google'ın Gemini 1.5 raporu, Gemini 1.5 Pro'yu seyrek bir mixture-of-experts transformer olarak tanımlar. Şirketin hiçbir şey söylemediği durumlarda tasarım hakkındaki iddialar tahminden ibarettir.

MoE, bir modelin ihtiyaç duyduğu veriyi değiştirir mi? Hayır. Seyrek olsun yoğun olsun, bir dil modeli çok büyük metin koleksiyonlarıyla eğitilir ve bu metinlerin büyük bölümü herkese açık web sayfalarından gelir. Modellere ince ayar yapan, onları kaynaklara dayandıran ya da değerlendiren ekipler de sayfa toplamaya devam eder; fiyatlar, kurallar ve ürün bilgileri pazardan pazara değiştiği için bu sayfalar çoğu zaman birkaç ülkeden toplanır. Proxy'ler bu toplama işinde devreye girer: bir [Residential Proxy](https://proxynet.io/tr/residential-proxy), bir crawler'ın herkese açık bir sayfayı belirli bir ülkedeki ziyaretçinin gördüğü hâliyle, sitenin kaldırabileceği bir istek hızında yüklemesini sağlar.

## Sık yapılan hatalar

- **Donanımı aktif parametreye göre boyutlandırmak.** 13 milyar aktif parametreli bir model yine de 47 milyarın tamamı için bellek ister.
- **Adı çarpmak.** "8x7B" 56 milyar parametre demek değildir; her katmanın ortak parçaları bir kez sayılır.
- **Modelleri tek bir sayıyla karşılaştırmak.** Hesaplama için aktif parametreye, bellek için toplam parametreye, kalite için kendi test prompt'larınıza bakın.
- **Konu uzmanları beklemek.** Bir prompt uzman seçemez ve uzmanlar nadiren konulara karşılık gelir.
- **Küçük bir veri setiyle, ayrılmış test örnekleri olmadan ince ayar yapmak.** ST-MoE çalışması, seyrek modellerin küçük görevlerde aşırı öğrenmeye (overfitting) daha yatkın olduğunu buldu; sonucu modelin görmediği örneklerde ölçün. Temelleri [ince ayar rehberimizde](/tr/blog/what-is-fine-tuning) anlattık.
- **Kapalı modeller hakkındaki söylentileri tekrarlamak.** Şirket mimariyi yayımlamadıysa mimari bilinmiyor demektir.

## Karar rehberi

| Durumunuz | MoE sizin için ne anlama gelir? |
|---|---|
| Modeli ücretli bir API üzerinden kullanıyorsunuz | Fiyatı, gecikmeyi ve cevapları karşılaştırın; mimari sağlayıcının işi |
| Açık bir modeli kendi GPU'nuzda çalıştırıyorsunuz | Toplam parametrelerin tamamı belleğe sığmalı |
| Aynı hesaplamayla daha yüksek kalite istiyorsunuz | Bir MoE modelini denemeye değer |
| Asıl sınırınız bellek | Daha küçük, yoğun bir model daha basittir |
| Bir GPU kümesinde çok sayıda kullanıcıya hizmet veriyorsunuz | Uzmanların yerleşimini ve çipler arası trafiği planlayın |
| Küçük bir veri setiyle ince ayar yapıyorsunuz | Ayrılmış örneklerdeki sonuçlarda aşırı öğrenmeyi izleyin |
| İki model kartını karşılaştırıyorsunuz | Toplam ve aktif parametreyi ayrı ayrı okuyun |

## Sıkça sorulan sorular

### MoE modeli yoğun bir modelden daha hızlı mıdır?

Token başına, aynı toplam boyuttaki yoğun bir modele göre evet, çünkü yalnızca seçilen uzmanları hesaplar. Aynı aktif boyuttaki yoğun bir modele göre ise aşağı yukarı aynı hesaplamayı yapar ama daha fazla veri taşır, çünkü bir yığındaki farklı token'lar farklı uzmanları çağırır. Gerçek hız donanıma, yığın boyutuna ve uzmanların nereye yerleştirildiğine bağlıdır.

### MoE modelleri neden bu kadar çok bellek ister?

Çünkü her token yalnızca birkaç uzman kullansa da her uzmanın yüklü kalması gerekir. Yönlendirici kararını çalışma anında, token token verir; bu yüzden sıradaki adımda herhangi bir uzmana ihtiyaç duyulabilir. Mixtral'ın yazarları, modeli sunmak için gereken belleğin 13 milyar aktif parametreye değil, 47 milyar toplam parametreye göre belirlendiğini belirtiyor.

### Top-k yönlendirme ne demek?

Top-k yönlendirme, yönlendiricinin bir token için en yüksek puanı alan k uzmanı tutması ve gerisini yok sayması demektir. k bir tasarım tercihidir: Switch Transformer 1, Mixtral 2, DeepSeek-V3 ise 256 yönlendirilen uzmanından 8'ini kullanır. Büyük bir k token başına daha fazla hesaplama harcar, küçük bir k daha ucuzdur.

### MoE modelindeki uzmanlar konulara göre mi uzmanlaşır?

Çoğunlukla hayır. Eğitilmiş modeller üzerine yapılan çalışmalar, noktalama, fiiller ya da koddaki girinti gibi token türlerine ve sözdizimine bağlı uzmanlar buluyor; Mixtral ekibi de bilim, biyoloji, felsefe ve kod metinlerinde konuya göre belirgin bir örüntü bulamadı.

### Mixture of experts ile model topluluğu (ensemble) arasındaki fark nedir?

Model topluluğu, ayrı ayrı eğitilmiş birkaç tam modeli aynı girdide çalıştırır ve cevaplarını birleştirir; yani her girdide bütün modellerin bedelini öder. MoE modeli ise bir bütün olarak eğitilen tek bir ağdır ve her MoE katmanındaki yönlendirici her token'ı yalnızca birkaç uzmana gönderir.

### Bütün büyük dil modelleri mixture of experts kullanır mı?

Hayır. Mixtral ve DeepSeek-V3 MoE modelidir, Google'ın Gemini 1.5 raporu da Gemini 1.5 Pro'yu böyle tanımlar; Meta'nın en büyük Llama 3 modeli ise 405 milyar parametreli yoğun bir transformer'dır. Kapalı model geliştiren birçok şirket mimarisini hiç yayımlamaz.

## Özet

Mixture of experts bir katmanı çok sayıda uzman ağa böler ve bir yönlendiricinin her token'ı bunların yalnızca birkaçına göndermesini sağlar; böylece model, herhangi bir token için hesapladığından çok daha fazla parametre taşıyabilir. Toplam parametre belleği, aktif parametre hesaplamanın büyük kısmını belirler; tasarımın bedeli bellek, yük dengeleme, eğitim kararlılığı ve çipler arası trafiktir. Uzmanlar konulara atanmaz, iş bölümleri öğrenilir. Model geliştirmek ya da test etmek için herkese açık web sayfalarını büyük ölçekte toplaması gereken ekipler, satış ekibimiz üzerinden sunduğumuz yönetilen sayfa çıkarma hizmeti Web Scraping API'yi [veri kazıma](/tr/data-scraping) sayfasında inceleyebilir.
