Yük Dengeleme (Load Balancing) Nedir?

Yayın tarihi:

13 dk okuma

Acar Diveroli
Yazar: Acar Diveroli
İzometrik sahne: mavi bir yük dengeleyici istekleri üç sunucuya dağıtıyor; kırmızı çerçeveli sunucuya hiç istek gitmiyor

Bir online mağaza tek sunucuda çalışıyor ve her Black Friday'de aynı şey oluyor: normal bir günde yarım saniyede açılan sayfalar sekiz saniye sürüyor, sonra zaman aşımına düşüyor. Ekip iki sunucu daha ekliyor ve asıl soruyla karşılaşıyor: ziyaretçiler hâlâ tek bir adres yazıyor. Her birine hangi sunucunun yanıt vereceğine kim karar veriyor, kampanyanın ortasında sunuculardan biri çökerse ne oluyor?

Cevap yük dengeleyicidir (load balancer). Bu yazıda yük dengelemenin ne olduğunu, bir yük dengeleyicinin isteği nasıl işlediğini, katman 4 ile katman 7 arasındaki farkı, yaygın algoritmaları, sağlık kontrollerini, sticky oturumları, DNS ile dengeleme ve anycast'i ve en sık yapılan hataları anlatıyoruz.

Yük dengeleme nedir?

Yük dengeleme, ağ trafiğini ya da işi aynı görevi yapabilen birden fazla sunucuya dağıtmaktır. Bu sunucular bir grup oluşturur; yazılıma göre buna havuz (pool), upstream ya da backend denir. İşi dağıtan bileşen de yük dengeleyicidir.

Ziyaretçi açısından grup tek bir sunucu gibi görünür: tek bir ad, tek bir adres; işi hangi makinenin yapacağına arkada yük dengeleyici karar verir. Yük dengeleyici bir donanım cihazı, sıradan bir sunucuda çalışan bir yazılım ya da bulut sağlayıcısının yönetilen bir hizmeti olabilir; ilke aynıdır, değişen yalnızca onu kimin işlettiğidir.

Siteler neden yük dengeleyici kullanır?

Siteler yük dengeleyiciyi üç nedenle kullanır: daha fazla kapasite, daha az kesinti ve hizmeti durdurmadan bakım.

  • Kapasite. Yük dengeleyiciyle tek bir makineyi sürekli büyütmek yerine yan yana yeni sunucular eklersiniz; buna yatay ölçekleme (scaling out) denir.
  • Erişilebilirlik. Bir sunucu çöktüğünde yük dengeleyici ona trafik göndermeyi bırakır, diğerleri işi sürdürür. Ziyaretçi sayfanın biraz yavaşladığını fark edebilir, ama hata sayfası görmez.
  • Bakım. Bir sunucuyu havuzdan çıkarıp güncelleyebilir ve geri koyabilirsiniz; bu sırada diğerleri istekleri karşılamaya devam eder. Yeni bir sürüm de aynı yolla sunucu sunucu yayına alınabilir.

Yük dengeleyici nasıl çalışır?

Yük dengeleyici istemcinin bağlantısını kendisi kabul eder, sağlıklı bir sunucu seçer ve isteği ona iletir. Bir HTTP yük dengeleyicisinde adımlar şöyledir:

  1. İstemci yük dengeleyiciyi bulur. DNS, sitenin adını bir sunucunun değil yük dengeleyicinin adresine çevirir. İstemci sunucuların kendi adreslerini hiç öğrenmez.
  2. Yük dengeleyici bağlantıyı kabul eder. Site HTTPS kullanıyorsa yük dengeleyici TLS el sıkışmasını genellikle kendi sertifikasıyla tamamlar; böylece isteği okuyabilir.
  3. Bir sunucu seçer. Algoritma havuzdan bir sunucu seçer; o anda sağlıksız işaretlenmiş sunucuları atlar.
  4. İsteği iletir. Yük dengeleyici o sunucuya kendi bağlantısını açar (ya da açık bir bağlantıyı yeniden kullanır) ve isteği aktarır; çoğu zaman istemcinin gerçek IP adresini taşıyan X-Forwarded-For gibi bir başlık ekler.
  5. Yanıtı geri taşır. Sunucunun yanıtı yük dengeleyici üzerinden istemciye döner.
  6. Arka planda kontrolü sürdürür. Sağlık kontrolleri sürekli çalışır; arızalanan sunucu havuzdan çıkar, düzelen geri gelir ve kimsenin yapılandırmaya dokunması gerekmez.

Dördüncü adımın bir yan etkisi vardır: uygulama, istemci olarak yük dengeleyicinin adresini görür. Asıl adres X-Forwarded-For başlığında ya da RFC 7239 ile tanımlanan standart Forwarded başlığında taşınır; uygulama bu başlığa yalnız istek kendi yük dengeleyicisinden geldiğinde güvenmelidir.

Katman 4 ve katman 7 yük dengeleme arasındaki fark nedir?

Katman 4 yük dengeleyici kararını yalnızca IP adreslerine ve portlara bakarak verir; katman 7 yük dengeleyici ise HTTP isteğini okur ve URL'ye, alan adına, başlığa ya da çereze göre karar verebilir. Katman numaraları OSI modelinden gelir: katman 4 taşıma katmanıdır (TCP ve UDP), katman 7 uygulama katmanıdır (HTTP ve diğerleri).

Katman 4Katman 7
GördüğüIP, port, protokolURL, alan adı, başlıklar, çerezler
HTTPSŞifreli baytları olduğu gibi geçirirGenellikle çözer (TLS sonlandırma)
Yola göre yönlendirmeYokVar, /api bir havuza
İstek başına maliyetDüşükDaha yüksek, HTTP'yi ayrıştırır

Katman 4 yük dengeleyici daha basittir ve veritabanı ya da e-posta gibi her TCP veya UDP hizmetinde çalışır. Katman 7 yük dengeleyici /api ve /images isteklerini farklı havuzlara gönderebilir, bir ziyaretçiyi çerezle sabitleyebilir ve başarısız bir isteği başka bir sunucuda yeniden deneyebilir. Birçok kurulum ikisini birlikte kullanır; nginx ve HAProxy her iki katmanda da çalışabilir.

Hangi yük dengeleme algoritmaları vardır?

Algoritma, yük dengeleyicinin bir sonraki sunucuyu seçerken uyduğu kuraldır. Ürünlerin çoğu, adları biraz farklı olsa da aynı birkaç yöntemi sunar.

AlgoritmaNasıl seçerNe zaman iyi çalışır
Round robinHer sunucu sıraylaSunucular ve istekler benzerse
Ağırlıklı round robinSırayla, büyük sunucu daha sıkSunucuların gücü farklıysa
Least connectionsEn az açık bağlantıİstek süreleri değişkense
IP hashİstemci IP'sinin hash'iİstemci aynı sunucuda kalmalıysa
İki rastgele seçimRastgele iki sunucu, daha az meşgul olanBüyük havuz, birden çok dengeleyici

Round robin ve ağırlıklı round robin

Round robin ilk isteği A sunucusuna, ikincisini B'ye, üçüncüsünü C'ye gönderir ve başa döner. Sunucuların ne kadar meşgul olduğuna bakmaz; sunucular ve istekler birbirine benziyorsa bu sorun değildir. nginx'te varsayılan yöntem budur: nginx yük dengeleme kılavuzu, hiçbir yöntem tanımlanmadığında round robin kullanıldığını söyler.

Ağırlıklı round robin her sunucuya bir sayı verir: ağırlıklar 2 ve 1 ise büyük sunucu her üç isteğin ikisini alır. Düşük bir ağırlık, yeni güncellenmiş bir sunucuyu trafiğe yavaş yavaş almanın da yoludur.

Least connections

Least connections (en az bağlantı) her yeni isteği o anda en az açık bağlantısı olan sunucuya gönderir. Dosya indirme ya da WebSocket gibi bazı isteklerin dakikalarca açık kaldığı trafiğe uyar; HAProxy'nin belgeleri bu yöntemin kısa HTTP istekleri için pek uygun olmadığını belirtir.

IP hash ve tutarlı hash

IP hash, istemcinin IP adresini bir hash fonksiyonundan geçirir ve sonucu bir sunucuyla eşler; böylece aynı adres hep aynı sunucuya düşer. Sorun şudur: aynı şirket ağının ya da aynı mobil operatör ağ geçidinin arkasındaki herkes tek bir adresi paylaşabilir ve hepsi aynı sunucuya gider.

Sıradan bir hash, havuza sunucu eklendiğinde ya da çıkarıldığında istemcilerin çoğunu başka sunuculara kaydırır. Tutarlı hash (consistent hashing) bu sorunu çözer. nginx upstream modülü, consistent seçeneğiyle havuz değiştiğinde yalnızca birkaç anahtarın başka sunucuya kaydığını anlatır; bu en çok önbellek sunucularında işe yarar.

İki rastgele seçim

"İki seçeneğin gücü" (power of two choices) diye bilinen yöntem rastgele iki sunucu seçer ve isteği bu ikisinden daha az meşgul olana gönderir. Least connections'ın bir sorununu önler: her biri kendi sayacını tutan birkaç yük dengeleyici, aynı anda aynı "en az meşgul" sunucuyu seçebilir. Rastgele iki örnek almak bu yığılmayı dağıtır. nginx bu yöntemi random two olarak sunar; HAProxy'nin backend belgeleri de 3.3 sürümünden itibaren varsayılan algoritmanın rastgele iki aday sunucu seçtiğini ve round robin'in yerini aldığını belirtir.

Sağlık kontrolleri nasıl çalışır?

Sağlık kontrolü (health check), yük dengeleyicinin bir sunucuya artık trafik gönderilmemesi gerektiğini anlama yoludur. İki türü vardır ve birçok kurulum ikisini birlikte kullanır.

  • Pasif kontroller gerçek trafiği izler. Bir sunucuya giden istek başarısız olursa yük dengeleyici o sunucuyu bir süre arızalı sayar. Açık kaynak nginx'te bir sunucu, fail_timeout süresi (varsayılan 10 saniye) içinde max_fails kadar hatadan (varsayılan 1) sonra atlanır ve süre dolunca gerçek isteklerle yeniden denenir.
  • Aktif kontroller belirli aralıklarla kendi test isteklerini gönderir, örneğin birkaç saniyede bir /health adresine. HAProxy'nin sağlık kontrolü kılavuzu varsayılanlarını verir: iki saniyede bir kontrol; art arda 3 başarısız kontrolde sunucu çıkarılır, 2 başarılı kontrolde geri alınır.

Sağlık kontrolü olmadan ne olduğunu görmek için test bilgisayarımızda Node.js ile küçük bir round robin yük dengeleyici kurduk; "A" ve "B" diye yanıt veren iki yerel sunucudan B'yi durdurduk. Bütün yanıtlar yine A'dan geldi, ama sonraki 6 isteğin 5'i önce durdurulan sunucuya gitti ve reddedildikten sonra yeniden denendi: yük dengeleyici B'nin gittiğini hiç öğrenmedi.

İyi bir sağlık kontrolü, kullanıcının ihtiyaç duyduğu şeyi test eder: yalnızca TCP bağlantısı açan bir kontrol, uygulama hata döndürürken bile başarılı görünür. Kontrolü fazla katı da yapmayın; yoksa yavaşlayan ortak bir veritabanı bütün sunucuları aynı anda havuzdan çıkarabilir.

Sticky oturum nedir?

Sticky oturum (sticky session), yük dengeleyicinin bir ziyaretçiden gelen bütün istekleri aynı sunucuya göndermesidir; buna oturum kalıcılığı ya da oturum bağlılığı (session affinity) da denir. Bir sunucu sepeti ya da oturum açma bilgisini kendi belleğinde tutuyorsa ve diğer sunucular bunu göremiyorsa önem kazanır.

Kaynak IP'ye bağlılık, ziyaretçiyi IP hash gibi adresine göre sabitler. Çereze dayalı kalıcılıkta yük dengeleyici seçtiği sunucuyu bir çereze yazar ve sonraki istekler bu çerezi geri getirir; bunun için katman 7 yük dengeleyici gerekir, çünkü katman 4 çerezi okuyamaz.

Sticky oturumun bedeli vardır: yük dengesizleşir ve sabitlenen sunucu çöktüğünde ziyaretçilerin oturumu yine kaybolur. Daha sağlam tasarım, oturum verisini her sunucunun okuyabildiği ortak bir depoda, örneğin bir veritabanında ya da önbellekte tutmaktır; böylece sticky oturum zorunlu olmaktan çıkar.

DNS ile yük dengeleme, GSLB ve anycast nedir?

DNS ile yük dengeleme, GSLB ve anycast trafiği daha yük dengeleyiciye ulaşmadan dağıtır: ziyaretçinin hangi siteye ya da veri merkezine gideceğine karar verirler. Sonra o sitenin içindeki dağıtımı yük dengeleyici yapar.

DNS ile yük dengelemede bir adın birden fazla adresi vardır ve istemciler bu adresleri farklı sıralarla alır. DNS yanıtları TTL süresince önbellekte tutulduğu için istemciler önbellekteki kaydın süresi dolana kadar çalışmayan bir adresi kullanmaya devam eder. GSLB (global server load balancing, küresel sunucu yük dengeleme) daha akıllı bir DNS hizmetidir: her veri merkezinin sağlığını kontrol eder ve ziyaretçiye yakın, sağlıklı olanın adresini verir. Anycast'te birçok konum aynı IP adresini duyurur ve internet yönlendirmesi her ziyaretçiyi bunlardan birine ulaştırır; IETF'in anycast kılavuzu RFC 4786, hangi düğümün kullanılacağına yönlendirme sisteminin karar verdiğini söyler. CDN'ler bu yöntemleri birlikte kullanır; ayrıntısı CDN'in nasıl çalıştığını anlatan yazımızda.

Reverse proxy bir yük dengeleyici midir?

HTTP yük dengeleyicilerinin çoğu reverse proxy'dir, yani başka sunucular adına istek karşılayan sunuculardır. Bir reverse proxy istekleri birden fazla sunucuya iletmeye başladığı anda yük dengeleme yapıyor demektir. Bu tür proxy ile kullanıcının kendi tanımladığı proxy arasındaki fark Forward Proxy ve Reverse Proxy yazımızda.

nginx ve HAProxy bilinen açık kaynak örneklerdir; ikisi de yük dengeler, sağlık kontrolü yapar ve TLS sonlandırır. TLS sonlandırma (TLS termination), yük dengeleyicinin sitenin sertifikasını tutması ve HTTPS'i çözmesidir; ardından sunucularla özel ağda düz HTTP ile konuşur ya da iç bir sertifikayla yeniden şifreler. Sertifikalar tek yerde kalır ve yük dengeleyici yönlendirdiği isteği okuyabilir.

Proxy ağ geçitleri aynı fikri nasıl kullanır?

Bir proxy ağ geçidi (gateway) yük dengelemeyi ters yönde uygular: gelen istekleri sunuculara değil, sizin giden bağlantılarınızı birçok çıkış IP'sine dağıtır. Bütün isteklerinizi pr.proxynet.io:8000 gibi tek bir endpoint (uç nokta) adresine gönderirsiniz; her bağlantıyı hangi çıkış IP'sinin taşıyacağına ağ geçidi karar verir.

Rotating Proxy her isteğe yeni bir çıkış IP'si verir; bu, istekleri büyük bir havuza dağıtan bir yük dengeleyiciye benzer. Herkese açık fiyatları sayfa sayfa kontrol etmek gibi her isteğin kendi başına durduğu işlere uyar.

Sticky Proxy oturum kalıcılığı gibi çalışır: aynı oturum kimliğiyle gelen istekler, seçtiğiniz süre boyunca, 1 ile 60 dakika arasında, aynı çıkış IP'sini kullanır. Hedefin ilk sayfadan son sayfaya kadar aynı ziyaretçiyi beklediği çok adımlı akışlara uyar.

Bir ayrıntı çoğu kişiyi şaşırtır: istemcinizin açık tuttuğu bir bağlantı kendi çıkışında kalır, bu yüzden IP beklediğiniz anda değişmeyebilir. IP rotasyonunun işleyişi ve tuzakları IP Rotasyonu Nedir yazısında.

Yük dengelemeyle nerede karşılaşırsınız?

  • Web siteleri ve online mağazalar: Yük dengeleyici ziyaretçileri web sunucularına dağıtır, arızalananları devreden çıkarır.
  • API'ler ve mikroservisler: Her iç hizmet kendi yük dengeleyicisinin arkasında durur; bunu çoğu zaman platform yönetir.
  • Bulut bilişim: Dinleyici (listener), hedef grubu ve sağlık kontrolleriyle yapılandırılan yönetilen yük dengeleyiciler, kendi kurduğunuz nginx ya da HAProxy'nin yerini alır.
  • Veritabanları: Okuma istekleri birkaç kopya (replica) sunucusuna dağıtılır, yazma istekleri tek bir ana sunucuya gider.
  • Ofis ağları: Yük dengeleme router'ı, giden bağlantıları iki internet hattına dağıtır.

Sık yapılan hatalar

  • Hiçbir şeyi test etmeyen sağlık kontrolleri. Yalnızca bir port açan kontrol, uygulama hata döndürürken de başarılı görünür.
  • Oturumu sunucu belleğinde tutup sticky oturumu unutmak. İstekler sunucular arasında gezdikçe kullanıcılar rastgele oturumdan düşer.
  • X-Forwarded-For başlığına her yerden güvenmek. İstemci bu başlığı kendisi gönderebilir; yalnızca kendi yük dengeleyicinizden geldiğinde kabul edin.
  • Tek yük dengeleyici, yedeksiz. Yük dengeleyici, ortadan kaldırmak istediğiniz tek arıza noktasına dönüşür.
  • Sorunlu bir sitenin önünde uzun DNS TTL'leri. İstemciler çalışmayan adresi TTL izin verdiği sürece kullanır.
  • Arıza için yedek kapasite bırakmamak. Üç sunucunun her biri %80 dolulukta çalışıyorsa biri düştüğünde kalan ikisi aşırı yüklenir.

Karar rehberi

İhtiyacınızNe kullanmalı
Aynı sunucular, kısa isteklerRound robin
Gücü farklı sunucularAğırlıklı round robin
Uzun ya da düzensiz isteklerLeast connections
Büyük havuz ya da birden çok dengeleyiciİki rastgele seçim
Sepet ya da oturum sunucu belleğindeSticky oturum, daha iyisi ortak depo
Herhangi bir TCP ya da UDP hizmetiKatman 4 yük dengeleyici
URL'ye ya da alan adına göre yönlendirmeKatman 7 yük dengeleyici
Birden çok bölgedeki kullanıcılarGSLB ya da anycast, ardından yerel dengeleyiciler

Sıkça sorulan sorular

Yük dengeleyici ile API gateway arasındaki fark nedir?

Yük dengeleyici trafiği sunuculara dağıtır; API gateway ise ayrıca API anahtarlarını denetler, hız sınırı uygular ve istekleri dönüştürür. Birçok API gateway kendi içinde yük dengeler; çoğu zaman gateway'lerin önünde de bir yük dengeleyici durur.

Yük dengeleme ile failover aynı şey mi?

Hayır, ama örtüşürler. Failover (yedeğe geçiş), etkin sistem arızalandığında bekleyen yedeğe geçmektir; yük dengeleme ise bütün sunucuları aynı anda kullanır. Sağlık kontrolü yapan bir yük dengeleyici failover'ı da kendiliğinden sağlar.

Yük dengeleyici tek arıza noktası mıdır?

Olabilir, bu yüzden canlı ortamlarda en az iki tane çalıştırılır. Yaygın yöntem, iki yük dengeleyicinin VRRP gibi bir protokolle tek bir kayan IP adresini (floating IP) paylaşmasıdır; etkin olan arızalanırsa adresi yedek devralır. Bulut sağlayıcılarının yönetilen yük dengeleyicileri bunu sizin yerinize yapar.

En iyi yük dengeleme algoritması hangisidir?

Her durum için en iyi olan yoktur. Aynı sunucular ve kısa istekler için round robin sağlam bir varsayılandır; istek süreleri değişkense least connections işe yarar; büyük havuzlarda iki rastgele seçim iyi ölçeklenir.

Yük dengeleme router'ı nedir?

İki ya da daha fazla internet bağlantısı olan ve giden trafiğinizi bu hatlara dağıtan bir router'dır. Genellikle bağlantı başına dengeler; tek bir indirme yine tek hattan gider, ama çok sayıda bağlantı birlikte iki hattı da kullanır.

Yük dengeleme bir siteyi hızlandırır mı?

Siteyi yük altında hızlandırır, tek tek isteklerde değil. Yoğun olmayan tek bir sunucu da bir havuz kadar hızlı yanıt verir; fark, trafiğin aksi hâlde tek makinede kuyruğa gireceği anlarda ortaya çıkar.

Özet

Yük dengeleme, istekleri tek bir adresin arkasındaki bir sunucu havuzuna dağıtır; böylece site büyüyebilir, bir sunucunun arızasını atlatabilir ve hizmet durmadan güncellenebilir. Bir sonraki isteği kimin alacağına algoritma, kimin almaya uygun olduğuna sağlık kontrolleri, ziyaretçinin aynı sunucuda kalıp kalmayacağına sticky oturum karar verir. Proxy ağ geçitleri aynı fikirleri giden trafik için kullanır; çıkış IP'nizi rotasyon ve sticky oturum belirler. Seçenekleri proxy ürünleri sayfamızda bulabilirsiniz.

ChatGPT'ye sorClaude'a sor