Küçük bir çevrim içi mağaza hem kendi sitesinde hem de iki pazar yerinde satış yapıyor. Pazartesi sabahı işletme sahibi tek bir soru soruyor: Dün ne kadar sattık? Cevap, sütun düzeni birbirini tutmayan üç dışa aktarma dosyasında duruyor; dosyalarda iki para birimi ve iki ayrı saat dilimine göre yazılmış zaman damgaları var, bir sipariş de iade edilip yeniden verildiği için iki kez görünüyor. Bu dosyaları tek ve dürüst bir rakama dönüştürmeye veri toplulaştırma (data aggregation) denir.
Bu yazıda terimin iki anlamını, bir toplulaştırma işinin adımlarını, özeti hesaplayan fonksiyonları, zamana ve yere göre toplulaştırmayı, fiyat karşılaştırmadan açık bankacılığa uzanan örnekleri, toplulaştırılmış verinin hangi noktada anonim olmaktan çıktığını ve bir toplamı sessizce bozan hataları anlatıyoruz.
Veri toplulaştırma nedir?
Veri toplulaştırma, birkaç kaynaktan ya da çok sayıda kayıttan gelen veriyi birleştirip bir özet olarak ifade etmektir. Terim birbiriyle bağlantılı iki anlamda kullanılır ve gerçek işlerin çoğu ikisini birden içerir.
Birinci anlam birçok kaynaktan toplamaktır: farklı sistemlerden, dosyalardan ya da web sitelerinden gelen kayıtları tek yapıda, tek bir veri setinde bir araya getirmek. Birçok havayolunun fiyatlarını aynı sonuç sayfasında gösteren bir seyahat sitesi bu anlamda bir toplayıcıdır (aggregator).
İkinci anlam özetlemektir: çok sayıda satırı birkaç değere indirmek. Binlerce sipariş satırı, gün başına "1.284 sipariş, 52.300 avro ciro, sipariş başına 40,73 avro" gibi bir özete dönüşür. İstatistikte ve veritabanlarında toplulaştırma çoğunlukla bu ikinci adımı anlatır; sonuca toplulaştırılmış veri ya da özet veri denir.
NIST'in (ABD Ulusal Standartlar ve Teknoloji Enstitüsü) sözlüğü toplulaştırmayı kısaca "benzer ya da ilişkili bilgilerin bir araya getirilmesi" diye tanımlar.
Ham, toplulaştırılmış ve ayrıştırılmış veri arasındaki fark nedir?
Ham veri, kayıtların toplandığı hâliyle tek tek durduğu veridir; toplulaştırılmış veri bu kayıtların özetidir; ayrıştırılmış (disaggregated) veri ise alt gruplara yeniden bölünmüş bir özettir. İstatistikçiler ham kayıtlara mikro veri de der.
Saati, ürünü ve mağazasıyla birlikte 5.000 alışverişten oluşan bir liste ham veridir. "Günlük ciro" toplulaştırılmış veridir. "Mağazaya ve kategoriye göre ayrılmış günlük ciro" ise ayrıştırılmış veridir: hâlâ bir özettir, ama daha ince bir ayrıntı düzeyindedir.
Asıl karar ayrıntı düzeyidir, yani tek bir satırın neyi temsil ettiği. Fazla kaba seçerseniz aradığınız örüntüyü, örneğin ortalamayı aşağı çeken tek bir mağazayı gizlersiniz. Fazla ince seçerseniz gruplar o kadar küçülür ki özet tek tek kişileri ele verir.
Veri toplulaştırma nasıl çalışır?
Bir toplulaştırma işi kaynakları tek bir biçime getirir, temizler ve ardından her grup için özet değerleri hesaplar. İşi ister bir kişi elektronik tabloda yapsın ister bir zamanlayıcı her saat çalıştırsın, işlerin çoğu yedi adımda özetlenebilir:
- Soruyu ve birimi tanımlayın. "Mağazanın saat dilimindeki sipariş tarihine göre, ülke başına günlük ciro, avro cinsinden" bir tanımdır; "satış rakamları" değildir.
- Her kaynaktan veriyi alın. Dışa aktarma dosyaları, veritabanı sorguları, resmî API'ler ya da herkese açık web sayfaları; her birinin alındığı zamanı not edin.
- Standartlaştırın. Birimleri, para birimlerini ve saat dilimlerini dönüştürün; farklı kategori ve sütun adlarını tek bir şemaya bağlayın.
- Eşleştirin ve tekilleştirin. Hangi kayıtların aynı siparişi, ürünü ya da şirketi anlattığına karar verin ve her birinden bir tane bırakın.
- Gruplayın ve hesaplayın. Gün, ülke ya da kategori gibi gruplama anahtarlarını seçin ve aggregate fonksiyonlarını uygulayın.
- Sonucu kontrol edin. Toplamları güvendiğiniz bir kaynakla karşılaştırın, tuhaf görünen her rakamın arkasındaki birkaç ham satırı okuyun.
- Saklayın ve yenileyin. Özeti tanımı, kaynakları ve zamanıyla birlikte kaydedin, yeni veri geldiğinde yeniden çalıştırın.
Emeğin çoğu 3. ve 4. adımlara gider. Zamanlanmış bir toplulaştırma genellikle bir çıkarma, dönüştürme ve yükleme iş hattının içinde çalışır; ETL Nedir? yazısı böyle bir işin nasıl kurulduğunu gösteriyor.
Veriyi toplulaştırmak için hangi fonksiyonlar kullanılır?
Temel aggregate (özetleme) fonksiyonları sayım, toplam, ortalama, en küçük ve en büyük değerdir; bunlara çoğu zaman medyan, benzersiz değer sayımı ve yüzdelikler eklenir. PostgreSQL kılavuzu fikri tek cümlede anlatır: bir aggregate fonksiyonu birden çok girdi satırından tek bir sonuç hesaplar (PostgreSQL'in aggregate fonksiyonları eğitimi).
SQL'de hangi satırların birlikte özetleneceğine GROUP BY ifadesi karar verir. Aşağıdaki sorgu her gün ve ülke için bir satır döndürür; satırda sipariş sayısı ve ciro yer alır:
SELECT order_day, country, COUNT(*) AS orders, SUM(amount_eur) AS revenue
FROM orders
WHERE status = 'paid'
GROUP BY order_day, country;İki ayrıntı sık sık hataya yol açar. WHERE satırları gruplamadan önce filtreler, HAVING ise grupları sonradan filtreler; örneğin yalnızca 100'den fazla siparişi olan ülkeleri bırakmak için. Ortalamaların ortalamasını almak da genellikle yanlıştır: bir mağazada ortalaması 80 olan 10 sipariş, diğerinde ortalaması 20 olan 1.000 sipariş varsa birleşik ortalama 50 değil, yaklaşık 20,6'dır. Ortalamaları alttaki toplam ve sayımlardan yeniden hesaplayın. Elektronik tablolardaki pivot tablolar aynı gruplamayı başka bir arayüzle yapar.
Veri toplulaştırmanın başlıca türleri nelerdir?
Başlıca türler neye göre grupladıklarıyla ayrılır: zaman, yer, kategori ya da kaynak. Tek bir iş çoğu zaman bunların birkaçını bir arada kullanır.
| Tür | Neye göre gruplar? | Örnek | Dikkat edilecek nokta |
|---|---|---|---|
| Zaman | Saat, gün, ay | Günlük ciro | Saat dilimi, eksik dönem |
| Mekânsal | Bölge, şehir, ızgara hücresi | Bölge başına satış | Sınırlar, küçük alanlar |
| Kategori | Ürün, segment, kanal | Kategori başına ciro | Uyuşmayan kategori listeleri |
| Kaynaklar arası | Mağaza, tedarikçi, banka | Tüm tekliflerin tek görünümü | Yinelenen kayıt, birimler |
Zamana göre toplulaştırma olayları dönemler hâlinde toplar: saat başına tıklama, gün başına sipariş, hafta başına fiyat. Seçilen dönem gördüğünüzü değiştirir; günlük veri hafta sonlarını gösterir, aylık veri gizler.
Mekânsal toplulaştırma veriyi alana göre özetler: haritadaki noktalar posta bölgesi, şehir ya da ülke başına sayımlara dönüşür. Aynı müşteriler posta bölgesine ve şehre göre gruplandığında farklı hikâyeler anlatabilir; çok küçük bir alanda da özet tek bir haneyi anlatacak kadar az kişi kalabilir.
Kategoriye ve kaynağa göre toplulaştırma ürün türü, satış kanalı ya da tedarikçi gibi etiketlere göre gruplar. Zor olan etiketlerde anlaşmaktır, çünkü iki pazar yeri nadiren aynı kategori ağacını kullanır.
Saat dilimleri toplulaştırılmış toplamları neden değiştirir?
Saat dilimleri toplamları değiştirir, çünkü "bir gün" her dilimde başka bir anda başlar ve gece yarısına yakın siparişler bir günden ötekine kayar. Bütün günlerin toplamı aynı kalır, günlük rakamlar ise değişir.
Test makinemizde altı siparişi UTC zaman damgalarıyla bellek içi bir SQLite tablosuna yazdık ve gün başına iki kez topladık: bir kez UTC tarihine, bir kez de UTC+3 saatiyle çalışan bir mağazanın tarihine göre. İki sürümün toplamı da 240 çıktı; ama ilk gün UTC'ye göre 160, mağazanın yerel saatine göre 65 oldu, çünkü akşam geç saatlerde verilen iki sipariş gece yarısını geçti.
İki rakam da yanlış değil; farklı sorulara cevap veriyorlar. Her rapor için tek bir saat dilimi seçin, bunu tanıma yazın ve gruplamadan önce bütün kaynakları o dilime çevirin.
Elle mi otomatik mi toplulaştırma: hangisi gerekir?
Elle toplulaştırmada bir kişi dosyaları bir elektronik tabloda özetler; otomatik toplulaştırmada aynı adımları zamanlanmış bir iş çalıştırır. Seçim, sorunun ne sıklıkla tekrarlandığına ve kaç kaynağın onu beslediğine bağlıdır.
Dört fiyat listesinden bir kerelik bir genel bakış elle daha hızlı çıkar ve kişi yol boyunca tuhaf değerleri fark eder. Yirmi kaynaktan beslenen günlük bir gösterge paneli ise otomasyon ister, çünkü elle yapılan kopyalar zamanla birbirinden ayrışır ve adımlar atlanır. Öte yandan otomasyon yanlış bir tanımı da sadakatle tekrarlar; bu yüzden 6. adımdaki kontroller işin içinde olmalıdır.
Veri toplulaştırmanın veri entegrasyonundan ve zenginleştirmeden farkı nedir?
Toplulaştırma özetler, entegrasyon bağlar, zenginleştirme tamamlar. Çoğu zaman aynı iş hattında çalışırlar ama farklı ihtiyaçlara cevap verirler.
Veri entegrasyonu (bazen konsolidasyon da denir) farklı sistemlerden gelen veriyi, illa bir şey özetlemeden, kayıt kayıt tek ve tutarlı bir modelde birleştirir. CRM'deki müşteri kaydını muhasebedeki hesapla birleştiren bir kayıt entegrasyondur.
Veri zenginleştirme ise elinizdeki kayıtlara, bir sicilden alınan faaliyet kodu gibi eksik bilgileri ekler; Veri Zenginleştirme Nedir? yazısı bir kaydın nasıl eşleştirilip tamamlandığını anlatıyor. Toplulaştırma da bu kayıtları bir raporun ihtiyaç duyduğu rakamlara indirir.
Veri toplulaştırmanın yaygın örnekleri nelerdir?
En tanıdık örnekler, size birçok kaynağı aynı anda gösteren hizmetlerdir.
Fiyat karşılaştırma siteleri aynı ürün için birçok mağazanın tekliflerini toplar, bunları tek bir ürünle eşleştirir ve en düşük fiyatı, fiyat aralığını ya da fiyat geçmişini gösterir. Zor olan eşleştirmedir: aynı telefon farklı adlarla, farklı paketlerde ve farklı depolama seçenekleriyle listelenir.
Seyahat arama (meta-search) siteleri havayollarından, otellerden ve acentelerden uçuş ve oda fiyatlarını toplar, tek sayfada sıralar ve rezervasyon için sizi satıcıya yönlendirir.
Finansal hesap toplulaştırma birkaç bankadaki bakiyeleri ve hareketleri tek bir uygulamada gösterir. AB'de bu, düzenlenmiş bir ödeme hizmetidir: Ödeme Hizmetleri Direktifi (PSD2), "hesap bilgisi hizmetini" (account information service), kullanıcının bir ya da birden fazla başka sağlayıcıdaki ödeme hesaplarına ilişkin konsolide bilgi sunan çevrim içi bir hizmet olarak tanımlar (EUR-Lex'teki PSD2 metni). 67. madde böyle bir hizmetin yalnızca kullanıcının açık rızasıyla çalışmasını, yalnızca kullanıcının belirlediği hesapları okumasını ve veriyi yalnızca istenen hizmet için kullanmasını şart koşar.
Türkiye'de de 6493 sayılı Kanun'un 12. maddesi, 2019'da eklenen (g) bendiyle, kullanıcının onayı alınmak koşuluyla bir ya da daha fazla ödeme hesabına ilişkin konsolide bilgilerin çevrim içi platformlarda sunulmasını bir ödeme hizmeti olarak sayar.
Log ve izleme araçları binlerce aynı hata satırını tek bir kayda ve bir sayıya indirir. Resmî istatistikler de aynı işi ülke ölçeğinde yapar; anket ve kayıt verilerini tablolar hâlinde yayımlar.
Toplulaştırılmış veri anonim midir?
Toplulaştırılmış veri ancak içinden hiç kimse ayırt edilemiyorsa anonimdir ve yalnızca özetlemek bunu garanti etmez. AB'nin Genel Veri Koruma Tüzüğü'ne (GDPR) göre veri koruma kuralları istatistikler dahil anonim bilgiye uygulanmaz; ama bir verinin anonim olup olmadığı, birini tanımlamak için "makul olarak kullanılması muhtemel tüm araçlar" hesaba katılarak değerlendirilir (EUR-Lex'teki GDPR metni, 26. gerekçe).
Asıl sorun genellikle küçük gruplardır. "Lizbon ofisinde 60 yaş üstü çalışanların ortalama maaşı" bir özettir; ama bu tanıma tek bir kişi uyuyorsa, söz konusu olan o kişinin maaşıdır. İstatistik kurumları bu yüzden bir tabloyu yayımlamadan önce küçük hücreleri gizler ya da birleştirir.
Aynı verinin birçok özeti bir araya getirilerek arkalarındaki satırlar da geri elde edilebilir. ABD Nüfus Sayım Bürosu'ndaki (Census Bureau) araştırmacılar, 2010 sayımının yayımlanmış tablolarının herkese açık bilgilerle birlikte 97 milyon kişi kaydını birebir yeniden oluşturmaya yettiğini gösterdi (Abowd ve arkadaşlarının arXiv'deki makalesi). Büro 2020 sayımında, yayımlanan rakamlara miktarı önceden ayarlanmış istatistiksel gürültü ekleyen bir diferansiyel gizlilik yöntemine geçti.
Pratik kurallar şunlardır: yayımlamadan önce en küçük grup büyüklüğünü belirleyin, aynı küçük topluluğun birbiriyle örtüşen çok sayıda dökümünü yayımlamaktan kaçının ve hâlâ birini anlatan bir özeti kişisel veri sayın.
OPSEC'te veri toplulaştırma ne anlama gelir?
Operasyon güvenliğinde (OPSEC) veri toplulaştırma, tek başına zararsız bilgilerin bir araya geldiğinde hassas bir şeyi ortaya çıkarabilmesi demektir. Bir personel listesi, bir teslimat takvimi ve birkaç herkese açık fotoğraf tek tek masumdur; birlikte ise kimin nerede çalıştığını ve bir tesisin ne zaman boş kaldığını gösterebilir.
Bu fikir kurallara da yazılmıştır: ABD'nin 13526 sayılı Başkanlık Kararnamesi (Executive Order 13526), tek tek gizli olmayan bilgilerden oluşan bir derlemenin, parçaların kendi başına göstermediği bir ilişkiyi ortaya koyuyorsa gizlilik derecesiyle sınıflandırılabileceğini söyler. Bir şirket için ders, iş ilanlarını, herkese açık belgeleri ve çalışan paylaşımlarını tek tek değil, birlikte gözden geçirmektir.
Veri toplulaştırmada proxy'ler nerede devreye girer?
Proxy'ler, bir toplulaştırma işi ülkeden ülkeye farklı görünen herkese açık web kaynaklarını okuduğunda önem kazanır. Bir perakendecinin fiyatı, stoğu ve teslimat seçenekleri çoğu zaman ziyaretçinin konumuna bağlıdır; tek bir ofisten yapılan bir karşılaştırma her sayfanın yalnızca bir ülkedeki sürümünü görür. Nedenlerini Fiyatlar Neden Ülkeye Göre Değişir? yazısında anlattık.
Residential Proxy, her isteğin verinin anlattığı ülkedeki ya da şehirdeki bir ev bağlantısından, sitenin kaldırabileceği bir hızda çıkmasını sağlar. Proxy'ler kuralları değiştirmez: sitenin kullanım koşulları, robots.txt ve varsa resmî API her zaman önce gelir.
Pazar yerlerindeki kataloglar için e-ticaret proxy'lerimiz, fiyatı ve stoğu yerel bir alışverişçinin gördüğü gibi okumaya göre kurgulandı.
Veri toplama adımını kendisi yürütmek istemeyen ekipler, yönetilen bir sayfa çıkarma hizmeti olan Web Scraping API için satış ekibimizle görüşebilir.
Veri toplulaştırma nerelerde kullanılır?
- Perakende ve e-ticaret: kanal başına satış, mağazalar arası fiyat aralıkları, depo başına stok.
- Finans: bankacılık uygulamalarında hesap toplulaştırma, aracı kurumlar arası portföy toplamları, kategoriye göre harcama.
- Seyahat: birçok satıcının uçuş ve oda fiyatları tek sonuç sayfasında.
- Pazarlama: reklam platformlarından gelen kampanya sonuçlarının toplamı.
- Operasyon ve BT: servis ve saat başına log olayları ve hata oranları.
- Pazar araştırması: rakip fiyatlarının ve ürün yelpazelerinin ülkeye göre özeti.
Sık yapılan hatalar
- Çift sayım. Aynı siparişin iki ayrı kaynakta görünmesi ya da bir iadeyle yeni siparişin iki satış sayılması.
- Birimleri ve para birimlerini karıştırmak. Gramla kilogram, vergili ve vergisiz fiyat, avroyla dolar yan yana.
- Saat dilimlerini yok saymak. Raporun hangi saati kullandığına göre değişen günlük toplamlar.
- Ortalamaların ortalamasını almak. Birleşik ortalama toplam ve sayımlardan yeniden hesaplanmalıdır.
- Kaynaklara göre değişen tanımlar. Bir mağaza siparişi ödeme anında, diğeri kargoya verildiğinde sayar.
- Eksik dönemleri karşılaştırmak. Henüz bitmemiş ay, bir not düşülmeden tam aylarla yan yana.
- Çok küçük grupları yayımlamak. Bir ya da iki kişinin özeti onların kişisel verisidir.
- Rakam başına kaynak ve zaman tutmamak. Bir rakamın hangi veriden üretildiğini sonradan kimse söyleyemez.
Karar rehberi
| İhtiyaç | Öneri |
|---|---|
| Birkaç dosyadan bir kerelik tek cevap | Elektronik tablo ve pivot tablo |
| Birçok kaynaktan her gün aynı rapor | Kontrolleri içinde olan zamanlanmış iş |
| Saat dilimleri arası toplamlar | Tanımda tek bir dilim sabitleyin |
| Grupların birleşik ortalaması | Toplam ve sayımlardan yeniden hesaplayın |
| Ülkeye göre değişen fiyatlar | Her birini kendi ülkesinden toplayın |
| Banka hesapları tek uygulamada | Lisanslı hesap bilgisi hizmeti |
| Kişilerle ilgili özet yayımlamak | En küçük grup büyüklüğü; veri koruma mevzuatına bakın |
Sıkça sorulan sorular
Veri toplulaştırma basitçe ne demek?
Veri toplulaştırma, farklı yerlerdeki veriyi toplayıp özetlemektir; örneğin üç mağazanın satışlarını tek bir günlük toplamda birleştirmek. Sonuç, tek bir kaynağın tek başına cevaplayamayacağı bir soruyu cevaplar.
Veri toplulaştırmaya örnek nedir?
Fiyat karşılaştırma sitesi yaygın bir örnektir: aynı ürün için birçok mağazanın tekliflerini toplar ve en düşük fiyatı gösterir. Mağazalar genelinde günlük satış raporu ve birkaç bankayı tek ekranda gösteren bir bankacılık uygulaması da birer örnektir.
SQL'de veri toplulaştırma nedir?
SQL'de veri toplulaştırma, çok sayıda satırı grup başına tek satıra indirmek için genellikle GROUP BY ile birlikte COUNT, SUM, AVG, MIN ve MAX gibi aggregate fonksiyonlarını kullanmaktır. Gruplanmış sonuçları ardından HAVING filtreler.
OPSEC'te veri toplulaştırma ne anlama gelir?
OPSEC'te veri toplulaştırma, tek başına zararsız bilgi parçalarının birleştirildiğinde hassas bir şeyi ortaya çıkarma riskidir. Kurumlar bu yüzden yayımladıklarını tek tek değil, bir bütün olarak gözden geçirir.
GDPR'a göre toplulaştırılmış veri kişisel veri sayılır mı?
Toplulaştırılmış veri ancak gerçekten anonimse, yani makul olarak kullanılması muhtemel araçlarla kimse tanımlanamıyorsa GDPR'ın kapsamı dışında kalır. Çok küçük grupların özetleri hâlâ kişileri tanımlayabilir ve o zaman kişisel veri olmayı sürdürür.
Veri toplulaştırma ile veri entegrasyonu arasındaki fark nedir?
Veri entegrasyonu, farklı sistemlerden gelen veriyi kayıt kayıt tek ve tutarlı bir modelde birleştirir. Veri toplulaştırma ise kayıtları toplam, ortalama ya da sayım gibi özetlere indirir. Genellikle önce entegrasyon yapılır, böylece toplulaştırma eşleştirilmiş ve temizlenmiş kayıtlar üzerinde çalışır.
Özet
Veri toplulaştırma, çok sayıda kaynağı ve satırı tek bir görünüme dönüştürür: veri toplanır, temizlenir, gruplanır ve özetlenir. İşin çoğu hazırlıktır, çünkü yinelenen kayıtlar, karışık birimler ve saat dilimleri toplamları hiçbir hata vermeden bozar. Kişilere ait özetler kendiliğinden anonim değildir, bu yüzden küçük gruplar özen ister. Kaynaklar ülkeye göre değişen herkese açık web sayfalarıysa, her pazarın verisini o pazarda bulunan bir proxy üzerinden toplayın.




