Bir satın alma uzmanı, üç tedarikçinin fiyat listesini tek bir tabloda birleştiriyor ve kategori başına ortalama fiyatı istiyor. Kupalar için sonuç 320 çıkıyor. 320'lik kupa satan yok: tedarikçilerden biri ondalıkları virgülle yazıyor ve virgülü binlik ayırıcı sanıp silen bir temizlik adımı 12,50'yi 1.250'ye çevirmiş. Aynı tabloda bir kupa iki kez geçiyor, çünkü kopyalardan birinin adının sonunda fazladan bir boşluk var. Formüllerin hepsi doğru çalıştı; altlarındaki veri ise doğru değildi.
Bu yazıda veri temizlemenin ne olduğunu, adımları işe yarayan sırayla, düzelttiği sorunları, küçük bir ürün tablosu üzerinde yaptığımız uygulamalı bir örneği, temizlemenin dönüştürme ve doğrulamadan farkını, tablo programı ile betik arasındaki seçimi, makine öğrenmesini ve web'den toplanan veriyi anlatıyoruz.
Veri temizleme nedir?
Veri temizleme, bir veri setindeki hataları bulup düzelterek her değerin gerçekten iddia ettiği şeyi anlatmasını sağlama sürecidir. Veri seti burada birbiriyle ilişkili kayıtların bütünüdür; çoğu zaman her satırın bir şeyi (bir ürün, bir müşteri, bir ölçüm), her sütunun da onun bir özelliğini gösterdiği bir tablodur.
Hedeflenen hatalar sıradan hatalardır: fazladan boşluk taşıyan bir ad, metin olarak saklanmış bir fiyat, iki kez listelenmiş bir ürün, üç farklı biçimde yazılmış bir tarih, boş bırakılmış bir alan. Bunların hiçbiri bir tablo programını ya da veritabanını durdurmaz. Bunun yerine sonucu değiştirirler: bir sayım fazla çıkar, bir ortalama kayar, bir filtre bazı satırları kaçırır.
Temiz verinin bir biçimi de vardır. Hadley Wickham'ın Tidy Data makalesi bunu üç kuralla anlatır: her değişken bir sütundur, her gözlem bir satırdır ve her gözlem birimi türü ayrı bir tablodur. Tek bir sütunun hem bedeni hem rengi tuttuğu (M / mavi) bir tablo ilk kuralı bozar; temizlik bu sütunu ikiye ayırır.
Veri temizleme neden önemlidir?
Veri temizleme önemlidir, çünkü analizler, raporlar ve modeller ancak okudukları veri kadar doğru olabilir; girdideki hata doğrudan çıktıya geçer. İngilizcedeki "garbage in, garbage out" (çöp girerse çöp çıkar) sözü tam olarak bunu anlatır. Tehlike, çıktının yine de normal görünmesidir.
Yinelenen bir satır, bir ürünü her toplamda iki kez saydırır. Bir aracın sıfır kabul ettiği eksik bir değer ortalamayı aşağı çeker. Euro fiyatlarının arasına sterlin olarak kaydedilmiş bir fiyat, ucuz bir ürünü pahalı gösterir; böyle bir veriyle eğitilen model de örüntülerle birlikte hataları öğrenir.
Temizlik onarım adımıdır; verinin ardından ne kadar iyi olduğunu ölçmek ayrı bir iştir. Veri Kalitesi Nedir? yazısı altı boyutu ve bir veri setini puanlayan kontrolleri anlatıyor.
Veri temizleme nasıl yapılır?
Veri temizleme, veriye bakmaktan neyin değiştiğini yazmaya kadar yedi adımda yapılır. Aşağıdaki sıra bilinçlidir: her adım bir sonrakini kolaylaştırır ve daha güvenilir kılar.
- Veriyi profilleyin. Hiçbir şeyi değiştirmeden önce elinizde ne olduğunu sayın: sütun başına boş değerler, farklı değerlerin sayısı, en küçük ve en büyük değer, en sık görülen biçimler. Aynı iki para birimini dört farklı biçimde yazan bir sütun, neyi düzeltmeniz gerektiğini zaten söyler.
- Yapısal hataları düzeltin. Tablonun biçimini onarın: iki şeyi tutan sütunları ayırın, başlıkları düzeltin, boşlukları kırpın, karakter kodlamasını düzeltin (
£yerine£görünmesi gibi) ve metin olarak saklanan sayıları sayıya çevirin. - Biçimleri standartlaştırın. Her alan için tek bir biçim seçin ve her şeyi ona çevirin: tarihler için çoğu sistemin tahmin yürütmeden okuduğu ISO 8601 profili olan YYYY-AA-GG, para birimleri için EUR ya da USD gibi üç harfli ISO 4217 kodları, tek bir ondalık ayırıcı, tek bir birim ve her kategori değeri için tek bir yazım.
- Yinelenen kayıtları ayıklayın. Bir kaydı hangi alanın tanımladığına karar verin (ürün kodu, e-posta, sipariş numarası) ve her anahtar için tek satır bırakın. Bunu standartlaştırmadan sonra yapın:
A-100ilea-100aynı üründür, ama birebir karşılaştırma bunu görmez. - Eksik değerler için karar verin. Her boş alan için üç seçenekten birini seçin: kaydı dışarıda bırakmak, değeri güvenilir bir kaynaktan doldurmak ya da kaydı tutup değeri eksik olarak işaretlemek. Boşluğu bir ortalamayla ya da tahminle doldurmak temizlik değil, bir modelleme kararıdır ve öyle kayda geçirilmelidir.
- Kurallarla doğrulayın. Her kaydı yazılı kurallara göre kontrol edin: fiyat sıfırdan büyük, tarih gerçekten var olan bir gün, stok durumu sabit bir listeden, indirimli fiyat normal fiyattan yüksek değil. Kuralı geçemeyen kayıtlar silinmez, inceleme listesine alınır.
- Her değişikliği belgeleyin. Neyin, hangi kuralla değiştiğini ve her kuralın kaç satıra dokunduğunu kaydedin. Ham veriyi temizlenmiş kopyanın yanında hiç dokunmadan saklayın; böylece rapordaki her sayı kaynağına kadar izlenebilir.
Aykırı değerler, yani diğerlerinden çok uzak duran değerler, 6. adımın konusudur. 10 ile 30 arasındaki fiyatların arasında duran 1.250'lik bir fiyat bir yazım hatası da olabilir, gerçekten pahalı bir ürün de; o yüzden silmeden önce kaynağıyla karşılaştırın.
Veri temizleme hangi sorunları düzeltir?
Veri temizleme sürekli karşılaşılan küçük bir sorun kümesini düzeltir ve dağınık veri setlerinin çoğunda bunların birkaçı bir arada bulunur. Tablo, her sorunu tipik bir örnek ve olağan çözümüyle eşleştiriyor.
| Sorun | Örnek | Olağan çözüm |
|---|---|---|
| Yinelenen kayıt | Aynı ürün iki satırda | Sabit bir anahtarla tekilleştirme |
| Tutarsız biçim | 18/11/2026 ve Nov 18 2026 | Tek biçime çevirme |
| Tutarsız etiket | in stock, In Stock, instock | Sabit bir listeye eşleme |
| Yanlış tür | Metin olarak "19,90" | Sayıya çevirme |
| Fazladan boşluk | "Ceramic Mug " | Kırpma, boşlukları teke indirme |
| Eksik değer | Boş fiyat | Kaynaktan doldurma ya da işaretleme |
| İmkânsız değer | -5 fiyat, 31 Kasım | İnceleme için işaretleme |
| Karışık birim | Aynı sütunda gram ve kilogram | Tek birime çevirme |
| Kodlama hatası | £ yerine £ | Doğru kodlamayla yeniden okuma |
Uygulamalı örnek: 10 satırlık bir ürün tablosunu temizlemek
Küçük bir örnek, adımların birlikte nasıl çalıştığını gösterir. "Mağaza A" için on satırlık kurgusal bir ürün tablosu hazırladık ve gerçek dışa aktarımlarda görülen türden hatalar ekledik:
sku,name,price,currency,collected,stock
A-100,Ceramic Mug ,12.50,EUR,2026-11-18,in stock
a-100,ceramic mug,12.50,eur,18/11/2026,In Stock
A-101,Steel Bottle,"19,90",EUR,2026-11-18,in stock
A-102,Desk Lamp,,EUR,2026-11-18,out of stock
A-103,Notebook A5,4.20,GBP,Nov 18 2026,in stock
A-104,Cotton Tote,-5,EUR,2026-11-18,in stock
A-105,Phone Stand,8.99,€,2026-11-18,instock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-107,Desk Mat,15.00,EUR,2026-11-31,in stockTest makinemizde kısa bir Node.js betiği tabloyu sırasıyla profilledi, standartlaştırdı, doğruladı ve yinelenen kayıtları ayıkladı. Profilleme bir boş fiyat buldu; para birimi ve stok sütunlarının her birinde dört farklı yazım vardı. Standartlaştırma iki adı kırptı, bir ürün kodunu büyük harfe çevirdi, "19,90" metnini 19,90 sayısına dönüştürdü, eur ve € değerlerini EUR koduna eşledi ve iki tarihi 2026-11-18 biçiminde yeniden yazdı.
Doğrulama üç satırı silmek yerine işaretledi: A-102'nin fiyatı yok, A-104'ün fiyatı eksi, A-107 ise takvimde olmayan bir gün olan 31 Kasım tarihini taşıyor. En öğretici sonucu yinelenen kayıt kontrolü verdi. Standartlaştırmadan önce birebir karşılaştırma yalnız bir yineleme gördü (iki özdeş A-106 satırı). Kırpma ve büyük harfe çevirmeden sonra ikincisini de buldu: a-100, ceramic mug satırı, A-100, Ceramic Mug ile aynı üründü.
On satırdan beş temiz satır, incelenecek üç satır ve ayıklanan iki yineleme çıktı. Hiçbir şey tahminle doldurulmadı: lambanın eksik fiyatı, biri mağazanın sayfasına bakana kadar eksik kalıyor. Aynı süreci kodlama düzeltmeleri ve aykırı değerler dahil Python ve pandas ile görmek isterseniz Kazınan Veri Pandas ile Nasıl Temizlenir? yazısına bakabilirsiniz.
Veri temizlemenin veri dönüştürme ve doğrulamadan farkı nedir?
Veri temizleme yanlış değerleri düzeltir; veri dönüştürme doğru verinin biçimini ya da anlamını yeni bir kullanım için değiştirir; veri doğrulama ise veriyi değiştirmeden kurallara göre test eder. Üçü çoğu zaman aynı işin içinde çalıştığı için terimler birbirine karışır.
| Terim | Ne yapar? | Örnek |
|---|---|---|
| Veri temizleme | Yanlış ya da dağınık değeri onarır | "19,90" metni sayı olur |
| Veri dönüştürme | Doğru veriyi kullanıma göre biçimlendirir | Günlük fiyatlar haftalık ortalamaya döner |
| Veri doğrulama | Veriyi kurallara göre test eder | Sıfırın altındaki fiyatı işaretler |
| Veri eşleme | Sistemler arasında alanları eşleştirir | item_price alanı price alanına gider |
Doğrulama hakem gibidir: temizliğe neyi düzelteceğini söyler, ardından düzeltmenin tuttuğunu teyit eder. Dönüştürme genellikle temizlikten sonra gelir, çünkü yinelenen kayıtlar üzerine kurulan bir özet onların hatasını tekrarlar. Veri, alanları farklı adlandıran sistemler arasında taşınırken kaynak alanların hedef alanlarla eşleştirilmesi ayrı bir adımdır; bunu Veri Eşleme Nedir? yazısı anlatıyor.
Veri temizleme tablo programında mı, betikle mi yapılmalı?
Tablo küçükse, iş tek seferlikse ve her değişikliği bir insanın görmesi gerekiyorsa temizliği bir tablo programında yapın; veri tekrar tekrar geliyorsa bir betik ya da sorgu kullanın. Seçimi belirleyen şey boyuttan çok tekrardır.
Tablo programları temel işleri karşılar: kırpma işlevleri, bul ve değiştir, filtreler, yinelenenleri kaldırma komutu ve metni sütunlara bölme. Zayıf yanları, yapılan işi hatırlamamalarıdır: elle yapılan bir düzeltme gelecek ay yine elle yapılmak zorundadır ve sonradan hangi hücrelerin değiştiğini kimse bilemez.
Bir betik ya da SQL sorgusu her düzeltmeyi her yeni partide aynı şekilde çalışan ve kayıt bırakan bir kurala dönüştürür. Tablolar için Python ve pandas kütüphanesi, zaten veritabanında duran veri için SQL yaygındır. İkisinin arasında OpenRefine durur: kendi bilgisayarınızda çalışan, ücretsiz ve açık kaynaklı bir araçtır. Kümeleme özelliği, farklı boşluk ya da noktalamayla yazılmış şirket adları gibi benzer ama birebir aynı olmayan değerleri gruplar ve her grubu ancak siz onayladıktan sonra birleştirir.
Makine öğrenmesinde veri temizleme nasıl yapılır?
Makine öğrenmesinde veri temizleme aynı adımlarla yapılır, ama iki konu eklenir: yanlış etiketler ve eğitim ile test verisi arasındaki sızıntı. Model bir hatayı bir örüntüden ayıramaz; ikisi de doğrudan öğrendiklerinin içine girer.
Etiketler, modelin öğrendiği cevaplardır; örneğin bir e-postanın üzerindeki "spam" ya da "spam değil" etiketi. Etiketler sanıldığından daha sık yanlıştır: NeurIPS 2021'de yayımlanan bir çalışma, yaygın kullanılan on kıyaslama (benchmark) veri setinin test bölümlerinde ortalama en az %3,3, ImageNet doğrulama setinde ise en az %6 etiket hatası olduğunu tahmin etti. Etiketlerden bir örneklemi elle kontrol etmek temizlik planının parçası olmalıdır.
Veri sızıntısı (data leakage), tahmin anında elde olmayacak bir bilginin model kurulurken kullanılmasıdır ve test puanlarını gerçek kullanımdakinden iyi gösterir. scikit-learn kılavuzu kuralı açıkça koyar: veriyi her türlü ön işlemeden önce eğitim ve test olarak ayırın; boşlukları doldurmak için kullanılan ortalama gibi değerleri yalnız eğitim bölümünden öğrenin. Yinelenen kayıtlar burada da önemlidir: aynı kayıt iki bölümde birden bulunursa model, cevabını zaten gördüğü bir soruyla test edilmiş olur.
Web verisi neden ek temizlik ister?
Web verisi ek temizlik ister, çünkü sayfalar insanlar için yazılır ve birçok ülkeden toplanan veri birçok yerel biçimle gelir. Bir site fiyatı 1.299,00 yazıp euro işaretini sona koyar, bir başkası 1,299.00 yazıp işareti başa koyar; 03/04 tarihi de ülkeye göre mart ya da nisan anlamına gelir.
Çözüm, bağlamı her değerin yanında tutmaktır. Her satıra para birimi kodunu, sayfanın okunduğu ülkeyi ve toplama zamanını yazın; tek bir para birimine ve tek bir tarih biçimine ancak temizlikten sonra çevirin. Birkaç dilde yazılmış ürün adlarının tekilleştirilebilmesi için önce ürün kodu ya da barkod numarası gibi ortak bir anahtar gerekir.
Sayfayı nereden okuduğunuz da sayfanın söylediğini değiştirir, çünkü birçok mağaza fiyatı, para birimini ve stoku ziyaretçinin konumuna göre gösterir. Ülke ve şehir hedeflemeli bir Residential Proxy, toplama işinin her pazarı oradaki bir ziyaretçi gibi okumasını sağlar; böylece satırdaki para birimi, satırın anlattığı pazarla uyuşur. Bu temizliği kolaylaştırır, onun yerini tutmaz.
Sayfaları kendileri ayrıştırmak yerine yapılandırılmış veri almayı tercih eden ekipler, satış ekibimiz üzerinden sunulan Web Scraping API ile yönetilen sayfa çıkarma hizmetini sorabilir.
Veri temizleme nerelerde kullanılır?
- Analiz ve raporlama: satış ve operasyon rakamları gösterge paneline ulaşmadan önce.
- E-ticaret ve fiyatlandırma: ürün katalogları, tedarikçi fiyat listeleri ve rakip fiyatları.
- CRM ve pazarlama: segmentasyondan önce müşteri ve şirket kayıtları.
- Araştırma: yazım hatası içeren ya da ölçeğin dışına taşan anket cevapları.
- Makine öğrenmesi: model eğitilmeden önce eğitim ve test verisi.
- Sistem geçişleri: biçimleri farklı sistemler arasında taşınan kayıtlar.
Sık yapılan hatalar
- Tek kopyayı temizlemek. Ham veriye dokunmayın; o olmadan hiçbir düzeltme kontrol edilemez ya da geri alınamaz.
- Standartlaştırmadan önce tekilleştirmek.
A-100ilea-100, ikisi de kırpılıp büyük harfe çevrilene kadar farklı görünür. - Kuralı geçemeyen satırları silmek. Onları işaretleyip sayın; yoksa kalitenin iyileşip iyileşmediğini göremezsiniz.
- Boşlukları tahminle doldurmak. Boş bir alana yazılmış ortalama, sonraki her raporda gerçek veri gibi görünür.
- Para birimini yerinde çevirmek. Özgün tutarı ve para birimi kodunu koruyun; çeviriyi ayrı bir sütunda yapın.
- Her ay elle düzeltmek. Tekrarladığınız bir düzeltme yazılı bir kurala dönüşmelidir.
Karar rehberi
| İhtiyaç | Öneri |
|---|---|
| Küçük, tek seferlik bir tablo | Tablo programı: kırpma, bul ve değiştir, yinelenenleri kaldırma |
| Her hafta gelen aynı dışa aktarım | Yazılı kurallarla bir betik ya da SQL sorgusu |
| Dağınık adlar ve kategoriler | OpenRefine'da kümeleme, her birleştirmeyi onaylayarak |
| Göremediğiniz yinelenen kayıtlar | Önce standartlaştırma, sonra anahtarla tekilleştirme |
| Boş değerler | Kaynaktan doldurma ya da işaretleme; tahmin yok |
| Bir model için eğitim verisi | Önce bölme, etiketlerden örneklem kontrolü |
| Birkaç ülkeden fiyatlar | Her satırda para birimi, ülke ve zaman |
| Alanları farklı adlandıran birçok kaynak | Önce alan eşleme, sonra temizlik |
Sıkça sorulan sorular
Veri temizleme adımları nelerdir?
Veriyi profillemek, yapısal hataları düzeltmek, biçimleri standartlaştırmak, yinelenen kayıtları ayıklamak, eksik değerler için karar vermek, kurallarla doğrulamak ve değişiklikleri belgelemek. Tekilleştirmeden önce standartlaştırın: yinelenen kayıtların çoğu ancak boşluklar ve büyük-küçük harf uyuştuğunda eşleşir.
Veri temizlemenin İngilizcesi nedir?
Veri temizlemenin İngilizcesi data cleaning'dir; data cleansing ve data scrubbing de aynı anlamda kullanılır. Bazı ekipler "cleansing" sözcüğünü bir sisteme yerleşmiş sürekli süreç, "cleaning" sözcüğünü tek seferlik iş için kullanır, ama yapılan iş aynıdır.
Excel'de veri temizleme nasıl yapılır?
Excel'de fazladan boşlukları KIRP işleviyle silin, tutarsız yazımları Bul ve Değiştir ile tek biçime getirin, alanları Metni Sütunlara Dönüştürme Sihirbazı ile bölün, garip değerleri filtrelerle bulun ve her kaydı tanımlayan sütunda Yinelenenleri Kaldır komutunu kullanın. Bir kopya üzerinde çalışın ve özgün sayfayı değiştirmeyin.
Veri analizinde veri temizleme neden önemlidir?
Analiz, girdisindeki her hatayı tekrarlar: yinelenen kayıtlar toplamları şişirir, eksik değerler ortalamaları bozar, farklı yazımlar tek bir kategoriyi birkaç parçaya böler. Sonuçlar yine de makul göründüğü için hata çoğu zaman ancak üzerine bir karar kurulduktan sonra fark edilir.
Makine öğrenmesinde veri temizleme nedir?
Makine öğrenmesinde veri temizleme, olağan adımlara iki ek kontrol katar: yanlış etiketleri düzeltmek ve eğitim ile test verisi arasındaki sızıntıyı önlemek. Veriyi önce ayırın ve doldurma değerlerini yalnız eğitim setinden öğrenin; böylece test puanları modelin yeni veride nasıl davranacağını yansıtır.
Telefonda veri temizleme ne demek?
Telefonda "veri temizleme", bir uygulamanın o cihazda kaydettiği dosyaları, yani önbelleğini, ayarlarını ve oturum bilgisini silip uygulamayı ilk kurulduğu haline döndürmek demektir. Çoğu telefonda bu işlem ayarlardaki uygulamalar bölümünden yapılır. Analizdeki veri temizleme ise veriyi silmez, düzeltir; amaç hiçbir şeyi kaybetmemektir.
Özet
Veri temizleme, bir veri setinin söylediği şeyi gerçekten anlatmasını sağlar: her gerçek nesne için bir satır, her alan için bir biçim, sessiz boşluk ve imkânsız değer yok. Önce profilleyin, yapıyı düzeltin, standartlaştırın, sonra tekilleştirin, eksik değerler için karar verin, yazılı kurallarla doğrulayın ve ham veriyi saklayarak her değişikliği kaydedin. Web'den toplanan veride her satıra para birimini, ülkeyi ve toplama zamanını yazın ve her pazarın verisini o pazardan toplayın; fiyat takibi sayfamız bunun rakip fiyatlarında nasıl işlediğini anlatıyor.




