Veri Etiketleme (Data Annotation) Nedir?

Yayın tarihi:

14 dk okuma

Acar Diveroli
Yazar: Acar Diveroli
Etiketsiz beyaz noktalardan dağınık bir bulut; sağda car, spam gibi etiketli noktalar ve billing etiketli tek mavi nokta

Bir destek ekibi, gelen her talebi doğru kuyruğa (fatura, teslimat ya da iade) gönderen bir model istiyor. Elinde 60.000 eski talep var, ama hiçbirinde talebin hangi kuyruğa gittiği yazmıyor; yani modelin öğrenebileceği bir şey henüz yok. Birinin bu taleplerden bir örneklem okuyup her birinin yanına cevabı yazması gerekiyor. Bir otomobil üreticisi kamera görüntülerinde, bir sesli asistan ekibi de kayıtlı konuşmalarda aynı sorunla karşılaşır. Bu işin adı veri etiketlemedir.

Bu yazıda veri anotasyonu (data annotation) olarak da bilinen veri etiketlemenin ne olduğunu, yapay zekâ modellerinin ona neden ihtiyaç duyduğunu, başlıca etiket türlerini, bir etiketleme projesinin nasıl yürüdüğünü, kalitenin nasıl ölçüldüğünü, modellerin bu işe nasıl yardım ettiğini ve hangi kişisel veri kurallarının geçerli olduğunu anlatıyoruz.

Veri etiketleme nedir?

Veri etiketleme, bir modelin girdiyle cevap arasındaki ilişkiyi öğrenebilmesi için her ham örneğe doğru cevabın eklenmesidir. Girdi bir fotoğraf, bir cümle ya da bir ses kaydı olabilir; etiket ise dikkatli bir insanın o örnek için söyleyeceği şeydir: "kedi", "olumsuz yorum", "Paris bir yer adı". Girdi, etiketiyle birlikte etiketli bir örnek oluşturur.

Etiketli örnekler, denetimli öğrenmenin (supervised learning) ham maddesidir. Denetimli öğrenme, modelin cevabı bilinen girdilerden öğrendiği ve ardından yeni girdilerin cevabını tahmin ettiği makine öğrenmesi dalıdır. Modelin başarısının ölçüldüğü etiketlere, "doğru kabul edilen cevap" anlamında ground truth denir; ama bu etiketler de ancak arkalarındaki insanlar ve kurallar kadar doğrudur.

Bazı etiketler kendiliğinden oluşur: bir e-postayı spam olarak işaretlediğinizde e-posta hizmetiniz için veri etiketlemiş olursunuz; Burr Settles'ın aktif öğrenme üzerine derlemesi de bu örneğe yer verir. İş verisinde durum çoğu zaman böyle değildir; bir talebi ait olduğu kuyrukla etiketlemek birinin görevi olmadıkça kimse bunu yapmaz. Aynı iş anotasyon, işaretleme ya da sosyal bilimlerde kodlama adıyla da anılır.

Yapay zekâ modelleri neden etiketli veriye ihtiyaç duyar?

Yapay zekâ modelleri etiketli veriye üç iş için ihtiyaç duyar: bir görevi öğrenmek, o görevde test edilmek ve sohbet asistanlarında insanların hangi cevabı tercih ettiğini öğrenmek.

Eğitim. Talepleri yönlendiren ya da çatlak parçaları tespit eden bir model, yalnızca cevabı bilinen örneklerden öğrenir. Görevi etiketler tanımlar: etiket setinde "iade" yoksa model bir iade talebini tanımayı hiçbir zaman öğrenmez.

Değerlendirme. Ham metinle ön eğitimden geçmiş bir büyük dil modeli (LLM) gibi etiketsiz eğitilen bir model bile cevabı bilinen örneklerle test edilir. Özenle etiketlenmiş küçük bir test seti çoğu zaman ekibin en değerli verisidir, çünkü sonraki her değişiklik onunla ölçülür.

Dil modellerinin ayarlanması. Sohbet asistanları, insanların yazdığı örnek cevaplarla ve birkaç model cevabının en iyiden en kötüye sıralanmasıyla ayarlanır. InstructGPT makalesinde bir eleme testiyle seçilmiş yaklaşık 40 kişilik sözleşmeli bir ekip örnek cevaplar yazdı ve her prompt için dört ile dokuz arasında model çıktısını sıraladı.

Bu sıralamalar da birer etikettir: hangi cevabın daha iyi olduğuna bir insan, yazılı talimatlara bakarak karar verir. Bu etiketlerin eğitilmiş bir modeli nasıl ayarladığını Fine-Tuning Nedir? yazısında anlattık.

Veri etiketleme türleri nelerdir?

Etiket türü, verinin cinsine ve modelin cevaplaması gereken soruya göre belirlenir:

VeriYaygın etiket türleriÖrnek görev
GörselSınıf, sınırlayıcı kutu, dış hat, kilit noktalarFotoğraflarda hasarlı kolileri bulmak
MetinKategori, duygu, varlık adları, niyetTalepleri yönlendirmek, hakaretleri işaretlemek
SesDöküm, konuşmacı sırası, ses olaylarıÇağrı merkezi için konuşmayı metne çevirmek
VideoKareler boyunca izlenen nesneler, eylemlerBir forkliftin videodaki yolunu izlemek
BelgeAlanlar ve konumları, sayfa türüFaturadan toplam tutarı ve tarihi okumak

Görseller. Sınıflandırma görselin tamamına tek bir etiket verir ("çatlak var"). Sınırlayıcı kutu (bounding box), bir nesnenin çevresine çizilip koordinat olarak kaydedilen dikdörtgendir. Segmentasyon nesnenin tam dış hattını çokgen ya da piksel piksel çizer; kilit noktalar (keypoints) ise bir vücudun eklemleri gibi tekil noktaları işaretler. Herkese açık COCO veri seti bu işin ulaşabileceği ölçeği gösterir: 328.000 görselde, her biri ayrı ayrı çizilmiş 2,5 milyon etiketli nesne.

Metin. Bir metin etiketi belgenin tamamına (konu, duygu, "aboneliğimi iptal et" gibi bir niyet) ya da içindeki bir bölüme verilebilir. Doğal dil işlemenin klasik anotasyon görevlerinden adlandırılmış varlık tanıma (named entity recognition), kişi, kurum, yer, ürün ya da tarih bildiren sözcükleri işaretler. Ekiplerin çoğu zaman ilk denediği etiket duygudur; Python ile Duygu Analizi yazısı, elle etiketlenmiş küçük bir yorum setinin her puanlama yöntemi için neden ölçüt olduğunu gösteriyor.

Ses ve video. Ses etiketleri tam dökümden kimin ne zaman konuştuğunu işaretlemeye kadar uzanır. Bu iş yavaştır: Settles'ın derlemesi, kelime düzeyinde dökümün sesin kendi süresinin on katına kadar çıkabildiğini bildiren bir çalışmaya atıf yapar. Videoda aynı nesnenin kareden kareye aynı kimliği koruması gerekir; buna nesne takibi (tracking) denir.

Veri etiketleme nasıl yapılır?

Bir etiketleme projesi döngü hâlinde ilerler: her etiket tanımlanır, tanımlar küçük bir partide denenir, insanların nerede ayrıştığı ölçülür, tanımlar düzeltilir ve ancak bundan sonra büyük ölçekte etiketlemeye geçilir. Tipik bir proje sekiz adımdan oluşur:

  1. Görevi ve etiket setini tanımlayın. Modelin cevaplayacağı soruyu ve izin verilen etiketleri, her birinin komşularından ayrıldığı sınırla birlikte yazın. "Belirsiz" seçeneği, etiketleyicilerin tahmine başvurmasını önler.
  2. Örnekli bir kılavuz yazın. Her etiket için bir tanım, tipik örnekler ve zor durumlar verin; örneğin hem para iadesi isteyen hem de geciken teslimattan şikâyet eden bir talep.
  3. Pilot çalışma yapın. Birkaç kişi aynı küçük partiyi birbirinden bağımsız olarak etiketlesin. Süreyi ölçün; böylece maliyet tahmininiz varsayıma değil ölçüme dayanır.
  4. Etiketleyin. Partiler hâlinde çalışın, doğru etiketi önceden bilinen altın örnekleri (gold items) araya karıştırın ve herkesin kılavuzun aynı sürümüyle çalışmasını sağlayın.
  5. Gözden geçirin. İkinci bir kişi her partiden bir örneklemi ve "belirsiz" diye işaretlenen her öğeyi kontrol etsin.
  6. Uyumu ölçün. Aynı öğeleri birbirinin cevabını görmeden etiketleyen kişilerin etiketlerini karşılaştırın.
  7. Kılavuzu düzeltin. Ayrışma çoğu zaman özensiz insanlara değil, muğlak bir kurala işaret eder. Kuralı netleştirin ve etkilenen öğeleri yeniden etiketleyin.
  8. Belgeleyerek teslim edin. Etiketleri kılavuz sürümü ve uyum skorlarıyla birlikte teslim edin; eğitimde hiç kullanılmayacak bir test setini de ayırın.

InstructGPT ekibi de aynı alışkanlıkları büyük ölçekte anlatıyor: işe alıştırma süreci, her görev için ayrıntılı talimatlar ve etiketleyicilerin sorularını sorabildiği ortak bir sohbet odası.

Etiketleme kalitesi nasıl ölçülür?

Etiketleme kalitesi iki yolla ölçülür: cevabı önceden kesinleşmiş altın örneklerle ve birbirinden bağımsız etiketleyicilerin, tesadüfün tek başına sağlayacağı uyumun ötesinde ne kadar uyuştuğuyla.

Altın örnekler, etiketi kontrol edilmiş ve işin arasına işaretsiz karıştırılmış örneklerdir. Bunların çoğunu kaçıran bir etiketleyicinin geri bildirime ihtiyacı vardır; çok kişinin kaçırdığı bir altın örnek ise kendisi hatalı olabilir.

Etiketleyiciler arası uyum (inter-annotator agreement), farklı kişilerin aynı öğeleri ne kadar tutarlı etiketlediğini ölçer. Ham yüzde uyum yanıltır, çünkü uyumun bir kısmı tesadüfen oluşur. Jacob Cohen'in 1960'ta önerdiği kappa katsayısı (Cohen's kappa) bunu düzeltir: kappa = (gözlenen uyum - tesadüfi uyum) / (1 - tesadüfi uyum). Kappa 1 ise uyum tamdır; 0 ise uyum tesadüften iyi değildir.

İki kişi 200 talebi "fatura" ya da "fatura değil" diye etiketliyor ve %85'inde aynı cevabı veriyor. İkisi de talepleri iki sınıfa yarı yarıya dağıtıyorsa tesadüf tek başına %50 uyum sağlar; kappa (0,85 - 0,50) / (1 - 0,50) = 0,70 olur. İkisi de taleplerin %90'ını "fatura değil" diye işaretliyorsa tesadüfi uyum 0,9 × 0,9 + 0,1 × 0,1 = %82'ye çıkar ve aynı %85'lik uyumun kappa değeri yalnızca 0,17 olur.

Fleiss'in kappa katsayısı ve Krippendorff'un alfası bu fikri ikiden fazla etiketleyiciye genişletir. Hesaplamalı dilbilimde hedef çoğunlukla 0,8'dir; ama Artstein ve Poesio'nun derlemesi tek bir eşiğin her göreve uymadığını savunur ve hangi etiketlerin birbirine karıştığını gösteren karışıklık matrisinin (confusion matrix) de raporlanmasını önerir.

Öznel görevlerde uyum daha düşüktür: InstructGPT projesinde model cevaplarını karşılaştıran etiketleyicilerin kendi aralarındaki uyum oranı %72,6 (± 1,5 puan) idi. Kılavuz düzeltildikten sonra da uyum düşük kalıyorsa, her anlaşmazlığı kıdemli bir gözden geçirenin ya da oy çokluğunun çözdüğü hakem kararı (adjudication) sürecin parçası olur.

Modeller etiketlemeye nasıl yardım eder?

Modeller dört yolla yardım eder: insanların kontrol edeceği etiket taslakları çıkarır, hangi örneklerin insan zamanına değdiğini seçer, kaba kuralları etikete dönüştürür ve bazen hiç insan olmadan etiketler. Model ne kadar çok iş yaparsa çıktısının o kadar dikkatli kontrol edilmesi gerekir.

YaklaşımNasıl çalışır?Dikkat edilecek nokta
Elleİnsanlar her öğeyi kılavuza göre etiketlerBüyük ölçekte yavaş ve pahalı
Ön etiketlemeModel önerir, insan kabul eder ya da düzeltirHatalı öneriler kabul edilir
Aktif öğrenmeModel emin olmadığı öğeleri sorarEtiketli set artık rastgele değil
Zayıf denetimKurallar oy verir, bir model oyları birleştirirKuralların kör noktaları ortak
Tam otomatikBir model ya da simülatör etiketi üretirKimsenin kontrol etmediği hatalar

Ön etiketleme en basit biçimdir: daha önce eğitilmiş bir model ya da kılavuzu talimat olarak almış bir LLM bir etiket taslağı çıkarır, bir insan da onu onaylar ya da düzeltir. İnsanlar makul görünen bir öneriyi kabul etmeye yatkındır; bu yüzden ön etiketlenmiş partiler de aynı altın örnek kontrolünden geçmelidir. Etiketlemede "döngüde insan" (human in the loop) denince çoğu zaman bu döngü kastedilir.

Aktif öğrenme, Settles'ın deyişiyle, öğreneceği veriyi kendisi seçebilen bir modelin "daha az eğitim etiketiyle daha yüksek doğruluğa" ulaşabileceği fikrine dayanır. En yaygın stratejisi olan belirsizlik örneklemesi (uncertainty sampling), modelin en emin olmadığı örnekleri insanlara gönderir; bu yüzden test için ayrıca rastgele bir örneklem gerekir.

Zayıf denetim (weak supervision), elle verilen etiketlerin bir kısmının yerine kurallar koyar. Ratner ve arkadaşlarının 2017'de anlattığı sistemde uzmanlar etiketleme fonksiyonları yazar; bunlar "talepte fatura numarası geçiyorsa fatura diye oy ver" gibi küçük sezgisel kurallardır. Sistem her kuralın ne kadar güvenilir olduğunu tahmin eder ve oyları birleştirerek eğitim etiketleri üretir.

Tam otomatik etiketler bir modelden ya da simülasyondan gelir; hiçbirini tek tek bir insan kontrol etmez. 3B bir simülatör sahnesindeki her nesnenin yerini bilir, bu yüzden ürettiği görseller etiketli çıkar; üretilmiş verinin sınırlarını Sentetik Veri Nedir? yazısında anlattık. Test setinin etiketlerini ise yine bir insanın kontrol etmesi gerekir.

Etiketlenecek veride kişisel veri varsa ne yapılmalı?

Örneklerde kişisel veri varsa onları etiketlemek de kişisel veri işlemektir; AB'de GDPR, Türkiye'de 6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK) ve benzeri yasalar bu işe de uygulanır. Taleplerde isimler, fotoğraflarda yüzler ve plakalar, ses kayıtlarında insanların sesi bulunur.

Görevin ihtiyaç duymadığı her şeyi, etiketleyicilere gönderilmeden önce veriden çıkarın: isimleri, e-posta adreslerini ve telefon numaralarını maskeleyin, görevin konusu olmayan yüzleri bulanıklaştırın, ses kayıtlarında yalnızca ilgili bölümü bırakın. Maskeleme kendiliğinden anonim hâle getirme değildir: GDPR'ın 26. gerekçesine göre isimlerin kodlarla değiştirildiği ama eşleştirme anahtarının hâlâ durduğu takma adlandırılmış (pseudonymised) veri, kişisel veri olmaya devam eder. KVKK da anonim hâle getirmeyi, kişisel verinin başka verilerle eşleştirilse bile hiçbir şekilde kimliği belirli ya da belirlenebilir bir gerçek kişiyle ilişkilendirilemeyecek hâle getirilmesi olarak tanımlar.

Başka bir şirket üzerinden sizin için çalışan etiketleyiciler veriyi sizin adınıza işler. GDPR böyle bir veri işleyenle sözleşme yapılmasını şart koşar; KVKK'nın 12. maddesi de veri sorumlusunu, veriyi onun adına işleyen kişiyle birlikte güvenlik tedbirlerinden müştereken sorumlu tutar. Uygulamada bu, herkesin yalnızca üzerinde çalıştığı partiye erişmesi, kişisel cihazlara kopya alınmaması ve proje bitince verinin silinmesi demektir.

Düzenlemeler etiketlemeyi artık doğrudan anıyor. AB Yapay Zekâ Tüzüğü (AI Act), yüksek riskli yapay zekâ sistemlerinin eğitim, doğrulama ve test verilerinin, başka işlemlerin yanında anotasyon, etiketleme, temizleme, güncelleme, zenginleştirme ve birleştirmeyi de kapsayan veri yönetişimi uygulamalarına tabi olmasını şart koşar.

Etiketsiz örnekler nereden gelir?

Etiketsiz örnekler önce kendi sistemlerinizden, sonra lisanslı veri setlerinden, görev herkese açık içerikle ilgiliyse de bu içeriği yayımlayan web sayfalarından gelir; topladığınız veri, modelin neyle başa çıkabileceğini belirler. Yalnızca İngilizce taleplerle eğitilmiş bir yönlendirme modeli İspanyolca taleplerde zorlanır.

Kendi talepleriniz, fotoğraflarınız ve kayıtlarınız, bu amacı kapsayan aydınlatma ve rıza çerçevesinde kullanılır. Ürün ilanlarını, yorumları ya da iş ilanlarını birçok dilde sınıflandırmak için ekipler hizmet verdikleri ülkelerdeki herkese açık web sayfalarını da toplar.

Proxy'lerin işe yaradığı yer bu toplama adımıdır. Birçok site dili, para birimini ve ürün yelpazesini ziyaretçinin IP adresinin bağlı olduğu ülkeye göre değiştirir; ülke ve şehir hedeflemeli bir Residential Proxy, yerel ziyaretçilerin gördüğü sürümü toplamanızı sağlar. Yalnızca herkese açık sayfaları toplayın, robots.txt'ye ve sitenin kullanım şartlarına uyun, varsa resmî API'yi kullanın ve etiketlemeyeceğiniz kişisel verileri dışarıda bırakın.

Veri kazıma için proxy sayfamız, hangi toplama işine hangi proxy türünün ve oturum modunun uyduğunu anlatıyor.

Veri etiketleme nerelerde kullanılır?

Veri etiketleme, belirli bir girdi hakkında karar veren yapay zekâ özelliklerinin çoğunun arkasında durur. Destek ekipleri talepleri yönlendirmek için etiketler. Online mağazalar ürünlere kategori atar ve arama sonuçlarını alaka düzeyine göre puanlar. Moderasyon ekipleri gönderileri yazılı bir politikaya göre sınıflandırır. Fabrikalar parça görsellerini sağlam ya da kusurlu diye ayırır, bankalar işlemleri dolandırıcılık olup olmadığına göre etiketler. Hastaneler tıbbi görüntüleri etiketler; bu iş yetkin klinisyenler ve sıkı veri koruması gerektirir. LLM üzerine ürün geliştiren ekipler de yeni bir prompt'un ya da model sürümünün daha iyi olup olmadığını anlayabilmek için test sorularını kabul edilebilir cevaplarla eşleştirir.

Sık yapılan hatalar

  • Kılavuz yazılmadan etiketlemeye başlamak. Herkes kendi kuralını uydurur; ayrışma ancak binlerce öğeden sonra ortaya çıkar.
  • "Belirsiz" seçeneği koymamak. Zorla verilen tahminler, emin olunarak verilen etiketlerden ayırt edilemez.
  • Yalnızca yüzde uyumu raporlamak. Bir sınıf baskınsa yüksek uyum tesadüf olabilir; kappa ya da alfa raporlayın.
  • Kılavuzu değiştirip yeniden etiketlememek. Veri bu durumda iki farklı kural setini karıştırır.
  • Ön etiketlere güvenmek. Model önerilerini altın örneklerle, elle verilen etiketler kadar sıkı kontrol edin.
  • Test öğelerinin eğitime sızmasına izin vermek. Eğitildiği veriyle test edilen bir model olduğundan iyi görünür.
  • Ham kişisel veriyi etiketleyicilere göndermek. Görevin ihtiyaç duymadığı bilgiyi önce maskeleyin ya da çıkarın.

Karar rehberi

İhtiyaçYaklaşım
Yeni bir görev için ilk modelKılavuz, küçük pilot, elle etiketleme
Çok öğe, az uzmanBelirsiz öğelerde aktif öğrenme
Uzmanlar net kurallar koyabiliyorZayıf denetim, elle etiketlenmiş örneklemle kontrol
Büyük hacim, düşük riskAltın örneklerle kontrol edilen model ön etiketleri
Güvenilir bir test setiİki bağımsız etiketleyici ve hakem kararı
Ton gibi öznel etiketlerÖğe başına birkaç etiketleyici, uyum raporu
Kişisel ayrıntı içeren veriÖnce maskeleme, veri işleyen sözleşmesi, sınırlı erişim

Sıkça sorulan sorular

Veri etiketleme ile veri anotasyonu arasındaki fark nedir?

Çoğu ekipte fark yoktur. İkisini ayıranlar için anotasyon (annotation), ham veriye eklenen her türlü bilgiyi, yani kutuları, dış hatları ve işaretlenmiş metin bölümlerini kapsayan daha geniş terimdir; etiket ise sınıf adı gibi cevabın kendisidir.

Sınırlayıcı kutu (bounding box) nedir?

Sınırlayıcı kutu, bir görseldeki nesnenin çevresine çizilen ve koordinat olarak kaydedilen dikdörtgendir; genellikle iki köşe ya da bir köşeyle birlikte genişlik ve yükseklik saklanır. Çizmesi dış hattı izlemekten hızlıdır, ama düzensiz biçimli nesnelerde daha az kesindir.

Yapay zekâ veriyi kendi başına etiketleyebilir mi?

Kısmen. Bir LLM yazılı bir kılavuza bakarak metin etiketleyebilir, ama makine etiketleri modelin hatalarını ve önyargılarını da taşır. Bu etiketleri taslak olarak ya da riski düşük büyük hacimler için kullanın; altın örnekleri, anlaşmazlıkları ve test setini insanlara bırakın.

Ne kadar etiketli veriye ihtiyacım var?

Bu; göreve, etiket sayısına ve sınıfların birbirine ne kadar benzediğine bağlıdır, o yüzden tahmin etmek yerine ölçün. İlk etiketli partinin giderek büyüyen bölümleriyle (dörtte biri, yarısı, tamamı) eğitim yapın ve her seferinde sabit bir test setindeki skora bakın. Skor hâlâ yükseliyorsa daha fazla etiket işe yarar; düzleşmişse genellikle daha net etiketler daha çok işe yarar.

Etiketleyiciler arası uyum nedir?

Etiketleyiciler arası uyum, farklı kişilerin aynı öğeye ne sıklıkla aynı etiketi verdiğini, tesadüfi uyumu hesaba katarak ölçer. İki kişi için genellikle Cohen'in kappa katsayısı, daha fazlası için Fleiss'in kappa katsayısı ve Krippendorff'un alfası kullanılır. Düşük uyum çoğu zaman özensiz etiketleyicilere değil, belirsiz bir kılavuza işaret eder.

Veri etiketleme bir meslek mi, veri etiketleme uzmanı ne iş yapar?

Evet, veri etiketleme bir iş koludur. Etiketlemeyi şirket içi ekipler, sözleşmeli çalışanlar ve görev gerektirdiğinde dilbilimciler, hekimler ya da hukukçular gibi uzmanlar yapar. Veri etiketleme uzmanı öğeleri etiketler ve gözden geçirir, belirsiz durumları işaretler ve kılavuzun iyileştirilmesine katkı verir. Bir iş teklifini değerlendiriyorsanız şartlarını dikkatle okuyun.

Özet

Veri etiketleme, modelin öğrenmesi gereken cevabı (bir sınıfı, bir kutuyu, işaretlenmiş bir adı ya da bir dökümü) ham örneklere ekler. Modeller ona denetimli görevleri öğrenmek, test edilmek ve sohbet asistanları söz konusuysa insanların hangi cevapları tercih ettiğini öğrenmek için ihtiyaç duyar. İyi etiketler net bir kılavuzdan, bir pilot çalışmadan, tesadüfün ötesinde ölçülen uyumdan ve insanların ayrıştığı yerde kılavuzu düzelten bir döngüden çıkar. Modeller artık etiket taslağı çıkarıyor ve insan zamanına değen örnekleri seçiyor; ama önemli olanı yine insanlar kontrol ediyor. Görevin ihtiyaç duymadığı kişisel verileri çıkarın ve ham örnekleri modelinizin karşılaşacağı dillerden ve ülkelerden toplayın.

ChatGPT'ye sorClaude'a sor