Kavram SözlüğüVeri Bilimi ve Veri Yönetimi

Annotatörler Arası Uyum

Farklı etiketleyicilerin aynı veri örneğine ne ölçüde benzer karar verdiğini gösteren kalite ölçüsü.

Annotatörler arası uyum, etiketleme kalitesini nicel olarak değerlendirmek için kullanılan önemli bir göstergedir. Eğer farklı kişiler aynı örneklerde benzer etiketler veriyorsa, görev tanımı ve rehber muhtemelen yeterince nettir. Düşük uyum ise ya veri örneklerinin muğlak olduğunu ya da etiketleme kurallarının yeterince açık olmadığını gösterebilir. Cohen’s Kappa gibi ölçüler bu amaçla sık kullanılır. Bu metrik, etiket kalitesini yalnızca çıktı üzerinden değil, etiketleme sürecinin güvenilirliği üzerinden değerlendirmeye yardımcı olur.