Adalet: Önyargı belirleme
Koleksiyonlar ile düzeninizi koruyun
İçeriği tercihlerinize göre kaydedin ve kategorilere ayırın.
Verilerinizi model eğitimi ve değerlendirmeye hazırlarken adalet sorunlarını göz önünde bulundurmanız ve modelinizi üretime sunmadan önce etkilerini proaktif olarak azaltmak için olası önyargı kaynaklarını denetlemeniz önemlidir.
Önyargı nerede olabilir? Veri kümenizde dikkat etmeniz gereken bazı uyarı işaretleri aşağıda verilmiştir.
Eksik özellik değerleri
Veri kümenizde çok sayıda örnek için eksik değerleri olan bir veya daha fazla özellik varsa bu, veri kümenizin belirli temel özelliklerinin yeterince temsil edilmediğinin bir göstergesi olabilir.
Alıştırma: Anladığınızdan emin olun
Kurtarma köpeklerinin sahiplenilebilirliğini cins, yaş, kilo, karakter ve her gün döktükleri tüy miktarı gibi çeşitli özelliklere göre tahmin edecek bir model eğitiyorsunuz. Amacınız, fiziksel veya davranış özellikleri ne olursa olsun tüm köpek türlerinde modelin eşit performans göstermesini
sağlamaktır
Eğitim veri kümesindeki 5.000 örnekten 1.500'inde mizaç değerlerinin eksik olduğunu keşfedersiniz. Aşağıdakilerden hangileri, incelemeniz gereken olası önyargı kaynaklarıdır?
Belirli köpek ırklarında mizaç verilerinin eksik olma olasılığı daha yüksektir.
Mizaç verilerinin kullanılabilirliği köpek cinsiyle ilişkiliyse bu durum, belirli köpek cinsleri için evlat edinilebilirlik tahminlerinin daha az doğru olmasına neden olabilir.
12 aydan küçük köpekler için mizaç verilerinin eksik olma ihtimali daha yüksektir
Mizaç verilerinin kullanılabilirliği yaşla ilişkiliyse bu durum, yetişkin köpeklere kıyasla yavru köpekler için daha az doğru evlat edinilebilirlik tahminlerine yol açabilir.
Büyük şehirlerden kurtarılan tüm köpeklerin mizaç verileri eksik.
Eksik veriler, cins, yaş, ağırlık vb. özelliklerinden bağımsız olarak büyük şehirlerdeki tüm köpekleri eşit şekilde etkileyeceğinden, ilk bakışta bunun olası bir önyargı kaynağı olduğu anlaşılmayabilir. Bununla birlikte, bir köpeğin bulunduğu konumun bu fiziksel özelliklerin bir göstergesi olabileceğini göz önünde bulundurmamız gerekir. Örneğin, büyük şehirlerdeki köpeklerin kırsal bölgelerdeki köpeklere kıyasla daha küçük olma olasılığı çok daha yüksekse bu durum, daha düşük kilolu köpekler veya belirli küçük köpek ırkları için daha az doğru evlat edinilebilirlik tahminlerine yol açabilir.
Veri kümesinde mizaç verileri rastgele olarak eksik.
Mizaç verileri gerçekten rastgele eksikse bu durum olası bir önyargı kaynağı olmaz. Ancak mizaç verileri rastgele eksik görünebilir. Daha ayrıntılı bir inceleme, bu tutarsızlığın bir açıklamasını ortaya çıkarabilir. Bu nedenle, veri boşluklarının rastgele olduğunu varsaymak yerine, diğer olasılıkları elemek için kapsamlı bir inceleme yapmak önemlidir.
Beklenmeyen özellik değerleri
Verileri keşfederken, özellikle karakteristik olmayan veya sıra dışı olarak öne çıkan özellik değerleri içeren örnekleri de aramanız gerekir. Bu beklenmedik özellik değerleri, veri toplama sırasında ortaya çıkan sorunları veya yanlılığa yol açabilecek başka yanlışlıkları gösterebilir.
Alıştırma: Anladığınızdan emin olun
Kurtarma köpeği evlat edinme modeli eğitmek için aşağıdaki varsayıma dayalı örnek grubunu inceleyin.
| cins |
yaş (yıl) |
ağırlık (lb) |
mizaç |
shedding_level |
| oyuncak kaniş |
2 |
12 |
heyecanlı |
düşük |
| Golden Retriever |
7 |
65 |
sakin |
yüksek |
| Labrador Retriever |
35 |
73 |
sakin |
yüksek |
| Fransız buldoğu |
0.5 |
11 |
sakin |
medium |
| bilinmeyen karma cins |
4 |
45 |
heyecanlı |
yüksek |
| Base |
9 |
48 |
sakin |
medium |
Özellik verileriyle ilgili herhangi bir sorun tespit edebiliyor musunuz?
Yanıtı görmek için burayı tıklayın
| cins |
yaş (yıl) |
ağırlık (lb) |
mizaç |
shedding_level |
| oyuncak kaniş |
2 |
12 |
heyecanlı |
düşük |
| Golden Retriever |
7 |
65 |
sakin |
yüksek |
| Labrador Retriever |
35 |
73 |
sakin |
yüksek |
| Fransız buldoğu |
0.5 |
11 |
sakin |
medium |
| bilinmeyen karma cins |
4 |
45 |
heyecanlı |
yüksek |
| Base |
9 |
48 |
sakin |
medium |
Guinness Dünya Rekorları tarafından yaşı doğrulanan en yaşlı köpek, 29 yıl 5 ay yaşayan Avustralya sığır köpeği Bluey idi. Bu bilgiler göz önüne alındığında, labrador retriever'in aslında 35 yaşında olması pek olası değil.Köpeğin yaşının yanlış hesaplandığı veya kaydedildiği daha olası (belki de köpek aslında 3,5 yaşında). Bu hata, veri kümesindeki yaş verileriyle ilgili daha kapsamlı araştırmaları gerektirecek daha kapsamlı doğruluk sorunlarına da işaret edebilir.
Veri çarpıtması
Verilerinizde belirli grupların veya özelliklerin gerçek dünyadaki yaygınlıklarına kıyasla eksik ya da fazla temsil edildiği her türlü sapma, modelinizde ön yargıya neden olabilir.
Model performansını denetlerken yalnızca sonuçları toplu olarak incelemek değil, sonuçları alt gruba göre ayırmak da önemlidir. Örneğin, kurtarılan köpeklerin evlat edinilebilirlik modelimiz söz konusu olduğunda, adaleti sağlamak için yalnızca genel doğruluğa bakmak yeterli değildir. Modelin her köpek ırkı, yaş grubu ve boyut grubu için eşit derecede iyi performans gösterdiğinden emin olmak amacıyla performansı alt gruba göre de denetlemeliyiz.
Bu modülün ilerleyen bölümlerinde, Yanlışlık için değerlendirme bölümünde, modelleri alt gruba göre değerlendirmeye yönelik farklı yöntemleri daha ayrıntılı olarak inceleyeceğiz.
Aksi belirtilmediği sürece bu sayfanın içeriği Creative Commons Atıf 4.0 Lisansı altında ve kod örnekleri Apache 2.0 Lisansı altında lisanslanmıştır. Ayrıntılı bilgi için Google Developers Site Politikaları'na göz atın. Java, Oracle ve/veya satış ortaklarının tescilli ticari markasıdır.
Son güncelleme tarihi: 2024-11-10 UTC.
[null,null,["Son güncelleme tarihi: 2024-11-10 UTC."],[[["\u003cp\u003eTraining data should represent real-world prevalence to avoid bias in machine learning models.\u003c/p\u003e\n"],["\u003cp\u003eMissing or unexpected feature values in the dataset can be indicative of potential sources of bias.\u003c/p\u003e\n"],["\u003cp\u003eData skew, where certain groups are under- or over-represented, can introduce bias and should be addressed.\u003c/p\u003e\n"],["\u003cp\u003eEvaluating model performance by subgroup ensures fairness and equal performance across different characteristics.\u003c/p\u003e\n"],["\u003cp\u003eAuditing for bias requires a thorough review of data and model outcomes to mitigate potential negative impacts.\u003c/p\u003e\n"]]],[],null,["# Fairness: Identifying bias\n\nAs you prepare your data for model training and evaluation, it's important to\nkeep issues of fairness in mind and audit for potential sources of\n[**bias**](/machine-learning/glossary#bias-ethicsfairness), so you can\nproactively mitigate its effects before releasing your model into production.\n\nWhere might bias lurk? Here are some red flags to look out for in your dataset.\n\nMissing feature values\n----------------------\n\nIf your dataset has one or more features that have missing values for a large\nnumber of examples, that could be an indicator that certain key characteristics\nof your dataset are under-represented.\n\n### Exercise: Check your understanding\n\nYou're training a model to predict adoptability of rescue dogs based on a variety of features, including breed, age, weight, temperament, and quantity of fur shed each day. Your goal is to ensure the model performs equally well on all types of dogs, irrespective of their physical or behavioral characteristics \n\n\u003cbr /\u003e\n\nYou discover that 1,500 of the 5,000 examples in the training set are\nmissing temperament values. Which of the following are potential sources\nof bias you should investigate? \nTemperament data is more likely to be missing for certain breeds of dogs. \nIf the availability of temperament data correlates with dog breed, then this might result in less accurate adoptability predictions for certain dog breeds. \nTemperament data is more likely to be missing for dogs under 12 months in age \nIf the availability of temperament data correlates with age, then this might result in less accurate adoptability predictions for puppies versus adult dogs. \nTemperament data is missing for all dogs rescued from big cities. \nAt first glance, it might not appear that this is a potential source of bias, since the missing data would affect all dogs from big cities equally, irrespective of their breed, age, weight, etc. However, we still need to consider that the location a dog is from might effectively serve as a proxy for these physical characteristics. For example, if dogs from big cities are significantly more likely to be smaller than dogs from more rural areas, that could result in less accurate adoptability predictions for lower-weight dogs or certain small-dog breeds. \nTemperament data is missing from the dataset at random. \nIf temperament data is truly missing at random, then that would not be a potential source of bias. However, it's possible temperament data might appear to be missing at random, but further investigation might reveal an explanation for the discrepancy. So it's important to do a thorough review to rule out other possibilities, rather than assume data gaps are random.\n\nUnexpected feature values\n-------------------------\n\nWhen exploring data, you should also look for examples that contain feature values\nthat stand out as especially uncharacteristic or unusual. These unexpected feature\nvalues could indicate problems that occurred during data collection or other\ninaccuracies that could introduce bias.\n\n### Exercise: Check your understanding\n\nReview the following hypothetical set of examples for training a rescue-dog\nadoptability model.\n\n| breed | age (yrs) | weight (lbs) | temperament | shedding_level |\n|---------------------|-----------|--------------|-------------|----------------|\n| toy poodle | 2 | 12 | excitable | low |\n| golden retriever | 7 | 65 | calm | high |\n| labrador retriever | 35 | 73 | calm | high |\n| french bulldog | 0.5 | 11 | calm | medium |\n| unknown mixed breed | 4 | 45 | excitable | high |\n| basset hound | 9 | 48 | calm | medium |\n\nCan you identify any problems with the feature data? \nClick here to see the answer \n\n| breed | age (yrs) | weight (lbs) | temperament | shedding_level |\n|---------------------|-----------|--------------|-------------|----------------|\n| toy poodle | 2 | 12 | excitable | low |\n| golden retriever | 7 | 65 | calm | high |\n| labrador retriever | 35 | 73 | calm | high |\n| french bulldog | 0.5 | 11 | calm | medium |\n| unknown mixed breed | 4 | 45 | excitable | high |\n| basset hound | 9 | 48 | calm | medium |\n\nThe oldest dog to have their age verified by *Guinness World Records*\nwas [Bluey](https://wikipedia.org/wiki/Bluey_(long-lived_dog)),\nan Australian Cattle Dog who lived to be 29 years and 5 months. Given that, it\nseems quite implausible that the labrador retriever is actually 35 years old,\nand more likely that the dog's age was either calculated or recorded\ninaccurately (maybe the dog is actually 3.5 years old). This error could\nalso be indicative of broader accuracy issues with age data in the dataset\nthat merit further investigation.\n\nData skew\n---------\n\nAny sort of skew in your data, where certain groups or characteristics may be\nunder- or over-represented relative to their real-world prevalence, can\nintroduce bias into your model.\n\nWhen auditing model performance, it's important not only to look at results in\naggregate, but to break out results by subgroup. For example, in the case of\nour rescue-dog adoptability model, to ensure fairness, it's not sufficient to\nsimply look at overall accuracy. We should also audit performance by subgroup\nto ensure the model performs equally well for each dog breed, age group, and\nsize group.\n\nLater in this module, in [Evaluating for Bias](/machine-learning/crash-course/fairness/evaluating-for-bias), we'll\ntake a closer look at different methods for evaluating models by subgroup.\n| **Key terms:**\n|\n- [Bias (ethics/fairness)](/machine-learning/glossary#bias-ethicsfairness) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
