Ticari yüz analiz sistemleri, daha uzun olmasa da son on yılda hem akademisyenler hem de aktivistler tarafından eleştirildi. Geçen sonbaharda Colorado Üniversitesi, Boulder araştırmacıları tarafından yayınlanan bir makale, Amazon, Clarifai, Microsoft ve diğerlerinin yüz tanıma yazılımının cisgender erkekler için %95 oranında doğru olduğunu, ancak çoğu zaman transları yanlış tanımladığını gösterdi.
Ayrıca, Gender Shades projesi ve diğerleri tarafından satıcı sistemlerinin bağımsız karşılaştırmaları, yüz tanıma teknolojilerinin çeşitli ırksal, etnik ve cinsiyetçi önyargılara duyarlı olduğunu ortaya çıkardı.
Şirketler, yüz analiz sistemlerindeki önyargıları düzeltmek için çalıştıklarını söylüyor ve bazıları erken başarı iddiasında bulundu. Ancak Maryland Üniversitesi’ndeki araştırmacılar tarafından yapılan bir araştırma, Amazon, Microsoft ve Google’dan gelen yüz algılama hizmetlerinin önemli ve kolayca tespit edilebilir şekillerde kusurlu kaldığını ortaya koyuyor.
Üçünün de, daha genç, daha beyaz meslektaşlarına kıyasla, daha yaşlı, daha koyu tenli insanlarda başarısız olma olasılığı daha yüksektir. Ayrıca, çalışma, yüz algılama sistemlerinin belirli fiziksel görünümlere karşı ayrımcılık yaparken “kadınsı sunum yapan” insanları tercih etme eğiliminde olduğunu ortaya koyuyor.
Yüz Tanıma
Yüz algılama, algılanan bir yüzü bir yüz veritabanıyla eşleştiren yüz tanıma ile karıştırılmamalıdır. Yüz algılama, yüz tanımanın bir parçasıdır, ancak eşleştirme yapmak yerine yalnızca görüntülerdeki ve videolardaki yüzlerin varlığını ve konumunu tanımlar.
Son zamanlardaki dijital kameralar, güvenlik kameraları ve akıllı telefonlar, otomatik odaklama için yüz algılamayı kullanır. Yüz tanıma, reklam ekranlarından geçerken yüzleri tespit eden sistemler geliştiren pazarlamacılar arasında ilgi gördü.
Mayıs ayı ortasında gerçekleştirilen Maryland Üniversitesi ön baskı çalışmasında, ortak yazarlar Amazon, Microsoft ve Google tarafından sunulan yüz algılama hizmetlerinin sağlamlığını test etti. İkisi Google ve Facebook tarafından açık kaynaklı olmak üzere dört veri kümesinden toplanan 5 milyondan fazla görüntüyü kullanarak bulanıklık, gürültü ve “hava” (örn. don ve kar) gibi yapay olarak eklenen yapay nesnelerin yüz algılama üzerindeki etkisini analiz ettiler. hizmetlerin performansı.
Araştırmacılar, eserlerin özellikle büyük yaş, ırk, etnik ve cinsiyet çizgileri boyunca veri kümelerinde temsil edilen insanları farklı şekilde etkilediğini buldular. Örneğin, Amazon Web Services (AWS) aracılığıyla sunulan Amazon’un yüz algılama API’sinin, fotoğraflarına yapay nesneler eklendiğinde en yaşlı insanlar için yüz algılama hatası yapma olasılığı %145 daha yüksekti. Araştırmacılar, geleneksel olarak feminen yüz özelliklerine sahip kişilerin, “erkeksi sunum yapan” kişilere göre daha düşük algılama hatalarına sahip olduğunu iddia ediyor. Daha açık ve daha koyu cilt tipleri için genel hata oranı sırasıyla %8.5 ve %9.7 idi – daha koyu cilt tipi için %15’lik bir artış.
45-65 yaş arası ve kadınsı [insanlar] hariç her kimlikte, koyu ten tipinin istatistiksel olarak anlamlı daha yüksek hata oranlarına sahip olduğunu görüyoruz” diye yazdı. “Bu fark, özellikle 19-45 yaşındaki erkeksi deneklerde çok belirgindir. Bu kimlikte daha koyu tenli deneklerde daha açık tenli olanlara göre %35 oranında hata artışı görüyoruz… Açık tenli, erkeksi sunum yapan 18 ile 45 yaş arasındaki bir bireyde her 20 hata için, koyu tenli kişilerde 27 hata oluyor. – aynı kategorideki tenli bireyler.”
Özellikle loş aydınlatma, bazı demografiler için algılama hatası oranını kötüleştirdi. Koyu ve açık tenli insanlar arasındaki olasılık oranı daha loş fotoğraflarla azalırken, yaş grupları arasında ve veri setlerinde erkek veya kadın olarak tanımlanmayan kişilerde (örneğin, ikili olmayan insanlar) arttı. Örneğin, yüz algılama hizmetlerinin, aydınlık bir ortamda 1,09 kat daha fazla, loş bir ortamda daha koyu tenli birini tespit edememe olasılığı 1,03 kat daha fazlaydı. Ve iyi aydınlatılmış bir fotoğrafta 45 ile 64 yaş arasındaki bir kişi için, sistemlerin hata kaydetme olasılığı 19-45 yaşındaki birine göre 1.150 kat daha fazlaydı – bu oran kötü olarak 1.078’e düştü.
AWS’nin API’sinin ayrıntılı bir analizinde, ortak yazarlar, hizmetin eklenen yapay öğeler içeren fotoğraflardaki kişilerin %21,6’sını, “temiz” fotoğraflardaki kişilerin ise %9,1’ini yanlış cinsiyetlendirdiğini söylüyor. Bu arada AWS’nin yaş tahmini, “bozuk” fotoğraflar için kişinin gerçek yaşından ortalama 8,3 yıl uzaktayken, bozulmamış veriler için 5,9 yıl uzaktaydı.
“Yaşlı bireylerin, erkeksi sunum yapan bireylerin, daha koyu ten tipine sahip olanların veya ortam ışığının loş olduğu fotoğraflarda %20-60 arasında değişen daha yüksek hatalara sahip olduklarını bulduk… Cinsiyet tahmini, bozuk görüntülerde olduğundan iki kat daha kötü. temiz görüntüler; Araştırmacılar, bozuk görüntülerde yaş tahmini %40 daha kötü” diye yazdı.
Verilerde Önyargı
Araştırmacıların çalışması Amazon, Microsoft ve Google’ın yüz algılama hizmetlerindeki olası yanlılık nedenlerini araştırmazken, uzmanlar yüz analiz sistemlerindeki birçok hatayı algoritmaları eğitmek için kullanılan veri kümelerindeki kusurlara bağlıyor. Virginia Üniversitesi’ndeki araştırmacılar tarafından yürütülen bir araştırma, önde gelen iki araştırma-görüntü koleksiyonunun spor ve diğer etkinlikleri tasvir ederken, örneğin koçluk gibi şeyleri erkeklerle ilişkilendirirken kadınlarla bağlantılı alışveriş görüntülerini göstererek cinsiyet önyargısı sergilediğini buldu.
Başka bir bilgisayar vizyonu külliyatının, 80 Milyon Küçük Görüntünün, N-kelimesiyle etiketlenmiş yaklaşık 2.000 görüntü ve “tecavüz zanlısı” ve “çocuk tacizcisi” gibi etiketler gibi bir dizi ırkçı, cinsiyetçi ve başka türlü rahatsız edici ek açıklamalara sahip olduğu bulundu. ”
Üniversitede yapay zeka etiği uzmanı olan Os Keyes, “Bu gerçekten ilginç bir çalışma – ve 2018’de başladığını (birçoğunun yanlış yaptığı gibi) basitçe beyan etmek yerine, demografik önyargılarla ilgili soruşturmayı gerçekten tarihselleştirme çabalarını takdir ediyorum.” Araştırmaya dahil olmayan Washington’dan VentureBeat’e e-posta yoluyla bilgi verdi. “Kameraların kalitesi ve analiz derinliği gibi şeylerin farklı popülasyonlar üzerinde orantısız etkileri var, bu da süper büyüleyici.”
Maryland Üniversitesi araştırmacıları, çalışmalarının, üretime yerleştirilen önyargılı AI sistemlerinin etkilerinin daha fazla dikkate alınması ihtiyacına işaret ettiğini söylüyor. Yakın tarih, sanal arka planlar ve daha koyu tenli insanları sevmeyen otomatik fotoğraf kırpma araçları gibi sonuçların örnekleriyle doludur.
2015’te bir yazılım mühendisi, Google Fotoğraflar’daki görüntü tanıma algoritmalarının Siyah arkadaşlarını “goriller” olarak etiketlediğine dikkat çekti. Ve kâr amacı gütmeyen AlgorithmWatch, Google’ın Cloud Vision API’sinin bir anda Siyah bir kişi tarafından tutulan termometreleri otomatik olarak “silah” olarak etiketlerken, açık tenli bir kişi tarafından tutulan termometreleri “elektronik cihazlar” olarak etiketlediğini göstermiştir.
2019’da Amazon, Microsoft ve Google, yüz tanıma hizmetlerinin satışını büyük ölçüde durdurdu, ancak şimdiye kadar yüz algılama teknolojilerine ve ilgili ürünlere erişim konusunda bir moratoryum uygulamayı reddetti. Araştırmacılar, “[Çalışmamız], ahlaki olarak yüklü alt kullanımlara sahip makine öğrenimi sistemlerinde önyargıyı açıkça dikkate alma gerekliliğini destekleyen gelişen literatüre katkıda bulunuyor” diye yazdı.
Google Cloud’da sorumlu AI’nın genel müdürü Tracy Pizzo Frey yaptığı açıklamada, herhangi bir bilgisayarla görme sisteminin sınırlamaları olduğunu kabul etti. Ancak yüz algılamadaki yanlılığın Google’da Google Cloud Platform ekibinin takip ettiği “çok aktif bir araştırma alanı” olduğunu iddia etti.
Frey, VentureBeat’e e-posta yoluyla “Google AI ve AI ilkeleri ekosistemimizde bunlar gibi temel soruları ele almanın sayısız yolu üzerinde çalışan birçok ekip var” dedi. “Bu, yeni bir değerlendirmenin harika bir örneği ve API’mizi geliştirmemize yardımcı olduğu için bu tür testleri ve modellerimizin haksız önyargı endişelerine karşı her türlü değerlendirmesini memnuniyetle karşılıyoruz.”