Teknoloji, karar verirken insanların yerini giderek daha fazla alıyor.
Getty Images
ABD geçen yılın sonlarında COVID-19 aşılarını dağıtmaya başladığında, temel bir soru ortaya çıktı: Aşılara kimler öncelikli erişime sahip olmalı? Birçok tıbbi tesis ve sağlık yetkilisi, enfekte insanlarla yakın temasa geçen hemşireler ve kapıcılar da dahil olmak üzere ilk önce işçileri aşılamaya karar verdi. Ülkenin en iyi üniversitelerinden birinin parçası olan Stanford Medicine, bunun yerine sırayı belirlemek için bir algoritma geliştirdi.
Bir bilgisayarın ilk olarak kimin aşıyı alacağına karar vermesine izin vermenin tek sorunu, hiç de çok karmaşık olmadığı ortaya çıkan “çok karmaşık algoritmasının” hatalı varsayımlar ve veriler üzerine kurulmuş olmasıdır. Yani algoritma, birçok yaşlı doktorun düzenli olarak hastaları görmediğini hesaba katmadan belirli bir yaşın üzerindeki sağlık çalışanlarına öncelik veriyordu. Stanford Medicine’nin COVID-19 aşılarının ilk serisindeki 5.000 dozdan sadece yedisi, ön saflarda yerleşik doktorlara gitti. Çoğu, evden çalışan veya COVID-19 ile enfekte hastalarla çok az teması olan kıdemli öğretim üyelerine ve doktorlara gitti. Stanford, algoritmasını hızla hurdaya çıkardı.
“Etikçilerin ve bulaşıcı hastalık uzmanlarının yaş, yüksek riskli çalışma ortamlarını kullanmak için haftalarca üzerinde çalıştıkları algoritmamız [and] Stanford’un ayakta tedavi ekibinin direktörü Tim Morrison, Aralık ayı ortasında Twitter’da yayınlanan bir videoda, meslek sınıflarında pozitifliğin yaygınlığı … açıkça işe yaramadı “dedi.
Şimdi çalıyor: Şunu izleyin: 5G yutturmaca ötesinde: Gerçek çözümler arıyor …
27:17
Stanford’un aşı fiyaskosu, algoritmaların önyargılı olabileceği birçok yolun sadece bir örneğidir; bilgisayar programları karar vericilerin yerini aldıkça daha görünür hale gelen bir sorun. Algoritmalar, duyguların etkisi olmadan verilere dayalı kararlar verme vaadini taşır: Kararlar daha hızlı, adil ve doğru bir şekilde verilebilir. Ancak pratikte, algoritmalar her zaman iyi verilere dayanmaz, hayati bir aşının dağıtılması gibi ölüm kalım kararları verirken artan bir eksikliktir.
Irksal ve ekonomik adalet için çalışan, Oakland, California merkezli kar amacı gütmeyen bir kuruluş olan Greenlining Enstitüsü tarafından Salı günü yayınlanan bir rapora göre, etkiler daha da geniş, çünkü bilgisayarlar birinin ev kredisi alıp almayacağını, kimin işe alınacağını ve bir mahkumun ne kadar süreceğini belirler. kilitli. Greenlining CEO’su Debra Gore-Mann, algoritmaların insanların karar vericileriyle aynı ırk, cinsiyet ve gelir düzeyinde önyargıları koruduğunu söyledi.
Gore-Mann bir röportajda “Bu araçların ceza adaleti değerlendirmeleri, konut değerlendirmeleri, finansal kredi, eğitim, iş aramaları için kullanıldığını görüyorsunuz,” dedi. “Artık o kadar yaygın hale geldi ki çoğumuz muhtemelen bir çeşit otomasyon ve veri değerlendirmesinin yapıldığını bile bilmiyoruz.”
Greenlining raporu, zayıf tasarlanmış algoritmaların sistemik ırkçılığı, cinsiyet ayrımcılığını ve düşük gelirli insanlara karşı önyargıları nasıl güçlendirdiğini inceliyor. Teknoloji insanlar tarafından yaratıldığı ve eğitildiği için, algoritmalar – kasıtlı olarak ya da değil – ayrımcılık ve önyargı kalıplarını, çoğu zaman insanlar bunun farkında olmadan yeniden üretebilir. Yüz tanıma, ırksal olarak önyargılı olduğu kanıtlanmış bir teknoloji alanıdır. Fitness bantları, renkli insanların kalp atış hızlarını ölçmede doğru olmak için mücadele etti.
“Küresel reklamcılığı hiper hedeflemek için kullanılan teknolojinin aynısı, insanlardan ipotek ürünleri sigortası gibi ekonomik refah için gerçekten anahtar olan ürünler ve ayakkabı gibi çok da önemli olmayan şeyler için farklı fiyatlar talep etmek için de kullanılıyor.” Greenlining’de teknoloji hisse senedi hukuk danışmanı olan Vinhcent Le, dedi.
Başka bir örnekte Optum Health, hangi hastaların daha iyi kaynak ve tıbbi yardım alacağını belirlemek için bir algoritma tasarladı. Teoride, algoritma, en hasta insanların en iyi bakımı almasını sağlayacaktır. Pratikte, teknoloji “ezici bir çoğunlukla beyaz hastalara daha kaliteli bakım sağlamayı seçerken, bu tedaviyi eşit derecede hasta Siyah hastalara reddetti.”
Greenlining raporunda, algoritmanın sağlık hizmetlerine kimin daha fazla para harcadığına ilişkin verilere dayandığını söyledi. Gore-Mann’a göre hasta insanların daha fazla para harcadıkları varsayılıyordu, ancak teknoloji, daha az parası olan insanların bazen kira ödemekle tıbbi faturaları ödemek arasında seçim yapmak zorunda kaldıklarını hesaba katmıyordu.
“Bu sağduyu testini geçmiyor” dedi. Bunun yerine Optum, yarışı karar sürecinde bir faktör haline getirmeli ve verileri daha çeşitli grupların incelemesini sağlamalıydı.
Greenlining raporunda, “Önyargı, doktorların algoritmanın hangi hastaların en az sağlıklı olduğunu tahmin ettiğini düşünmesi nedeniyle ortaya çıktı, aslında algoritma aslında hangi hastaların beklenen en yüksek sağlık hizmeti maliyetlerine sahip olduğunu tahmin ediyor ve bunu sağlık için bir vekil olarak kullanıyor” dedi. . “Maliyetler, beyaz hastalar için sağlık ihtiyaçlarının iyi bir öngörücüsü olsa da, Siyah hastalar için sağlığın bir öngörücüsü olarak çok daha az etkilidir.”
Kolay düzeltme yok
Greenlining raporunda, hükümetler ve şirketler için teknolojinin daha iyi performans göstermesini sağlamak için üç yol sunuyor. Greenlining, kuruluşların algoritma şeffaflığı ve hesap verebilirliği uygulamalarını önerir; mantıklı oldukları durumlarda ırka duyarlı algoritmalar geliştirmek için çalışmak; ve özellikle dezavantajlı popülasyonları algoritma varsayımlarına dahil etmeye çalışın.
Bunun olmasını sağlamak milletvekillerine düşecektir.
“Bütün mesele [of the report] yapay zekayı düzenlemeye başlamak için siyasi irade oluşturmaktır, “dedi.
Sağlık ve Zindelik bültenimiz en iyi ürünleri, güncellemeleri ve tavsiyeleri gelen kutunuza koyar.
Kaliforniya’da eyalet yasama organı, 2021 Otomatik Karar Sistemleri Sorumluluk Yasası olarak da bilinen Meclis Yasa Tasarısı 13’ü değerlendiriyor. 7 Aralık’ta tanıtılan ve Greenlining sponsorluğunda, önyargıları test etmek için “otomatik bir karar sistemi” kullanan işletmelerin ve marjinalleştirilmiş gruplar üzerindeki etkileri. Bir etki varsa, kuruluşlar ayrımcı muamelenin neden yasa dışı olmadığını açıklamalıdır. Le, “İnsanlara farklı şekilde davranabilirsiniz, ancak ırk, cinsiyet ve yaş gibi korunan özelliklere dayandığında yasa dışıdır” dedi.
Nisan 2019’da, New Jersey’den Sens. Cory Booker ve Oregon’dan Ron Wyden ve hepsi Demokratlar olan New York Temsilcisi Yvette D.Clarke, şirketlerin sonuçta ortaya çıkan hatalı bilgisayar algoritmalarını incelemesini ve düzeltmesini gerektiren Algoritmik Hesap Verebilirlik Yasasını tanıttı. Amerikalıları etkileyen yanlış, haksız, önyargılı veya ayrımcı kararlarda. Bir ay sonra, New Jersey benzer Algoritmik Hesap Verebilirlik Yasasını uygulamaya koydu. Her iki yasa da bunu komite dışında yapmadı.
California’nın AB13’ü geçerse, bu ABD’deki ilk yasa olur, dedi Le, ancak şu anda yazıldığı kadar geniş olduğu için başarısız olabilir. Greenlining bunun yerine tasarının yetkisini önce hükümet tarafından oluşturulan algoritmalara odaklanmaya daraltmayı umuyor. Umut, tasarının ulusal bir çabaya örnek olması.
Le, algoritmalarla ilgili sorunların çoğunun insanların kasıtlı olarak önyargılı olmasından kaynaklanmadığını söyledi. “Bu programları geliştirirken sadece kestirme yollar kullanıyorlar.” Stanford aşı programı durumunda, algoritma geliştiricileri “sonuçları düşünmediler” dedi.
“Kimse gerçekten emin değil [about] Değiştirilmesi gereken her şey, “diye ekledi Le.” Ama ne [we] mevcut sistemin yapay zekayı idare etmek için yeterince donanımlı olmadığını biliyorsunuz. “