Yeni bir incelemeye göre, insanların cilt sorunlarını tanımlamasına yardımcı olmak için tasarlanan çoğu algoritma, uzmanların geliştirildikleri veri kümelerini görmelerine izin vermiyor ve bu veri kümelerindeki hastaların cilt tonu veya etnik kökenleri hakkında bilgi paylaşmıyor. Yazarlar, bu, insanların programları kullanmadan önce değerlendirmelerini ve belirli insan grupları için de işe yarayıp yaramayacağını anlamalarını zorlaştırabilir.
Bu tür araçlar, bir sisteme aynı koşulları yeni görüntülerde tanımasını öğretmek için cilt koşullarının resimlerini kullanır. Birisi bir döküntü veya köstebek resmini yükleyebilir ve araç ne tür bir döküntü veya köstebek olduğunu söyleyebilir.
JAMA Dermatology’de yayınlanan makale, yeni bir derin öğrenme modeli geliştiren veya mevcut bir algoritmayı yeni bir veri kümesi üzerinde test eden 70 çalışmayı analiz etti. Birlikte ele alındığında, modeller 1 milyondan fazla cilt sorunu görüntüsü kullanılarak geliştirildi veya test edildi. Analiz, bu görüntülerin yalnızca dörtte birinin uzmanların veya halkın incelemesi için mevcut olduğunu buldu. Çalışmaların on dördü verilerinde hastaların etnik kökeni veya ırkı hakkında bilgi içeriyordu ve sadece yedi tanesi cilt tiplerini tanımladı.
“Bu veri kümelerinin çeşitli olmadığından şüpheleniyorum, ancak bilmenin bir yolu yok”
Geri kalanlar, hastalarının demografik dökümünü paylaşmadı. Stanford Üniversitesi’nde dermatoloji alanında klinik bir bilim adamı olan çalışma yazarı Roxana Daneshjou, Twitter’da “Bu veri kümelerinin çeşitli olmadığından şüpheleniyorum, ancak bilmenin bir yolu yok” dedi.
Analiz ayrıca, cilt kanserini tanımlamayı amaçlayan modellerin, kanserin laboratuvara gönderilen bir cilt örneğiyle doğrulandığı görüntüler üzerinde eğitilip eğitilmediğini de kontrol etti – teşhisin doğru olduğundan emin olmak için “altın standart”. Dahil edilen çalışmalardan 56’sı bu koşulları tanımladığını iddia etti, ancak bunlardan yalnızca 36’sı altın standardı karşıladı. Yazarlar, olmayanların daha az doğru olamayacağını söylüyor.
İnceleme, insanların cilt koşullarını tanımlamasına yardımcı olmak için tasarlanmış bir araç geliştiren Google’ın bir algoritmasını içeriyordu. Şirket, bu yıl içinde insanların bir cilt sorununun resimlerini yüklemesine ve olası durumların bir listesini almasına olanak tanıyan web aracının bir pilot sürümünü yapmayı planlıyor. Analize göre, Google makalesi cilt tipini ve etnik köken dağılımını içeriyor, ancak kullanılan verileri veya modeli kamuya açık hale getirmedi. Ayrıca, melanom ve bazal hücreli karsinom dahil olmak üzere birkaç cilt kanseri türünü değerlendirmek için altın standart yöntemleri kullanmadı.
Tıbbi algoritmalar ancak geliştirildikleri veriler kadar iyidir.
Tıbbi algoritmalar, yalnızca geliştirildikleri veriler kadar iyidir ve eğitildiklerinden farklı durumlarda kullanıldıklarında o kadar etkili olmayabilirler. Bu nedenle uzmanlar, verilerin veya bu verilerin açıklamalarının serbestçe erişilebilir olması gerektiğini savunuyor: “Bir modeli eğitmek ve test etmek için kullanılan veriler, onun uygulanabilirliğini ve genelleştirilebilirliğini belirleyebilir. Bu nedenle, veri seti özelliklerinin net bir şekilde anlaşılması … çok önemlidir” diye yazdı yazarlar.
Şeffaflık eksikliği, tıbbi algoritmalarla tutarlı bir sorundur. Şubat 2021 Stat News araştırmasına göre, Gıda ve İlaç Dairesi (FDA) tarafından onaylanan çoğu AI ürünü, geliştirildikleri veriler hakkında önemli bilgiler bildirmiyor. FDA, Stat News’e AI için yeni “eylem planının” daha fazla şeffaflık için zorladığını söyledi.
Viyana Tıp Üniversitesi’nden bir araştırmacı olan Philipp Tschandl, beraberindeki bir başyazıda, sınırlamaların çoğu dermatoloji algoritmasının işe yaramaz olduğu anlamına gelmediğini yazdı. Doktorlar da mükemmel değildir ve bir cilt sorununa ilişkin yorumlarını çarpıtabilecek kendi önyargıları veya bilgi boşlukları vardır. “Bunu biliyoruz ve yine de iyi tıp yapmayı başarıyoruz” diye yazdı. “Algoritmaların tıp alanında güvenli ve adil bir şekilde çalışmasına izin vermek için açıklanabilirlik, akıllı kontroller ve risk azaltma yoluyla yollar bulmamız gerekiyor.”