- Nisan 15, 2022
Yapay Zeka ve İnsanlar Benzer mi Düşünüyor?
Yapay zeka ve insanların düşünce biçimleri benzer mi? Bu soruya cevap arayan bilim insanları, bir makine öğrenimi modelinin akıl yürütmesinin bir insanınkiyle ne kadar iyi eşleştiğini karşılaştırmak için ölçülebilir ölçütler kullanan bir yöntem geliştirdi. Yeni teknik, bir yapay zeka makine öğrenimi modelinin akıl yürütmesini bir insanla karşılaştırıyor ve böylece kullanıcı modelin davranışındaki kalıpları görebiliyor.
MIT araştırmacıları, bir kullanıcının makine öğrenimi modelinin akıl yürütmesini ve bu akıl yürütmenin bir insanınkiyle nasıl karşılaştırıldığını anlamasına yardımcı olan bir yöntem geliştirdi.
Makine öğreniminde, bir modelin neden belirli kararlar verdiğini anlamak, genellikle bu kararların doğru olup olmadığı kadar önemlidir. Örneğin, bir makine öğrenimi modeli, bir cilt lezyonunun kanserli olduğunu doğru bir şekilde tahmin edebilir, ancak bunu klinik bir fotoğrafta alakasız bir işaret kullanarak yapabilirdi.
Uzmanların bir modelin muhakemesini anlamalarına yardımcı olacak araçlar mevcut olsa da çoğu zaman bu yöntemler aynı anda yalnızca bir karar hakkında fikir verir ve her birinin manuel olarak değerlendirilmesi gerekir. Modeller genellikle milyonlarca veri girişi kullanılarak eğitilir, bu da bir insanın kalıpları tanımlamak için yeterli kararı değerlendirmesini neredeyse imkansız hale getirir.
Şimdi, MIT ve IBM Research araştırmacıları, bir yapay zeka makine öğrenimi modelinin davranışını hızlı bir şekilde analiz etmek için bir kullanıcının bu bireysel açıklamaları toplamasını ve sıralamasını sağlayan bir yöntem oluşturdu. Paylaşılan İlgi adı verilen teknikleri, bir modelin akıl yürütmesinin bir insanınkiyle ne kadar iyi eşleştiğini karşılaştıran ölçülebilir ölçümler içeriyor.
Paylaşılan İlgi, bir kullanıcının bir yapay zeka modelinin karar verme sürecindeki ilgili eğilimleri kolayca ortaya çıkarmasına yardımcı olabilir. Örneğin, fotoğraflardaki arka plan nesneleri gibi dikkat dağıtıcı, alakasız özellikler nedeniyle modelin kafası genellikle karışır. Bu iç görüleri toplamak, kullanıcının bir modelin güvenilir ve gerçek dünya durumunda uygulanmaya hazır olup olmadığını hızlı ve nicel olarak belirlemesine yardımcı olabilir.
Araştırmanın baş yazarı Angie Boggust, “Paylaşılan İlgiyi geliştirirken hedefimiz, modelinizin davranışının ne olduğunu daha küresel düzeyde anlayabilmeniz için bu analiz sürecini ölçeklendirebilmektir” diyor.
Boggust, makaleyi, her ikisi de IBM Research’ten olan Benjamin Hoover ve kıdemli yazar Hendrik Strobelt’in yanı sıra, Görselleştirme Grubuna liderlik eden bilgisayar bilimleri yardımcı doçenti danışmanı Arvind Satyanarayan ile birlikte yazdı. Boggust, bu proje üzerinde IBM’de Strobelt’in danışmanlığında bir yaz stajı sırasında çalışmaya başladı. MIT’ye döndükten sonra Boggust ve Satyanarayan projeyi genişletti ve tekniğin pratikte nasıl kullanılabileceğini gösteren vaka incelemelerinin uygulanmasına yardımcı olan Strobelt ve Hoover ile iş birliğini sürdürdü.
İnsan – Yapay zeka hizalaması
Paylaşılan İlgi, bir makine öğrenimi modelinin belirginlik yöntemleri olarak bilinen belirli bir kararı nasıl verdiğini gösteren popüler tekniklerden yararlanıyor. Model görüntüleri sınıflandırıyorsa, belirginlik yöntemleri, karar verirken model için önemli olan bir görüntünün alanlarını vurgular. Bu alanlar, genellikle orijinal görüntünün üzerine yerleştirilmiş, belirginlik haritası adı verilen bir tür ısı haritası olarak görselleştirilir. Model, görüntüyü köpek olarak sınıflandırdıysa ve köpeğin kafası vurgulandıysa, bu, görüntünün bir köpek içerdiğine karar verdiğinde model için bu piksellerin önemli olduğu anlamına gelir.
Paylaşılan İlgi, belirginlik yöntemlerini temel gerçek verileriyle karşılaştırarak çalışıyor. Bir görüntü veri setinde, yer gerçeği verileri, tipik olarak her görüntünün ilgili kısımlarını çevreleyen, insan tarafından oluşturulan ek açıklamalardır. Bir görüntü sınıflandırma modelini değerlendirirken, Paylaşılan İlgi, ne kadar iyi hizalandıklarını görmek için aynı görüntü için model tarafından oluşturulan belirginlik verilerini ve insan tarafından oluşturulan yer gerçeği verilerini karşılaştırır.
Teknik, bu hizalamayı veya yanlış hizalamayı ölçmek için birkaç metrik kullanır ve ardından belirli bir kararı sekiz kategoriden birine ayırır. Kategoriler, mükemmel insan hizalıdan tamamen dikkati dağılmışa sıralanır.
Yelpazenin bir ucunda, modeliniz bir insanın verdiği kararla aynı nedenle karar verdi ve spektrumun diğer ucunda, modeliniz ve insan bu kararı tamamen farklı nedenlerle veriyor. Boggust bunu, “veri kümenizdeki tüm görüntüler için nicelleştirerek, bu nicelemeyi onları sıralamak için kullanabilirsiniz” diye açıklıyor.
Teknik, görüntü bölgeleri yerine anahtar kelimelerin vurgulandığı metin tabanlı verilerle benzer şekilde çalışıyor.
Hızlı analiz
Araştırmacılar, Paylaşılan İlgi Alanının hem uzman olmayanlar hem de makine öğrenimi araştırmacıları için nasıl yararlı olabileceğini göstermek için üç vaka çalışması kullandı.
İlk vaka çalışmasında, bir dermatoloğun cilt lezyonlarının fotoğraflarından kanseri teşhis etmeye yardımcı olmak için tasarlanmış bir makine öğrenimi modeline güvenip güvenmeyeceğini belirlemesine yardımcı olmak için Shared Interest’i kullandılar. Paylaşılan İlgi, dermatoloğun modelin doğru ve yanlış tahminlerinin örneklerini hızla görmesini sağladı. Sonunda dermatolog, gerçek lezyonlardan ziyade görüntü artefaktlarına dayalı çok fazla tahmin yaptığı için modele güvenemeyeceğine karar verdi.
Boggust, “Buradaki değer Paylaşılan İlgiyi kullanarak, bu kalıpların modelimizin davranışında ortaya çıktığını görebiliyoruz. Yaklaşık yarım saat içinde dermatolog, modele güvenip güvenmeme ve dağıtma konusunda kendinden emin bir karar verebildi” diyor.
İkinci vaka çalışmasında, Ortak İlgi Alanının modelde önceden bilinmeyen tuzakları ortaya çıkararak belirli bir belirginlik yöntemini nasıl değerlendirebileceğini göstermek için bir makine öğrenimi araştırmacısıyla çalıştılar. Teknikleri, araştırmacının tipik manuel yöntemlerin gerektirdiği zamanın çok küçük bir bölümünde binlerce doğru ve yanlış kararı analiz etmesini sağladı.
Üçüncü vaka çalışmasında, belirli bir görüntü sınıflandırma örneğinde daha derine inmek için Paylaşılan İlgi Alanını kullandılar. Görüntünün yer gerçeği alanını manipüle ederek, belirli tahminler için hangi görüntü özelliklerinin en önemli olduğunu görmek adına bir olasılık analizi yapabildiler.
Araştırmacılar, Shared Interest’in bu vaka incelemelerinde ne kadar iyi performans gösterdiğinden etkilendiler, ancak Boggust, tekniğin yalnızca dayandığı belirginlik yöntemleri kadar iyi olduğu konusunda uyarıyor. Bu teknikler önyargı içeriyorsa veya yanlışsa, Ortak Çıkar bu sınırlamaları devralır.
Gelecekte araştırmacılar, özellikle tıbbi kayıtlarda kullanılan tablo verileri olmak üzere farklı veri türlerine Ortak İlgi uygulamak istiyor. Ayrıca, mevcut belirginlik tekniklerini geliştirmeye yardımcı olmak için Paylaşılan İlgi’yi kullanmak istiyorlar. Boggust, bu araştırmanın makine öğrenimi modeli davranışını insanlar için anlamlı olacak şekilde nicelleştirmeye çalışan daha fazla çalışmaya ilham vermesini umuyor.