Yapay Zekâ Modelleri Zaman İçerisinde Kötüleşebilir mi?
Daha Fazla Eğitim ve Daha Fazla Veri, GPT-4 Gibi Makine Öğrenimi Modelleri İçin İstenmeyen Sonuçlar Doğurabilir!
OpenAI mart ayında, metin üreten en son yapay zekâsı olan geniş dil modeli GPT-4'ü halka sunduğunda model, asal sayıları belirlemede çok başarılıydı. Yapay zekâya toplamda 500 sayıdan oluşan bir dizi verildi ve bunların asal sayı olup olmadığı soruldu. GPT-4 %97,6 tutarlılık ile asal sayıları doğru belirledi. Ancak birkaç ay sonra, haziran ayında yapılan başka bir test çok farklı sonuçlar verdi. GPT-4, yapay zekâ araştırmacılarının kendisine sorduğu asal sayıların sadece %2,4 kadarını doğru bir şekilde belirleyebildi. Bu, doğrulukta tam tersine bir dönüş anlamına geliyordu.
Elde edilen bu bulgu, yapay zekâ modellerinin karmaşıklığına dikkat çekiyor: Yapay zekâ düz bir yörünge içerisinde her alanda eşit şekilde gelişmiyor. Gerçekte olan daha çok, hız tümsekleri ve sapaklarla dolu olan dolambaçlı bir yola benziyor.
GPT-4'ün performansındaki bu büyük değişim, ikisi Stanford Üniversitesinden ve biri Berkeley'de bulunan Kaliforniya Üniversitesinden olan üç bilgisayar bilimci tarafından geçen ay yayımlanan bir ön baskı çalışmasında vurgulandı. Araştırmacılar, mart ve haziran aylarında hem GPT-4 hem de GPT-3.5 üzerinde testler gerçekleştirdi. İki yapay zekânın kendileri arasında ve her yapay zekânın zaman içerisinde vermiş olduğu sonuçlarda pek çok farklılık buldular. Sadece birkaç ay içerisinde GPT-4'ün vermiş olduğu sonuçlardaki değişimler özellikle dikkat çekiciydi.
Asal sayı denemeleri de dahil olmak üzere yapılan iki testte GPT-4'ün haziran ayında verdiği cevaplar, mart ayında verdiği cevaplara göre daha fazla gereksiz sözler içeriyordu. Özellikle haziran ayındaki model, kendini açıklama konusunda daha az istekliydi.
- İnsanların Beklenmedik Selamlaşma Davranışlarını Tahmin Eden Yapay Zeka Üretildi! Bu, Yapay Zekayı Bir Adım Daha "İnsanlaştırıyor"!
- Derin Öğrenme Modeli Uygulaması: Yapay Zeka ile Çizgi Yüzler Üretin!
- Biyolojik Dizilimler ve Derin Öğrenme: Biyolojik Veri Setleri, Yapay Zeka Araştırmalarında Nasıl Kullanılır?
Ayrıca, yeni tuhaflıklar da vardı. Örneğin model, araştırmacıların yazmasını istediği bilgisayar kodu örneklerine doğru ama potansiyel olarak karışıklığa sebebiyet veren açıklamalar eklemeye başladı. Öte yandan, model biraz daha "güvenli" gibi görünüyordu. Daha fazla soruyu filtreledi ve daha az rahatsız edici olabilecek yanıtlar verdi.
Örneğin, GPT-4'ün haziran sürümünün; yasaları çiğneyerek nasıl para kazanılacağına yönelik bir liste oluşturma, nasıl patlayıcı üretilebileceğine dair yönergeler verme ya da cinsiyetçiliği veya ırkçılığı haklı çıkarmaya çalışan cevaplar verme olasılığı daha düşüktü. İçerik denetleme, güvenlik duvarlarından kaçmayı amaçlayan "jailbreak" istemleri tarafından daha zor manipüle edildi. Aynı zamanda, bu model görsel akıl yürütme problemini çözmede biraz daha iyi görünüyordu.
Henüz hakem değerlendirmesinden geçmemiş olan çalışma halka açıklandığında, bazı yapay zekâ meraklıları bunu GPT-4'ün önceki sürümünden daha az kullanışlı olduğuna dair olan kişisel görüşlerine kanıt olarak sundu. Bir avuç manşet, "ChatGPT aptallaşıyor mu?" sorusunu gündeme getirdi. Diğer bazı haberler ise ChatGPT'nin kesin bir şekilde aptallaştığını öne sürmekteydi. Ancak, Stanford Üniversitesinde veri bilimi profesörü ve son çalışmanın ortak yazarlarından biri olan James Zou, hem sorunun hem de sözde yanıtın üretken yapay zekâ modellerinde neler olup bittiğini muhtemelen fazla basite indirgediğini düşünüyor. Zou, konu hakkında şunları söylüyor:
Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.
Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.
Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.
GPT-4 veya GPT-3.5'in genel olarak zaman içerisinde daha iyiye mi yoksa daha kötüye mi gittiğini söylemek çok zor. Her ne olursa olsun 'daha iyi' ifadesi öznel bir kavram.
OpenAI, şirketin kendi ölçümlerine göre GPT-4'ün GPT-3.5'ten (ve önceki sürümlerden) daha yüksek bir performans gösterdiğini iddia ediyor. Ancak şirket, yaptığı her güncelleme ile ilgili kıyaslamalara yönelik olan verilerini yayımlamadı. Scientific American, bir Open AI sözcüsü ile iletişime geçmeye çalıştığında sözcü, Zou'nun ön baskısı hakkında yorum yapmayı reddetti. Şirketin büyük dil modellerini nasıl geliştirdiği ve eğittiği konusunda yorum yapmaktaki isteksizliği, yapay zekâ algoritmalarının anlaşılması güç "kara kutu" doğası ile birleştiğinde, GPT-4'ün performansında olan bu değişimlere neyin neden olabileceğini belirlemeyi zor kılıyor. Zou ve şirketten olmayan diğer araştırmacıların yapabileceği tek şey, kendi testlerinin gösterdiği sonuçlardan yararlanmak ve diğer makine öğrenimi araçlarına ilişkin bilgilerden yola çıkarak tahminde bulunmak. Kolombiya Üniversitesinde bilgisayar bilimleri profesörü olarak görev yapan Kathy McKeown konu hakkında şunları söylüyor:
Kişiler bir modelden istedikleri davranışı elde edebilmek için onu nasıl yönlendireceklerini öğreniyorlar. Ancak kullandıkları model değiştiğinde, davranışı elde edebilmek için istemleri farklı bir şekilde yazmak zorunda kalıyorlar.
McKeown gibi Kolombiya'da bilgisayar bilimleri profesörü olan Vishal Misra, McKeown ile aynı fikirde olduğunu belirtiyor. Geçmişte veri arayüzleri için GPT kullanmış olan Misra, konu hakkında şunları söylüyor:
Belirli bir davranış türüne güvenirsiniz ve sonra davranış siz farkında olmadan değişir. Bu değişimden itibaren, model üzerine kurguladığınız tüm uygulamanız beklemediğiniz bir şekilde yanlış davranmaya başlar.
Peki, yapay zekânın zaman içerisinde değişmesine neden olan şey ne? İşin içerisine insan müdahalesi girmediği sürece bu modeller statiktir. OpenAI gibi şirketler düzenli olarak programları, belirli sınırlar çerçevesinde olabilecekleri en iyi duruma getirmeye çalışmaktadır. Ancak, iyileştirme çalışmalarının olumsuz sonuçları da olabilir.
Bir yapay zekânın kapasitesini ve davranışını belirleyen iki temel etken vardır: Bir modeli tanımlayan pek çok parametre ve onu geliştirmek amacıyla kullanılan eğitim verileri. GPT-4 gibi büyük bir dil modeli, ona rehberlik edecek yüz milyarlarca parametre bulundurabilir. Her bir kod satırının kesin bir amaca hizmet ettiği geleneksel bilgisayar programlarından farklı olarak üretken yapay zekâ modellerinin geliştiricileri, genellikle tek bir parametreye karşılık gelen tek bir özellik ile bire bir ilişki kurmazlar. Bu durum, parametrelerin değiştirilmesinin yapay zekânın davranışı üzerinde beklenmeyen etkileri olabileceği anlamına gelmektedir.
Yapay zekâ geliştiricileri, ilk eğitim sürecinden sonra parametreleri doğrudan değiştirmek yerine genellikle modellerini ince ayar (İng: "fine-tuning") ismini verdikleri bir süreçten geçirirler. Bu süreçte, sistemin performansını iyileştirmek amacıyla modele kullanıcılardan gelen geri bildirimler gibi yeni bilgiler sunarlar. Zou, yapay zekâya ince ayar yapma sürecini biyolojideki genom düzenlemesine benzetiyor. Burada yapay zekâ parametreleri DNA baz çiftlerine benzerken ince ayar ise mutasyonların eklenmesine benzemektedir. Her iki süreç sırasında da kodda değişiklik yapmak veya tek bir sonucu göz önünde bulundurarak eğitim verileri eklemek, başka bölgelerde dalgalanma yaratma potansiyeli taşımaktadır. Zou ve diğer araştırmacılar, büyük yapay zekâ modellerinin ayarlanmasının nasıl daha hassas bir şekilde yapılabileceğini araştırmaktadır. Zou amacının, istenmeyen etkiler oluşturmadan bir yapay zekânın yönergelerini "cerrahi olarak değiştirebilmek" olduğunu söylüyor. Ancak, şu anlık bunu nasıl yapabileceğimizi tam olarak bilmiyoruz.
GPT-4 örneğini incelediğimizde, OpenAI geliştiricilerinin modeli saldırgan ya da tehlikeli kabul edilebilecek yanıtlar vermeye daha az eğilimli hale getirmeye çalıştıklarını görebiliriz. McKeown; güvenliğe önem verirken belki de diğer özelliklerin de bu bileşime dahil olabileceğini vurguluyor. Örneğin OpenAI, modelin söylemesine izin verilen şeylere yeni sınırlar getirmek için ince ayar kullanmış olabilir. Böyle bir değişikliğin amacı, modelin istenmeyen bilgileri paylaşmasının önüne geçmek olabilir. Ancak bu değişiklik, istenmeden yapay zekânın asal sayılar konusundaki bilgisinin azaltılmasına neden olmuş olabilir. Bunlardan farklı olarak ince ayar süreci, GPT-4 modelinin belirli matematiksel konulardaki cevaplarının ayrıntı düzeyini düşüren yeni ve düşük kaliteli eğitim verilerini ortaya çıkarmış da olabilir.
Arka planda neler olup bittiği önemsenmeksizin, GPT-4 modelinin asal sayıları tanımlama kapasitesinin mart ve haziran ayları arasında gerçekten değişmemiş olması da olası gözüküyor. Princeton Üniversitesinde bilgisayar bilimleri doktora adayı olan Sayash Kapoor, amacı olasılığa dayalı olarak insan sesine benzeyen metinler oluşturmak olan ve matematiksel çalışmalar yapmayı hedeflemeyen büyük dil modelinin, aslında hiçbir zaman asal sayıları belirlemek konusunda o kadar iyi olmadığını söylüyor.
Bunun yerine Kapoor, yapay zekânın asal sayı tanımlamasındaki değişimin bir yanılsama olabileceğini düşünüyor. Modelin ince ayarını yapmak amacıyla kullanılan verilerdeki bir gariplik sebebiyle geliştiriciler; GPT-4'ü mart ayından sonra daha az asal sayıya maruz bırakırken, daha fazla bileşik sayıya maruz bırakmış olabilir. Bu da zaman içerisinde sayıların asal olma durumu ile ilgili sorulara verdiği cevabın olumludan olumsuza değişmesine neden olmuş olabilir. Hem mart hem de haziran aylarındaki GPT-4, tam anlamıyla "asal olma" durumunu değerlendirmiyor ve sadece beslendiği verilerden aldığı şans eseri eğilimlere dayanan en muhtemel cevabı veriyor olabilir.
Bu durumun, bir insanın kötü bir zihinsel alışkanlık geliştirmesine benzetilip benzetilemeyeceği sorulduğunda Kapoor, bu benzetmeyi kabul etmiyor. Kapoor, sinir ağlarının elbette uyumsuz kalıpları tespit edebileceğini ancak bunun arkasında bir mantık olmadığını vurguluyor. Bir kişinin düşünceleri, dünyayı nasıl anladığımız ve ilişkilendirdiğimiz sebebiyle bir düzene girebilirken; bir yapay zekânın bağlamı veya bağımsız bir anlayışı yoktur. Kapoor, konu hakkında şunları söylüyor:
Bu yapay zekâ modellerinin sahip olduğu tek şey, farklı kelimeler arasındaki ilişkileri tanımlamaya yönelik devasa miktarda veridir. Yapay zekânın yaptığı şey; akıl yürütme sürecini gerçekten gerçekleştirmekten çok, akıl yürütme sürecini taklit etmektir.
İçeriklerimizin bilimsel gerçekleri doğru bir şekilde yansıtması için en üst düzey çabayı gösteriyoruz. Gözünüze doğru gelmeyen bir şey varsa, mümkünse güvenilir kaynaklarınızla birlikte bize ulaşın!
Bu içeriğimizle ilgili bir sorunuz mu var? Buraya tıklayarak sorabilirsiniz.Soru & Cevap Platformuna Git
- 3
- 0
- 0
- 0
- 0
- 0
- 0
- 0
- 0
- 0
- 0
- 0
Evrim Ağacı'na her ay sadece 1 kahve ısmarlayarak destek olmak ister misiniz?
Şu iki siteden birini kullanarak şimdi destek olabilirsiniz:
kreosus.com/evrimagaci | patreon.com/evrimagaci
Çıktı Bilgisi: Bu sayfa, Evrim Ağacı yazdırma aracı kullanılarak 06/12/2023 11:35:39 tarihinde oluşturulmuştur. Evrim Ağacı'ndaki içeriklerin tamamı, birden fazla editör tarafından, durmaksızın elden geçirilmekte, güncellenmekte ve geliştirilmektedir. Dolayısıyla bu çıktının alındığı tarihten sonra yapılan güncellemeleri görmek ve bu içeriğin en güncel halini okumak için lütfen şu adrese gidiniz: https://evrimagaci.org/s/15795
İçerik Kullanım İzinleri: Evrim Ağacı'ndaki yazılı içerikler orijinallerine hiçbir şekilde dokunulmadığı müddetçe izin alınmaksızın paylaşılabilir, kopyalanabilir, yapıştırılabilir, çoğaltılabilir, basılabilir, dağıtılabilir, yayılabilir, alıntılanabilir. Ancak bu içeriklerin hiçbiri izin alınmaksızın değiştirilemez ve değiştirilmiş halleri Evrim Ağacı'na aitmiş gibi sunulamaz. Benzer şekilde, içeriklerin hiçbiri, söz konusu içeriğin açıkça belirtilmiş yazarlarından ve Evrim Ağacı'ndan başkasına aitmiş gibi sunulamaz. Bu sayfa izin alınmaksızın düzenlenemez, Evrim Ağacı logosu, yazar/editör bilgileri ve içeriğin diğer kısımları izin alınmaksızın değiştirilemez veya kaldırılamaz.
- Bilim Ağacı> Uygulamalı Bilimler> Hesaplama Bilimleri> Bilgisayar Bilimi> Yapay Zeka> Sembolik Altı Yapay Zeka> Yumuşak (Soft) Hesaplama> Makina Öğrenmesi
- Akıl Yürütme Yapay Zeka Matematik
This work is an exact translation of the article originally published in Scientific American. Evrim Ağacı is a popular science organization which seeks to increase scientific awareness and knowledge in Turkey, and this translation is a part of those efforts. If you are the author/owner of this article and if you choose it to be taken down, please contact us and we will immediately remove your content. Thank you for your cooperation and understanding.