Siber risk yönetimi şirketi Vulcan.io’daki güvenlik araştırmacıları, bilgisayar korsanlarının güvenilir depolardan kötü amaçlı kod yaymak için ChatGPT 3.5’i nasıl kullanabileceğine dair bir kavram kanıtı yayınladı.
Araştırma, kodlama çözümleri için ChatGPT önerilerine güvenmenin doğasında bulunan güvenlik risklerine dikkat çekiyor.
Metodoloji
Araştırmacılar sık sorulan kodlama sorularını Stack Overflow’ta (bir kodlama sorusu ve yanıt forumu) derledi.
40 kodlama konusu (ayrıştırma, matematik, kazıma teknolojileri vb.) seçtiler ve 40 konunun her biri için ilk 100 soruyu kullandılar.
Bir sonraki adım, sorguda programlama paketlerini içeren “nasıl yapılır” sorularını filtrelemekti.
Sorulan sorular Node.js ve Python bağlamındaydı.
Vulcan.io açıklıyor:
“Bu soruların tümü, sorunun içerdiği programlama dili (node.js, python, go) ile filtrelendi. Pek çok sık sorulan soruyu topladıktan sonra, listeyi yalnızca “nasıl yapılır” sorularına indirgedik.
Ardından, topladığımız tüm soruları API’si aracılığıyla ChatGPT’ye sorduk.
API’yi, bir saldırganın mümkün olan en kısa sürede var olmayan paket önerilerini almak için yaklaşımının ne olacağını çoğaltmak için kullandık.
Her soruya ek olarak ve ChatGPT’nin yanıtının ardından, sorguyu da yanıtlayan daha fazla paket sağlamasını istediğimiz bir takip sorusu ekledik.
Tüm görüşmeleri bir dosyaya kaydettik ve ardından yanıtlarını analiz ettik.”
Daha sonra, var olmayan kod paketlerinin önerilerini bulmak için yanıtları taradılar.
ChatGPT Kod Paketlerinin %35’e Kadarında Halüsinasyon Görüldü
ChatGPT, 201 Node.js sorusundan var olmayan 40 paket önerdi. Bu, ChatGPT yanıtlarının %20’sinin halüsinasyonlu kod paketleri içerdiği anlamına gelir.
Python soruları için, 227 sorudan, cevapların üçte birinden fazlası, var olmayan 80 paket olan halüsinasyonlu kod paketlerinden oluşuyordu.
Aslında yayınlanmamış paketlerin toplam miktarı daha da fazlaydı.
Araştırmacılar şunları belgeledi:
“Node.js’de 201 soru sorduk ve bu soruların 40’tan fazlasının, yayınlanmamış en az bir paketi içeren bir yanıta yol açtığını gözlemledik.
Toplamda 50’den fazla yayınlanmamış NPM paketi aldık.
Python’da 227 soru sorduk ve bu soruların 80’den fazlası için en az bir yayınlanmamış paket aldık ve toplamda 100’ün üzerinde yayınlanmamış pip paketi elde ettik.”
Kavram Kanıtı (PoC)
Aşağıdakiler kavramın kanıtıdır. NPM deposunda var olması gereken var olmayan kod paketlerinden birinin adını aldılar ve o depoda aynı ada sahip bir kod paketi oluşturdular.
Yükledikleri dosya kötü amaçlı değildi, ancak birileri tarafından yüklendiğini bildirmek için eve telefon etti.
Onlar yazar:
“Program, tehdit aktörünün sunucusuna cihazın ana bilgisayar adını, geldiği paketi ve modül dosyasını içeren dizinin mutlak yolunu gönderecek…”
Daha sonra bir “kurban” geldi, saldırganın sorduğu sorunun aynısını sordu, ChatGPT “kötü amaçlı” kodu içeren paketi ve nasıl kurulacağını önerdi.
Ve elbette, paket kurulur ve etkinleştirilir.
Araştırmacılar daha sonra olanları şöyle açıkladı:
“Kurban, ChatGPT’nin tavsiyesini takiben kötü amaçlı paketi yükler.
Saldırgan, uzun ana bilgisayar adına index.js düğümüne önceden yükleme çağrımıza dayalı olarak kurbandan veri alır.
Bir dizi kavram kanıtı görüntüsü, kurulumun ayrıntılarını şüphelenmeyen kullanıcı tarafından gösterir.
Kötü Sohbetten Kendinizi Nasıl KorursunuzGPT Kodlama Çözümleri
Araştırmacılar, herhangi bir paketi indirip kurmadan önce, paketin kötü amaçlı olabileceğini gösteren sinyaller aramanın iyi bir uygulama olduğunu önermektedir.
Oluşturulma tarihi, kaç indirme yapıldığı ve olumlu yorumların olmaması ve kitaplığa iliştirilmiş notların olmaması gibi şeyleri arayın.
ChatGPT Güvenilir mi?
ChatGPT, doğru yanıtlar vermek üzere eğitilmedi. Kulağa doğru gelen yanıtlar vermek üzere eğitildi.
Bu araştırma, bu eğitimin sonuçlarını göstermektedir. Bu, herhangi birini kullanmadan önce ChatGPT’den gelen tüm gerçeklerin ve önerilerin doğru olduğunu doğrulamanın çok önemli olduğu anlamına gelir.
Çıktının iyi olduğunu kabul etmeyin, doğrulayın.
Kodlamaya özel olarak, ChatGPT tarafından önerilen herhangi bir paketi kurmadan önce ekstra özen göstermek faydalı olabilir.