Sinir ağlarını eğitmek pahalıdır. OpenAI'nin GPT-3'ünün , piyasadaki en düşük maliyetli bulut GPU'yu kullanarak 4,6 milyon dolarlık bir eğitim maliyetine sahip olduğu hesaplandı . Frankle ve Carbin'in 2019 Piyango Bileti Hipotezi'nin , Facebook ve Microsoft gibi en iyi akademik beyinlerin ve teknoloji devlerinin dikkatiyle araştırmalarda altına hücum başlatması şaşırtıcı değil . Makalede, kazanan (piyango) biletlerinin varlığını kanıtlıyorlar : orijinal ağ kadar iyi performans üretmek için eğitilebilen bir sinir ağının alt ağları , çok daha küçük boyutta. Bu yazıda bunun nasıl çalıştığını, neden devrimci olduğunu ve araştırmanın durumunu ele alacağım.
Geleneksel bilgelik, sinir ağlarının başlangıçta değil, eğitimden sonra en iyi şekilde budandığını söylüyor. Ağırlıkları, nöronları veya diğer bileşenleri budayarak elde edilen sinir ağı daha küçük, daha hızlı olur ve çıkarım sırasında daha az kaynak tüketir . Doğru yapıldığında, ağ boyutu manifoldu küçültebilirken doğruluk etkilenmez.
Geleneksel bilgeliği tersine çevirerek , ağı eğitimden önce budayıp budamadığımızı ve aynı sonucu elde edip edemeyeceğimizi düşünebiliriz. Başka bir deyişle, budanmış bileşenlerden gelen bilgiler, ağın öğrenmesini temsil etmese bile öğrenmesi için gerekli miydi?
Piyango Bileti Hipotezi, ağırlıkların budamasına odaklanır ve belirli budanmış alt ağların, tüm ağa benzer bir performans elde etmek için baştan eğitilebileceğine dair ampirik kanıtlar sunar. Nasıl? Yinelemeli Büyüklük Budama.
Geçmişte böyle bir görev denendiğinde, budanmış ağ ağırlıkları rastgele yeniden başlatılacak ve performans hızla düşecektir.
Buradaki temel fark, ağırlıkların orijinal başlangıç durumuna döndürülmesidir. Eğitildiğinde, sonuçlar aynı eğitim süresinde, yüksek budama seviyelerinde orijinal performansla eşleşti.
Bu, bu piyango biletlerinin belirli bir alt ağın ve ilk ağırlıkların kesişimi olarak var olduğunu gösterir. Bu mimarinin eşleşmesi ve bu ağırlıklar tüm ağ kadar iyi performans gösterdiğinden, deyim yerindeyse “piyangoyu kazanıyorlar”. Bu daha büyük modeller için geçerli mi?
Daha büyük modeller için bu aynı yaklaşımla geçerli değildir. Gürültü duyarlılığına bakarken, Frankle ve Carbin, budanmış ağları çoğalttı ve onları farklı şekilde sıralanan veriler üzerinde eğitti. IMP , birden çok ağın aynı yerel minimumda birleştiği çok nadir bir olgu olan doğrusal mod bağlantısının olduğu yerde başarılı olur. Küçük ağlar için bu doğal olarak gerçekleşir. Büyük ağlar için, öyle değil. Peki ne yapmalı?
Daha küçük bir öğrenme oranıyla başlamak, verilerden gelen ilk gürültüye duyarlılık azaldığından, IMP'nin büyük modeller için çalışmasına neden olur. Öğrenme hızı zamanla artırılabilir. Diğer bulgu, budanmış sinir ağımızın ağırlıklarını, ilk yineleme yerine sonraki bir eğitim yinelemesinde değerlerine geri sarmanın da işe yaramasıdır. Örneğin, 1000 yinelemeli bir eğitimde 10. yinelemedeki ağırlıklar.
Bu sonuçlar, transformatörler, LSTM'ler, CNN'ler ve pekiştirmeli öğrenme mimarileri kadar farklı mimariler arasında sabit kalmıştır.
Bu makale , bu piyango biletlerinin varlığını kanıtlasa da, henüz onları tanımlamanın bir yolunu sağlamıyor . Bu nedenle, altın özelliklerini bulmada acele eder ve eğitimden önce tespit edilip edilemeyeceği. Ayrıca, mevcut buluşsal yöntemlerimiz eğitimden sonra budamaya odaklandığından, buluşsal yöntemlerde erken budama için ilham verici çalışmalardır.
Hepsini Kazanmak için Bir Bilet (2019), piyango biletlerinin veri türü ve optimize edicilere göre değişmeyen bilgileri kodladığını gösterir . Farklı veri türleri (örn. VGG'den ImageNet'e) üzerinde eğitilmiş ağlar arasında piyango biletlerini başarıyla aktarabilirler ve başarıyı yakalarlar.
Anahtar gösterge, ağlar için eğitim verilerinin göreceli boyutuydu. Piyango bileti kaynağı, hedef ağdan daha büyük bir veri kümesi üzerinde eğitildiyse, daha iyi performans gösterdi ; aksi halde, benzer veya daha kötü.
Early-Bird Tickets Drawing (2019): Bu makale, piyango biletlerinin eğitimin başlarında bulunabileceğini kanıtlamayı amaçlamaktadır. Her eğitim yinelemesinde bir budama maskesi hesaplarlar. Son yinelemedeki maske ve bunun maske mesafesi (Hamming mesafesi kullanılarak) belirli bir eşiğin altındaysa, ağ budamak için durur.
Sinaptik Akışı Yinelemeli Olarak Koruyarak Sinir Ağlarını Herhangi Bir Veri Olmadan Budama (2020): Bu makale, veri olmadan başlatma sırasında budamanın hesaplanmasına odaklanmaktadır . Başlatma sırasında mevcut son teknoloji budama budama algoritmalarından daha iyi performans gösterir. Teknik , performansı etkilemeden oluşabilecek maksimum budama olan kritik sıkıştırmayı en üst düzeye çıkarmaya odaklanır . Bunu yapmak için yazarlar, tüm katmanların budanmasını önlemeyi amaçlar. Ağ bunu, koruma katmanlarını olumlu bir şekilde puanlayarak ve ağ her budama yaptığında puanı yeniden değerlendirerek yapar.
Tüm sinir ağının yanı sıra gerçekleştirmek üzere eğitilebilen sinir mimarilerinde küçük alt ağların varlığı, verimli eğitim için bir olasılıklar dünyası açmaktadır. Bu süreçte araştırmacılar, sinir ağlarının nasıl öğrendiği ve öğrenme için neyin gerekli olduğu hakkında çok şey öğreniyor. Ve kim bilir? Yakında bir gün ağlarımızı eğitimden önce budayabilir , zamandan, hesaplamadan ve enerjiden tasarruf edebiliriz.
Bilinç nedir? Yüzyıllardır filozofların ve bilim adamlarının kafasını karıştıran bir sorudur. Bazıları bunun bedenlerimizden bağımsız olarak gerçekten anlayamadığımız geçici bir şey olduğunu söylüyor.
Yıllık ortalama 154 bin dolar maaş ve istikrarlı iş büyümesi ile şimdi blok zinciri geliştirmeyi öğrenmek için ideal zaman. Blok zinciri teknolojilerini oluşturmak ve geliştirmek için blok zinciri geliştiricileri, bilgisayar ağı, kriptografi, algoritmalar ve veri yapıları dahil olmak üzere çeşitli beceriler kullanır.
Bu ay tüm yeni abonelerimize ve yazarlarımıza sıcak bir karşılama; sürülerinizde ortaya çıkıyorsunuz ve bunun için size teşekkür ediyoruz. Burada harika bir topluluk oluşturuyoruz ve yorumlarınızı ve makalelerinizi okumak harika.
Yaz sonu ve sonbahar nostaljik mevsimlerdir. Sokak lambaları ışıklarını yağmurlu sokaklara saçıyor ve ayakların altındaki yapraklar - alacakaranlığın gölgelerinde soluk kırmızı-turuncu - geçmiş günlerin bir hatırlatıcısı.
28 Temmuz 2022'de Güneş, Yeni Ay, Aslan'da Ceres kavuşumu Jüpiter RX'i üçgen yapacak, Merkür ise Uranüs'ü Merkür, Uranüs-Mars, Satürn'e T-karesinin bir parçası olarak veya düğümler ise sabit bir Büyük Haç ile kare yapacak. dahildir. Venüs, Kara Ay Lilith ve Yengeç burcundaki sabit yıldız Sirius ile kavuşum halindedir.
Kedi Felix'in 9. doğum gününde, yetişkin hayatımın en büyük kayıplarından birini hatırlıyorum - 2013'teki Sophie'm. Bu makaleyi yazdım ve 2013'te bu platformda kısaca paylaştım.