Bu, RL eğitim serisinin 7. bölümüdür ve “Takviye Öğrenme: Giriş. İkinci baskı." Richard S. Sutton ve Andrew G. Barto tarafından. Bu kitap burada ücretsiz olarak mevcuttur
Bölüm 7 - n adımlı Önyükleme
Bu bölüm, tek adımlı zamansal fark (TD) yöntemlerini ve Monte Carlo (MC) yöntemlerini birleştirmeye odaklanır.
Buradaki fikir, ne bir adım TD ne de MC'nin her zaman en uygun olanı olmamasıdır. Bunun yerine, bir adımda TD'nin bir ucunda ve MC'nin diğer ucunda olduğu bir spektrum hakkında düşünürseniz, arada bir şey bulacağız.
n-adımlı TD Tahmini
MC ve TD arasında hangi yöntemlerin olduğunu düşünmenin en basit yolu aşağıdaki resimdir:
Bazı örnek bölümlerden Vπ değer fonksiyonunu tahmin etmeyi düşünün.
1 adımlı TD yöntemleri, sonraki ödülü ve sonraki durumun tahmini değerini aşağıdaki ödüller için bir yaklaşım olarak kullanarak her durum için bir güncelleme gerçekleştirecektir.
Öte yandan MC yöntemleri, başlangıç durumundan bölümün sonuna kadar gözlemlediği tüm ödül dizisini kullanarak bir güncelleme gerçekleştirecektir.
Dolayısıyla, ikisinin arasında ne olduğunu görmek oldukça kolaydır: örneğin, 2 adımlı TD, sonraki 2 ödüle ve karşılık gelen durumun tahmini değerine (2 adım önde) dayalı bir güncelleme gerçekleştirecektir.
Bu n adımlı yöntemlerin, bir sonraki tahmini değerden diğerine göre önceki tahmin değerini değiştirdikleri için hala TD yöntemleri olduğuna dikkat edin.
Daha resmi olarak, MC yönteminin geri dönüşü:
T'nin son adım olduğu yer.
1 adımlı TD yönteminde geri dönüş:
2 adımlı TD yönteminde geri dönüş:
Son olarak, n adımlı TD yöntemi için geri dönüş:
n-adımlı Sarsa
Önceki bölümde Sara (0) veya 0 adım Sarsa'dan bahsetmiştik. Ve hızlı bir hatırlama için, Sarsa'da sadece değer durumlarından ziyade durum-eylem çiftlerinin değerlerine önem verdik.
N adımlı TD yöntemi ile yukarıdaki tekniğe çok benzer:
N adımın Sarsa'nın daha sonra bahsedeceğim biraz farklı bir son adımı olmasını beklediğine dikkat edin.
Şimdi getirilerimiz sadece tahmini eylem değerleri açısından:
Ve eylem değeri çiftimiz:
Misal:
Sol ızgarada görüldüğü gibi bir yol izlemeyi düşünün.
1 adım Sarsa eylem değerlerini yalnızca eylem dizisinin son eylemine göre güncelleyecektir.
10 adım Sarsa, eylem dizisinin son 10 eylemine göre eylem değerlerini güncelleyecektir.
N adım Sarsa'nın yedekleme diyagramından görüldüğü gibi, beklenen Sarsa'nın farklı bir son adımı vardır. İçinde, politika kapsamında gerçekleşecek her eylemin olasılıklarını ağırlıklandırıyoruz. Dolayısıyla, sonuncuya kadar olan tüm adımlar n adım Sarsa'ya benzer.
n-step off politikası Öğrenme
Politikada, tek bir politikayı örneklediğimizi ve güncellediğimizi hatırlayın, burada politika dışı davranış politikasından b eylemleri örnekliyoruz ve hedef politikamızı iyileştirmeyi hedefliyoruz π.
Geri dönüşleri ağırlıklandırmak için önem örnekleme oranını kullandığımız önceki bölümle aynı şeyi yapacağız, ancak şimdi sadece n eylemle ilgileniyoruz.
Öyleyse n adım TD güncellememiz:
Ve Sarsa için güncelleme:
Politika Dışı Önemsiz Örnekleme Olmadan Öğrenme: n adımlı Ağaç Yedekleme Algoritması
Bu bölümde, önem örneklemesi olmadan n adımda çalışan bir algoritma sunulmaktadır - ağaç yedekleme algoritması
Buradaki fikir şu ki, yol boyunca aldığı indirimli ödülleri kullanarak üst düğümün tahmini değerini güncellemek yerine, alt düğümlerin değerleriyle birlikte, aynı zamanda eylem düğümlerinin tahmini değerlerini de ekleyeceğiz. yol boyunca geçtiğimiz eyaletler.
Daha resmi olarak, 1 adımlı ağaç yedekleme algoritmasının geri dönüşü:
2 adımlı ağaç yedekleme algoritması için:
Ve bunun gibi.
Q nerede
Birleştirici Algoritma: n adımlı Q (σ)
Şimdiye kadar soldaki 3 diyagramı ele aldık:
Dördüncü algoritmanın arkasındaki fikir - n-adım Q (σ) oldukça basittir: diğer algoritmalar arasında geçiş yapın, burada σ = [0,1], her bir zaman adımında ne kadar örnekleme yapılacağını tanımlar.
Σ = 1 ise tam örnekleme yaparız.
Eğer σ = 0 ise, örnekleme yapmadan beklenti yaparız.
Bir sonrakine kadar,
Şerefe.
Önümüzdeki 24 saat içinde, Ethereum ağında 100 milyon token serbest bırakılacak. Bu, kripto para birimi sektöründe şimdiye kadar görülen en büyük kripto odaklı veri bilimi deneyinin başlangıcı olacak.
Torchvision kitaplığının sezgisel bir anlayışı - temel bilgilerden ileri düzeye (Bölüm 1/3) Torchvision nedir? Torchvision, PyTorch ile el ele giden bir Bilgisayar Görüşü kütüphanesidir. Verimli Görüntü ve Video dönüşümleri için yardımcı programlara, yaygın olarak kullanılan bazı önceden eğitilmiş modellere ve bazı veri setlerine sahiptir (torchvision PyTorch ile birlikte gelmez, ayrı olarak kurmanız gerekecektir.
Torchvision kitaplığının sezgisel bir şekilde anlaşılması - 14 görsel dönüşüm örneğiyle (Bölüm 2/3) Bölüm 1 için (torchvision'daki modüllere giriş), lütfen aşağıdaki bağlantıyı ziyaret edin. Bu makalede, veri kümesi (görüntüler) yüklendikten hemen sonra bir dizi halinde gerçekleştirilebilen basit görüntü dönüştürme işlevlerini deneyeceğiz.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Bir önceki yazımda, blob algılama ve bağlantılı bileşenlere dayalı olarak ilgilenilen nesneleri nasıl tanımlayacağımızı öğrendik. Bununla birlikte, belirli ilgi çekici nesneleri görüntülerimizden ayırmamız gereken zamanlar olacaktır.