Bu, RL eğitim serisinin 1. bölümüdür ve “Takviyeli Öğrenme: Giriş. İkinci baskı." Richard S. Sutton ve Andrew G. Barto tarafından. Bu kitap burada ücretsiz olarak mevcuttur
Bölüm 1 - Giriş
Bir takviye öğrenme sisteminin dört ana alt öğesi vardır:
- bir politika
- bir ödül sinyali
- bir değer işlevi
- ve isteğe bağlı olarak, bir ortam modeli
Politika
Politika, temsilcinin herhangi bir zamanda nasıl davranacağını tanımlar. Daha resmi olarak, çevrenin durumlarından bu eyaletlerdeyken alınacak eylemlere kadar bir haritalama.
Örneğin, S2 durumunda olduğunuzu hayal edin. S3 durumuna (a6 eylemini gerçekleştirerek) gidebileceğinizi veya aynı S2 durumunda kalabileceğinizi (a3 eylemini gerçekleştirin) dikkat edin. Politika, a6 işlemini gerçekleştirmeniz ve S3 durumuna geçmeniz gerektiğini söyler.
Yine, bir politika π, girdi olarak "S" durumunu (örneğimizde S2) alan ve "a" eylemini (örneğimizde a6) döndüren bir işlevdir.
Yani: π (s) → a
Veya bizim örneğimizde, π (S2) → a6
Öğrenci ve karar vericinin aracı olarak adlandırıldığını anlamak da önemlidir . Etken dışındaki her şeyi içeren etkileşime girdiği şeye çevre denir .
Politika, bir arama tablosu, basit bir işlev gibi görünebilir veya bir arama süreci gibi kapsamlı bir hesaplama içerebilir.
Ayrıca, tek başına politika, aracının davranışını belirlemek için yeterlidir.
Politikalar genellikle stokastiktir, yani olasılık dağılımından bir eylem seçeriz.
Örnek olarak, tekrar S2 durumu olduğumuzu hayal edin. Politika sadece temsilciye “a6 harekete geç” demeyecektir. Bunun yerine, "% 88 olasılıkla a6 harekete geç ve% 12 olasılıkla a3 harekete geç" diyecektir.
Örneğimize geri dönersek, S3 durumunun değeri, S3'e girdikten sonra S1 ve S4 durumlarına da gidebileceğinizi hesaba katar.
S2 durumunun değeri, S2'ye girdikten sonra S3 ve S2 durumlarına da gidebileceğinizi hesaba katar.
Bu önemlidir, çünkü bir devlet bir temsilciye her zaman düşük bir anında ödül verebilir, ancak bu durum yüksek bir değere sahipse, genellikle onu yüksek ödüller veren diğer devletlerin izlediği anlamına gelir (dolayısıyla, temsilci yine de o duruma gitmelidir).
Örneğin, temsilcinin S2 durumunda olduğunu ve "a3" eyleminin 5 değerinde bir ödül verdiğini ve "a6" eyleminin 3 değerinde bir ödül verdiğini tekrar hayal edin. Belki de nedeni temsilciye S2 durumundan S3 durumuna gitmesini söyleyen politika ("a6" eylemini gerçekleştirerek), temsilcinin S3 durumuna geçtikten sonra 100 ödül değeri veren "a2" eylemini gerçekleştirebileceğidir.
Ödüller doğrudan çevre tarafından verilir, ancak değerler, bir temsilcinin ömrü boyunca yaptığı gözlemlerden tahmin edilmeli ve yeniden tahmin edilmelidir. Yani, bir devletin değeri, temsilcinin o devletten gelecek olasılıklar hakkında ne bildiğine bağlı olarak değişecektir. Temsilci sürekli araştırdığı için daha fazla olasılık keşfedecektir.
Ödüller olmadan hiçbir değer olmaz ve değerleri tahmin etmenin tek nedeni uzun vadede daha fazla ödül elde etmektir. Bu nedenle, ödülleri birincil, değerleri ikincil olarak düşünebilirsiniz (bunlar yalnızca gelecekteki ödüllerin tahminleri olarak kullanılır).
Yine de, karar verirken ve değerlendirirken önemsediğimiz değerlerdir. Bizi en yüksek mükafat değil en yüksek değere sahip devletlere götüren eylemler ararız, çünkü bu eylemler bize uzun vadede en büyük mükafatı sağlayacaktır.
RL'deki bazı zorluklar:
- Keşif ve sömürü
- Gecikmiş ödül
Sömürüye karşı keşif, bir temsilcinin sürekli olarak en iyisi olduğunu düşündüğü eylemleri alıp almayacağına veya daha önce denemedikleri yeni eylemleri keşfetmesi gerekip gerekmediğine karar vermesi gereken yerdir.
Çok fazla ödül elde etmek için, temsilcinin geçmişte denediği ve ödül üretmede etkili olduğu tespit edilen eylemleri tercih etmesi gerekir. Ancak bu eylemleri bulabilmek için risk alması ve daha önce seçmediği eylemleri denemesi gerekir.
Geciken ödül
Temsilcinin anlık ödüllerden daha fazlasını düşünmeyi öğrenmesi gerekir, çünkü açgözlü davranmak gelecekte daha az ödülle sonuçlanabilir
Bu tanımların nasıl çalıştığını görmek için bir örneğe bakalım.
TicTacToe:
Bu oyunda politika , panonun durumuna göre ("durum" = taşların nasıl yerleştirildiği) yapılacak hamleyi açıklar. Değer fonksiyonu her eyaletin kazanan olasılığı için oyunu defalarca oynayarak elde edilebilir. Halihazırdaki kazanma olasılığı A'dan B'ye göre daha yüksekse, A durumu B durumundan daha yüksek bir değere sahiptir (yani oyunu A durumunda kazanmak, oyunu B durumundan kazanmaktan daha olasıdır).
Bu yüzden bu oyunda çoğu zaman açgözlülükle hareket edeceğiz. Yani, en yüksek değere sahip duruma (yönetim kurulu konumu) götüren eylemi seçmek.
Ancak bir keşif hareketinde, gerçekleştirilecek bir işlemi rastgele seçeriz.
Oynarken kendimizi bulduğumuz durumların değerlerini güncelliyoruz. Temel olarak, değerlerini, bu durumlardan herhangi birinde başlayarak kazanma olasılıklarının daha iyi bir tahmini yapmaya çalışıyoruz.
Durum "S" değerini güncellemek için, "S" den "S" ye açgözlü bir hareket yaptıktan sonra, değeri hareketten önceki duruma "yedekleriz". Yani, "S" nin değerini bir sonraki durumun - "S" nin değerine daha yakın olacak şekilde ayarlıyoruz.
Bir durumun değerini güncellemek için farklı yöntemler seçebiliriz.
Bunlardan biri, zamansal fark öğrenme kuralıdır .
S'nin açgözlü hareketten önceki durumu ve S 'nin hareketten sonraki durumu göstermesine izin verirsek, S'nin tahmini değerine yapılan güncelleme V (S) olarak yazılabilir.
α, öğrenme oranını etkileyen adım boyutu parametresi olarak adlandırılan küçük bir pozitif fraksiyondur.
Bu güncelleme kuralı, zamansal fark öğrenme yönteminin bir örneğidir; bu, zamansal fark öğrenme yönteminin bir örneğidir, çünkü bu yöntemdeki değişiklikler iki farklı zamandaki tahminler arasındaki farka dayalıdır.
Kitap daha sonra bundan bahsediyor. Şimdilik bilmeniz gereken tek şey, zamansal fark güncellemesinde, "V (s)" durumunun mevcut tahminini alıyoruz ve onu sonraki durumda (s 'de bulduğumuzun "a" kesriyle) güncelliyoruz. ).
Aşağıdakileri göz önünde bulundur:
Yukarıdaki yedekleme şemasına bakarak, eylemler gerçekleştiririz (örneğin, "a" durumundan "b" durumuna ve ardından "c" durumuna geçerek) ve ardından, önceden atanan değeri güncellemek için zamansal fark denklemini kullanarak ödülü "yedekleriz" bir durumun (örneğin, bizi "b" durumuna getirecek bir hamle yaparsak ne olacağını gördükten sonra "a" durumunun değerini güncelleyin).
Modelden bağımsız sistemlerin, ortamlarının eylemlere tepki olarak nasıl değişeceğini bilmediğini unutmayın. Bu TicTacToe örneği, bu anlamda rakibi açısından modelden bağımsızdır - rakibi için bir modele sahip değildir ve belirli bir şekilde hareket ederse rakibin ne yapacağını bilemez.
Bir sonrakine kadar,
Şerefe.
Bu makalenin sonunda şunları yapabileceksiniz: Senaryo Bir biyolog, müzik festivallerinin potansiyel sağlık etkileri konusunda endişeliydi. Müzik İndir Festivali'ne gitti ve festivalin üç günü boyunca konsere giden 810 kişinin hijyenini ölçtü.
Tekrar hoşgeldiniz! Verilerinizi görselleştirmek, değerli bilgiler elde etmek için yapabileceğiniz en önemli şeylerden biridir, neyse ki, verilerinizi ücretsiz araçlarla görselleştirmenin birçok yolu vardır! Veri görselleştirmeleri için ücretsiz olarak sunulan en sevdiğim araçlardan bazılarının listesi burada! Google Data Studio Şu anda veri görselleştirmeleri için en iyi ücretsiz seçeneğin Google Data Studio olduğuna inanıyorum, bu Google'ın ücretsiz veri görselleştirme teklifi. Öncelikle, bu listedeki diğer seçeneklerin çoğunun aksine, Google Data Studio herhangi bir indirme gerektirmez, her şey tarayıcınızın içindedir.
Sorumluluk Reddi: Bu makale Spotify ile bağlantılı değildir ve Spotify ve şu anda alakalı olmayabilecek geçmiş yapılar hakkında doğrulanmamış bilgiler içerebilir. Müzik bir ifade biçimi, bir sanat biçimi ve bir bütün olarak kültürel bir etkinliktir.
Sinirbilimden Otomatik Farklılaşmaya, Sinir Ağı Teorisi ve Sinir Süreçlerinde Yetersiz Uyum Halihazırda takip edilmekte olan farklı Derin Öğrenme araştırma akışlarına daha iyi bir genel bakış mı arıyorsunuz? Makul bir şekilde geçemeyecek kadar çok açık arXiv sekmeniz var mı? Tam videoları izlemek için çok mu az zamanınız var? Keşke bir makalenin ana fikrinin ve konseptinin hızlı bir özeti olsaydı. O halde 'Makine Öğrenimi-Kolaj' serisini tanıtmaktan mutluluk duyuyorum.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Selam! Bu kısa serinin görüntü bölümleme hakkındaki ilk bölümünü okumadıysanız, lütfen burada okuyun. Eşikleme ve renk segmentasyonunu önceki hikayemde tartıştık, böylece 2. bölümümüz Renk Segmentasyonuna ve Görüntü Farklılaşmasına odaklanacak.