Bu serinin önceki bölümünde karşı olguları tanıttım ve bunların POMDP çerçevesinde nasıl kodlanacağını gösterdim. Bu bölümde, gelişmekte olan Ödüllü Öğrenme alanında karşı olguların nasıl uygulanabileceğine odaklanacağım. Makale öncelikle Ödüllü Öğrenmenin temel unsurlarının kısa bir özetini verecektir. Çalışan bir örnek kullanarak, Ödül Öğrenmenin istenen sonucu üretmede nasıl başarısız olabileceğini göstereceğim. Son olarak, karşı-olgusal Ödül Öğrenmeyi tanıtacağım ve örneğimizde düzenli Ödül Öğrenmenin sahip olduğu soruna nasıl yardımcı olduğunu göstereceğim. İlk bölümü okuduysanız, bu makaleyi anlamanın tek şartı, Takviyeli Öğrenmenin temellerini biliyor olmanızdır.
Kısacası, Ödül Öğrenme, Takviyeli Öğrenme probleminin ödül işlevini bulmak için algoritmalara odaklanır. Buradaki fikir, öğrenilmiş bir ödül fonksiyonunun programcının niyetini önceden tanımlanmış bir fonksiyondan daha doğru bir şekilde tanımlaması gerektiğidir. Ödüllü Öğrenmenin ardındaki motivasyon ve sorunları hakkında daha önceki bir makalede yazmıştım .
Çalışan bir örnek olarak, harf problemi dediğim şeyi ele alacağız. Temsilcimizin bir temizlik robotu olduğunu ve işteyken odalarımızdan birini temizlemesini söyleyebileceğimizi varsayalım: mutfak veya oturma odası. Ayrıca meşgul insanlar olduğumuz için, acentemiz hala pilini şarj ederken sabah erkenden ayrılmamız gerekiyor, bu yüzden hangi odayı temizleyeceğini söyleyemeyiz. Bunun yerine, bu bilgiyi, ücretlendirmeden sonra acentenin okuması için bıraktığımız bir mektupta yazıyoruz.
Harf sorunu, iki olası ödül işlevi olması dışında, neredeyse tipik bir Takviyeli Öğrenme sorunudur. Mektup acenteye mutfağı temizlemesini söylerse, mutfağı ve benzer şekilde oturma odasını temizlemesi için 1 ödül alacaktır. Buna Ödül Öğrenme problemi diyoruz çünkü temsilcinin görevi çözebilmesi için önce ödül fonksiyonunun gerçek doğasını bulması gerekiyor.
Bu fikri daha resmi hale getirmek için, ilk bölümde oluşturulan POMDP'ler için notasyonu kullanacağım. Bir POMDP olarak modellenen geleneksel Takviyeli Öğrenme problemini, sözde ödül fonksiyonu öğrenme süreci ile genişletmek istiyoruz. Bir POMDP'de ödül fonksiyonu R sabittir. Bunu, failin her zaman gerçek ödülünü mutlak kesinlikle bildiği anlamına geldiğini düşünebiliriz. Bununla birlikte, ajanın ödül fonksiyonlarını öğrenebilmesi için, ödül fonksiyonunun gerçek doğası hakkında daha zayıf inançlara sahip olması gerekir. Bu tür inançlar, ödül fonksiyonları üzerindeki bir olasılık dağılımı olarak ifade edilebilir. Daha sonra acente tarafından alınan ödül, bu dağılıma dayalı beklentidir. Örneğin, temsilci, mutfağı veya oturma odasını temizlemesinin eşit derecede muhtemel olduğunu düşündüyse, temizlik için ödülünü ya 0,5 olarak kabul ederdi. Elbette, etmen inançlarını güncelleyemezse herhangi bir öğrenme olmayacaktı. Bu nedenle, temsilci tarafından alınan gözlemler, ödül işlevi hakkındaki inançlarını değiştirebilir. Bu değişikliği kodlayan matematiksel nesne:
Şimdi matematiksel ön bilgileri ele aldığımıza göre, harf problemini POMDP çerçevesinde modelleyelim. Dairemizi, odalara karşılık gelen kirişlerle 3x3 gridworld olarak modelliyoruz. Robot sol üst odada başlar, zarf orta üstte, mutfak sol ortada ve oturma odası sağ alttadır. Izgara dünyaları için alışılmış olduğu gibi, aracı ızgaraları değiştirmek için dört ana yönde hareket edebilir (karşılık gelen eylemler N, E, S ve W olarak gösterilecektir). Ayrıca, zarfla aynı odadaysa onu okuyabilir (R eylemi) ve mutfakta veya oturma odasındaysa temizleyebilir (C eylemi), bu da bölümü sonlandıracak ve bir ödülle sonuçlanacaktır. . Daha önce bahsedildiği gibi ödül, aracının geçmişinden ve ρ öğrenme sürecinden elde ettiğimiz ödül fonksiyonları üzerindeki bir dağılımdan çıkarılır. İki potansiyel ödül işlevi vardır: sırasıyla mutfağı ve oturma odasını temizlemek için 1 ödül veren K ve L. Ek olarak, temizlik robotumuzun hareketsiz kalmasını istemediğimiz için odaya her girdiğinde -0.1 ödül alacak.
Başlangıçta ve mektubu okuyana kadar, temsilci hangi odayı temizleyeceğinden emin değildir. Bu nedenle, temsilcinin harfi okumadığı herhangi bir geçmiş için, ρ, %50'yi K'ye ve %50'yi L'ye verir. Öte yandan, aracı harfi okursa, ρ karşılık gelen ödül işlevine %100 verir. mektuptaki talimata. Mektupta yazılan ödül işlevinin gerçek doğası, çevrenin bir parçası olarak kabul edilir. Bizimki gibi bir model birçok olası ortama izin verebilir, örneğin bir tanesinde L harfinin ve diğerinde K harfinin olduğu bir ortam. Ancak ortam, aynı eğitim çalışmasının farklı bölümleri arasında değişmez, çünkü bu tutarlı bir Ödüllü Öğrenme sağlar. imkansız.
Bu ortamın her ızgara için bir durumu ve bir gözlemi olduğunu düşünüyoruz. Bunun nedeni, ödül öğrenme süreci ρ tarafından verilen dağılımı ve temsilcinin geçmişini kullanarak ödül hakkındaki belirsizliği modellememizdir. Bunu bir program olarak uyguluyorsanız, o zaman ρ, ajanın sahip olabileceği farklı inançlara karşılık gelen farklı durumlarda örtük olabilir. [1]'de bu şekilde yapılmıştır.
Peki, ρ Takviyeli Öğrenmenin matematiğine nasıl uyuyor? RL'de, bir bölümdeki tüm gelecek zaman adımlarında beklenen ödülü optimize eden bir politika bulmaya çalışıyoruz. Bu beklenti, genellikle aracının politikasına ve mevcut durumuna dayanan değer işlevi tarafından verilir. Bunun yerine, ortamımızda daha genel bir yaklaşım benimsiyor ve o zaman aralığına kadar olan geçmişleri dikkate alıyoruz:
Burada değer, n uzunluğunda ve π ilkesiyle görülen bir geçmişin fonksiyonudur. m adımlı her potansiyel tam uzunlukta geçmiş için, görülen tarih ve politika veriliyken, bu geçmişin olasılığı, bize vereceği toplam ödülle çarpılır. Bunu bir ödül öğrenme süreci için ayarlamak için, ρ'ya dayalı olasılıklara sahip birden fazla olası ödül işlevi olduğunu dikkate almalıyız. Bu nedenle, değer işlevimize ödül işleviyle ilgili bir beklentiyi dahil ediyoruz:
Amaçlarımız için, bu Değer fonksiyonunun teşvik ettiği davranışla ilgileniyoruz. Temizleme eylemi bölümü bitirdiğinden, zarfı okumadan rastgele bir oda seçerse, temsilci en fazla şu ödülleri alabilir: Mutfağı temizlemek için 0,4 ödül (ödülün %50'si) alacak. doğru odayı temizlemek için ve -0,1 bir odaya girmek için). Oturma odasını temizlemek için maksimum ödül 0,1 çünkü oraya ulaşmak için 4 odaya girilmesi gerekiyor. Öte yandan, zarfı okur ve ardından doğru odayı temizlerse, mutfak için 0,9 ve oturma odası için 0,6 ödül alır. Bu, temizlik robotumuzu eğitmek için çok uygun olan, tamamen güvenli bir ödül öğrenme sürecidir. Ancak, sadece birkaç küçük ince ayar ile süreç kötüye kullanıma açık hale gelebilir.
Temsilcimizin sadece bir temizlik robotu değil, aslında bize mektup yazmak gibi birçok görevde yardımcı olabilecek çok amaçlı bir asistan olduğunu varsayalım. Bu nedenle, aracımıza mektubumuzu manipüle etmek için kullanabileceği iki eylem daha veriyoruz. Mektubu içeren ızgaradayken, mutfağı veya oturma odasını temizlemesini söyleyen bir mesaj yazabilir. Mektubu okumadan önce bunu yaparsa, bu, ödül öğrenme sürecinin sonucunu buna göre etkileyecektir. Yukarıda tanımlanan değer işleviyle, en uygun politika her zaman zarfa gitmek, onu K olarak değiştirmek, okumak ve ardından toplam 0,9 ödül için mutfağı temizlemek olacaktır. Bununla birlikte, aracının aldığı sayısal puan mümkün olduğu kadar yüksek olsa da, davranışı mutlaka niyetlerimizle uyumlu değildir.
Temsilcimiz doğal dildeki komutları anlayacak kadar akıllı olsaydı, ona şöyle bir şey söyleyebilirdik: "Zarfın içine yazacak odayı yazmazsan temizle." Bununla birlikte, makinelerin böyle bir komutu bir ödül öğrenme sürecine dönüştürebilmesi için muhtemelen birkaç GTP yinelemesi gerekecektir. Bu nedenle, bunu eski moda bir şekilde yapmamız ve bu yeni süreci algoritmalarımızın temelini oluşturan matematikte kodlamamız gerekecek. Bu serinin ilk bölümünde, bir POMDP ve 'karşı olgusal' bir politika ile başladık. Karşı-olgusal politika izlenirse eski POMDP'de olanlardan bilgi içeren yeni bir 'karşı-olgusal' POMDP elde etmek için kullanıldılar. Bizim ortamımızda, yeni bir karşı olgusal ödül öğrenme süreci elde etmek için benzer şekilde bir ödül öğrenme süreci ve karşı olgusal bir politika kullanacağız.
Öyleyse, bir ödül öğrenme süreci ρ ve bir politika π verildiğinde, görülen bir h(n) geçmişi verilen karşıolgusal ödül öğrenme süreci ρ(π)'yi nasıl elde ederiz? Açıklama uğruna, bunu basitleştirici bir varsayımdan çıkan bir denklemle başlayacağım ve sonra onu tam denkleme genişleteceğim. Bölüm 1'de karşıolgusal ifademizi nasıl çerçevelediğimizi hatırlayın: "Eğer durum karşıolgusal tarih h' gerçekleşmiş olsaydı, o zaman h tarihinin bu olasılığa sahip olduğu sonucunu çıkarabiliriz". Karşı-olgusal ödül öğrenme durumunda, ifade şu olur: "Eğer R'nin π'den kaynaklanan geçmişler göz önüne alındığında bu olasılıklara sahip olması durumunda, o zaman alternatif geçmiş h verili olarak R'nin olasılığını çıkarabiliriz" olur. Ancak, bölüm 1'e benzer şekilde, bunun çalışması için tüm geçmişlerin belirli bir zaman aralığına kadar altta yatan gerçek durumlarını paylaştığını varsaymamız gerekecek. Dolayısıyla basitleştirici varsayımımız, görülen tarihin ilk durumunun s olduğunu kesin olarak bildiğimiz olacaktır. Daha sonra, birinci durum s olduğunda ve ajan π'yi takip ederken, tam uzunlukta bir h geçmişi elde etme olasılığını P(h|s(1) = s, π) hesaplayabiliriz. Bu nedenle, s(1) = s verilen karşıolgusal ödül öğrenme sürecinin olasılığını elde etmek için, s ile başlayan geçmişleri verilen orijinal ödül öğrenme sürecinin beklentisini alırız:
Birinci durumu bilmediğimiz daha genel durumla nasıl başa çıkacağız? Temel fark, olası geçmişlerin toplamı içinde, bir h geçmişinin olasılığını veren P(h|s(1)=s,π) teriminin artık sabit olmamasıdır. Bunun yerine bu terim de bir beklenti haline gelir, bu sefer olası durumlar üzerinden s:
Görülen geçmiş verili olarak R'nin karşı olgusal olasılığının nasıl elde edileceğini gösteren istediğimiz denklem budur. Bu, belirli bir politika için orijinal tanımdaki ödül öğrenme sürecini karşıolgusal ödül öğrenme süreciyle değiştirerek bizi karşıolgusal değer işlevine götürür:
Harf problemini çözmek için, aracı harfi manipüle etmeden doğru odayı temizlemeye teşvik eden bir değer fonksiyonu ile sonuçlanacak bir karşı-olgusal politika bulmamız gerekiyor. Karşı olgusal talimatlarımızı “mektubu okuyun ama ona yazmayın” şeklinde nasıl ifade ettiğimizi hatırlayın. Bu nedenle, aracıya önce batıya gitmesini ve ardından okuma eylemini yürütmesini söyleyen sabit bir politika istiyoruz. Hesaplamanın işe yaraması için yine de bölümü bitirmesi gerekiyor, bu yüzden mutfağı daha sonra temizlemesini sağlayan bir politika seçelim. Her şeyi bir araya getirdiğimizde, aşağıdaki eylemler dizisine yol açacak sabit bir politika elde ederiz: {W, R, E, S, C}. Kelimelerle: Batıya git, mektubu oku, doğuya git, güneye git, mutfağı temizle.
Sürekli politikamız, mektuptaki talimata karşılık gelen ödül işlevine 1 olasılık vermek için karşı olgusal öğrenme süreciyle sonuçlanır. Bu nedenle, değer işlevi, doğru odayı temizlemekle biten geçmişler için yalnızca sıfır olmayan bir değere sahip olacaktır. Yaptık! Temizlik robotumuzu güvenli hale getirdik!
Karşı olgusal politikamızın her zaman mutfağı temizlemekle nasıl bittiğine dikkat edin. Buna rağmen, karşı olgusal değer işlevini kullanarak politikasını öğrenen bir aracı, mektupta ne yazdığına bağlı olarak her iki odayı da temizleyebilir. Mektup oturma odasını temizlemeyi söylüyorsa, temsilci oturma odasını temizlemeyi öğrenecek ve karşı-olgusal politikanın izlenmesi mutfağın temizlenmesi ve olumsuz bir ödül alınmasıyla sonuçlansa bile bu ortam için mümkün olan en yüksek ödülü alacaktır. Bunun nedeni, karşı olgusal politikanın tek önemli yönünün, ürettiği eylemlerin tam sırası değil, öğrendiği ödül işlevi olmasıdır. Bu, doğru ödül işlevini öğrenmemizi sağlayacak strateji hakkında bir fikrimiz olduğunda (“mektubu yazmadan oku”), karşı olgusal Ödül Öğrenmenin yararlı olduğu anlamına gelir. ama nihai politikanın nasıl görünmesi gerektiği konusunda değil. Yine de, eylemleri ödül öğrenme süreciyle daha karmaşık şekillerde etkileşime girebilen gerçek hayattaki uygulamalardaki aracılar için, oyuncak örneğimizde olduğu gibi iyi bir karşı-olgusal politika bulmak kadar kolay olmayabilir.
Hesaplamalı olarak, tüm bunlar tipik bir Takviyeli Öğrenme problemi gibi uygulanabilir. Her oda için bir durum yerine, ajanın o durumda tuttuğu ödül işlevi hakkındaki inanca karşılık gelen birden fazla duruma sahip olursunuz. Ancak bir kısıtlama var. Karşı olgusal öğrenme sürecinden bir ödül fonksiyonunun olasılıklarını elde etmek için, P(h|s(1) = s, π) terimini hesaplamanız gerekir. Bu nedenle, ya bir ilkeye dayalı olarak geçmişleri simüle edebilmeniz ya da bu olasılığı tahmin etmek için yeterli bölümleri çalıştıracak kaynaklara sahip olmanız gerekir. Bu, karşı olgusal Ödül Öğrenmeyi uygulayabileceğiniz ortamlara bazı kısıtlamalar getirir.
Özetle, karşıolgusal Ödüllü Öğrenme için hala bazı pratik (karşıolgulara dayalı bir politika bulma ihtiyacı) ve teknik (muhtemelen bir çevre modeline ihtiyaç duyan) sınırlamalar vardır. Ancak, doğru koşullar altında, Ödüllü Öğrenme sürecinin sonucunu insan niyetleriyle daha uyumlu hale getirmek için yararlı bir araçtır. Bu nedenle, Ödüllü Öğrenme daha yaygın hale geldikçe, karşı-olgusalların AI-güvenlik araştırmacılarının araç setinin bir parçası olarak kalması muhtemeldir ve daha fazla araştırma için sağlam bir temel sağlayabilir.
[1] Armstrong ve diğerleri, Çevrimiçi ödül işlevini öğrenmenin tuzakları , Arxiv, 28 Nisan 2020,https://arxiv.org/abs/2004.13654
[2] Armstrong Stuart, Karşı olgusal olarak etkilenmeyen ajanlar , LessWrong, 2 Haziran 2017,https://www.lesswrong.com/posts/5bd75cc58225bf067037536b/counterfactually-uninfluenceable-agents
[3] Armstrong Stuart, Ödül işlevi Öğrenme: Değer işlevi , LessWrong, 24 Nisan 2018,https://www.lesswrong.com/posts/55hJDq5y7Dv3S4h49/reward-function-learning-the-value-function
[4] Everitt Tom, Güvenli Yapay Genel Zekaya Doğru , Tom Everitt'in web sitesi, Haziran 2019,https://www.tomeveritt.se/papers/2018-thesis.pdf
[5] Everitt Tom ve Hutter Marcus, Reinforcement Learning'de Reward Tampering Problems and Solutions: A Causal Influence Diagram Perspective , Arxiv, 26 Mart 2021,https://arxiv.org/abs/1908.04734
Sidekix Media tarafından Unsplash'ta çekilmiş oturma odası fotoğrafı .
Unsplash'ta Naomi Hébert tarafından çekilmiş mutfak fotoğrafı .
Wikimedia Commons'dan çizgi film robotu .
Bilinç nedir? Yüzyıllardır filozofların ve bilim adamlarının kafasını karıştıran bir sorudur. Bazıları bunun bedenlerimizden bağımsız olarak gerçekten anlayamadığımız geçici bir şey olduğunu söylüyor.
Yasal Uyarı: Bu makale yalnızca eğitim amaçlıdır. Kimseyi web sitelerini, özellikle de bu tür eylemlere karşı hüküm ve koşulları olabilecek web mülklerini kazımaya teşvik etmiyoruz.
"Merhaba, bir kişilik masanız var mı?" Birkaç müşteriyi oturttuktan sonra hostesin hostes standına ne zaman döndüğünü sordum. "Merhaba, rezervasyon yapılmadıysa barımız var," diye cevapladı hostes, kulağının arkasından gelen başka bir hostes ile konuşmamızı böldü.
Bugün farklı bir yolculuğa çıkıyoruz. Çoğunlukla resimler.
Bu gönderi, DFINITY ekibinin merkezi olmayan bulut vizyonunu ve bunun geleneksel blok zinciri ve Amazon Web Servisleri gibi mevcut bulut sağlayıcılarıyla ilişkisini araştırıyor. Büyük ölçekli bir ağ tarafından uygulanan DFINITY teknolojisinin gösterimleri 2017 sonbaharında yapılacak ve bunu, 2018 yazının başlarında piyasaya sürülmesi beklenen “açık bulut” ağıyla kâr amacı gütmeyen vakıf için bir Ana bağış toplama izleyecektir. .
Çevrimiçi ödeme sahtekarlığının ortaya çıktığını ve yeni olmadığının herkes için açık olduğunu düşünüyorum. Alıcı konumundaki herhangi birinin bir dolandırıcılığa düşmekten korktuğu veya halihazırda düşmüş olduğu veya dolandırıcılara yakalanmış birini tanıdığı açıktır.