Python'da kodlama örnekleri ve öğreticiler ile adım adım temel bilgilerden en son pekiştirmeli öğrenmeye (RL) giden bu güzel yolda birlikte yürüyelim!
Bu ilk bölüm, bu yolculuğa çıkmanız için gereken minimum kavram ve teoriyi kapsar. Ardından, takip eden her bölümde, artan zorlukla farklı bir problemi çözeceğiz.
Sonuç olarak, en karmaşık RL problemleri, pekiştirmeli öğrenme algoritmaları, optimizasyon ve Derin Öğrenmenin bir karışımını içerir.
Bu kursu takip etmek için derin öğrenme (DL) bilmenize gerek yok. DL felsefesine aşina olmanız için yeterli bağlamı vereceğim ve modern pekiştirmeli öğrenmede nasıl önemli bir bileşen haline geldiğini anlayacağım.
Bu ilk derste, örnekler, 0 matematik ve biraz Python ile pekiştirmeli öğrenmenin temellerini ele alacağız.
Reinforcement Learning (RL), Makine Öğreniminin (ML) öğrenme problemleriyle ilgili bir alanıdır.
Akıllı bir temsilcinin 🤖 birikimli bir ödülü en üst düzeye çıkarmak için 🤖 deneme yanılma yoluyla içeride ve ortamda 🌎 nasıl eylemde bulunacağını öğrenmesi gerekir .
Takviyeli Öğrenme, insanların ve hayvanların nasıl öğrendiğine en yakın makine öğrenimi türüdür.
Ajan nedir? ve bir çevre? Temsilcinin yapabileceği bu eylemler tam olarak nelerdir? Ve ödül? Neden kümülatif ödül diyorsunuz?
Bu soruları kendinize soruyorsanız doğru yoldasınız.
Az önce verdiğim tanım, aşina olmayabileceğiniz bir sürü terim içeriyor. Aslında, kasıtlı olarak belirsizdirler. Bu genellik, RL'yi çok çeşitli görünüşte farklı öğrenme problemlerine uygulanabilir kılan şeydir. Bu, RL'nin köklerinde kalan matematiksel modellemenin arkasındaki felsefedir.
Birkaç öğrenme problemine bir göz atalım ve onları Reinforcement Learning 🔍 penceresinden görelim.
Yeni yürümeye başlayan bir bebek babası olarak kendime sormadan edemiyorum, bunu nasıl öğrendi?
Bir Makine Öğrenimi mühendisi olarak, bu inanılmaz öğrenme eğrisini yazılım ve donanımla anlamayı ve kopyalamayı hayal ediyorum.
RL bileşenlerini kullanarak bu öğrenme problemini modellemeye çalışalım:
Ödüller hakkında biraz daha 💰
Ödül, Kai'ye yaptığı şeyin öğrenmesi için iyi ya da kötü olduğunun bir işaretidir. Yeni eylemlerde bulunup acı ya da mutluluk deneyimledikçe, davranışını daha fazla olumlu geri bildirim ve daha az olumsuz geri bildirim toplayacak şekilde ayarlamaya başlar. Başka bir deyişle, öğrenir
Heyecanını artırmak için koşmaya çalışmak gibi bazı eylemler başlangıçta bebek için çok çekici görünebilir. Bununla birlikte, bazı (veya çoğu) vakalarda, yüzüstü düştüğünü ve uzun bir süre acı ve gözyaşı yaşadığını çok geçmeden öğrenir. Bu nedenle akıllı ajanlar , marjinal ödülü değil kümülatif ödülü maksimize eder . Kısa vadeli ödülleri uzun vadeli olanlarla takas ederler. Anında ödül verecek, ancak vücudumu düşmek üzere bir konuma getirecek bir eylem optimal değildir.
Büyük mutluluk ve ardından gelen daha büyük acı, uzun vadeli esenlik için bir reçete değildir. Bu, bebeklerin genellikle yetişkinlerden daha kolay öğrendiği bir şeydir.
Ödüllerin sıklığı ve yoğunluğu, temsilcinin öğrenmesine yardımcı olmak için anahtardır. Çok seyrek (seyrek) geri bildirim, daha zor öğrenme anlamına gelir. Bir düşünün, yaptığınız şeyin iyi mi kötü mü olduğunu bilmiyorsanız, nasıl öğreneceksiniz? Bu, bazı RL sorunlarının diğerlerinden daha zor olmasının ana nedenlerinden biridir.
Ödül şekillendirme, birçok gerçek dünya RL problemi için zorlu bir modelleme kararıdır.
Çocukken arkadaşlarımla ve akrabalarımla Monopoly oynamak için çok zaman harcadım. Kimde yok? Şans (zarları atıyorsunuz) ve stratejiyi birleştiren heyecan verici bir oyundur.
Monopoly, iki ila sekiz oyuncu için bir emlak tahtası oyunudur . Tahtada dolaşmak, mülk satın almak ve ticaret yapmak ve bunları evler ve otellerle geliştirmek için iki zar atıyorsunuz. Rakiplerinizden onları iflasa sürüklemek amacıyla kira topluyorsunuz.
Bu oyuna o kadar meraklıysanız, oynamanın akıllı yollarını bulmak istiyorsanız, biraz pekiştirmeli öğrenme kullanabilirsiniz.
4 RL bileşenleri ne olurdu?
Bu hileye kendi kendine oyun denir. Uzman bir oyuncunun harici tavsiyesini kullanmadan zekayı başlatmanın bir yolunu sunar.
Kendi kendine oynama, DeepMind tarafından geliştirilen ve Go oyununu herhangi bir insandan daha iyi oynayan AlphaGo ve AlphaGo Zero arasındaki temel farktır .
On yıllar içinde (belki daha az), makineler arabalarımızı, kamyonlarımızı ve otobüslerimizi sürecek.
Ama nasıl?
Araba kullanmayı öğrenmek kolay değil. Sürücünün amacı açıktır: A noktasından B noktasına kendisi ve gemideki tüm yolcular için konforlu bir şekilde ulaşmak.
Sürücünün sürüşü zorlaştıran birçok dış yönü vardır, bunlar arasında şunlar yer alır:
Artık bir RL probleminin nasıl formüle edileceğini anladığımıza göre, onu çözmemiz gerekiyor.
Nasıl?
Okumaya devam edin!
Temsilci, çevrenin mevcut durumuna göre en iyi olduğunu düşündüğü eylemi seçer.
Bu, genellikle aracının politikası olarak adlandırılan aracının stratejisidir .
Bir politika devletlerden eylemlere öğrenilmiş bir eşleştirme yapılır.
Bir pekiştirmeli öğrenme sorununu çözmek, mümkün olan en iyi politikayı bulmak anlamına gelir.
Politikalar, her bir durumu tek bir eylemle eşleştirdiklerinde deterministiktir ,
veya her durumu olası tüm eylemler üzerinde bir olasılık dağılımına eşlediklerinde stokastik .
Stokastik , Makine Öğrenimi'nde sıklıkla okuduğunuz ve duyduğunuz bir kelimedir ve esasen belirsiz , rastgele anlamına gelir . Tekel gibi zar attığınız yüksek belirsizliğe sahip ortamlarda, stokastik politikalar deterministik olanlardan daha iyidir.
Bu optimal politikayı gerçekten hesaplamak için birkaç yöntem vardır. Bunlara politika optimizasyon yöntemleri denir .
Bazen, probleme bağlı olarak, doğrudan optimal politikayı bulmaya çalışmak yerine, o optimal politika ile ilişkili değer fonksiyonu bulmaya çalışılabilir .
Ancak, değer işlevi nedir?
Ve ondan önce,
Bu bağlamda değer ne anlama geliyor?
Değeri her bir durum ile bağlantılı bir sayıdır s olduğunu tahmin ne kadar iyi maddesi durumu olmak üzere çevrenin s .
Ajanın s durumundan başlayıp π politikasına göre eylemleri seçerken topladığı kümülatif ödüldür .
Değer işlevi, durumlardan değerlere öğrenilmiş bir eşlemedir.
Bir politikanın değer işlevi genellikle şu şekilde gösterilir:
Değer işlevleri ayrıca (eylem, durum) çiftlerini değerlere eşleyebilir. Bu durumda bunlara q-değeri fonksiyonları denir .
Optimal değer işlevi (veya q-değer işlevi), Bellman denklemi adı verilen matematiksel bir denklemi karşılar .
Bu denklem yararlıdır çünkü optimal değer fonksiyonunu bulmak için yinelemeli bir prosedüre dönüştürülebilir.
Ancak değer fonksiyonları neden faydalıdır?
Çünkü optimal bir q-değer fonksiyonundan optimal bir politika çıkartabilirsiniz.
Nasıl?
Optimal politika, her s durumunda ajanın q-değer fonksiyonunu maksimize eden a eylemini seçtiği politikadır .
Böylece, optimal politikalardan optimal q fonksiyonlarına atlayabilirsiniz ve bunun tersi de geçerlidir 😎.
Optimum q-değer fonksiyonlarını bulmaya odaklanan birkaç RL algoritması vardır. Bunlara Q-öğrenme yöntemleri denir .
Birçok farklı RL algoritması vardır. Bazıları doğrudan optimal politikaları bulmaya çalışır, diğerleri q-değer fonksiyonlarını ve diğerleri her ikisini de aynı anda bulmaya çalışır.
RL algoritmalarının zoolojik yapısı çeşitlidir ve biraz ürkütücüdür.
RL algoritmaları söz konusu olduğunda, herkese uyan tek beden yoktur . Bir RL problemini her çözdüğünüzde bunlardan birkaçını denemeniz ve durumunuz için neyin işe yaradığını görmeniz gerekir.
Bu kursu takip ederken, bu algoritmalardan birkaçını uygulayacak ve her durumda en iyi neyin işe yaradığına dair bir fikir edineceksiniz.
Takviye öğrenim aracıları, verilere ÇOK aç.
RL problemlerini çözmek için çok fazla veriye ihtiyacınız var.
Bu engeli aşmanın bir yolu, simüle edilmiş ortamları kullanmaktır . Çevreyi simüle eden motoru yazmak, genellikle RL problemini çözmekten daha fazla iş gerektirir. Ayrıca, farklı motor uygulamaları arasındaki değişiklikler, algoritmalar arasındaki karşılaştırmaları anlamsız hale getirebilir.
OpenAI'deki adamların 2016'da Gym araç setini piyasaya sürmesinin nedeni budur . OpenAIs'in spor salonu, aşağıdakiler de dahil olmak üzere farklı problemler için bir dizi ortam için standartlaştırılmış bir API sunar.
OpenAI Gym ayrıca ortamlar oluşturmak için standart bir API tanımlayarak üçüncü tarafların (sizin gibi) ortamlarınızı oluşturmasına ve başkalarının kullanımına sunmasına olanak tanır.
Kendi kendini süren arabalarla ilgileniyorsanız, en popüler açık şehir sürüş simülatörü olan CARLA'ya göz atmalısınız.
Şunları düşünüyor olabilirsiniz:
Buraya kadar anlattıklarımız ilginç ama aslında tüm bunları Python'da nasıl yazarım?
Ve sana tamamen katılıyorum 😊
Tüm bunların Python'da nasıl göründüğünü görelim.
Bu kodda belirsiz bir şey mi buldunuz?
23. satıra ne dersin? Bu epsilon nedir?
Panik yapma. Bundan daha önce bahsetmedim ama sizi açıklama yapmadan bırakmayacağım.
Epsilon, ajanımızın her durumda yapılacak en iyi eylemin ne olduğu konusunda kesin sonuçlar çıkarmadan önce çevreyi yeterince araştırmasını sağlamak için önemli bir parametredir.
0 ile 1 arasında bir değerdir ve ajanın en iyi olduğunu düşündüğü şey yerine rastgele bir eylem seçme olasılığını temsil eder.
Yeni stratejiler keşfetmek ile zaten bilinenlere bağlı kalmak arasındaki bu ödünleşime keşif-sömürme problemi denir . Bu, RL problemlerinde önemli bir bileşendir ve RL problemlerini denetimli makine öğreniminden ayıran bir şeydir.
Teknik olarak, temsilcinin yerel olanı değil, küresel optimumu bulmasını istiyoruz.
Antrenmanınıza büyük bir değerle (örneğin %50) başlamak ve her bölümden sonra kademeli olarak azaltmak iyi bir uygulamadır. Bu şekilde aracı başlangıçta çok şey keşfeder ve stratejisini mükemmelleştirirken daha az araştırır.
Bu 1. bölüm için önemli çıkarımlar şunlardır:
Biraz ev ödevi olmayan bir ders, ders olmaz.
Sizi ilgilendiren, pekiştirmeli öğrenmeyi kullanarak modelleyebileceğiniz ve çözebileceğiniz bir gerçek dünya problemi seçmenizi istiyorum.
Önemsediğiniz bir sorunu seçin. Bunlar, değerli zamanınızı harcamak istediğiniz şeylerdir.
Aracıların, eylemlerin, durumların ve ödüllerin ne olduğunu tanımlayın.
Sorununuzla ilgili olarak bana [email protected] adresinden bir e-posta göndermekten çekinmeyin , size geri bildirimde bulunacağım.
Bir sonraki derste ilk RL problemimizi çözeceğiz. Başlaması kolay bir tane.
Yakında görüşürüz!
(Daha da iyi) bir veri bilimcisi olmak ve makine öğrenimi ve veri bilimi hakkında en iyi kurslara erişmek istiyor musunuz?
👉🏽 Veri makineleri bültenine abone olun .
👉🏽 Bana bol bol alkış 👏🏿👏🏽👏 aşağıdan
👉🏽 Beni Medium'da takip et .
İyi günler 🧡❤️💙
pau
Hey Öğrenciler, bugün en popüler NoSQL Veritabanımız mongoDB ve en hızlı büyüyen Python dilimizden birini tartışacağız. Onlarla birlikte nasıl çalışılır? Son blogumda farklı NoSQL veritabanları hakkında bilgi sahibi olduk ve mongoDB, Doküman Tabanlı Veritabanlarından biriydi.
Koşullu Oluşturma nedir? React'te koşullu oluşturma, belirli bir koşula dayalı olarak bileşenleri veya öğeleri görüntülemenin bir yoludur. Normal Javascript'teki koşullarla aynı şekilde çalışır.
Feragatname: 'A Little Life'ı okumak istiyorsanız, çok uzun bir liste olduğu için tetikleyici uyarıları gözden geçirmenizi şiddetle tavsiye ediyorum. Tetikleyici uyarılarda bahsedilen herhangi bir travma veya ruh sağlığı sorunu yaşıyorsanız, bunu okumaya karar verirseniz ekstra önlem almanızı tavsiye ederim.
Bazen bir dipnot bir başlık olmalıdır. Apple bugün ayrıca macOS'un bir sonraki büyük sürümü olan macOS Big Sur'u da tanıttı… Apple silikonuna sorunsuz ve sorunsuz bir geçiş sağlayacak teknolojileri içeriyor… geliştiriciler ilk kez iOS ve iPadOS uygulamalarını herhangi bir değişiklik yapmadan Mac'te kullanılabilir hale getirebilirler — Apple, 22 Haziran 2020 WWDC20, Apple'ın Intel işlemcilerden Apple tarafından geliştirilen silikona (Apple silikon) yaklaşmakta olan hamlesinin hakimiyetindeydi.
Bu, psychedelics için 5 Kısımlık “kaba rehber”in 2. Kısmıdır. Konuyla ilgili anlayışınızı çeşitli alt konularda derinleştirmek istiyorsanız bu diziyi okuyun.
Her şey bildiğiniz küçük şeylerle ilgili ;-) Cihazlarınızdaki küçük etkileşimlere hiç dikkat ettiniz mi? Telefonunuzu şarja takarken/çıkarırken aldığınız geri bildirimleri beğendiniz mi? Belki sesli asistanınızı her etkinleştirdiğinizde küçük bildirim sesi gelir? Yenile'ye her bastığınızda masaüstü simgelerinin kaybolması ve yeniden görünmesi ne olacak? Mikrodalga bittiğinde 'ding' sesi mi geliyor? Ya da tost makinenizdeki yeşilden kırmızıya dönen ışık? Bu eylemlerin çoğu, Mikro etkileşimleri hesaba katar. Eminim bu terimi çok duymuşsunuzdur ama gerçekten ne kadar büyülü olduğunu biliyor musunuz?
'Big Brother' yıldızı Claire Rehfuss, hayranlarını spoiler hesaplarına güvenmemeleri konusunda uyarıyor.
Kody Brown, iki karısı Meri Brown ve Christine Brown'ı arkadaş bölgelendirdi. İki eşin reddedilmeyi nasıl ele aldığı tamamen farklıydı.
Kristen Stewart bir keresinde 'Pamuk Prenses' rol arkadaşı Chris Hemsworth'a sert bir yumruk attı ve bu, oyuncunun geleceğini görmediği bir saldırıydı.
GQ Magazine ile yaptığı bir röportajda BTS'den Jin, BTS ve Coldplay'in şarkısı 'My Universe'nin bir bölümünün 'son bölümü yapmadığını' açıkladı.
Her hafta güncellenen mini bulmacamız, en sevdiğimiz HowStuffWorks okumalarımızı zeki ipuçlarıyla birleştiriyor!
Doğru deterjanı seçme konusunda endişelenmenize gerek kalmadan çamaşır yıkamak yeterince kötü. Peki en iyisi hangisi? Yoksa önemli mi?
Kentucky kırsalındaki Fugates ve Combs aileleri, genetik piyangoyu kaybettiler ve her ikisi de, evlenirken tenlerinin mavi görünmesine neden olan nadir bir çekinik özelliği paylaştılar. Bunun nedeni neydi? Ve ailelere ne oldu?
İki babasız erkek civciv, California akbabasını yok olmaktan kurtarmak için bir programda yetiştiriliyor. Böyle 'bakire' doğumlar nasıl mümkün olabilir?
Vanderpump Rules yıldızı Katie Maloney-Schwartz, Perşembe günü Instagram'da yaptığı dürüst ve içten bir gönderiyle kendini sevme yolculuğunda kaydettiği ilerlemeyi anlattı.
Jessica Alba, kendisini ve çocuklarını Dolly ve Lucy adlı iki köpekle sarılıp oynarken gösteren keyifli bir videoyu Instagram hesabından paylaştı.
Geçen hafta sonu bir Porto Riko tatili sırasında nişanlanan Megan Fox ve Makineli Tüfek Kelly'den bir kaynak, "İlk görüşte aşk durumuydu" diyor.
Polise göre Devonne Marsh'ın kimliği belirlenemeyen kız arkadaşını çakmak gazıyla kaplayarak alevleri tutuşturduğu iddia edildi.