Kamer Toker-Yıldız , Colin McFarland , Julia Glick
Netflix'te, A / B deneyleri çalıştıramadığımızda yarı deneyler yapıyoruz ! Üye olmayan edinmeye odaklanan deneyler, üye katılımına odaklanan üye deneyleri veya içerik dağıtımına odaklanan video akışı deneyleri gibi çeşitli amaçlarla yarı deneyler yapıyoruz. Farklı tasarım veya veri kısıtlamaları veya optimizasyon hedefleriyle karşılaşabileceğimiz için, tek bir metodolojide konsolide etmek zor olabilir. Netflix'in küçük örnek boyutu ve yarı deneylerdeki sınırlı müdahale öncesi verileri işlemek için kullandığı bazı temel zorlukları ve yaklaşımları tartışıyoruz.
Bireysel seviye A / B testleri yapamadığımız, ancak yarı deneylerden yararlanabildiğimiz çeşitli iş sorunları ile karşı karşıyayız. Örneğin, TV veya ilan tahtası reklamlarının üye katılımı üzerindeki etkisini ölçmek istediğimiz durumu düşünün. Bireyleri bu tür reklamcılıktan alıkoyamayacağımız için üye düzeyinde aynı muamele ve kontrol gruplarına sahip olmamız imkansızdır. Çözümümüz, üye tabanımızı mümkün olan en küçük seviyede rastgele hale getirmektir. Örneğin, TV reklamları yalnızca çoğu ülkede TV medya pazarı düzeyinde satın alınabilir. Bu genellikle yakın coğrafi yakınlıkta bulunan şehir gruplarını içerir.
Yarı deneylerde karşılaştığımız en büyük sorunlardan biri, asimptotik özelliklerin pratikte geçerli olamayacağı küçük örneklem boyutuna sahip olmaktır. Test sınırlamaları nedeniyle genellikle az sayıda coğrafi birimimiz vardır ve ayrıca coğrafi yayılmaları en aza indirmek için daha geniş veya uzak birim grupları kullanırız. Ayrıca, birimler arasındaki heterojenlik nedeniyle tedavi ve kontrol gruplarında yüksek varyasyon ve düzensiz dağılımlarla karşılaşma olasılığımız daha yüksektir. Örneğin , Birleşik Krallık'ta Lost in Space serisini pazarlamanın bilim kurgu izleme üzerindeki etkisini ölçmekle ilgilendiğimizi varsayalım. Nüfusu yüksek olan Londra, rastgele bir şekilde tedavi hücresine atanır ve Londra'daki insanlar bilimkurgu diğer şehirlerden çok daha fazla sever. İkinci gerçeği görmezden gelirsek, pazarlamanın şu anda kafası karışmış olan gerçek etkisini abartacağız . Özetle, tipik olarak milyonlarca üye ile A / B testinde kullandığımız basit randomizasyon ve ortalama karşılaştırma, yarı deneyler için iyi çalışmayabilir.
Tasarım aşamasında bu sorunları tamamen çözmek mümkün olmayabilir. Ön yargıyı en aza indirmek ve tahminlerimizin hassasiyetini en üst düzeye çıkarmak için tasarım ve analiz sırasında bazı istatistiksel yaklaşımlar kullanırız. Tasarım sırasında, kullandığımız yaklaşımlardan biri, tekrarlanan randomizasyonlar, yani ' yeniden randomizasyon' yapmaktır . Özellikle, test hücrelerindeki anahtar değişkenler üzerinde bize istenen maksimum denge seviyesini veren bir randomizasyon bulana kadar randomize etmeye devam ediyoruz. Bu yaklaşım genel olarak daha benzer test grupları tanımlamamıza olanak tanır (yani elmalar ile elmalar karşılaştırmasına yaklaşma). Ancak yine de iki sorunla karşı karşıya kalabiliriz: 1) yalnızca sınırlı sayıda gözlemlenen değişken üzerinde aynı anda denge kurabiliriz ve tüm boyutlarda aynı coğrafi birimleri bulmak çok zordur ve 2) yine de büyük bir güvenle gürültülü sonuçlarla karşılaşabiliriz küçük örnek boyutu nedeniyle aralıklar. Daha sonra, bu sorunları daha da çözmek için analiz yaklaşımlarımızdan bazılarını tartışacağız.
Farklılıklardaki farklılık (diff-in-diff veya DID) karşılaştırması, yarı deneylerde kullanılan çok yaygın bir yaklaşımdır. Dif-in-diff'de, genellikle iki zaman dilimini dikkate alırız; müdahale öncesi ve sonrası. Ölçümlerimiz için taban çizgileri oluşturmak ve müdahale sonrası değerleri temele göre normalleştirmek için müdahale öncesi dönemi kullanırız. Bu normalleştirme, tedavi ve kontrol grupları arasındaki doğal farklılıkları kontrol etmenin basit ama çok güçlü bir yoludur. Örneğin, başarı metriğimizin kayıtlar olduğunu ve Fransa'da benzer bir deney yürüttüğümüzü varsayalım. Paris ve Lyon iki test hücresinde. Nüfuslar çok farklı olduğu için iki şehirdeki kayıtları doğrudan karşılaştıramayız. Müdahale öncesi kayıtlara göre normalleştirme, varyasyonu azaltacak ve aynı ölçekte karşılaştırmalar yapmamıza yardımcı olacaktır. Dif-in-diff yaklaşımı genellikle makul derecede iyi çalışsa da, aşağıda tartışacağımız kadar uygulanabilir olmayabileceği bazı durumlar gözlemledik.
Üye olmayan odaklı testlerimizde, kayıt sayıları gibi geçmiş satın alma ölçütlerini gözlemleyebiliriz, ancak genellikle üye olmayanlar hakkında başka herhangi bir bilgi gözlemlemeyiz. Küçük örneklem büyüklüğüyle birlikte sonuç ölçütlerindeki yüksek varyasyon, geleneksel farklara benzer yaklaşımları kullanarak iyi güçlendirilmiş bir deney tasarlamak için bir sorun olabilir. Bu problemin üstesinden gelmek için , her bir ünitede, mümkün olduğu kadar uzun bir süre boyunca birden fazla müdahaleyi içeren tasarımlar uygulamaya çalışıyoruz (yani, tek müdahale periyodlu tipik bir deney yerine). Bu, çok küçük bir örneklem boyutuyla (yani birkaç coğrafi birim) bile iyi güçlü bir deney yürütmek için yeterli kanıt toplamamıza yardımcı olabilir.
Özellikle, kısa vadeli etkileri yakalamak için müdahaleyi (örn. Reklam) farklı modellerde ve coğrafi birimlerde zaman içinde tekrar tekrar “açar” ve “kapatırız”. Müdahaleyi her "değiştirdiğimizde", bize testin etkisini okumak için bir şans daha verir. Dolayısıyla, yalnızca birkaç coğrafi birimimiz olsa bile, sonuçta etki büyüklüğünün makul ölçüde kesin bir tahminini okuyabiliriz (elbette, çok az birimimiz varsa sonuçlar başkalarına genellenemeyebilir). Analiz yaklaşımımız olarak, değişen birimlerde başka türlü ne olacağını tahmin etmek için kararlı durum birimlerinden gözlemleri kullanabiliriz. İşlem etkisini tahmin etmek için, gözlemlerin koşullu olarak Gauss olduğu bir durum uzayı modeli olan dinamik bir doğrusal modele (DLM olarak da bilinir) uyuyoruz. DLM'ler çok esnek bir model kategorisidir, ancak işleri basitleştirmek için yalnızca dar bir olası DLM yapıları alt kümesini kullanırız. Şu anda, benzer yapıya sahip deneyleri kapsayacak şekilde dahili aracımız Quasimodo'ya gömülü sağlam bir dahili paketimiz var. Modelimiz Google'ın CausalImpact paketiyle karşılaştırılabilir, ancak tek bir bölgede birden fazla noktadan noktaya müdahaleyi analiz etmemize izin veren çok değişkenli bir yapı kullanır.
Üye odaklı testlerimizde bazen tarihsel gözlemlerle başarı metriklerine sahip olmadığımız durumlarla karşılaşıyoruz. Örneğin, Netflix, gösteri çıktığında üye katılımını artırmak için henüz hizmete girecek yeni şovlarını tanıtır. Yeni bir şov için, yalnızca gösteri başladığında ölçümleri gözlemlemeye başlarız. Sonuç olarak, başarı ölçütlerimizin doğası gereği herhangi bir tarihsel gözlemi yoktur, bu da benzer zaman serilerine dayalı yaklaşımların faydalarından yararlanmayı imkansız hale getirir.
Bu durumlarda, üyelerin şovla içsel katılımını veya ilgisini ölçmek ve kontrol etmek için daha zengin üye verilerinin faydalarını kullanırız. Bunu, ilgili ön işlem vekillerini kullanarak, örneğin benzer şovları izleyerek, orijinal Netflix orijinallerine veya benzer türlere ilgi göstererek yaparız. Hem coğrafi hem de bireysel seviye farklılıklarını kontrol etmenin, karıştırıcı etkileri en aza indirmede ve hassasiyeti artırmada en iyi sonucu verdiğini gözlemledik. Örneğin, Toronto'daki üyeler Kanada'daki diğer şehirlerdeki üyelerden daha fazla Netflix orijinali izlerse, ünite içinde ve arasında ayrı ayrı yakalamak için hem bireysel hem de şehir düzeyinde görüntülenen ön işlem Netflix orijinallerini kontrol etmeliyiz.
Bu, doğası gereği ortak değişken ayarlamaya çok benzer. Ancak, büyük bir kontrol değişkenleri kümesiyle basit bir regresyon yürütmekten daha fazlasını yapıyoruz. Netflix'te, geniş bir ilgili üye özellikleri kümesini kullanarak, regresyon ortak değişken ayarlaması ve makine öğrenimine dayalı eğilim puanı eşleştirmesinin kesişim noktasında yaklaşımlar geliştirmek için çalıştık. Bu tür birleşik yaklaşımlar, yüzleşebileceğimiz doğrusallık varsayımlarını ve serbestlik derecesi zorluklarını en aza indirirken, üyelerin yeni şovdaki doğal ilgisini yüzlerce özelliği kullanarak açıkça kontrol etmemize yardımcı olur. Böylece, hem potansiyel karıştırıcı etkileri azaltmada hem de ilgilendiğimiz tedavi etkisini daha doğru bir şekilde yakalamak için hassasiyeti en üst düzeye çıkarmada önemli kazançlar elde ediyoruz.
Artık çeşitli kullanım durumları için Netflix genelinde kullanılan birçok ölçüm stratejisiyle yarı deney alanında mükemmelleştik. Ancak henüz bitirmedik! Metodolojileri daha fazla kullanım senaryosuna genişletebilir ve ölçümü iyileştirmeye devam edebiliriz. Örnek olarak, henüz keşfetmediğimiz bir başka heyecan verici alan, hem zaman serisi yaklaşımlarını hem de zengin bir dahili özellikler kümesini (örneğin, genel üye katılım ölçümleri) kullanabileceğimiz bu ölçümler için bu yaklaşımları birleştirmektir. Bu ve diğer nedensel çıkarım sorunları üzerinde çalışmakla ilgileniyorsanız, rüya ekibimize katılın !
Sıfırdan kahramana adım adım. Takviyeli öğrenme kursuma hoş geldiniz! ❤️ Python'da kodlama örnekleri ve öğreticilerle adım adım temel bilgilerden en son pekiştirmeli öğrenmeye (RL) giden bu güzel yolda birlikte yürüyelim! Bu ilk bölüm, bu yolculuğa çıkmanız için gereken minimum kavram ve teoriyi kapsar.
Bu yazıda, makine öğrenimi modellerini eğitmek için kullanılan optimizasyon algoritması 'Gradient Descent'e daha yakından bakacağız. Sonunda adım büyüklüğünden bahsederken buna hem sezgisel hem de matematiksel olarak bakacağız.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.
Elvis Presley'in başarısı, bir evcil hayvan dükkanının değerindeki yavru köpekleri satın almak gibi, başkalarının yapamayacağı şeyleri yapmasına izin verdi.
Michael Patrick King, 'Ve Aynen Böyle...'nin uçurumlardan kaçınarak 'Sex and the City'ye sadık kalacağını açıkladı.
Yıldız bir performans için büyük pişmanlıklar yaşadı.
Game of Thrones'un kadrosu şimdi nerede?
Her hafta güncellenen mini bulmacamız, en sevdiğimiz HowStuffWorks okumalarımızı zeki ipuçlarıyla birleştiriyor!
Doğru deterjanı seçme konusunda endişelenmenize gerek kalmadan çamaşır yıkamak yeterince kötü. Peki en iyisi hangisi? Yoksa önemli mi?
Kentucky kırsalındaki Fugates ve Combs aileleri, genetik piyangoyu kaybettiler ve her ikisi de, evlenirken tenlerinin mavi görünmesine neden olan nadir bir çekinik özelliği paylaştılar. Bunun nedeni neydi? Ve ailelere ne oldu?
İki babasız erkek civciv, California akbabasını yok olmaktan kurtarmak için bir programda yetiştiriliyor. Böyle 'bakire' doğumlar nasıl mümkün olabilir?
Geriye dönüp bakıldığında, BoJack'in kanepede oturduğu, bira içtiği ve Horsin 'Around tekrar gösterilerini izlediği günlerden beri uzun bir yol kat ettiğini söylemek, gerilemesini kaçınılmaz kıldı. Bu sezon BoJack'in annesinin ona mutluluk girişimlerinin boşuna olduğunu söylemesi ile başladı - kırılmak onun doğuştan hakkıdır.
Şimdiye kadar, eğlence amaçlı kullanım için neredeyse tüm dronlar quadcopterlardı, ancak bu seçenek kesinlikle uçma söz konusu olduğunda tek seçenek değildir. Drone pazarı olgunlaşıyor ve Parrot şansını sabit kanatlı biriyle denemeye karar verdi.
Yılın bu zamanı. Target ve Costco ve Whole Foods'un değiştiği garip, uzak yerlerdeki o tuhaf, uzak akrabaları ziyaret etme zamanı.
PopcornTime aka temelde "Netflix for Torrents" harika bir yazılım parçasıdır, ancak şimdiye kadar aygıtları jailbreak yapmadan bir iPhone veya iPad'de kullanmak imkansızdı. Şimdi, kurnaz geliştiriciler, normal bir iOS cihazına yetkisiz yazılım yüklemenin bir yolunu buldular.
Cardi B ve Offset'in 3 yaşındaki kızı Kulture, yeni örgülü saç modelini Instagram'da sergiledi.
Selena Gomez daha önce arkadaşı Cara Delevingne için "Çok eğlenceli ve son derece maceracı" dedi.
Şarkıcı Perşembe günü fitness rutinini değiştirmeye karar verdi.
Jamie Dornan, Superman rolü için seçmelere katıldığını ancak Henry Cavill'e yenildiğini açıkladı; ve Marvel ile MCU'ya katılma hakkında konuştu.