Bir deneydeki olumlu sonuçlar, bir analistin günlük çalışmasındaki en önemli noktalardan biridir (ve aynı şekilde ürün ekibi için de). Önemli bir ölçümün istenen yönde önemli ölçüde hareket ettiğini görmek, fikir aşamasından uygulamaya kadar bir denemede harcanan tüm sıkı çalışma için büyük bir ödüldür.
Bu durumlarda, önemli bir ölçümde gözlemlenen bir yüzde artışını organizasyonun geri kalanına gururla bildirmek ve gururla bildirmek cezbedicidir. Ancak, genellikle test sonuçları toplam kullanıcı popülasyonunu temsil etmez ve bir denemenin genel ticari etkisinin yanlış bir yansımasını verebilir.
Bu makalede, farklı ürün girişimleri arasında karşılaştırılabilirlik sağlamak ve tarafsız karar vermeyi desteklemek için bir kuruluşta deney sonuçlarının nasıl raporlanması gerektiğine daha derinden dalacağım.
Ebay'in ürün sayfasındaki aşağıdaki (uyumlu) AB Testine bakarak bir örnekle başlayalım. Daha fazla kullanıcıyı dönüştürmek ve bu gruptaki satın alma sayısını artırmak amacıyla test hücresine yeni bir ' Ücretsiz Posta ' başlığı eklendi:
Afiş aşağıdaki durumlarda gösterilir:
Bunun gibi testler yapılırken, web sitesindeki veya uygulamadaki tüm kullanıcılar denemeye anında eklenmez. Genellikle , kullanıcıların AB Testinin bir parçası olmak için geçmesi gereken bir maruz kalma noktası seçeriz. Sonuçların seyreltilmesini önlemek ve yalnızca yeni değişikliğin etkisini ölçtüğümüzden emin olmak için bu nokta tedaviye mümkün olduğunca yakın olmalıdır.
Ücretsiz Posta denemesi durumunda, ücretsiz gönderim için uygun olan bir ürün sayfasına giriş iyi bir maruz kalma noktası olabilir. Bu nedenle, yalnızca böyle bir sayfaya en az bir kez giren kullanıcılar denemenin bir parçası olacaktır (test veya kontrol grubunda).
Tüm aktif kullanıcıların %80'inin ürün sayfasına geçtiğini ve bu kullanıcıların %10'unun ücretsiz posta ücretine uygun bir ürün sayfasını görüntülediğini varsayalım. Bu, tüm etkin kullanıcıların %8'inin denemeye maruz kalacağı anlamına gelir:
Diyelim ki bu deneyi yaptık ve test grubunda kullanıcı başına işlem sayısında +%10 istatistiksel olarak anlamlı bir artış gördük. Bu noktada, bu büyük kazancı kuruluş genelinde duyurmak son derece cazip gelebilir (“ Vay canına, kullanıcı başına işlemleri %10 oranında artırdık!” ).
Takımlar bu başarıyı takip etmeye ve benzer deneyler hakkında düşünmeye başlayabilir. Başarılı olan ancak yalnızca %2'lik bir artış sağlayan diğer deneyler artık o kadar da önemli görünmeyebilir.
Ancak, tüm kullanıcıların yalnızca bir bölümünün gerçekten denemenin parçası olmaya uygun olduğunu unutmayalım. Bu, deneme gönderilirse, kullanıcı başına işlemler üzerindeki genel etkinin önemli ölçüde daha düşük olacağı anlamına gelir!
Yukarıdaki örnekte, kullanıcıların yalnızca %8'inin uygun olduğu göz önüne alındığında, deneyin tüm popülasyonun işlem oranı (veya üst satır etkisi) üzerindeki genel etkisi %10 yerine yalnızca %0,8 olacaktır.
Bu nedenle, deneme içindeki kullanıcı işlemlerinde yalnızca %2'lik bir artış gösteren alternatif bir deneme, daha büyük bir kullanıcı grubunu etkiliyorsa daha değerli olabilir (bunun için kullanıcıların %40'ından fazlasının hedef grubun içinde olması gerekirdi). yeni deneyim).
Bu , istenen metrikte daha küçük bir kazanç gösteren deneylerin, daha yüksek bir kapsama sahip olsalar bile, sonunda daha yüksek bir etki sağlayabilecekleri anlamına gelir .
Ürün ekipleri, sonuçlarını her zaman üst sıra metrikleri üzerindeki etki açısından raporlamayı hedeflemelidir. Bu, farklı testlerin etkisini karşılaştırırken karışıklığı önler ve organizasyonun geri kalanının belirli bir ürün alanının potansiyelini kolayca ölçmesine olanak tanır.
O zaman AB-Testiyle ilgili diğer gönderilerimden birini de beğenebilirsiniz:
28 Temmuz 2022'de Güneş, Yeni Ay, Aslan'da Ceres kavuşumu Jüpiter RX'i üçgen yapacak, Merkür ise Uranüs'ü Merkür, Uranüs-Mars, Satürn'e T-karesinin bir parçası olarak veya düğümler ise sabit bir Büyük Haç ile kare yapacak. dahildir. Venüs, Kara Ay Lilith ve Yengeç burcundaki sabit yıldız Sirius ile kavuşum halindedir.
"Merhaba, bir kişilik masanız var mı?" Birkaç müşteriyi oturttuktan sonra hostesin hostes standına ne zaman döndüğünü sordum. "Merhaba, rezervasyon yapılmadıysa barımız var," diye cevapladı hostes, kulağının arkasından gelen başka bir hostes ile konuşmamızı böldü.
Yaz sonu ve sonbahar nostaljik mevsimlerdir. Sokak lambaları ışıklarını yağmurlu sokaklara saçıyor ve ayakların altındaki yapraklar - alacakaranlığın gölgelerinde soluk kırmızı-turuncu - geçmiş günlerin bir hatırlatıcısı.
26 Temmuz'da Kilise, Meryem Ana'nın ebeveynleri olan Aziz Joachim ve Anne'yi inançları ve azimleri için anıyor. İşte ailemin hikayesi - hayatlarını sadelik içinde yaşayan ve bize yedi çocuğuna yaşam boyu eğitim veren basit bir çift.
asla kırılmayan, kendi yolunu bulan, ateşle şıngırdayan, her zaman inanmak isteyen, başka her şey neden önemli olsun ki, her şey bir yolunu bulup dururken, yavaş yavaş kalbimi veren türden. Bir yabancıya, hiç ayrılmak istemeyeceklerini umarak, umarım yeterli olur, her şey zorlaştığında ve umarım bir gün, o kadar da sert olmadığımı bilerek, kendimi yeterli bulurum. gerçekten blöf dediğim bu 'korkusuz Varlık'ta.
Kedi Felix'in 9. doğum gününde, yetişkin hayatımın en büyük kayıplarından birini hatırlıyorum - 2013'teki Sophie'm. Bu makaleyi yazdım ve 2013'te bu platformda kısaca paylaştım.