A/B Testi İstatistiksel Anlamlılık Hesaplayıcı
İki versiyonun ziyaretçi ve dönüşüm sayılarını gir; ki-kare testiyle sonucun anlamlı olup olmadığını, uplift oranını ve kazanan grubu gör.
A/B Testi ve İstatistiksel Anlamlılık Hesaplama
Bir kampanyada ya da sitede yaptığın değişikliğin (buton rengi, başlık, görsel vb.) sonucu gerçekten etkileyip etkilemediğini bu araçla kontrol edebilirsin. Araç, iki varyasyon arasındaki dönüşüm oranı farkının şanstan mı yoksa yapılan değişiklikten mi geldiğini istatistiksel anlamlılık testiyle hesaplar.
A/B Testi Sonuçları Nasıl Yorumlanır?
Sonucu okurken iki değere bakılır: dönüşüm oranı (conversion rate) ve güven düzeyi (confidence level). Bir versiyon diğerinden %95 ya da daha yüksek güvenle daha iyi sonuç veriyorsa sonuç 'anlamlı' kabul edilir ve değişiklik kalıcı hâle getirilebilir.
P-Değeri (p-value) ve Önem Seviyesi
P-değeri, A ile B arasında gerçekte hiç fark yokken en az gözlemlediğin kadar büyük bir farkın tesadüfen ortaya çıkma olasılığıdır. Farkın tesadüf olma olasılığı değildir. Genellikle 0,05'ten küçük olması beklenir. Değer küçüldükçe sonucu yalnızca şansla açıklamak zorlaşır.
Örneklem Büyüklüğü (Sample Size) Neden Önemlidir?
Bir A/B testinin doğru sonuç vermesi için yeterli sayıda kullanıcıya (trafiğe) ulaşması gerekir. Çok az veriyle yapılan testler yanıltıcı olabilir. Hesaplayıcı, girdiğin örneklem büyüklüğüne göre sonucun 'gürültüden' ne kadar ayrıştığını gösterir.
A/B Testinde İstatistiksel Anlamlılık Neden Önemli?
İstatistiksel anlamlılık, iki versiyon arasındaki dönüşüm farkının gerçek mi yoksa tesadüf mü olduğunu gösterir. Anlamlılığa bakmadan verilen kararlar yalnızca rastgele dalgalanmaya (gürültüye) dayanabilir. Yaygın kullanılan eşik, yeterli örneklem büyüklüğüyle ulaşılan %95 güven düzeyidir.
Örneklem Büyüklüğü ve Test Süresi Nasıl Belirlenir?
Yetersiz örneklem, A/B testlerinde en yaygın hata kaynağıdır. Gereken örneklem büyüklüğü ve test süresi; mevcut dönüşüm oranına, yakalamak istediğin en küçük etkiye (minimum etki büyüklüğü) ve seçtiğin güven düzeyine göre hesaplanır. Çoğu dijital pazarlama platformu en az bin ziyaretçi ve iki haftalık test süresi önerir. Trafiği düşük sayfalarda testi daha uzun tutmak gerekir.
A/B Testi Sonuçlarını Doğru Yorumlamak
İstatistiksel anlamlılığa ulaşmak, sonucun kesin olarak doğru olduğunu garanti etmez. Birden fazla varyant test edildiğinde hata riski artar (çoklu karşılaştırma problemi). Kısa testler de olağan dışı trafik dalgalanmalarından etkilenebilir. Bu yüzden testin tüm iş döngülerini kapsayacak kadar uzun sürmesi ve iki varyantın da benzer trafik kaynaklarından ziyaretçi alması önerilir.