Aynı veri, üç istatistik bakışı
Testvoy her deneyi tek bir parlak skorla geçiştirmez. Aynı deney verisini Bayesian karar olasılığı, Frequentist doğrulama ve SRM trafik kalite kontrolüyle birlikte okur. Bu yaklaşım, erken karar riskini, trafik dağılım hatasını ve ekip içinde açıklama zorluğunu azaltmaya yardımcı olur.
Bayesian: B varyantı kazanma olasılığı ve beklenen kayıp
Frequentist: p-value ve confidence interval
SRM: trafik dağılımı beklenen orandan sapıyor mu?
Revenue: lift sadece conversion değil gelir etkisiyle de okunur
Ne zaman karar vermeliyim?
Küçük örneklemde yüksek lift heyecan verici görünebilir ama karar riski yüksektir. Minimum sample, traffic split, SRM, bot filtering ve segment davranışı birlikte okunmadan deney sonlandırmak yanlış kazanan seçimine yol açabilir.
- Örneklem yeterli mi?
- SRM uyarısı var mı?
- Bot veya dropped event sinyali var mı?
- CI aralığı iş kararını destekliyor mu?
- Revenue ve segmentler aynı yönü mü gösteriyor?
Örnek rapor okuma akışı
Örnek: Variant B toplam conversion'da güçlü görünüyor. Karar vermeden önce funnel adımlarına, segment kırılımlarına, revenue etkisine, bot filtreleme sinyallerine ve SRM uyarısına bak. Bu sıra, tek metrikle erken karar verme riskini azaltır.
- 01
Best variant kartını oku
- 02
Bayesian/Frequentist sinyalleri kontrol et
- 03
SRM uyarısı var mı bak
- 04
Funnel drop-off adımlarını incele
- 05
Device, country ve UTM segmentlerini karşılaştır
- 06
Revenue veya RPV aynı yönü destekliyor mu kontrol et
- 07
Shareable report oluştur
Variant B signup_completed metriğinde +8.4% lift gösteriyor.
SRM uyarısı yok.
Mobil segmentte lift daha güçlü; desktop nötr.
Checkout drop-off değişmedi.
Karar: Variant B'yi %25 rollout ile ilerlet.Pratik senaryo
Bir growth ekibi pricing sayfasındaki CTA metnini değiştirir, signup_started ve signup_completed hedeflerini bağlar, Google Ads ve returning visitor segmentlerini ayrı okur. Sonuç olumluysa rapor linkini müşteri veya yönetimle paylaşır.
Sık yapılan hatalar
Hataların çoğu yanlış project key, fazla genel selector, eksik goal, staging/prod karışıklığı, küçük örneklemle erken karar veya mobile görünümü kontrol etmemekten çıkar.
Deneye 'test' gibi belirsiz ad vermek
Goal olmadan deney başlatmak
Sadece toplam CVR ile karar vermek
Shareable report yerine ekran görüntüsü göndermek