Web Analytics · Pazarlama Ölçümleme
Incrementality ve Lift Ölçümleme
Holdout, korelasyonun cevaplayamadığı soruyu cevaplar: kanal olmasaydı ne olurdu.
Attribution, gerçekleşmiş dönüşümlerin kredisini kanallar arasında dağıtır. Bir kanal durdurulduğunda ne olacağını göstermez. Bu soruyu kontrollü bir karşılaştırmayla incelemek için holdout, geo split veya harcama değişikliğine dayalı bir testi tasarlayıp yürütürüz. Elinizde ön kaydı, ölçülen lift'i, güven aralığını ve test edilen koşulları birlikte gösteren incrementality sonucu kalıyor.
Birlikte çalıştığımız 500'den fazla markadan birkaçı
Tüm referansları gör
Nasıl yürütürüz?
Testin tasarımını, uygulamasını ve koşullarını birlikte doğrularız
Uygun popülasyonu, başarı ölçütünü ve analiz yöntemini test başlamadan önce kayıt altına alırız. Tasarımı önceden kayda alır, holdout veya geo split'i uygular, test koşullarını izler ve lift sonucunu belirsizliğiyle birlikte değerlendiririz.
Çalışma ilkelerimiz
- Uygulanabilir test tasarımı — Kanalı, mevcut hacmi ve operasyonel kontrol imkânlarını değerlendirerek holdout, geo split veya harcama değişikliğine dayalı tasarımı seçeriz.
- Önceden tanımlanan popülasyon ve sonuç — Uygun popülasyonu ve başarı ölçütünü test başlamadan önce belirleriz. Böylece sonuçlara bakarak kapsamı sonradan değiştirmeyiz.
- Contamination takibi — Test ve kontrol gruplarının birbirine karışıp karışmadığını izleriz. Contamination, ölçülen lift'i olduğundan farklı gösterebilir.
- Lift ile birlikte belirsizlik aralığı — Tek bir kesin rakam vermek yerine lift'i güven aralığıyla raporlarız. Daha dar bir aralık için gereken örneklem büyüklüğü veya süreyi de belirtiriz.
Testi tasarlama
Test yapısını, uygun popülasyonu ve sonuç metriğini tanımlarız. Ardından gerekli örneklem büyüklüğünü veya süreyi hesaplarız. Kanal sorumlusu, tasarımın operasyonel olarak uygulanabilir olduğunu onaylar.
Test tasarım dokümanı
Holdout veya geo split kurulumu
Bastırılmış kitle, geo split veya harcama durdurma mekanizmasını kurarız. Test başlamadan önce uygulamanın tasarımla uyumunu doğrularız. Mühendislik lideri, bastırma veya bölünme mekanizmasının doğru çalıştığını onaylar.
Uygulama kontrolü
Test koşullarını izleme
Test boyunca gruplar arasındaki contamination riskini ve sonucu etkileyebilecek dış koşulları takip ederiz. Analist, işaretlenen örtüşmenin testi geçersiz kılıp kılmadığına karar verir.
İzleme kaydı
Lift sonucunu değerlendirme
Lift'i ve güven aralığını hesaplarız. Sonucun hangi kararı desteklediğini, hangi yorumların ise test kapsamının dışında kaldığını açıklarız. Kanal sorumlusu, yeni harcama kararından önce aralığı ve test sınırlarını kabul eder.
Incrementality sonucu
Test koşullarını sonuçları görmeden belirleriz
Otomasyon her süre seçeneği için testi boyutlandırır, holdout yapılandırmasını yazılı tasarımla karşılaştırır, gruplar arasındaki harcama veya hedef kitle örtüşmesini işaretler ve ham lift'ten güven aralığını çıkarır. Kararlar insanda kalır: tasarımın gerçek operasyona uyup uymadığı, işaretlenen örtüşmenin testi geçersiz kılıp kılmadığı ve aralığın bütçeyi kaydırmaya yetip yetmediği.
Ne teslim ederiz?
Lift sonucunu belirsizliği ve kalite notlarıyla birlikte teslim ederiz
Test sonucu tek bir lift rakamıyla sınırlı kalmaz. Tasarımı, güven aralığını, test edilen koşulları ve contamination bulgularını da içerir.
Çalışma dokümanı
Test tasarım dokümanı
Sonuçlar oluşmadan önce yazılmış, uygun popülasyonu, başarı metriğini ve analiz yaklaşımını içeren ön kayıtlı tasarım.
Karar notu
Incrementality sonucu
Güven aralığıyla birlikte ölçülen lift ve bu sonucun desteklediği karar.
Test notları
Contamination ve kalite notları
Gruplar arası contamination ile dış koşullar için yapılan kontroller ve bunların sonucun yorumuna etkisi.
Şu olduğunda tamam sayarız: lift güven aralığıyla birlikte raporlandığında, contamination açıkça kontrol edildiğinde ve sonuçsuz bir test temiz bir olumsuz sonuç gibi okunmadığında.
Uyum ve hazırlık
Kanalın gerçek katkısı kontrollü bir karşılaştırma gerektirir
Testin uygulanabilirliği hacim, bütçe esnekliği ve kararın önemine bağlıdır.
Şu durumlarda iyi bir seçim
- Bir kanalın attribution modelinde ne kadar kredi aldığından ziyade, gerçekten artımlı dönüşüm yaratıp yaratmadığını bilmeniz gerekiyor.
- Kanalın dönüşüm hacmi holdout veya geo split'i destekliyor, bütçe de test boyunca grupları ayrı tutacak kadar esnek kalıyor.
- Önemli bir harcama kararı lift kanıtını bekliyor, çünkü kanal sorumlusu güven aralığını görmeden bütçeyi nereye taşıyacağına karar veremiyor.
Şu durumlarda başka bir çalışma daha doğru
- Kanal katkısını kontrollü testle ölçmek istemiyorsunuz, yalnızca kredi dağılımını daha hızlı görmek istiyorsunuz. Bu durumda Pazarlama Attribution Modellemesi doğru kapsam oluyor.
- Pazarlama harcaması yerine ürün içi bir özelliği veya UX değişikliğini test ediyorsanız bu ihtiyaç Ürün Deneyleri Ölçümleme çalışmasına girer.
Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Pazarlama Ölçümleme ve Attribution çalışmalarının tümü
Şu olduğunda tamam sayarız: Uygun popülasyon, başarı metriği ve test süresi ön kayda geçmiştir, ayrıca kanal sorumlusu tasarımın gerçek operasyonda yürüyebileceğini onaylamıştır.
Ölçümleme sisteminizi kuran ekip
Zeo, bir iş kararını kurallara bağlı veri toplamaya ve sizin kontrol edebileceğiniz raporlamaya bağlayan ölçümleme sistemleri kuruyor. Burada gördüğünüz kişiler, bu sistemin sayfanın kapsadığı bölümünde çalışıyor.
Abdullah Tanıdır
Performance Marketing Team Lead
Sevda Yurtvermez
Performance Marketing Team Lead
Serap Yurtvermez
Performance Marketing Team Lead
İlker Emir
Senior Performance Marketing Executive
İpek Ezer
Performance Marketing Executive
Ozan Ketenci
VP of Consulting & Strategy
Onur Durdağı
Performance Marketing Executive
Mehmet Aktuğ
Co-Founder & COO
Deniz Çağın Demirci
Frontend Developer
Mirzamin Aghazada
UI/UX Designer
Yağmur Bayram
Sr. SEO Analyst
Kullandığımız araçlar
Bu işin arkasındaki araçlar
GeoLiftGeo holdout testini attribution modeli yerine burada tasarlayıp analiz ediyoruz
JupyterErken sonuçlar görünür olduğunda test tasarımının değiştirilmesini önleyen kayıt
Google AnalyticsCanlı testte holdout pazara sızan contamination'ı buradan izliyoruz
Bu çalışma nereye bağlanır?
Devam edin
Aynı yetkinlik
Pazarlama Attribution Modellemesi
Kanalı durdurma onayı çıkmıyorsa holdout kurulamaz. Kredi modeli daha zayıf bir soruyu yanıtlar ama kanıtlayamadığı iddiayı da karar notunda adlandırır.
Aynı yetkinlik
Pazarlama Forecasting ve Senaryo Planlama
Tek bir bütçe düzeyinde ve tek bir dönemde ölçülen lift, diğerleri için geçerli değildir. Farklı harcama düzeyi senaryo aralıklarında modellenir.
Analitiğin başka bir alanı
Veri Zenginleştirme ve Dönüşüm
Join'e girmeyen kayıtlar ait oldukları gruptan sessizce düşer ve bu lift gibi okunur. Ölçülen eşleşme oranı bu kaybı sonuçtan önce görünür kılar.
Sonraki adım
Kanalın artımlı katkısını ölçmek için testi planlayın
Başlamadan önce
Görüşmeden önce sorulanlar
Bu çalışma attribution modellemesinden nasıl ayrılır?
Attribution, gerçekleşmiş dönüşümlerin kredisini dağıtır. Incrementality testi ise kanalın aksi durumda oluşmayacak dönüşümleri yaratıp yaratmadığını kontrollü bir karşılaştırmayla ölçer. Daha fazla hacim, zaman ve operasyonel maliyet gerektirir. Buna karşılık nedensel bir soruyu ele alır.
Temiz bir test için yeterli hacim yoksa ne olur?
Yetersiz güçlü bir testten kesin bir sonuç çıkarmayız. Uygun olduğunda daha uzun süre, pazarların birleştirilmesi veya testin ertelenmesi seçeneklerini değerlendiririz.
Testi gelir kaybı olmadan yürütebilir miyiz?
Holdout ve benzeri tasarımlar çoğunlukla kısa vadeli bir fırsat maliyeti taşır. Kararı yanıtlayabilecek en küçük uygulanabilir testi boyutlandırırız. Maliyetin kabulü kanal sorumlusuna aittir.
Gerçek bir test için hangi koşullar gerekiyor?
Holdout veya geo split kurmaya yetecek hacim ve bütçe esnekliği ile test boyunca kanalı durdurma ya da kitleyi bastırma yetkisine sahip bir karar verici kişi gerekir.