Deney Uygulaması ve Kalite Kontrolü

Bir deneyin güvenilirliği, QA kaydının ne kadar eksiksiz olduğuna bağlı.

Görsel bir editör size tek bir browser'ı ve tek bir sorunsuz akışı gösteriyor. CTA'yı kapatan mobil klavyeyi, sessizce tetiklenmemeye başlayan izleme script'ini ya da bir ekran okuyucu kullanıcısının ilk karşılaştığı erişilebilirlik sorununu göstermiyor. Biz her varyantı aynı kontrol listesinden geçiriyor, örneklem başlamadan önce atamayı ve izlemeyi doğruluyor, geri dönüş yolunu hiç ihtiyaç duyulmadan önce test ediyoruz. Elinizde her deney için yayından önce onaylanmış bir QA kaydı ve sorun çıktığında çalıştığı önceden test edilmiş bir geri dönüş yolu kalıyor. Sık deney yürüten ve her varyantı aynı yayın kontrolünden geçirmek isteyen ekipler için uygun.

Bir deney varyantı için fonksiyonel, izleme, performans ve erişilebilirlik kontrollerini kapsayan onaylı bir yayın listesi

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • GE
  • Yves Rocher
  • Peak Games
  • eOfis
  • Hotiç
  • Turna.com
  • Amazon
  • BMW
  • Shell
  • Hyundai
  • PepsiCo
  • Red Bull
  • MediaMarkt
  • Decathlon
  • Trendyol
  • Hepsiburada
  • Sahibinden.com
  • Bayer
  • Sanofi
  • EY
  • KPMG
  • DenizBank
  • Acıbadem Sağlık Grubu
  • Abdi İbrahim

Çalışma nasıl yürüyor

Her varyantı aynı yayın kontrol listesinden geçiriyoruz

Tutarlılığı, yalnızca riskli görünen kurulumlarda daha dikkatli davranarak sağlayamayız. Aynı kontrol listesini her varyantta çalıştırıyor ve sonuçlarını kayda geçiriyoruz.

Çalışma ilkelerimiz

  • Her varyant, her seferinde aynı yayın kontrol listesinden geçiyor
  • Atamanın doğruluğunu sonuçlardan çıkarmıyor, örneklem başlamadan önce doğruluyoruz
  • Performans ve erişilebilirlik sorunlarını QA sırasında yakalamaya çalışıyoruz
  • Geri dönüşün çalıştığını varsaymıyor, hiç ihtiyaç duyulmadan önce kanıtlıyoruz

  1. Bu program için yayın kontrol listesini kuruyoruz

    Bu site ya da uygulamadaki her deney için kontrol edilecek maddeleri belirliyoruz: fonksiyonel davranış, cihazlar arası görünüm, erişilebilirlik, performans, izleme ve atama. Listeyi ilk deney yayına girmeden önce hazır hâle getiriyoruz. Liste kullanılmadan önce CRO ekibimiz ve sizin geliştirme ekibiniz onaylıyor.

    Fonksiyonel, cihazlar arası, erişilebilirlik, performans, izleme ve atama kontrollerini kapsayan program yayın kontrol listesi.

  2. Fonksiyonel ve cihazlar arası davranışı doğruluyoruz

    Duraklatılmış varyantı bu kitle için önemli olan browser'larda, ekran boyutlarında ve cihazlarda kontrol ediyoruz. Amaçlanan değişikliğin sadece kurulum önizlemesinde değil her yerde tasarlandığı gibi göründüğünü doğruluyoruz. Fonksiyonel QA'yı, varyantı kurmayan bağımsız bir kişi onaylıyor.

    Her farkın not edildiği, onaylanmış cihaz ve tarayıcı matrisi sonucu.

  3. İzleme ve atamanın doğruluğunu kontrol ediyoruz

    Deneye trafik yönlendirilmeden önce ilgili her olayın her varyantta doğru tetiklendiğini ve atama mekanizmasının trafiği yapılandırdığımız gibi böldüğünü doğruluyoruz. Deney ekibimiz örneklemi onaylamadan önce analitik ekibimiz izlemenin doğru olduğunu teyit ediyor.

    Teste açılmadan önce her varyant için kaydedilmiş olay tetikleme ve atama dağılımı doğrulaması.

  4. Performans ve erişilebilirlik kayıplarını kontrol ediyoruz

    Varyantın yükleme performansına ve düzen kararlılığına etkisini ölçüyor, ana sayfanın geçtiği aynı kriterlerle erişilebilirlik kontrolünü yeniden çalıştırıyoruz. Her kaybı yayından önce kayda geçiriyoruz. Onaydan önce işaretlenen kayıpları sizin geliştirme ekibiniz gözden geçiriyor.

    Varyantın kontrol sayfasıyla karşılaştırıldığı performans ve erişilebilirlik ölçümü.

  5. Geri dönüş yolunun çalıştığını kanıtlıyoruz

    Deney yayına girmeden önce geri dönüş mekanizmasının kâğıt üzerinde var olduğunu doğrulamakla yetinmiyor, gerçekten test ediyoruz. Böylece bir koruma metriği ihlal edildiğinde teorik değil, çalışan bir çıkışınız oluyor. Yayını onaylamadan önce geri dönüş testinin geçtiğini deney ekibimiz doğruluyor.

    Yayından önce çıkış yolunun çalıştığını gösteren geri dönüş provası kaydı.

  6. Onaylıyor, yayınlıyor ve kaydı arşivliyoruz

    Gereken her onayı topluyor, yalnızca onaylı kapsamı yayınlıyor ve tam QA kaydını arşivliyoruz. Böylece bir koruma metriği ihlal edildiğinde ya da sonradan bir inceleme gerektiğinde elimizin altında oluyor. Gereken her onay tamamlanana kadar deney ekibimiz yayını başlatmıyor.

    Onayladığı yayın kapsamıyla birlikte arşivlenen, eksiksiz ve imzalı QA kaydı.

Ekibinize ne teslim ediliyor

QA'nın hangi kontrollerle tamamlandığını gösteren kayıtlar

Dört teslimat, varyantın yalnızca gözle incelenmediğini ve gerekli kontrollerin gerçekten çalıştırıldığını gösteriyor.

  • Program düzeyinde yayın kontrol listesi

    Bu programdaki her deneyin geçtiği standart liste. Fonksiyonel, cihazlar arası, izleme, performans ve erişilebilirlik kontrollerini kapsıyor.

  • Fonksiyonel ve cihaz QA kaydı

    Her varyantı belirlediğimiz cihaz ve browser listesinden geçirmenin onaylı sonucu. Tutarsızlıklar da not ediliyor.

  • İzleme, atama, performans ve erişilebilirlik bulguları

    Olayların doğru tetiklendiğinin, atamanın yapılandırdığımız gibi bölündüğünün ve varyantla birlikte hiçbir performans veya erişilebilirlik kaybının yayına girmediğinin doğrulanması.

  • Test edilmiş geri dönüş kaydı

    Geri dönüş mekanizmasının yalnızca yazıya dökülmediğini, pratikte de çalıştığını gösteren kayıt.

Çalışma başlamadan önce

Bu çalışmanın doğru adım olduğu durumlar

Önizlemede sorunsuz görünen bir varyant production'da sorun çıkarabiliyor. Bir deney kurulumunun görsel editörü tek bir browser'ı, tek bir ekran boyutunu ve tek bir sorunsuz akışı gösteriyor. CTA'yı kapatan mobil klavyeyi, tetiklenmeyi bırakan izleme script'ini, sayfa yüklenmesini yavaşlatan ek bir script'i ya da ekran okuyucu kullanıcılarını etkileyen bir erişilebilirlik sorununu göstermiyor. QA'nın işi tam da önizlemenin göstermediklerini aramak.

Şu durumlarda iyi bir seçim

  • Deneyler sık yayına giriyor ve göz kararı kontroller kaçınılabilir yayın riski yaratıyor, ama her varyantın geçmesi gereken ortak bir yayın listesi bulunmuyor.
  • Varyantları bir iç ekip ya da ajans kuruyor, ancak izleme, cihaz davranışı, performans ve erişilebilirlik bağımsız biri tarafından kontrol edilmiyor.
  • Hatalı bir deney yayını gerçek trafiği etkiliyor, bu yüzden koruma metriği bozulmadan önce geri dönüş yolunun provadan geçmesi gerekiyor.
  • Varyantlar tek bir masaüstü tarayıcıda göz kararı incelenip cihaz kontrolü olmadan yayına giriyor.
  • Sonuçlar tuhaf görünene kadar atama bölünmesinin gerçekten yapılandırıldığı gibi olduğunu kimse doğrulamıyor.
  • Varyant için eklenen yeni bir script ya da stil, sayfa yüklenmesini veya düzen kararlılığını bozuyor ve kimse yayından önce ölçmemiş.
  • Örneklem başladıktan sonra bir şey ters giderse varyantı geri almanın yazılı ve test edilmiş bir yolu yok.

Şu durumlarda başka bir çalışma daha doğru

  • Yılda yalnızca birkaç deney yürütülüyor, bu yüzden test tasarımındaki tek seferlik ön kontrol program düzeyinde ek bir QA listesine yetiyor.
  • Varyantlar hâlâ fikir aşamasında kalıyor, bu yüzden incelenecek hazır kurulum, atama kaydı ya da çalışan event bulunmuyor.
  • QA sorunları işaretliyor, ama yayın ve geri dönüş kararını üstlenen kimse bulunmadığı için her bulgu beklemede kalıyor.

Her kanalın kendi sorumlusu var

Zeo'da Ücretli Arama, Sosyal Medya Reklamları, CRO ve Programatik alanlarının her birini adı belli bir sorumlu yürütüyor. Aşağıdaki danışmanlar bu sayfanın konu aldığı kanala göre eşleşiyor, böylece gerçekte kiminle çalışacağınızı görebilirsiniz.

Bu konuda ürettiğimiz içerikler

YazıZafer YıldızGA4'te Cross Domain Tracking: Kapsamlı Rehber

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • BrowserStack

    mobil klavyenin CTA'yı kapattığını emülatörde değil, gerçek cihazda yakalıyor

  • Google Tag Manager

    varyant yayına girmeden hangi tag'lerin, hangi sırayla çalıştığını gösteriyor

Her deneyi aynı titizlikte kontrolden geçirelim

Bir sonraki testinizin önüne gerçek bir yayın kontrolü koyalım

Ziyaretçilerinizden önce fonksiyonel, performans, izleme ya da erişilebilirlik sorununu yakalayan kontrol listesini kurabilir ya da sizin adınıza çalıştırabiliriz. Geri dönüşün de ihtiyaç duyulmadan önce çalıştığını kanıtlarız.
Deney QA sürecinizi konuşalım

En sık duyduğumuz sorular

QA zaten test tasarımı yönteminin bir parçası değil mi?

Test tasarımı tek bir deney için bir ön kontrol adımı içeriyor. Bu yöntem ise sürekli ve program düzeyinde bir disiplin. Tekrarlanabilir ve bağımsız incelenen bir listenin tek seferlik bir kontrolden daha değerli hâle geldiği kadar sık deney yürüten ekipler için.

Varyantları kim kuruyor, Zeo mu sizin ekibiniz mi?

İkisi de olabiliyor. Bu yöntem, varyantı ister sizin ekibiniz, ister bir ajans, ister biz kuralım, yayından önce devreye giren bağımsız QA katmanı. Önemli olan, varyantı kurmayan birinin onaylaması.

QA yayına yakın gerçek bir sorun bulursa ne olur?

Yayın bekliyor. İşaretlenen fonksiyonel, performans, izleme ya da erişilebilirlik sorununu örneklemden önce düzeltip yeniden kontrol ediyoruz. Bilinen bir sorun varken sırf teslim tarihine yetişmek için yayına almıyoruz.

Her deney için geri dönüşü ayrı ayrı test ediyor musunuz?

Evet. Hiç çalıştırılmamış bir geri dönüş, çalışıp çalışmadığına dair bir tahminden ibaret kalıyor. Provayı yayından önce yapıyor ve mekanizmanın gerçekten çalıştığını doğruluyoruz.