Experimentarea metricilor de implicare la BBC

No Comments

Experimentarea metricilor de implicare la BBC

Experimenting with Engagement Metrics at the BBC

Când vorbim de optimizare, majoritatea dintre noi ne vom gândi la creșterea conversiilor și a veniturilor în comerțul electronic, altfel cunoscut sub numele de CRO (optimizarea ratei de conversie). Din ce în ce mai mult, brandurile media și servicii folosesc experimentarea ca mijloc de creștere a implicării clienților și de stimulare a loialității; concentrându-se pe reținere în loc de achiziție. În afară de mesageria orientată pentru a reduce churn, loialitatea este câștigată prin a face produsul sau serviciul o bucurie de a utiliza. Cu un conținut atât de mare disponibil acum pe atât de multe platforme diferite, produsele trebuie să fie de primă clasă pentru a crește și a păstra baza de utilizatori, iar BBC nu face excepție de la aceasta.

“Trebuie să continuăm să facem lucruri strălucitoare pe canalele și serviciile noastre tradiționale. Dar, de asemenea, să lucrăm pentru a fi cu adevărat remarcabile în spațiul digital – unde audiențele noastre sunt din ce în ce mai mari, unde ne confruntăm cu o concurență imensă pentru atenția lor și unde avem șansa să le slujim în moduri noi incredibile “

Tony Hall, directorul general al BBC

Experimentarea este una dintre numeroasele metode de cercetare pe care le avem la dispoziție pentru a atinge scopul de a pune publicul în centrul produselor noastre digitale. Testarea A / B ne permite să mărim angajamentul prin dezvoltarea de produse bazate pe date și asigurându-ne că creăm cele mai bune experiențe posibile pentru public.

Când succesul nu este conversii

În comerțul electronic, alegerea metricului primar în testele A / B este destul de simplă, deoarece, în general, conversiile și / sau valoarea trebuie să crească pentru a vedea o rentabilitate a investiției. Când căutați să îmbunătățiți implicarea audienței prin experimentare, alegerea metrică poate fi un pic mai complexă. Fiecare produs are un set de indicatori KPI pe care experimentele intenționează să le sporească, dar ne concentrăm, de asemenea, pe măsurarea conducerii mai aproape de modificările cum ar fi creșterea vizibilității unui anumit episod sau articol. BBC încearcă să crească timpul pe care un membru al audienței îl petrece cu noi, astfel încât să obțină cât mai multă valoare din taxa de licență. De aceea, ne concentrăm efortul și ceea ce intenționează programul nostru de experimentare să crească în general.

Raportarea în Optimizely

În timp ce metricul nostru principal pentru majoritatea experimentelor ar trebui să fie timpul petrecut, în prezent folosim proxy-uri pentru a încheia testele. Urmărim în mod fiabil timpul petrecut în analizele noastre, dar în prezent nu avem această setare în Optimizely. De exemplu, pe iPlayer urmărim redarea și finalizarea în Optimizely și le folosim pentru a încheia testul și pentru a măsura timpul petrecut prin integrarea noastră în analiză. Facem acest lucru deoarece motorul Optimizely’s Stats oferă un mecanism mai avansat pentru verificarea semnificației statistice a testelor din două motive:

1) Testarea secvențială

Stats Engine ne permite să examinăm continuu rezultatele testelor noastre și să luăm decizii valide cu privire la încheierea testului sau la lăsarea acestuia să se desfășoare mai mult timp. Pentru aceeași analiză în instrumentul nostru de analiză, ar trebui să calculam durata testului înainte de a începe și să verificăm doar semnificația la sfârșitul duratei testului angajat.

Încărcați intrări pentru calculul timpului pentru valorile de conversie

Problema cu acest calcul este că trebuie să știți ce așteptați rezultatul testului dvs. înainte de al efectua. Dacă vă concentrați pe creșterea veniturilor, este posibil să știți ce ridicare aveți nevoie pentru ca varianta să provoace pentru a investi în dezvoltarea schimbărilor. Când obiectivul testelor dvs. este de a crește angajamentul și de a învăța despre publicul dvs., variația minimă detectabilă poate fi uneori calculată, dar uneori poate fi doar o înjunghiere în întuneric. Dacă schimbarea este subestimată, puteți pierde din detectarea unei creșteri semnificative, dar semnificativă din punct de vedere statistic, iar dacă schimbarea este supraevaluată, testul dvs. este ineficient deoarece ați rulat-o mai mult timp decât este necesar pentru a stabili rezultatele.

2) Controlul ratei descoperirii false

La BBC conducem experimentele noastre la o semnificație de 95%. Aceasta înseamnă că 1 din fiecare 20 de rezultate semnificative din punct de vedere statistic pe care le vedem va fi un rezultat fals pozitiv. Cu toate acestea, dacă măsuram mai multe valori în mai multe variante în instrumentul nostru de analiză, atunci șansele de a vedea un rezultat pozitiv fals sunt cu mult mai mult de 5%. In loc de a controla rata de eroare pentru o singură comparație, Optimizely folosește  control rata fals Discovery ,  care este o metodă care menține rata de eroare globală sub 5% pentru întregul experiment.

Raportarea experimentelor din Instrumentul Google Analytics

În timp ce păstrăm principalele valori pentru test în cadrul Optimizely, am stabilit o integrare cu instrumentul nostru de analiză, astfel încât să putem profita de timpul detaliat de urmărire pe care îl avem acolo. De asemenea, îl folosim pentru a se arunca mai adânc în rezultatele testelor și pentru a înțelege care au fost principalii factori care au condus rezultatele, prin analizarea unor valori precum:

· Vizualizări ale articolelor defalcate pe categorii

· Redarea episoadelor care au remorci

· Utilizarea călătoriilor ulterioare

Pentru a integra cu analizele noastre, trimitem un eveniment la punctul de intrare în experiment cu numele experimentului și variantelor.

Pentru ratele de conversie, putem conecta pur și simplu numărul de browsere și conversii unice într-un calculator Excel pentru a verifica o diferență statistic semnificativă. Majoritatea metricilor noastre se uită la numărul total sau la variabilele continue, însă varianța dintre browsere este un factor care contribuie la semnificație. Deoarece avem adesea peste 1 milion de browsere în fiecare dintre testele noastre, fișierele noastre sunt prea mari pentru Excel și folosim R pentru a calcula această valoare.

Caracteristicile cheie ale semnificației de calcul folosind R

Nu utilizați segmente

O problemă comună în stabilirea unui raport de testare în analiză este să vă organizați datele în segmente pe baza experienței în care se află. În funcție de opțiunile de configurare a segmentelor, este posibil să includeți acțiuni pe care browserul le-a trimis înainte de activarea testului și prin urmare, inclusiv date irelevante. Pentru a obține acest lucru, aplicăm eticheta variantei de testare tuturor evenimentelor după ce este trimisă prima dată și folosită-o ca parametru în raport, astfel încât să fie incluse numai acțiunile după activarea testului.

Îndepărtați extrageri

Deși filtrăm IP-urile interne și orice lucru care arată automat ca rezultat al rezultatelor noastre, există încă cazuri de comportament extrem. În rapoartele obișnuite de analiză, acestea nu vor face aproape nicio diferență și pot fi ignorate. Atunci când comparăm mediul unei experiențe cu alta, acestea pot avea un efect asupra rezultatelor și semnificației globale. Din acest motiv, eliminăm toate punctele de date care sunt mai departe de 3 abateri standard față de media și, dat fiind că datele noastre nu sunt distribuite în mod normal, verificăm ce procent din date este eliminat. În cazul în care mai mult de 5% din date sunt eliminate din calcul, atunci eliminăm în mod automat valorile negative.

#Function to remove outliers from data

rmoutliers <- function (x) {

#Find the mean without the zeros
y <- x[x > 0]

#Find the outlier boundary in the vector
outliers <- 3*sd(y) + mean(y)

#Remove values greater than the minimum outlier from the vector
filtered <- x[x < outliers]

#Percentage of values remaining
valsremaining <- length(filtered)/length(x)

#Give an error message if too much data is removed. This could happen if the data had a particularly long tail.
if (valsremaining < 0.95){
stop (“This function will remove more than 5% percent of your data. You need to remove outliers manually.”)}

else if (length(filtered)/length(x) < 0.99){
warning(“This calculation has removed between 1% and 5% of your data.”)
filtered
}

else
{filtered}
}

 

 

Experimenting with Engagement Metrics at the BBC

 

Removeoutliers.R găzduit ❤de GitHub

Exemplu de date dintr-un test puternic înclinat spre zero

Așa cum am arătat mai sus, datele noastre pot fi adesea înclinate la zero – să zicem, de exemplu, căutând browserele care au văzut un articol despre hochei. Deoarece avem adesea peste un milion de vizitatori în fiecare variantă, putem folosi un  test t mai degrabă decât un  test Mann-Whitney-Wilcoxon  care ar fi recomandat pentru dimensiuni mai mici ale eșantioanelor.

Calculați durata testului

Deși, ori de câte ori este posibil, folosim metrici corelați care sunt măsurabili în Optimizely pentru încheierea experimentelor noastre, există câteva cazuri în care putem concluziona numai în funcție de timpul petrecut. Un exemplu de acest tip de test este schimbarea experienței de redare în direct în iPlayer Radio, unde timpul petrecut în fluxul de radio în direct va fi singura metrică de succes. Pentru aceste cazuri, ne asigurăm că am calculat durata testului înainte de a începe experimentul. Acest lucru se face calculând abaterea standard a timpului petrecut pe browser pentru datele de o săptămână – de obicei doar săptămâna precedentă, cu excepția cazului în care a avut loc un eveniment mare care ar însemna că browserele s-au comportat diferit. Apoi  calculam durata testului a alerga în săptămâni, deoarece produsele noastre au utilizări diferite în weekend, comparativ cu săptămâna aceasta, ceea ce înseamnă că doar pentru o parte a săptămânii nu ne-ar oferi imaginea completă. Verificăm rezultatele după importanță după numărul de săptămâni specificat de calculatorul duratei de testare.

Directii viitoare

În prezent, folosim o descărcare de date din analizele noastre pentru a rula prin R, dar facem acest lucru mai eficient prin crearea unui flux de lucru Alteryx, astfel încât datele să poată fi accesate printr-un apel API și procesate automat prin apăsarea unui buton. Acest lucru va permite analiștilor de afaceri și managerilor de produse să își calculeze însemnătatea în loc să se bazeze pe disponibilitatea unui analist.

De asemenea, trimitem informații despre varianta de testare pe care cineva o utilizează pentru Redshift, pentru a ne permite să analizăm rezultatele defalcate pe segmente create de echipa noastră de date științifice. Acest lucru poate duce, uneori, la un test de urmărire în cazul în care vizează variantele noastre bazate pe segmente ale publicului nostru.

De asemenea, explorăm în prezent modalități de a obține timp petrecut în Optimizată pentru a putea folosi pe deplin motorul statistic pentru a încheia teste și a măsura impactul general al experimentării asupra KPI-ului nostru principal. Cu toate acestea, deoarece atât de mult consumul BBC este de lungă durată audio și video, ar fi nevoie de ceva asemănător cu bătăile inimii AV pentru a putea măsura cu precizie. Pentru moment, ne vom baza pe integrarea noastră în analiză pentru a ne ajuta să ne îmbogățim raportarea și să înțelegem angajamentul.

Următoarea noastră provocare de raportare va fi măsurarea succesului testelor editoriale. În prezent, construim o funcționalitate optimizată pentru a permite editorilor să configureze teste pentru imagini din cadrul instrumentului redacțional, iar acest lucru va fi extins în cele din urmă la titluri și titluri. Scopul nostru este de a avea o rată mare de testare pentru ediția de testare și dorim ca editori să fie capabili nu numai să vadă rezultatele experimentelor individuale, ci și valoarea adăugată prin testarea generală.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

This is author biographical info, that can be used to tell more about you, your iterests, background and experience. You can change it on Admin > Users > Your Profile > Biographical Info page."

About us and this blog

We are a digital marketing company with a focus on helping our customers achieve great results across several key areas.

Request a free quote

We offer professional SEO services that help websites increase their organic search score drastically in order to compete for the highest rankings even when it comes to highly competitive keywords.

Subscribe to our newsletter!

There is no form with title: "SEOWP: MailChimp Subscribe Form – Vertical". Select a new form title if you rename it.

More from our blog

See all posts
No Comments

    Leave a Comment