Optimizely Intelligence Cloud: come utilizzare Stats Engine per eseguire test A/B in modo più intelligente e veloce

Optimizely Stats Engine e strategie di test A/B

Se stai cercando di eseguire un programma di sperimentazione per aiutare la tua azienda a testare e apprendere, è probabile che tu stia utilizzando Intelligenza ottimizzata Cloud – o almeno l'hai guardato. Optimizely è uno degli strumenti più potenti del gioco, ma come qualsiasi strumento del genere, potresti usarlo in modo sbagliato se non capisci come funziona. 

Cosa rende Optimizely così potente? Al centro del suo set di funzionalità c'è il motore di statistiche più informato e intuitivo in uno strumento di terze parti, che ti consente di concentrarti maggiormente sull'ottenimento di test importanti in tempo reale, senza doverti preoccupare di interpretare erroneamente i tuoi risultati. 

Proprio come un tradizionale studio cieco in medicina, A / B testing mostrerà casualmente diversi trattamenti del tuo sito a diversi utenti per poi confrontare l'efficacia di ciascun trattamento. 

Le statistiche quindi ci aiutano a trarre conclusioni su quanto efficace possa essere il trattamento a lungo termine. 

La maggior parte degli strumenti di test A/B si basa su uno dei due tipi di inferenza statistica: statistiche frequentiste o bayesiane. Ogni scuola ha vari pro e contro: le statistiche frequentiste richiedono che una dimensione del campione sia fissata prima di eseguire un esperimento e le statistiche bayesiane si preoccupano principalmente di prendere buone decisioni direzionali piuttosto che specificare una singola figura per l'impatto, per citare due esempi. Il superpotere di Optimizely è che è l'unico strumento oggi sul mercato per prendere un Il meglio di entrambi i mondi approccio.

Il risultato finale? Optimizely consente agli utenti di eseguire esperimenti in modo più rapido, affidabile e intuitivo.

Per trarne il massimo vantaggio, però, è importante capire cosa sta succedendo dietro le quinte. Ecco 5 approfondimenti e strategie che ti permetteranno di utilizzare le capacità di Optimizely come un professionista.

Strategia n. 1: Comprendi che non tutte le metriche sono uguali

Nella maggior parte degli strumenti di test, un problema comunemente trascurato è che più metriche aggiungi e monitori come parte del tuo test, più è probabile che tu veda alcune conclusioni errate a causa di casualità (nelle statistiche, questo è chiamato "problema di test multipli "). Al fine di mantenere affidabili i suoi risultati, Optimizely utilizza una serie di controlli e correzioni per ridurre al minimo le probabilità che ciò accada. 

Questi controlli e correzioni hanno due implicazioni quando si impostano i test in Optimizely. Innanzitutto, la metrica che designi come tua Metrica primaria raggiungerà la significatività statistica più velocemente, tutte le altre cose costanti. In secondo luogo, più metriche aggiungi a un esperimento, più tempo impiegheranno le metriche successive per raggiungere la significatività statistica.

Quando si pianifica un esperimento, assicurati di sapere quale metrica sarà il tuo vero nord nel tuo processo decisionale, rendila la tua metrica primaria. Quindi, mantieni snello il resto dell'elenco delle metriche rimuovendo tutto ciò che è troppo superfluo o tangenziale.

Strategia n. 2: Crea i tuoi attributi personalizzati

Optimizely è ottimo per offrirti diversi modi interessanti e utili per segmentare i risultati dell'esperimento. Ad esempio, puoi esaminare se determinati trattamenti hanno prestazioni migliori su desktop rispetto a dispositivi mobili o osservare le differenze tra le sorgenti di traffico. Man mano che il tuo programma di sperimentazione matura, desidererai rapidamente nuovi segmenti: questi potrebbero essere specifici per il tuo caso d'uso, come i segmenti per acquisti una tantum rispetto agli acquisti in abbonamento, o generali come "visitatori nuovi rispetto a quelli di ritorno" (che, francamente, non riusciamo ancora a capire perché non sia fornito fuori dalla scatola).

La buona notizia è che tramite il campo Project Javascript di Optimizely, gli ingegneri che hanno familiarità con Optimizely possono creare un numero qualsiasi di attributi personalizzati interessanti a cui i visitatori possono essere assegnati e segmentati. In Cro Metrics, abbiamo creato una serie di moduli stock (come "visitatori nuovi e di ritorno") che installiamo per tutti i nostri clienti tramite il loro Project Javascript. Sfruttare questa capacità è un elemento chiave di differenziazione tra i team maturi che dispongono delle giuste risorse tecniche per aiutarli a eseguire e i team che lottano per realizzare il pieno potenziale della sperimentazione.

Strategia n. 3: Esplora l'acceleratore di statistiche di Optimizely

Una caratteristica dello strumento di test spesso sopravvalutata è la capacità di utilizzare "banditi multi-armati", un tipo di algoritmo di apprendimento automatico che cambia dinamicamente dove viene allocato il traffico nel corso di un esperimento, per inviare il maggior numero di visitatori al "vincente" variazione possibile. Il problema con i banditi multi-armati è che i loro risultati non sono indicatori affidabili di prestazioni a lungo termine, quindi il caso d'uso per questi tipi di esperimenti è limitato a casi urgenti come le promozioni delle vendite.

Optimizely, tuttavia, ha un diverso tipo di algoritmo bandito disponibile per gli utenti con piani superiori: Stats Accelerator (ora noto come opzione "Accelerate Learnings" all'interno di Bandits). In questa configurazione, invece di provare ad allocare dinamicamente il traffico alla variazione con il rendimento più elevato, Optimizely alloca dinamicamente il traffico alle variazioni che hanno maggiori probabilità di raggiungere la significatività statistica più rapidamente. In questo modo, puoi imparare più velocemente e mantenere la replicabilità dei tradizionali risultati dei test A/B.

Strategia n. 4: aggiungi emoji ai nomi delle metriche

A prima vista, questa idea suona probabilmente fuori luogo, persino insensata. Tuttavia, un aspetto fondamentale per assicurarsi di leggere i risultati dell'esperimento corretti inizia dall'assicurarsi che il pubblico possa comprendere la domanda. 

A volte, nonostante i nostri migliori sforzi, i nomi delle metriche possono creare confusione (aspetta: quella metrica si attiva quando l'ordine viene accettato o quando l'utente accede alla pagina di ringraziamento?), oppure un esperimento ha così tante metriche che scorrendo i risultati pagina porta a un sovraccarico cognitivo totale.

L'aggiunta di emoji ai nomi delle metriche (obiettivi, segni di spunta verdi, anche il sacco di soldi potrebbe funzionare) può portare a pagine che sono molto più scansionabili. 

Fidati di noi: leggere i risultati sarà molto più facile.

Strategia n. 5: Riconsidera il tuo livello di significatività statistica

I risultati sono considerati conclusivi nel contesto di un esperimento Optimizely quando sono stati raggiunti significato statistico. La significatività statistica è un termine matematico difficile, ma essenzialmente è la probabilità che le tue osservazioni siano il risultato di una differenza reale tra due popolazioni, e non solo del caso casuale. 

I livelli di significatività statistica riportati da Optimizely sono "sempre validi" grazie a un concetto matematico chiamato test sequenziali – questo in realtà li rende molto più affidabili di quelli di altri strumenti di test, che sono soggetti a tutti i tipi di problemi di "sbirciatina" se li leggi troppo presto.

Vale la pena considerare quale livello di significatività statistica ritieni importante per il tuo programma di test. Sebbene il 95% sia la convenzione nella comunità scientifica, stiamo testando le modifiche al sito Web, non i vaccini. Un'altra scelta comune nel mondo sperimentale: 90%. Ma sei disposto ad accettare un po' più di incertezza per eseguire esperimenti più velocemente e testare più idee? Potresti usare l'85% o addirittura l'80% di significatività statistica? Essere intenzionali sul tuo equilibrio rischio-rendimento può pagare dividendi esponenziali nel tempo, quindi pensaci attentamente.

Ulteriori informazioni su Optimizely Intelligence Cloud

Questi cinque rapidi principi e approfondimenti saranno incredibilmente utili da tenere a mente durante l'utilizzo di Optimizely. Come con qualsiasi strumento, si riduce ad assicurarsi di avere una buona comprensione di tutte le personalizzazioni dietro le quinte, in modo da poter essere sicuri di utilizzare lo strumento in modo efficiente ed efficace. Con queste conoscenze, puoi ottenere i risultati affidabili che stai cercando, quando ne hai bisogno. 

Cosa ne pensi?

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati dei tuoi commenti.