Valutazione Marcom: un'alternativa al test A / B

sfera dimensionale

Quindi vogliamo sempre sapere come marcom (comunicazioni di marketing) è performante, sia come veicolo che per una singola campagna. Nella valutazione di marcom è comune utilizzare semplici test A / B. Questa è una tecnica in cui il campionamento casuale popola due celle per il trattamento della campagna.

Una cella riceve il test e l'altra no. Quindi il tasso di risposta o il ricavo netto viene confrontato tra le due celle. Se la cella di test supera le prestazioni della cella di controllo (entro i parametri di test di aumento, affidabilità, ecc.), La campagna è considerata significativa e positiva.

Perché fare qualcos'altro?

Tuttavia, questa procedura manca di generazione di informazioni. Non ottimizza nulla, viene eseguito nel vuoto, non dà implicazioni per la strategia e non ci sono controlli per altri stimoli.

In secondo luogo, troppo spesso, il test è inquinato in quanto almeno una delle celle ha accidentalmente ricevuto altre offerte, messaggi di marca, comunicazioni, ecc. Quante volte i risultati del test sono stati ritenuti inconcludenti, anche non sensati? Quindi testano ancora e ancora. Non imparano nulla, tranne che i test non funzionano.

Ecco perché consiglio di utilizzare la regressione ordinaria per controllare tutti gli altri stimoli. Modellazione della regressione fornisce anche informazioni sulla valutazione di marcom che può generare un ROI. Questo non viene fatto nel vuoto, ma fornisce opzioni come portafoglio per ottimizzare il budget.

Esempio

Diciamo che stavamo testando due e-mail, test vs controllo e i risultati sono tornati privi di senso. Poi abbiamo scoperto che il nostro dipartimento del marchio ha accidentalmente inviato un messaggio di posta diretta (principalmente) al gruppo di controllo. Questo pezzo non è stato pianificato (da noi) né preso in considerazione nella scelta casuale delle celle di prova. Cioè, il gruppo business-as-usual ha ricevuto il solito direct mail ma il gruppo di test, che è stato tenuto fuori, no. Questo è molto tipico in una società, in cui un gruppo non lavora né comunica con un'altra unità aziendale.

Quindi, invece di testare in cui ogni riga è un cliente, arrotoliamo i dati per periodo di tempo, diciamo settimanalmente. Sommiamo, per settimana, il numero di e-mail di prova, e-mail di controllo e messaggi diretti inviati. Includiamo anche variabili binarie per tenere conto della stagione, in questo caso trimestrale. La TABELLA 1 mostra un elenco parziale degli aggregati con il test dell'email a partire dalla settimana 10. Ora facciamo un modello:

net \ _rev = f (em \ _test, em \ _cntrl, dir \ _mail, q_1, q_2, q_3, ecc.)

Il modello di regressione ordinario come formulato sopra produce l'output della TABELLA 2. Includere qualsiasi altra variabile di interesse indipendente. Di particolare rilievo dovrebbe essere che il prezzo (netto) è escluso come variabile indipendente. Questo perché il ricavo netto è la variabile dipendente e viene calcolato come prezzo (netto) * quantità.

TABELLA 1

settimana em_test em_cntrl dir_mail q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

Includere il prezzo come variabile indipendente significa avere il prezzo su entrambi i lati dell'equazione, il che è inappropriato. (Il mio libro, Analisi di marketing: una guida pratica alla vera scienza del marketing, fornisce ampi esempi e analisi di questo problema analitico). L'R2 corretto per questo modello è del 64%. (Ho lasciato cadere q4 per evitare la trappola fittizia.) Emc = email di controllo ed emt = email di prova. Tutte le variabili sono significative al livello del 95%.

TABELLA 2

q_3 q_2 q_1 dm emc emt const
coeff -949% -1,402% -2,294% 12 44 77 5,039
st err 474.1 487.2 828.1 2.5 22.4 30.8
rapporto t -2 -2.88% -2.77% 4.85 1.97 2.49

In termini di test e-mail, l'e-mail di prova ha superato l'email di controllo di 77 contro 44 ed è stata molto più significativa. Quindi, tenendo conto di altre cose, l'e-mail di prova ha funzionato. Queste intuizioni arrivano anche quando i dati sono inquinati. Un test A / B non avrebbe prodotto questo.

La TABELLA 3 prende i coefficienti per calcolare la valutazione marcomm, un contributo di ciascun veicolo in termini di ricavi netti. Cioè, per calcolare il valore del direct mail, il coefficiente di 12 viene moltiplicato per il numero medio di direct mail inviati di 109 per ottenere $ 1,305. I clienti spendono un importo medio di $ 4,057. Così $ 1,305 / $ 4,057 = 26.8%. Ciò significa che il direct mail ha contribuito per quasi il 27% alle entrate nette totali. In termini di ROI, 109 direct mail generano $ 1,305. Se un catalogo costa $ 45 allora ROI = ($ 1,305 - $ 55) / $ 55 = 2300%!

Poiché il prezzo non era una variabile indipendente, di solito si conclude che l'impatto del prezzo è sepolto nella costante. In questo caso la costante di 5039 include il prezzo, eventuali altre variabili mancanti e un errore casuale, ovvero circa l'83% delle entrate nette.

TABELLA 3

q_3 q_2 q_1 dm emc emt const
Coeff -949% -1,402% -2,294% 12 44 77 5,039
significare 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $ 352 - $ 521 - $ 262 $ 1,305 $ 269 $ 379 $ 4,057
valore -7.20% -10.70% -5.40% 26.80% 5.50% 7.80% 83.20%

Conclusione

La regressione ordinaria ha offerto un'alternativa per fornire approfondimenti di fronte a dati sporchi, come spesso accade in uno schema di test aziendale. La regressione fornisce anche un contributo alle entrate nette e un business case per il ROI. La regressione ordinaria è una tecnica alternativa in termini di valutazione del marcomm.

ir? t = marketingtechblog 20 & l = as2 & o = 1 & a = 0749474173

Commenti

  1. 1

    Bella alternativa a una questione pratica, Mike.
    Nel modo in cui hai fatto, immagino che non ci sia sovrapposizione di comunicatori target nelle settimane immediatamente precedenti. Altrimenti avresti un componente regressivo automatico e / o ritardato?

  2. 2

Cosa ne pensi?

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati dei tuoi commenti.