Valutazione Marcom: un'alternativa al test A / B
Quindi vogliamo sempre sapere come Marco (comunicazioni di marketing) è performante, sia come veicolo che per una singola campagna. Nella valutazione di marcom è comune utilizzare semplici test A / B. Questa è una tecnica in cui il campionamento casuale popola due celle per il trattamento della campagna.
Una cella riceve il test e l'altra no. Quindi il tasso di risposta o il ricavo netto viene confrontato tra le due celle. Se la cella di test supera le prestazioni della cella di controllo (entro i parametri di test di aumento, affidabilità, ecc.), La campagna è considerata significativa e positiva.
Perché fare qualcos'altro?
Tuttavia, questa procedura manca di generazione di informazioni. Non ottimizza nulla, viene eseguito nel vuoto, non dà implicazioni per la strategia e non ci sono controlli per altri stimoli.
In secondo luogo, troppo spesso, il test è inquinato in quanto almeno una delle celle ha accidentalmente ricevuto altre offerte, messaggi di marca, comunicazioni, ecc. Quante volte i risultati del test sono stati ritenuti inconcludenti, anche non sensati? Quindi testano ancora e ancora. Non imparano nulla, tranne che i test non funzionano.
Ecco perché consiglio di utilizzare la regressione ordinaria per controllare tutti gli altri stimoli. Modellazione della regressione fornisce anche informazioni sulla valutazione di marcom che può generare un ROI. Questo non viene fatto nel vuoto, ma fornisce opzioni come portafoglio per ottimizzare il budget.
Esempio
Diciamo che stavamo testando due e-mail, test vs controllo e i risultati sono tornati non sensati. Poi abbiamo scoperto che il nostro dipartimento del marchio ha accidentalmente inviato un messaggio di posta diretta (principalmente) al gruppo di controllo. Questo pezzo non è stato pianificato (da noi) né preso in considerazione nella scelta casuale delle celle di prova. Cioè, il gruppo business-as-usual ha ricevuto la solita posta diretta ma il gruppo di test, che è stato tenuto fuori, no. Questo è molto tipico in una società, in cui un gruppo non lavora né comunica con un'altra unità aziendale.
Quindi, invece di testare in cui ogni riga è un cliente, arrotoliamo i dati per periodo di tempo, diciamo settimanalmente. Sommiamo, per settimana, il numero di e-mail di prova, e-mail di controllo e messaggi diretti inviati. Includiamo anche variabili binarie per tenere conto della stagione, in questo caso trimestrale. La TABELLA 1 mostra un elenco parziale degli aggregati con il test dell'email a partire dalla settimana 10. Ora facciamo un modello:
Il modello di regressione ordinario come formulato sopra produce l'output della TABELLA 2. Includere qualsiasi altra variabile di interesse indipendente. Di particolare rilievo dovrebbe essere che il prezzo (netto) è escluso come variabile indipendente. Questo perché il ricavo netto è la variabile dipendente e viene calcolato come prezzo (netto) * quantità.
TABELLA 1
settimana | em_test | em_cntrl | dir_mail | rete_rev | |||
---|---|---|---|---|---|---|---|
9 | 0 | 0 | 55 | 1 | 0 | 0 | $1,950 |
10 | 22 | 35 | 125 | 1 | 0 | 0 | $2,545 |
11 | 23 | 44 | 155 | 1 | 0 | 0 | $2,100 |
12 | 30 | 21 | 75 | 1 | 0 | 0 | $2,675 |
13 | 35 | 23 | 80 | 1 | 0 | 0 | $2,000 |
14 | 41 | 37 | 125 | 0 | 1 | 0 | $2,900 |
15 | 22 | 54 | 200 | 0 | 1 | 0 | $3,500 |
16 | 0 | 0 | 115 | 0 | 1 | 0 | $4,500 |
17 | 0 | 0 | 25 | 0 | 1 | 0 | $2,875 |
18 | 0 | 0 | 35 | 0 | 1 | 0 | $6,500 |
Includere il prezzo come variabile indipendente significa avere il prezzo su entrambi i lati dell'equazione, il che è inappropriato. (Il mio libro, Analisi di marketing: una guida pratica alla vera scienza del marketing, fornisce ampi esempi e analisi di questo problema analitico). L'R2 corretto per questo modello è del 64%. (Ho lasciato cadere q4 per evitare la trappola fittizia.) Emc = email di controllo ed emt = email di prova. Tutte le variabili sono significative al livello del 95%.
TABELLA 2
dm | emc | emt | const | ||||
---|---|---|---|---|---|---|---|
coef | all'949 ottobre | all'1,402 ottobre | all'2,294 ottobre | 12 | 44 | 77 | 5,039 |
st errare | 474.1 | 487.2 | 828.1 | 2.5 | 22.4 | 30.8 | |
rapporto t | -2 | all'2.88 ottobre | all'2.77 ottobre | 4.85 | 1.97 | 2.49 |
In termini di test e-mail, l'e-mail di prova ha superato l'email di controllo di 77 contro 44 ed è stata molto più significativa. Quindi, tenendo conto di altre cose, l'e-mail di prova ha funzionato. Queste intuizioni arrivano anche quando i dati sono inquinati. Un test A / B non avrebbe prodotto questo.
La TABELLA 3 prende i coefficienti per calcolare la valutazione marcomm, un contributo di ciascun veicolo in termini di ricavi netti. Cioè, per calcolare il valore del direct mail, il coefficiente di 12 viene moltiplicato per il numero medio di direct mail inviati di 109 per ottenere $ 1,305. I clienti spendono un importo medio di $ 4,057. Così $ 1,305 / $ 4,057 = 26.8%. Ciò significa che il direct mail ha contribuito per quasi il 27% alle entrate nette totali. In termini di ROI, 109 direct mail generano $ 1,305. Se un catalogo costa $ 45 allora ROI = ($ 1,305 - $ 55) / $ 55 = 2300%!
Poiché il prezzo non era una variabile indipendente, di solito si conclude che l'impatto del prezzo è sepolto nella costante. In questo caso la costante di 5039 include il prezzo, eventuali altre variabili mancanti e un errore casuale, ovvero circa l'83% delle entrate nette.
TABELLA 3
dm | emc | emt | const | ||||
---|---|---|---|---|---|---|---|
coefficiente | all'949 ottobre | all'1,402 ottobre | all'2,294 ottobre | 12 | 44 | 77 | 5,039 |
significare | 0.37 | 0.37 | 0.11 | 109.23 | 6.11 | 4.94 | 1 |
$4,875 | - $ 352 | - $ 521 | - $ 262 | $1,305 | $269 | $379 | $4,057 |
APPREZZIAMO | -7.20% | -10.70% | -5.40% | 26.80% | 5.50% | 7.80% | 83.20% |
Conclusione
La regressione ordinaria ha offerto un'alternativa per fornire approfondimenti di fronte a dati sporchi, come spesso accade in uno schema di test aziendale. La regressione fornisce anche un contributo alle entrate nette e un business case per il ROI. La regressione ordinaria è una tecnica alternativa in termini di valutazione del marcomm.