La probabilità che la variazione vincente di un A/B Test non sia dovuta al caso. Per essere significativo la percentuale del confidence level deve essere uguale o superiore al 95% e aver ottenuto un numero sufficiente di conversioni (almeno 200).
Il livello di confidenza nelle ricerche di mercato è definito come la quantità di certezza che i valori veri dei dati rientrino nel numero indicato nello studio di ricerca di mercato.
Lo standard del settore per il livello di fiducia nelle ricerche di mercato è in genere del 95%. Altri livelli di confidenza comuni utilizzati nelle ricerche di mercato sono 90% o 99%.
L’intervallo di confidenza di solito si lega a un margine di errore nella ricerca di mercato che in genere mira a essere +/- 5% o inferiore. Quindi, se stai leggendo un rapporto che afferma che il margine di errore è +/- 5% all’intervallo di confidenza del 95%, ciò significa che se il sondaggio fosse condotto 100 volte, 95 volte su 100, i risultati darebbero entro il 5% di ciascun totale dichiarato nel rapporto.
