Demander un devis Devis

Significativité statistique

Aussi : signification statistique · p-value

Caractère d’un écart observé jugé trop grand pour être raisonnablement attribué au seul hasard de l’échantillon.

On part de l’hypothèse qu’il n’y a aucun effet, puis on calcule la probabilité d’observer un écart au moins aussi grand que celui constaté si cette hypothèse était vraie : c’est la valeur p (p-value). Si elle passe sous un seuil fixé avant le test, l’écart est déclaré significatif. Ce seuil est une convention, dont le manuel de statistique du NIST écrit lui-même que le choix est en partie arbitraire.

Exemple fictif : deux titres testés sur des fiches produit donnent 52 et 61 commandes. Significatif ou non, cela dépend du nombre de visites derrière chaque chiffre, pas de l’écart seul. Trois contresens sont à éviter. Significatif ne veut pas dire important : un écart infime le devient avec assez de trafic. La valeur p n’est pas la probabilité que la variante soit meilleure. Et arrêter le test au premier jour où le seuil est franchi fabrique de faux gagnants.

Source NIST/SEMATECH e-Handbook of Statistical Methods — 7.1.3.1, Critical values and p values

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.