Analyse d’impact causal
Aussi : CausalImpact
Méthode statistique qui estime l’effet d’une intervention en comparant la série observée à ce qu’elle aurait été sans elle.
On dispose d’une série, par exemple les clics d’un groupe de pages, et d’une date d’intervention. Un modèle apprend, sur la période d’avant, la relation entre cette série et des séries de contrôle que l’intervention n’a pas touchées ; il prédit ensuite ce que la série aurait fait après la date. L’écart entre le réel et cette prédiction est l’effet estimé. CausalImpact, paquet R fondé sur des modèles bayésiens de séries temporelles et sur un article de Brodersen et de ses coauteurs paru en 2015, en est une mise en œuvre.
Sa documentation pose deux hypothèses, qui sont aussi ses limites. Les séries de contrôle ne doivent pas avoir été affectées par l’intervention : des pages témoins qui reçoivent des liens internes depuis les pages modifiées ne conviennent pas. Et la relation apprise avant doit rester stable après, ce qu’une mise à jour du moteur peut rompre. La méthode sert quand l’expérience randomisée est impossible ; elle ne la remplace pas quand elle est possible.