Catégories
Info investissements

Le culte de la signification statistique

"Mais est-ce significatif?"

C’est toujours l’une des premières questions posées aux chercheurs en économie et en finance. C'est un contraste intéressant avec: "Est-ce important?"

Le culte de la signification statistique par Stephen T. Ziliak et Deirdre N. McCloskey est un livre que chaque économiste, analyste de recherche et investisseur a probablement besoin de lire, mais très peu l'ont. Les auteurs décrivent comment l'ensemble du domaine de l'économie et de la finance est devenu fasciné par les valeurs p. Si un résultat est statistiquement significatif au niveau de 5%, il est considéré comme un phénomène valable. Un résultat qui échoue à ce test est censé être inexistant.

Bouton d'abonnement

De toute évidence, la règle des 5% manque deux points. Premièrement, par hasard seulement, une expérience sur 20 devrait atteindre ce seuil. Étant donné que des milliers, voire des millions, de tests sont effectués chaque année sur des données financières et économiques, nous pouvons imaginer combien de résultats faussement positifs sont trouvés puis publiés. Après tout, un résultat positif est beaucoup plus facile à publier qu'un résultat négatif.

Je me souviens d'avoir assisté à un séminaire pendant mes jours à l'université. Un chercheur a présenté des preuves statistiquement significatives selon lesquelles les administrateurs de sociétés quittent le conseil d'administration avant que le cabinet ne rencontre des problèmes avec leurs auditeurs ou régulateurs. C’est très bien. Mais ensuite, il nous a montré que cette observation peut rapporter de l'argent: une surperformance totale de 0,2% par an – avant les coûts de transaction.

Parce que le chercheur avait tellement de points de données pour estimer sa régression, il pouvait générer une signification statistique même si l'effet n'avait aucune signification économique. Au final, c'était un exercice purement académique.

Et deuxièmement, au 21e siècle, la quantité de données disponibles s'est multipliée à maintes reprises. Les hedge funds et les gestionnaires d'actifs traditionnels utilisent le Big Data pour trouver des modèles de marchés qu'ils peuvent exploiter. Ils analysent les données avec l'intelligence artificielle (IA) pour trouver des corrélations «significatives» que les analyses traditionnelles manqueraient. Cette approche de l'investissement a beaucoup défis surpasser.

Un élément majeur et rarement mentionné: plus nous examinons de données, plus nous avons de chances de trouver des effets statistiquement significatifs, et plus nous avons de données sous-jacentes, plus nos tests statistiques deviennent puissants. Ainsi, avec plus de données, nous pouvons détecter des effets de plus en plus petits qui peuvent ou non être économiquement significatifs.

Image de couverture du livre sur la tolérance au risque et les circonstances

Dans «Statistical Nonsignificance in Empirical Economics», Alberto Abadie analyse la quantité de connaissances que nous acquérons avec un résultat de test statistiquement significatif. La courbe en pointillés dans le graphique ci-dessous montre l'hypothèse de la distribution possible d'une variable avant tout test. Ensuite, nous mesurons les données – par exemple, les rendements des actions avec des caractéristiques spécifiques – et nous obtenons un résultat statistiquement significatif. La courbe continue montre où le véritable effet pourrait être en fonction du nombre de points de données. Avec très peu de points de données, un résultat statistiquement significatif sculpte une assez grande partie de la distribution. Nous apprenons donc beaucoup plus si nous obtenons un résultat significatif avec peu de points de données.

Mais avec 10 000 points de données, le découpage est extrêmement petit. Cela signifie que plus nous avons de données, moins un résultat statistiquement significatif est informatif. D'un autre côté, s'il y a un échec de signification statistique avec un test sur 10 000 points de données, nous apprenons énormément. En fait, nous saurions que la vraie valeur devrait être presque exactement nulle. Et cela, en soi, pourrait donner lieu à une stratégie d'investissement extrêmement puissante.


L'impact d'un résultat statistiquement significatif sur nos connaissances

.


C'est une des principales raisons pour lesquelles tant de Big Data et d'applications AI échouent dans la vie réelle et pourquoi tant d'équité les facteurs cesser de travailler une fois qu'ils sont décrits dans la littérature universitaire.

En fait, une définition plus stricte de importance qui explique le biais possible de l'exploration de données montre que sur les centaines de facteurs d'équité, seuls trois sont largement à l'abri du p-hacking et de l'exploration de données: le facteur de valeur, le facteur de momentum et un facteur vraiment ésotérique que je n'ai toujours pas bien compris .

Alors, quel est le gros plat à emporter? Ce n'est pas parce qu'il est statistiquement «significatif» qu'il importe. Et si ce n'est pas significatif, cela peut très bien être important. La prochaine fois que vous croiserez un nouveau résultat significatif, demandez-vous si cela compte.

Pour plus d'informations de Joachim Klement, CFA, ne manquez pas 7 erreurs que chaque investisseur commet (et comment les éviter) et Profil de risque et toléranceet inscrivez-vous à son Klement sur l'investissement commentaire.

Si vous avez aimé cet article, n'oubliez pas de vous abonner à la Investisseur entreprenant.


Tous les articles sont l'opinion de l'auteur. En tant que tels, ils ne doivent pas être interprétés comme des conseils en investissement, et les opinions exprimées ne reflètent pas nécessairement les vues du CFA Institute ou de l’employeur de l’auteur.

Crédit d'image: © Getty Images / fstop123

Joachim Klement, CFA

Joachim Klement, CFA, est administrateur de la CFA Institute Research Foundation et propose régulièrement des commentaires sur Klement sur l'investissement. Auparavant, il était CIO chez Wellershoff & Partners Ltd., et avant cela, responsable de l'équipe de recherche stratégique UBS Wealth Management et responsable de la stratégie actions pour UBS Wealth Management. Klement a étudié les mathématiques et la physique à l'Institut fédéral suisse de technologie (ETH), Zurich, Suisse, et Madrid, Espagne, et a obtenu une maîtrise en mathématiques. De plus, il détient une maîtrise en économie et finance.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *