Poppers
Il en connaît un rayon sur les crises... |
Bon évidemment on se heurte immédiatement au problème qui fait pousser des cris d'orfraie aux détracteurs de notre discipline préférée : la macroéconomie n'est pas une science car elle ne permet pas de faire des prédictions falsifiables au sens poppérien du terme (excusez du peu). Plus prosaïquement, on ne peut pas faire d'expérience en laboratoire comme en physique pour corroborer ou invalider notre théorie. On doit donc se contenter d'une analyse statistique, comparant les chiffres produits par le modèle aux données réelles sur le PIB, le chômage, etc.
Objectif subjectif
En conséquence, l'objectif du modèle est crucial ici. Pour comprendre ce point, imaginons qu'on soit Auto Magazine, et qu'on veuille noter une Jeep. Certes, qui peut le plus peut le moins, mais il ne semble pas raisonnable d'espérer une performance optimale sur tous les critères possibles. Ainsi la Jeep n'est peut-être pas très adaptée pour circuler en ville de façon économique, ou particulièrement maniable pour un créneau, mais ça n'est pas forcément très grave. En revanche, on est en droit d'attendre qu'une Jeep se débrouille bien en dehors des routes goudronnées, ce qui est son objectif affiché.Revenons à nos modèles et au premier post de la série, dans lequel on avait cité trois types d'objectif :
- Pédagogique : Ce genre de modèle ne vise pas à représenter précisément le monde réel, mais à transmettre des intuitions économiques de façon formalisée pour mieux en analyser les implications logiques. C'est le cas par exemple de la concurrence pure et parfaite ou des modèles d'offre et de demande, tels qu'ils sont présentés aux étudiants
- Prévision : De Nostradamus à Madame Soleil, en passant par Alain Gillot-Pétré, l'envie de prédire1 le futur est une constante. Certains se sont rendus compte que l'on pouvait utiliser des modèles pour prédire les phénomènes physiques, avec plus (l'astronomie) ou moins (la météorologie) de succès. Partant, l'économie aussi a commencé à s'y mettre, cherchant à prévoir les mouvements boursiers (l'appât du gain aidant) ou des variables d'intérêt pour la politique économique
- Inférence : Les prévisions pures sont bien sûr utiles (va-t-il pleuvoir demain, et aurais-je donc besoin de mon parapluie?). Mais une autre volonté profonde de l'être humain est de modifier le passé pour changer le futur, tels le Terminator ou Marty McFly. Sauf qu'évidemment la DeLorean n'existe pas, donc il faut essayer d'anticiper les effets des différents scénarios avant leur réalisation. C'est là qu'interviennent les modèles, qui permettent de faire des expériences de pensée chiffrées sur des réalités alternatives
Système métrique
Comment alors mesurer la performance d'un modèle selon son objectif ? On laisse ici de côté l'objectif pédagogique qui est moins pertinent pour cette discussion et commençons plutôt par la prévision qui est d'une certaine façon l'objectif le plus simple à évaluer, car il suffit de comparer ce que produit le modèle avec la réalisation observée. Pour notre objet d'intérêt ici, une étude de 2010 montre que même les modèles DSGE de pointe (ici le Smets et Wouters) n'ont qu'une piètre performance en matière de prévision. Nous voyons cela sur le graphique ci-contre, qui montre la réalisation empirique du PIB aux Etats-Unis de 1992 à 2006, en fonction de la prédiction du modèle. Si la prévision du modèle était bonne, on devrait observer une droite partant de zéro, de pente 1 (la fonction identité quoi). Au lieu de cela, on observe un nuage de point, sans motif particulier.Edge, Gurkaynak (2010) |
Wieland, Wolters (2012) |
R2D2
Passons à l'inférence, qui suppose de comprendre les relations entre les différentes variables pour pouvoir analyser les scénarios éventuels, comme par exemple : l'inflation augmente-t-elle ou diminue-t-elle si la banque centrale augmente les taux ?Par conséquent, au niveau le plus basique, le modèle doit être en mesure de répliquer les données disponibles, ce qu'on quantifie par sa qualité d'ajustement. Les métriques classiques sont par exemple le coefficient de détermination (plus connu sous le nom de R2) ou encore l'erreur quadratique moyenne. Une bonne vieille inspection visuelle peut aussi faire l'affaire. On montre par exemple ci-contre que le Smets et Wouters (ligne grise) se débrouille plutôt pas mal comparé aux données trimestrielles américaines de l'après-guerre (ligne noire).
Del Negro, Schorfheide, Smets, Wouters (2005) |
De plus les modélisateurs DSGE rajoutent leur petit grain de sel aux mesures classiques : la réponse impulsionnelle. En effet, il est possible de simuler un monde virtuel "toutes choses égales par ailleurs" à l'aide de modèles statistiques avancés (dits vectoriels autoregressifs structurels). Le but du jeu étant de voir si le comportement du modèle DSGE est similaire à celui du modèle statistique lorsque se produit un choc (de technologie par exemple comme nous en avons mis en avant dans le premier post). C'est ce qu'utilisent notamment Christiano, Eichenbaum et Trabandt dans un article récent, défendant les modèles DSGE. On voit que la ligne pleine bleue suit très bien les contours esquissés par les modèles purement statistiques (lignes grises).
Il faut quand même noter que ce genre de comparaison suppose de valider aussi le modèle auquel on s'étalonne, donc ce genre d'argument est parfois un peu comme le serpent qui se mord la queue ! Nous rentrerons dans plus de details sur ce point, ainsi que d'autres aspects statistiques dans un post séparé.
Just missing the point
Malgré tout, il y a un aspect un peu embêtant dans la recherche actuelle sur les modèles DSGE : il y a eu très peu de recherche sur la modélisation de la Grande Dépression de 1929. Certes certains modèles de taille réduite ont été développés au tournant de ce siècle, mais plutôt dans un but d'histoire économique. Economiam n'a ainsi pas trouvé de traces de tentatives d'estimer des modèles néo-keynésiens (comme par exemple celui de Smets et Wouters) sur les données de cette époque, même après la Crise de 2008 (si quelqu'un connaît des papiers, on est preneurs).Pourtant, il semble logique d'attendre de ces modèles qu'ils capturent la crise la plus marquante du XXe siècle, car c'est là la justification principale de leur existence. Rappelons en effet qu'ils prétendent se baser sur des invariants de comportements humains, ce qui les rendrait plus fiables que les modèles purement statistiques (qui ont du mal à capturer les réalités très différentes à la fois de 1929 et de maintenant). On pense donc chez Economiam qu'un DSGE qui connaîtrait la Crise (de 1929) aurait vu plus loin que le bout de son nez en 2008...
-------------------------------------------------------------------
1. Il semblerait que le lexique n'ait pas complètement convergé entre prédiction et prévision dans le monde de la data science francophone, à cause de l'anglicisme sur prediction (utilisé par exemple dans le très populaire Introduction to Statistical Learning) qui se distingue peu d'après le Oxford Dictionary de forecast. Ce dernier n'a cependant pas obtenu les mêmes galons de coolitude dans le cénacle des buzzwords du Big Data.