DSGE III: Mon petit DSGE, connaît pas la crise

Une des critiques principales adressées aux modèles DSGE est qu'ils n'ont pas vu venir la crise de 2008 et la récession qui s'ensuivit. Comment peut-on alors leur faire confiance ? Dans ce post on se pose donc la question : comment savoir si notre modèle est représentatif du monde réel ?

Poppers

Il en connaît un rayon sur les crises...

Dans le post précédent, nous avons discuté d'arguments de cohérence interne pour valider les modèles de type DSGE. Ici, on attaque le problème sous un autre angle, celui de l'adéquation avec les données empiriques.

Bon évidemment on se heurte immédiatement au problème qui fait pousser des cris d'orfraie aux détracteurs de notre discipline préférée : la macroéconomie n'est pas une science car elle ne permet pas de faire des prédictions falsifiables au sens poppérien du terme (excusez du peu). Plus prosaïquement, on ne peut pas faire d'expérience en laboratoire comme en physique pour corroborer ou invalider notre théorie. On doit donc se contenter d'une analyse statistique, comparant les chiffres produits par le modèle aux données réelles sur le PIB, le chômage, etc.

Objectif subjectif

En conséquence, l'objectif du modèle est crucial ici. Pour comprendre ce point, imaginons qu'on soit Auto Magazine, et qu'on veuille noter une Jeep. Certes, qui peut le plus peut le moins, mais il ne semble pas raisonnable d'espérer une performance optimale sur tous les critères possibles. Ainsi la Jeep n'est peut-être pas très adaptée pour circuler en ville de façon économique, ou particulièrement maniable pour un créneau, mais ça n'est pas forcément très grave. En revanche, on est en droit d'attendre qu'une Jeep se débrouille bien en dehors des routes goudronnées, ce qui est son objectif affiché.

Revenons à nos modèles et au premier post de la série, dans lequel on avait cité trois types d'objectif :

• Pédagogique : Ce genre de modèle ne vise pas à représenter précisément le monde réel, mais à transmettre des intuitions économiques de façon formalisée pour mieux en analyser les implications logiques. C'est le cas par exemple de la concurrence pure et parfaite ou des modèles d'offre et de demande, tels qu'ils sont présentés aux étudiants 
• Prévision : De Nostradamus à Madame Soleil, en passant par Alain Gillot-Pétré, l'envie de prédire¹ le futur est une constante. Certains se sont rendus compte que l'on pouvait utiliser des modèles pour prédire les phénomènes physiques, avec plus (l'astronomie) ou moins (la météorologie) de succès. Partant, l'économie aussi a commencé à s'y mettre, cherchant à prévoir les mouvements boursiers (l'appât du gain aidant) ou des variables d'intérêt pour la politique économique
• Inférence : Les prévisions pures sont bien sûr utiles (va-t-il pleuvoir demain, et aurais-je donc besoin de mon parapluie?). Mais une autre volonté profonde de l'être humain est de modifier le passé pour changer le futur, tels le Terminator ou Marty McFly. Sauf qu'évidemment la DeLorean n'existe pas, donc il faut essayer d'anticiper les effets des différents scénarios avant leur réalisation. C'est là qu'interviennent les modèles, qui permettent de faire des expériences de pensée chiffrées sur des réalités alternatives

Système métrique

Comment alors mesurer la performance d'un modèle selon son objectif ? On laisse ici de côté l'objectif pédagogique qui est moins pertinent pour cette discussion et commençons plutôt par la prévision qui est d'une certaine façon l'objectif le plus simple à évaluer, car il suffit de comparer ce que produit le modèle avec la réalisation observée. Pour notre objet d'intérêt ici, une étude de 2010 montre que même les modèles DSGE de pointe (ici le Smets et Wouters) n'ont qu'une piètre performance en matière de prévision. Nous voyons cela sur le graphique ci-contre, qui montre la réalisation empirique du PIB aux Etats-Unis de 1992 à 2006, en fonction de la prédiction du modèle. Si la prévision du modèle était bonne, on devrait observer une droite partant de zéro, de pente 1 (la fonction identité quoi). Au lieu de cela, on observe un nuage de point, sans motif particulier.

Edge, Gurkaynak (2010)

On est donc assez loin de pouvoir prédire quoique ce soit de façon fiable avec ces modèles. Il faut quand même préciser que cette performance ne les rend pas pire qu'autre chose, vu que les autres modèles standards - et ceux qui les utilisent - sont passés à côté de la Crise, comme le montre les graphiques ci-dessous : la ligne verte est la moyenne des prévisions économiques professionnelles (en anglais, Survey of Professional Forecasters - SPF - chacune représentée par une ligne grise), tandis qu'une sélection de modèles de type DSGE sont représentés chacun par une ligne rouge. On voit clairement que les prévisionnistes se sont plantés dans les grande largeurs et que les modèles DSGE font un peu moins bien que la moyenne mais sans être complètement absurdes.

Wieland, Wolters (2012)

R2D2

Passons à l'inférence, qui suppose de comprendre les relations entre les différentes variables pour pouvoir analyser les scénarios éventuels, comme par exemple : l'inflation augmente-t-elle ou diminue-t-elle si la banque centrale augmente les taux ?

Par conséquent, au niveau le plus basique, le modèle doit être en mesure de répliquer les données disponibles, ce qu'on quantifie par sa qualité d'ajustement. Les métriques classiques sont par exemple le coefficient de détermination (plus connu sous le nom de R²) ou encore l'erreur quadratique moyenne. Une bonne vieille inspection visuelle peut aussi faire l'affaire. On montre par exemple ci-contre que le Smets et Wouters (ligne grise) se débrouille plutôt pas mal comparé aux données trimestrielles américaines de l'après-guerre (ligne noire).

Del Negro, Schorfheide, Smets, Wouters (2005)

De plus les modélisateurs DSGE rajoutent leur petit grain de sel aux mesures classiques : la réponse impulsionnelle. En effet, il est possible de simuler un monde virtuel "toutes choses égales par ailleurs" à l'aide de modèles statistiques avancés (dits vectoriels autoregressifs structurels). Le but du jeu étant de voir si le comportement du modèle DSGE est similaire à celui du modèle statistique lorsque se produit un choc (de technologie par exemple comme nous en avons mis en avant dans le premier post). C'est ce qu'utilisent notamment Christiano, Eichenbaum et Trabandt dans un article récent, défendant les modèles DSGE. On voit que la ligne pleine bleue suit très bien les contours esquissés par les modèles purement statistiques (lignes grises).

Il faut quand même noter que ce genre de comparaison suppose de valider aussi le modèle auquel on s'étalonne, donc ce genre d'argument est parfois un peu comme le serpent qui se mord la queue ! Nous rentrerons dans plus de details sur ce point, ainsi que d'autres aspects statistiques dans un post séparé.

Just missing the point

Malgré tout, il y a un aspect un peu embêtant dans la recherche actuelle sur les modèles DSGE : il y a eu très peu de recherche sur la modélisation de la Grande Dépression de 1929. Certes certains modèles de taille réduite ont été développés au tournant de ce siècle, mais plutôt dans un but d'histoire économique. Economiam n'a ainsi pas trouvé de traces de tentatives d'estimer des modèles néo-keynésiens (comme par exemple celui de Smets et Wouters) sur les données de cette époque, même après la Crise de 2008 (si quelqu'un connaît des papiers, on est preneurs).

Pourtant, il semble logique d'attendre de ces modèles qu'ils capturent la crise la plus marquante du XXe siècle, car c'est là la justification principale de leur existence. Rappelons en effet qu'ils prétendent se baser sur des invariants de comportements humains, ce qui les rendrait plus fiables que les modèles purement statistiques (qui ont du mal à capturer les réalités très différentes à la fois de 1929 et de maintenant). On pense donc chez Economiam qu'un DSGE qui connaîtrait la Crise (de 1929) aurait vu plus loin que le bout de son nez en 2008...

-------------------------------------------------------------------
1. Il semblerait que le lexique n'ait pas complètement convergé entre prédiction et prévision dans le monde de la data science francophone, à cause de l'anglicisme sur prediction (utilisé par exemple dans le très populaire Introduction to Statistical Learning) qui se distingue peu d'après le Oxford Dictionary de forecast. Ce dernier n'a cependant pas obtenu les mêmes galons de coolitude dans le cénacle des buzzwords du Big Data.