Les économistes jouent un rôle crucial dans l’élaboration des politiques sur des questions urgentes telles que les inégalités, l’éducation et la santé publique. Au cours des dernières décennies, la discipline a connu une « révolution de la crédibilité », mettant l’accent sur des techniques rigoureuses d’évaluation des programmes pour établir des relations de cause à effet. Ce changement a renforcé la crédibilité des analyses économiques, mais pourrait, d’un autre côté, avoir des implications plus larges pour ce qui pourrait être considéré comme une recherche commerciale en économie.

La révolution de la crédibilité se caractérise par l'adoption de stratégies empiriques conçues pour renforcer les affirmations causales. Les travaux fondateurs d'Angrist et Krueger (1991) et de Card (1990) ont introduit des expériences naturelles et des techniques de variables instrumentales pour répondre aux problèmes d'endogénéité, jetant ainsi les bases d'une inférence causale plus crédible. Par la suite, des méthodes telles que la différence dans les différences (DiD), la conception de la régression par discontinuité (RDD) et les essais contrôlés randomisés (ECR) ont pris de l'importance, signalant un changement de paradigme vers des stratégies empiriques « fondées sur la conception » (Angrist et Pischke 2010, Pischke 2021).

Pour évaluer l’évolution de ces méthodes, nous avons analysé dans un article récent (Garg et Fetzer 2024) plus de 44 000 documents de travail du NBER et du CEPR couvrant la période 1980-2023. Notre analyse révèle une augmentation significative de l’utilisation des méthodes d’inférence causale au cours des quatre dernières décennies. La figure 1 illustre la prolifération des principales méthodes empiriques utilisées dans ces articles.

Pour visualiser la manière dont ces méthodes contribuent à la construction de récits économiques, nous utilisons des graphes de connaissances pour cartographier les relations entre les concepts dans la recherche économique. La figure 2 présente un exemple d'un tel graphe de connaissances tiré de Banerjee et al. (2015), illustrant l'impact causal de l'introduction de la microfinance en Inde.

Dans ce graphique de connaissances, les auteurs examinent comment l’accès à la microfinance influence une série de résultats, de la création d’entreprise aux habitudes de dépenses des ménages. Le nombre élevé d’arêtes causales et de chemins uniques indique un récit causal riche et interconnecté, reflétant la complexité des relations économiques explorées dans l’étude. De telles cartographies détaillées peuvent aider à comprendre comment les méthodes empiriques contribuent à l’avancement des connaissances en économie.

Malgré les avancées méthodologiques, les implications de ces avancées pour la diffusion et l’influence de la recherche font l’objet d’un débat permanent. On peut notamment craindre que la révolution de la crédibilité ait donné naissance à un style spécifique de recherche économique qui pourrait mettre davantage l’accent sur la boîte à outils méthodologique, plutôt que sur la question sous-jacente à laquelle les décideurs politiques et les décideurs doivent faire face au quotidien (Jiménez-Gómez et al. 2019). En outre, évaluer ce qui est économiquement significatif par rapport à ce qui mérite d’être pris en considération sur le plan statistique peut conduire à un biais de publication, désavantageant les études qui, par exemple, produisent des résultats nuls (Chopra et al. 2022) ou génèrent un large éventail de modèles empiriques théoriquement cohérents et de grande dimension sur un large éventail de variables d’intérêt qui peuvent être conjointement significatives lorsqu’elles sont considérées comme intégrées dans une chaîne causale ou un graphique.

Pour explorer cette question, nous utilisons des graphes de connaissances pour représenter les relations entre les concepts économiques de chaque article. Nous avons quantifié la complexité narrative à l’aide de mesures telles que le nombre de chemins causaux uniques et la profondeur des chaînes causales. Nos résultats suggèrent une relation nuancée entre la rigueur méthodologique, la complexité narrative et l’impact de la recherche.

La figure 3 montre que les articles comportant une proportion plus élevée d'affirmations causales ont plus de chances d'être publiés dans les « cinq meilleures » revues d'économie. En outre, les articles introduisant de nouvelles relations causales et abordant des concepts moins centraux et spécialisés ont une plus grande probabilité d'être publiés dans les meilleures revues.

Cependant, lorsque l’on examine le nombre de citations – un indicateur de l’influence académique – on observe une tendance différente. Comme le montre la figure 4, bien que la complexité d’un récit soit positivement corrélée au nombre de citations dans les revues les plus réputées, l’utilisation de méthodes d’inférence causale ne conduit pas nécessairement à un impact plus important des citations une fois publiées. Au contraire, les articles axés sur des concepts centraux et largement reconnus ont tendance à recevoir davantage de citations.

Cette divergence suggère que si les revues de premier plan privilégient l’innovation méthodologique et les récits complexes, l’impact académique plus large est davantage déterminé par la pertinence des sujets de recherche. Cela soulève d’importantes questions sur l’orientation et les priorités de la recherche économique, soulignant la nécessité d’un équilibre entre la rigueur méthodologique et l’engagement dans les débats économiques centraux (Deaton et Cartwright 2016, Pischke 2021). On craint que les recherches publiées de manière importante dans des revues de premier plan n’encouragent un déplacement de l’orientation de la recherche vers des domaines qui pourraient présenter un intérêt marginal plus large, créant peut-être de profonds « terriers de lapin » qui pourraient ensuite générer une dynamique de publication auto-renforçante, entravant l’innovation plus largement.

L’importance accrue accordée aux méthodes empiriques sophistiquées pose des problèmes liés à la réplication et à la transparence de la recherche. Par exemple, Chopra et al. (2022) constatent une pénalité perçue substantielle contre les résultats nuls dans le processus de publication, ce qui peut fausser le dossier scientifique et entraver les connaissances cumulatives. De tels biais peuvent conduire à une surreprésentation de résultats significatifs, gonflant les taux de faux positifs et compromettant la fiabilité des recherches publiées (Brodeur et al. 2016).

De plus, nous observons une augmentation de l'utilisation de données propriétaires, la proportion d'articles utilisant des données d'entreprises privées doublant d'environ 4 % en 1980 à plus de 8 % en 2023. L'utilisation de données privées dans des domaines comme la finance et l'organisation industrielle présente les proportions les plus élevées. Les données propriétaires peuvent fournir des informations détaillées, mais elles peuvent également soulever des inquiétudes quant à la reproductibilité et à la transparence. L'accès limité à ces données entrave la capacité des autres chercheurs à vérifier les résultats ou à explorer des hypothèses alternatives (Jiménez-Gómez et al. 2019). En outre, l'accès à la recherche aux données privées propriétaires peut être biaisé en faveur des universitaires ayant un profil large, ce qui pourrait encore exacerber les inégalités dans la profession en termes d'accès à la recherche (Fetzer 2022). Alternativement, les entreprises pourraient utiliser stratégiquement des chercheurs (financés par des fonds publics) pour produire des biens de connaissance privés, en externalisant la recherche et le développement. Alternativement, ils peuvent exploiter les qualifications des universitaires ou des établissements d’enseignement supérieur pour favoriser la reconnaissance de la marque ou pour renforcer stratégiquement les qualifications en matière de responsabilité sociale des entreprises (Bounie et al. 2021).

Deaton et Cartwright (2016) mettent en garde contre une dépendance excessive aux essais contrôlés randomisés (ECR) et soulignent l’importance de comprendre les mécanismes à l’origine des effets observés. Ils soutiennent que sans cadre théorique, les résultats des ECR peuvent ne pas être généralisables à d’autres contextes, ce qui limite leur pertinence politique. La généralisabilité et l’évolutivité des résultats expérimentaux sont cruciales pour éclairer les décisions politiques (Jiménez-Gómez et al. 2019).

Ces résultats ont des implications importantes pour la profession d’économiste. Le compromis entre la rigueur méthodologique et l’impact académique plus large suggère la nécessité d’une approche plus holistique de la recherche. Comme le soutiennent Jiménez-Gómez et al. (2019), les économistes expérimentaux doivent s’attaquer à la généralisabilité et à l’applicabilité de leurs preuves, en veillant à ce que les résultats contribuent de manière significative aux discussions théoriques et politiques. Cela implique d’adopter diverses méthodologies et de se concentrer sur des questions présentant une pertinence politique substantielle (Deaton et Cartwright 2016).

Il est essentiel d’encourager la transparence et la publication de résultats nuls pour préserver l’intégrité du processus scientifique. Miguel et al. (2014) préconisent des pratiques qui améliorent la crédibilité et l’accessibilité, telles que la préinscription et le partage des données. Pour relever les défis posés par les données exclusives, il faut trouver un équilibre entre les avantages des ensembles de données riches et la nécessité de recherches vérifiables et reproductibles. Les initiatives favorisant la science ouverte et les études de réplication peuvent contribuer à atténuer ces problèmes (Jiménez-Gómez et al. 2019, Brodeur et al. 2016).

En outre, on reconnaît de plus en plus les limites d’une focalisation exclusive sur la signification statistique. Comme le soulignent Brodeur et al. (2016), une trop grande importance accordée aux résultats significatifs peut conduire à un « p-hacking » et gonfler les taux de faux positifs. L’adoption de pratiques statistiques solides et la valorisation des études en fonction de leur solidité méthodologique et de leur pertinence, plutôt que de leurs seuls résultats significatifs, peuvent atténuer ces problèmes. Il est essentiel de mettre l’accent sur l’importance économique et les implications pratiques des résultats de la recherche pour faire progresser le domaine (Chopra et al. 2022).