経済学者は、不平等、教育、公衆衛生などの差し迫った問題に関する政策を策定する上で重要な役割を果たしている。過去数十年にわたり、経済学は「信頼性革命」を経験し、因果関係を確立するための厳格なプログラム評価手法を重視してきた。この変化は経済分析の信頼性を高めたが、一方で、広く市場性のある経済学研究と見なされるものに、より広範な影響を及ぼした可能性がある。

信頼性革命は、因果関係の主張を強化するために設計された実証的戦略の採用を特徴としています。Angrist と Krueger (1991) および Card (1990) による独創的な研究は、内生性の問題に対処するために自然実験と操作変数手法を導入し、より信頼性の高い因果推論の基礎を築きました。その後、差分の差分 (DiD)、回帰不連続設計 (RDD)、ランダム化比較試験 (RCT) などの方法が注目を集め、「設計に基づく」実証的戦略へのパラダイムシフトを示しています (Angrist と Pischke 2010、Pischke 2021)。

これらの方法の進化を評価するために、最近の論文 (Garg and Fetzer 2024) では、1980 年から 2023 年までの NBER と CEPR の 44,000 件を超えるワーキング ペーパーを分析しました。分析により、過去 40 年間で因果推論方法の使用が大幅に増加していることが明らかになりました。図 1 は、これらの論文で使用されている主要な経験的方法の急増を示しています。

これらの方法が経済ナラティブの構築にどのように貢献しているかを視覚化するために、私たちは知識グラフを使用して経済研究における概念間の関係をマッピングします。図 2 は Banerjee ら (2015) によるそのような知識グラフの例を示しており、インドにおけるマイクロファイナンスの導入の因果的影響を示しています。

このナレッジ グラフでは、マイクロファイナンスへのアクセスが、ビジネスの創出から家計の支出パターンまで、さまざまな結果にどのように影響するかを著者らが検証しています。因果関係のエッジと固有のパスの数が多いことは、豊かで相互に関連した因果関係の物語を示しており、研究で調査された経済関係の複雑さを反映しています。このような詳細なマッピングは、実証的手法が経済学の知識の進歩にどのように貢献するかを理解するのに役立ちます。

Despite the methodological advancements, there is an ongoing debate about the implications for research dissemination and influence. A particular concern may be that the credibility revolution has given rise to a specific style of economic research that may put more emphasis on the methodological toolbox, rather than the underlying question that policymakers and decisionmakers have to contend with on a day-to-day basis (Jiménez-Gómez et al. 2019). Further, assessing what is economically significant, vis-a-vis what merits consideration on statistical grounds may lead to publication bias, disadvantaging studies that, for example, produce null findings (Chopra et al. 2022) or generate a broad range of theoretically consistent, high dimensional empirical patterns on a broad range of variables of interest that may be jointly significant when viewed as being embedded in a causal chain or a graph.

To explore this, we use knowledge graphs to represent the relationships between economic concepts in each paper. We quantified narrative complexity through measures such as the number of unique causal paths and the depth of causal chains. Our findings suggest a nuanced relationship between methodological rigor, narrative complexity, and research impact.

Figure 3 shows that papers with a higher proportion of causal claims are more likely to be published in ‘top five’ economics journals. Additionally, papers introducing novel causal relationships and engaging with less central, specialised concepts have a higher likelihood of top-tier publication.

Yet, when examining citation counts – a proxy for academic influence – we observe a different pattern. As depicted in Figure 4, while the complexity of a narrative positively correlates with citation counts in top journals, the use of causal inference methods does not necessarily lead to higher citation impact once published. Instead, papers focusing on central, widely recognised concepts tend to receive more citations.

This divergence suggests that while top journals prioritise methodological innovation and complex narratives, broader academic impact is driven more by the relevance of research topics. This raises important questions about the direction and priorities of economic research, highlighting the need for a balance between methodological rigor and engagement with central economic debates (Deaton and Cartwright 2016, Pischke 2021). There is a concern that prominently published research in leading journals could encourage a shift in research focus into areas that may be of marginal broader interest, possibly creating deep ‘rabbit holes’ that may subsequently generate a self-reinforcing publication dynamic, hindering innovation more broadly.

The increased emphasis on sophisticated empirical methods brings challenges related to replication and research transparency. For example, Chopra et al. (2022) find a substantial perceived penalty against null results in the publication process, which can distort the scientific record and hinder cumulative knowledge. Such biases can lead to an overrepresentation of significant findings, inflating false-positive rates and undermining the reliability of published research (Brodeur et al. 2016).

Moreover, we observe a rise in the use of proprietary data, with the proportion of papers using private company data doubling from about 4% in 1980 to over 8% in 2023. The use of private data in fields like finance and industrial organisation exhibit the highest proportions. Proprietary data can provide granular insights, but it can also raise concerns about replicability and transparency. Limited access to such data hampers other researchers' ability to verify findings or explore alternative hypotheses (Jiménez-Gómez et al. 2019). Further, the provision of research access to proprietary private data may be skewed towards academics with a broad profile, which could further exacerbate the inequalities in the profession in terms of research access (Fetzer 2022). Alternatively, companies could strategically use (publicly funded) researchers to produce private knowledge goods, outsourcing research and development. Alternatively, they may leverage the credentials of academics or higher education institution to foster brand recognition or to boost corporate social responsibility credentials strategically (Bounie et al. 2021).

Deaton and Cartwright (2016) caution against overreliance on randomised control trials (RCTs) and emphasise the importance of understanding the mechanisms behind observed effects. They argue that without a theoretical framework, findings from RCTs may not be generalisable to other contexts, limiting their policy relevance. The generalisability and scalability of experimental results are crucial for informing policy decisions (Jiménez-Gómez et al. 2019).

These findings have significant implications for the economics profession. The trade-off between methodological rigor and broader academic impact suggests the need for a more holistic approach to research. As Jiménez-Gómez et al. (2019) argue, experimental economists must tackle the generalisability and applicability of their evidence, ensuring that findings contribute meaningfully to theory and policy discussions. This involves embracing diverse methodologies and focusing on questions with substantial policy relevance (Deaton and Cartwright 2016).

透明性の促進と無結果の報告は、科学的プロセスの完全性を維持するために不可欠です。Miguel ら (2014) は、事前登録やデータ共有など、信頼性とアクセス性を高める慣行を提唱しています。独占データによってもたらされる課題に対処するには、豊富なデータセットの利点と検証可能で再現可能な研究の必要性とのバランスを取る必要があります。オープンサイエンスと再現研究を促進する取り組みは、これらの問題を軽減するのに役立ちます (Jiménez-Gómez ら 2019、Brodeur ら 2016)。

さらに、統計的有意性のみに焦点を当てることの限界がますます認識されつつあります。Brodeur ら (2016) が強調しているように、有意な結果を過度に重視すると、「p ハッキング」につながり、偽陽性率が上昇する可能性があります。堅牢な統計手法を採用し、有意な結果だけでなく方法論の健全性と関連性に基づいて研究を評価することで、これらの問題を軽減できます。研究結果の経済的重要性と実用的な意味合いを強調することは、この分野の発展に不可欠です (Chopra ら 2022)。