경제학자들은 불평등, 교육, 공중 보건과 같은 시급한 문제에 대한 정책을 알리는 데 중요한 역할을 합니다. 지난 수십 년 동안 이 분야는 '신뢰성 혁명'을 겪었으며, 인과 관계를 확립하기 위한 엄격한 프로그램 평가 기술을 강조했습니다. 이러한 변화는 경제 분석의 신뢰성을 향상시켰지만, 반면에 경제학에서 광범위하게 시장성 있는 연구로 간주될 수 있는 것에 대한 더 광범위한 의미를 가질 수 있었습니다.

신뢰성 혁명은 인과적 주장을 강화하도록 설계된 경험적 전략의 채택을 특징으로 합니다. Angrist와 Krueger(1991)와 Card(1990)의 획기적인 연구는 내생성 문제를 해결하기 위해 자연 실험과 도구 변수 기술을 도입하여 더욱 신뢰할 수 있는 인과 추론의 토대를 마련했습니다. 이후, 차이-차이(DiD), 회귀 불연속 설계(RDD), 무작위 대조 시험(RCT)과 같은 방법이 두각을 나타내며 '설계 기반' 경험적 전략으로 패러다임이 전환되었음을 알렸습니다(Angrist와 Pischke 2010, Pischke 2021).

이러한 방법의 진화를 평가하기 위해 최근 논문(Garg and Fetzer 2024)에서 우리는 1980년부터 2023년까지 NBER 및 CEPR에서 작성한 44,000건 이상의 작업 논문을 분석했습니다. 저희 분석에 따르면 지난 40년 동안 인과 추론 방법 사용이 상당히 증가했습니다. 그림 1은 이러한 논문에서 사용된 주요 경험적 방법의 확산을 보여줍니다.

이러한 방법이 경제적 서사를 구성하는 데 어떻게 기여하는지 시각화하기 위해 우리는 지식 그래프를 사용하여 경제 연구에서 개념 간의 관계를 매핑합니다. 그림 2는 Banerjee et al. (2015)의 이러한 지식 그래프의 예를 보여주며, 인도에 소액금융을 도입하는 것의 인과적 영향을 설명합니다.

이 지식 그래프에서 저자는 소액금융에 대한 접근성이 사업 창출에서 가계 지출 패턴에 이르기까지 다양한 결과에 어떤 영향을 미치는지 살펴봅니다. 많은 수의 인과 관계와 고유한 경로는 풍부하고 상호 연결된 인과 관계를 나타내며, 이는 연구에서 탐구한 경제적 관계의 복잡성을 반영합니다. 이러한 자세한 매핑은 경험적 방법이 경제학 지식을 발전시키는 데 어떻게 기여하는지 이해하는 데 도움이 될 수 있습니다.

Despite the methodological advancements, there is an ongoing debate about the implications for research dissemination and influence. A particular concern may be that the credibility revolution has given rise to a specific style of economic research that may put more emphasis on the methodological toolbox, rather than the underlying question that policymakers and decisionmakers have to contend with on a day-to-day basis (Jiménez-Gómez et al. 2019). Further, assessing what is economically significant, vis-a-vis what merits consideration on statistical grounds may lead to publication bias, disadvantaging studies that, for example, produce null findings (Chopra et al. 2022) or generate a broad range of theoretically consistent, high dimensional empirical patterns on a broad range of variables of interest that may be jointly significant when viewed as being embedded in a causal chain or a graph.

To explore this, we use knowledge graphs to represent the relationships between economic concepts in each paper. We quantified narrative complexity through measures such as the number of unique causal paths and the depth of causal chains. Our findings suggest a nuanced relationship between methodological rigor, narrative complexity, and research impact.

Figure 3 shows that papers with a higher proportion of causal claims are more likely to be published in ‘top five’ economics journals. Additionally, papers introducing novel causal relationships and engaging with less central, specialised concepts have a higher likelihood of top-tier publication.

Yet, when examining citation counts – a proxy for academic influence – we observe a different pattern. As depicted in Figure 4, while the complexity of a narrative positively correlates with citation counts in top journals, the use of causal inference methods does not necessarily lead to higher citation impact once published. Instead, papers focusing on central, widely recognised concepts tend to receive more citations.

This divergence suggests that while top journals prioritise methodological innovation and complex narratives, broader academic impact is driven more by the relevance of research topics. This raises important questions about the direction and priorities of economic research, highlighting the need for a balance between methodological rigor and engagement with central economic debates (Deaton and Cartwright 2016, Pischke 2021). There is a concern that prominently published research in leading journals could encourage a shift in research focus into areas that may be of marginal broader interest, possibly creating deep ‘rabbit holes’ that may subsequently generate a self-reinforcing publication dynamic, hindering innovation more broadly.

The increased emphasis on sophisticated empirical methods brings challenges related to replication and research transparency. For example, Chopra et al. (2022) find a substantial perceived penalty against null results in the publication process, which can distort the scientific record and hinder cumulative knowledge. Such biases can lead to an overrepresentation of significant findings, inflating false-positive rates and undermining the reliability of published research (Brodeur et al. 2016).

Moreover, we observe a rise in the use of proprietary data, with the proportion of papers using private company data doubling from about 4% in 1980 to over 8% in 2023. The use of private data in fields like finance and industrial organisation exhibit the highest proportions. Proprietary data can provide granular insights, but it can also raise concerns about replicability and transparency. Limited access to such data hampers other researchers' ability to verify findings or explore alternative hypotheses (Jiménez-Gómez et al. 2019). Further, the provision of research access to proprietary private data may be skewed towards academics with a broad profile, which could further exacerbate the inequalities in the profession in terms of research access (Fetzer 2022). Alternatively, companies could strategically use (publicly funded) researchers to produce private knowledge goods, outsourcing research and development. Alternatively, they may leverage the credentials of academics or higher education institution to foster brand recognition or to boost corporate social responsibility credentials strategically (Bounie et al. 2021).

Deaton and Cartwright (2016) caution against overreliance on randomised control trials (RCTs) and emphasise the importance of understanding the mechanisms behind observed effects. They argue that without a theoretical framework, findings from RCTs may not be generalisable to other contexts, limiting their policy relevance. The generalisability and scalability of experimental results are crucial for informing policy decisions (Jiménez-Gómez et al. 2019).

These findings have significant implications for the economics profession. The trade-off between methodological rigor and broader academic impact suggests the need for a more holistic approach to research. As Jiménez-Gómez et al. (2019) argue, experimental economists must tackle the generalisability and applicability of their evidence, ensuring that findings contribute meaningfully to theory and policy discussions. This involves embracing diverse methodologies and focusing on questions with substantial policy relevance (Deaton and Cartwright 2016).

투명성과 null 결과 보고를 장려하는 것은 과학적 프로세스의 무결성을 유지하는 데 필수적입니다. Miguel 등(2014)은 사전 등록 및 데이터 공유와 같이 신뢰성과 접근성을 강화하는 관행을 옹호합니다. 독점 데이터가 제기하는 과제를 해결하려면 풍부한 데이터 세트의 이점과 검증 가능하고 복제 가능한 연구의 필요성 사이에서 균형을 맞춰야 합니다. 오픈 사이언스와 복제 연구를 촉진하는 이니셔티브는 이러한 문제를 완화하는 데 도움이 될 수 있습니다(Jiménez-Gómez 등 2019, Brodeur 등 2016).

더욱이 통계적 유의성에만 초점을 맞추는 것의 한계에 대한 인식이 커지고 있습니다. Brodeur et al. (2016)이 강조했듯이, 유의한 결과에 대한 지나친 강조는 'p-해킹'으로 이어질 수 있으며 거짓 양성률을 부풀릴 수 있습니다. 견고한 통계적 관행을 채택하고 유의한 결과만이 아니라 방법론적 건전성과 관련성을 기준으로 연구를 평가하면 이러한 문제를 완화할 수 있습니다. 연구 결과의 경제적 중요성과 실질적 의미를 강조하는 것은 이 분야를 발전시키는 데 필수적입니다(Chopra et al. 2022).