Причинно-следственные утверждения в экономике

Экономический

Краткое содержание:

В этой колонке анализируется более 44 000 рабочих документов за 1980–2023 годы с целью оценки эволюции этих методов.

Экономисты играют решающую роль в информировании политик по таким актуальным вопросам, как неравенство, образование и общественное здравоохранение. За последние несколько десятилетий дисциплина претерпела «революцию доверия», подчеркивающую строгие методы оценки программ для установления причинно-следственных связей. Этот сдвиг повысил доверие к экономическому анализу, но, с другой стороны, мог бы иметь более широкие последствия для того, что можно было бы в целом считать рыночными исследованиями в экономике.

Развитие методов причинно-следственной связи

Революция достоверности характеризуется принятием эмпирических стратегий, разработанных для усиления каузальных утверждений. Основополагающие работы Angrist и Krueger (1991) и Card (1990) представили естественные эксперименты и методы инструментальных переменных для решения проблем эндогенности, заложив основу для более достоверного каузального вывода. Впоследствии такие методы, как разница в разностях (DiD), дизайн разрыва регрессии (RDD) и рандомизированные контролируемые испытания (РКИ) приобрели известность, сигнализируя о сдвиге парадигмы в сторону «дизайн-ориентированных» эмпирических стратегий (Angrist и Pischke 2010, Pischke 2021).

Чтобы оценить эволюцию этих методов, в недавней статье (Garg and Fetzer 2024) мы проанализировали более 44 000 рабочих документов NBER и CEPR, охватывающих период с 1980 по 2023 год. Наш анализ показывает значительное увеличение использования методов причинно-следственной связи за последние четыре десятилетия. Рисунок 1 иллюстрирует распространение ключевых эмпирических методов, используемых в этих работах.

Причинно-следственные утверждения в экономике_1

Чтобы визуализировать, как эти методы способствуют построению экономических нарративов, мы используем графы знаний для отображения взаимосвязей между концепциями в экономических исследованиях. На рисунке 2 представлен пример такого графа знаний из работы Банерджи и др. (2015), иллюстрирующий причинно-следственное влияние внедрения микрофинансирования в Индии.

Причинно-следственные утверждения в экономике_2

В этом графе знаний авторы изучают, как доступ к микрофинансированию влияет на ряд результатов, от создания бизнеса до моделей расходов домохозяйств. Большое количество причинно-следственных связей и уникальных путей указывает на богатое и взаимосвязанное причинно-следственное повествование, отражающее сложность экономических отношений, исследованных в исследовании. Такие подробные сопоставления могут помочь понять, как эмпирические методы способствуют продвижению знаний в экономике.

Успех публикации против влияния цитирования

Despite the methodological advancements, there is an ongoing debate about the implications for research dissemination and influence. A particular concern may be that the credibility revolution has given rise to a specific style of economic research that may put more emphasis on the methodological toolbox, rather than the underlying question that policymakers and decisionmakers have to contend with on a day-to-day basis (Jiménez-Gómez et al. 2019). Further, assessing what is economically significant, vis-a-vis what merits consideration on statistical grounds may lead to publication bias, disadvantaging studies that, for example, produce null findings (Chopra et al. 2022) or generate a broad range of theoretically consistent, high dimensional empirical patterns on a broad range of variables of interest that may be jointly significant when viewed as being embedded in a causal chain or a graph.

To explore this, we use knowledge graphs to represent the relationships between economic concepts in each paper. We quantified narrative complexity through measures such as the number of unique causal paths and the depth of causal chains. Our findings suggest a nuanced relationship between methodological rigor, narrative complexity, and research impact.

Figure 3 shows that papers with a higher proportion of causal claims are more likely to be published in ‘top five’ economics journals. Additionally, papers introducing novel causal relationships and engaging with less central, specialised concepts have a higher likelihood of top-tier publication.

Причинно-следственные утверждения в экономике_3

Yet, when examining citation counts – a proxy for academic influence – we observe a different pattern. As depicted in Figure 4, while the complexity of a narrative positively correlates with citation counts in top journals, the use of causal inference methods does not necessarily lead to higher citation impact once published. Instead, papers focusing on central, widely recognised concepts tend to receive more citations.

Причинно-следственные утверждения в экономике_4

This divergence suggests that while top journals prioritise methodological innovation and complex narratives, broader academic impact is driven more by the relevance of research topics. This raises important questions about the direction and priorities of economic research, highlighting the need for a balance between methodological rigor and engagement with central economic debates (Deaton and Cartwright 2016, Pischke 2021). There is a concern that prominently published research in leading journals could encourage a shift in research focus into areas that may be of marginal broader interest, possibly creating deep ‘rabbit holes’ that may subsequently generate a self-reinforcing publication dynamic, hindering innovation more broadly.

Challenges in replication and data accessibility

The increased emphasis on sophisticated empirical methods brings challenges related to replication and research transparency. For example, Chopra et al. (2022) find a substantial perceived penalty against null results in the publication process, which can distort the scientific record and hinder cumulative knowledge. Such biases can lead to an overrepresentation of significant findings, inflating false-positive rates and undermining the reliability of published research (Brodeur et al. 2016).

Moreover, we observe a rise in the use of proprietary data, with the proportion of papers using private company data doubling from about 4% in 1980 to over 8% in 2023. The use of private data in fields like finance and industrial organisation exhibit the highest proportions. Proprietary data can provide granular insights, but it can also raise concerns about replicability and transparency. Limited access to such data hampers other researchers' ability to verify findings or explore alternative hypotheses (Jiménez-Gómez et al. 2019). Further, the provision of research access to proprietary private data may be skewed towards academics with a broad profile, which could further exacerbate the inequalities in the profession in terms of research access (Fetzer 2022). Alternatively, companies could strategically use (publicly funded) researchers to produce private knowledge goods, outsourcing research and development. Alternatively, they may leverage the credentials of academics or higher education institution to foster brand recognition or to boost corporate social responsibility credentials strategically (Bounie et al. 2021).

Deaton and Cartwright (2016) caution against overreliance on randomised control trials (RCTs) and emphasise the importance of understanding the mechanisms behind observed effects. They argue that without a theoretical framework, findings from RCTs may not be generalisable to other contexts, limiting their policy relevance. The generalisability and scalability of experimental results are crucial for informing policy decisions (Jiménez-Gómez et al. 2019).

Implications for the economics profession

These findings have significant implications for the economics profession. The trade-off between methodological rigor and broader academic impact suggests the need for a more holistic approach to research. As Jiménez-Gómez et al. (2019) argue, experimental economists must tackle the generalisability and applicability of their evidence, ensuring that findings contribute meaningfully to theory and policy discussions. This involves embracing diverse methodologies and focusing on questions with substantial policy relevance (Deaton and Cartwright 2016).

Поощрение прозрачности и сообщение о нулевых результатах имеет важное значение для поддержания целостности научного процесса. Мигель и др. (2014) выступают за практики, которые повышают надежность и доступность, такие как предварительная регистрация и обмен данными. Решение проблем, связанных с частными данными, требует баланса между преимуществами богатых наборов данных и необходимостью проверяемых и воспроизводимых исследований. Инициативы, продвигающие открытую науку и репликационные исследования, могут помочь смягчить эти проблемы (Хименес-Гомес и др. 2019, Бродер и др. 2016).

Кроме того, растет понимание ограничений сосредоточения исключительно на статистической значимости. Как подчеркивают Бродер и др. (2016), чрезмерный акцент на значимых результатах может привести к «p-хакингу» и завысить ложноположительные показатели. Принятие надежных статистических практик и оценка исследований на основе их методологической обоснованности и релевантности, а не только значимых результатов, может смягчить эти проблемы. Подчеркивание экономической значимости и практических последствий результатов исследований имеет жизненно важное значение для продвижения в этой области (Чопра и др. 2022).

Чтобы быть в курсе всех экономических событий за сегодняшний день, заходите на наш эконом. календарь

Предупреждение о риске и отказ от ответственности

Вы понимаете и признаете, что торговля по стратегиям сопряжена с высокой степенью риска. Следование любым стратегиям или инвестиционным методологиям может привести к потерям. Содержимое сайта предоставляется нашими участниками и аналитиками исключительно в информационных целях. Вы единолично несете ответственность за определение того, подходят ли вам какие-либо торговые активы, ценные бумаги, стратегия или любой другой продукт, исходя из ваших инвестиционных целей и финансового положения.

Раскрытие Рисков

Риск потерь при торговле такими финансовыми инструментами, как акции, валюта, сырьевые товары, фьючерсы, облигации, ETF и криптовалюты, может быть значительным. Вы можете полностью потерять средства, размещенные у брокера. Поэтому вам следует тщательно взвесить, подходит ли вам такая торговля с учетом ваших обстоятельств и финансовых ресурсов.

Ни одно решение об инвестировании не должно приниматься без проведения тщательной проверки самостоятельно или без консультации с вашими финансовыми консультантами. Наш веб-контент может не подойти вам, поскольку мы не знаем ваших финансовых условий и инвестиционных потребностей. Наша финансовая информация может иметь задержку или содержать неточности, поэтому вы должны нести полную ответственность за любые ваши торговые и инвестиционные решения. Компания не несет ответственности за потерю вашего капитала.

Без разрешения сайта запрещается копировать графику, тексты или торговые марки сайта. Права интеллектуальной собственности на содержание или данные, включенные в этот сайт, принадлежат его поставщикам и торговцам.

Последние поиски

Популярные запросы

Котировки

Анализ

Пользователь

24/7

Экономический Календарь

Обучение

Данные