Ekonomistler, eşitsizlik, eğitim ve halk sağlığı gibi acil konulardaki politikaları bilgilendirmede önemli bir rol oynarlar. Son birkaç on yılda, disiplin nedensel ilişkiler kurmak için titiz program değerlendirme tekniklerini vurgulayan bir 'güvenilirlik devrimi' geçirdi. Bu değişim, ekonomik analizlerin güvenilirliğini artırdı, ancak diğer yandan, ekonomide genel olarak pazarlanabilir araştırma olarak kabul edilebilecek şeyler için daha geniş etkileri olabilirdi.

Güvenilirlik devrimi, nedensel iddiaları güçlendirmek için tasarlanmış deneysel stratejilerin benimsenmesiyle karakterize edilir. Angrist ve Krueger (1991) ve Card'ın (1990) öncü çalışmaları, içsellik endişelerini ele almak için doğal deneyler ve araçsal değişken teknikleri sunarak daha güvenilir nedensel çıkarımlar için zemin hazırladı. Daha sonra, farklar-arası-farklar (DiD), regresyon süreksizlik tasarımı (RDD) ve randomize kontrollü denemeler (RCT'ler) gibi yöntemler öne çıktı ve 'tasarım tabanlı' deneysel stratejilere doğru bir paradigma değişimine işaret etti (Angrist ve Pischke 2010, Pischke 2021).

Bu yöntemlerin evrimini değerlendirmek için yakın tarihli bir makalede (Garg ve Fetzer 2024) 1980'den 2023'e kadar uzanan NBER ve CEPR'den 44.000'den fazla çalışma makalesini analiz ettik. Analizimiz, son kırk yılda nedensel çıkarım yöntemlerinin kullanımında önemli bir artış olduğunu ortaya koyuyor. Şekil 1, bu makalelerde kullanılan temel deneysel yöntemlerin yaygınlaşmasını göstermektedir.

Bu yöntemlerin ekonomik anlatıların oluşturulmasına nasıl katkıda bulunduğunu görselleştirmek için, ekonomik araştırmalardaki kavramlar arasındaki ilişkileri haritalamak için bilgi grafiklerini kullanıyoruz. Şekil 2, Hindistan'da mikrofinansın tanıtılmasının nedensel etkisini gösteren Banerjee ve ark. (2015)'den böyle bir bilgi grafiğinin örneğini sunmaktadır.

Bu bilgi grafiğinde yazarlar, mikrofinansa erişimin iş kurmaktan hanehalkı harcama modellerine kadar çeşitli sonuçları nasıl etkilediğini inceliyor. Çok sayıda nedensel kenar ve benzersiz yol, çalışmada incelenen ekonomik ilişkilerin karmaşıklığını yansıtan zengin ve birbiriyle bağlantılı bir nedensel anlatıyı gösteriyor. Bu tür ayrıntılı eşlemeler, ampirik yöntemlerin ekonomide bilgiyi ilerletmeye nasıl katkıda bulunduğunu anlamanıza yardımcı olabilir.

Metodolojik gelişmelere rağmen, araştırma yayımı ve etkisine ilişkin çıkarımlar hakkında devam eden bir tartışma vardır. Özellikle endişe verici olan, güvenilirlik devriminin, politika yapıcıların ve karar vericilerin günlük olarak uğraşmak zorunda olduğu temel sorudan ziyade, metodolojik araç setine daha fazla vurgu yapabilecek belirli bir ekonomik araştırma tarzına yol açmış olması olabilir (Jiménez-Gómez vd. 2019). Dahası, ekonomik olarak önemli olanın, istatistiksel gerekçelerle dikkate alınmaya değer olana kıyasla değerlendirilmesi, yayın yanlılığına yol açabilir ve örneğin, boş bulgular üreten (Chopra vd. 2022) veya nedensel bir zincir veya grafikte gömülü olarak görüldüğünde birlikte önemli olabilecek çok çeşitli ilgi değişkenleri üzerinde geniş bir yelpazede teorik olarak tutarlı, yüksek boyutlu ampirik desenler üreten çalışmaları dezavantajlı hale getirebilir.

Bunu araştırmak için, her makaledeki ekonomik kavramlar arasındaki ilişkileri temsil etmek üzere bilgi grafikleri kullanıyoruz. Anlatı karmaşıklığını, benzersiz nedensel yolların sayısı ve nedensel zincirlerin derinliği gibi ölçütler aracılığıyla niceledik. Bulgularımız, metodolojik titizlik, anlatı karmaşıklığı ve araştırma etkisi arasında nüanslı bir ilişki olduğunu gösteriyor.

Şekil 3, daha yüksek oranda nedensel iddia içeren makalelerin 'en iyi beş' ekonomi dergisinde yayınlanma olasılığının daha yüksek olduğunu göstermektedir. Ek olarak, yeni nedensel ilişkiler sunan ve daha az merkezi, uzmanlaşmış kavramlarla ilgilenen makalelerin en üst düzey yayınlanma olasılığı daha yüksektir.

Ancak, akademik etki için bir vekil olan atıf sayılarını incelerken farklı bir örüntü gözlemliyoruz. Şekil 4'te gösterildiği gibi, bir anlatının karmaşıklığı en iyi dergilerdeki atıf sayılarıyla pozitif olarak ilişkili olsa da, nedensel çıkarım yöntemlerinin kullanımı yayınlandıktan sonra mutlaka daha yüksek atıf etkisine yol açmaz. Bunun yerine, merkezi, yaygın olarak tanınan kavramlara odaklanan makaleler daha fazla atıf alma eğilimindedir.

Bu ayrışma, önde gelen dergilerin metodolojik yeniliğe ve karmaşık anlatılara öncelik verirken, daha geniş akademik etkinin daha çok araştırma konularının alakalılığı tarafından yönlendirildiğini göstermektedir. Bu, ekonomik araştırmanın yönü ve öncelikleri hakkında önemli soruları gündeme getirerek, metodolojik titizlik ile merkezi ekonomik tartışmalarla etkileşim arasında bir dengeye ihtiyaç duyulduğunu vurgulamaktadır (Deaton ve Cartwright 2016, Pischke 2021). Önde gelen dergilerde öne çıkan bir şekilde yayınlanan araştırmaların, araştırma odağının marjinal, daha geniş ilgi alanlarına kayabileceği, daha sonra kendini güçlendiren bir yayın dinamiği üretebilecek derin 'tavşan delikleri' yaratabileceği ve daha genel olarak yeniliği engelleyebileceği yönünde bir endişe vardır.

The increased emphasis on sophisticated empirical methods brings challenges related to replication and research transparency. For example, Chopra et al. (2022) find a substantial perceived penalty against null results in the publication process, which can distort the scientific record and hinder cumulative knowledge. Such biases can lead to an overrepresentation of significant findings, inflating false-positive rates and undermining the reliability of published research (Brodeur et al. 2016).

Moreover, we observe a rise in the use of proprietary data, with the proportion of papers using private company data doubling from about 4% in 1980 to over 8% in 2023. The use of private data in fields like finance and industrial organisation exhibit the highest proportions. Proprietary data can provide granular insights, but it can also raise concerns about replicability and transparency. Limited access to such data hampers other researchers' ability to verify findings or explore alternative hypotheses (Jiménez-Gómez et al. 2019). Further, the provision of research access to proprietary private data may be skewed towards academics with a broad profile, which could further exacerbate the inequalities in the profession in terms of research access (Fetzer 2022). Alternatively, companies could strategically use (publicly funded) researchers to produce private knowledge goods, outsourcing research and development. Alternatively, they may leverage the credentials of academics or higher education institution to foster brand recognition or to boost corporate social responsibility credentials strategically (Bounie et al. 2021).

Deaton and Cartwright (2016) caution against overreliance on randomised control trials (RCTs) and emphasise the importance of understanding the mechanisms behind observed effects. They argue that without a theoretical framework, findings from RCTs may not be generalisable to other contexts, limiting their policy relevance. The generalisability and scalability of experimental results are crucial for informing policy decisions (Jiménez-Gómez et al. 2019).

These findings have significant implications for the economics profession. The trade-off between methodological rigor and broader academic impact suggests the need for a more holistic approach to research. As Jiménez-Gómez et al. (2019) argue, experimental economists must tackle the generalisability and applicability of their evidence, ensuring that findings contribute meaningfully to theory and policy discussions. This involves embracing diverse methodologies and focusing on questions with substantial policy relevance (Deaton and Cartwright 2016).

Şeffaflığı ve geçersiz sonuçların raporlanmasını teşvik etmek, bilimsel sürecin bütünlüğünü korumak için esastır. Miguel ve diğerleri (2014), ön kayıt ve veri paylaşımı gibi güvenilirliği ve erişilebilirliği artıran uygulamaları savunmaktadır. Tescilli verilerin oluşturduğu zorlukların ele alınması, zengin veri kümelerinin faydaları ile doğrulanabilir ve tekrarlanabilir araştırma ihtiyacının dengelenmesini gerektirir. Açık bilimi ve tekrarlama çalışmalarını teşvik eden girişimler bu sorunların hafifletilmesine yardımcı olabilir (Jiménez-Gómez ve diğerleri 2019, Brodeur ve diğerleri 2016).

Ayrıca, yalnızca istatistiksel öneme odaklanmanın sınırlamalarının giderek daha fazla farkına varılıyor. Brodeur ve ark.'nın (2016) vurguladığı gibi, önemli sonuçlara aşırı vurgu yapmak 'p-hacking'e yol açabilir ve yanlış pozitif oranlarını şişirebilir. Sağlam istatistiksel uygulamaları benimsemek ve çalışmaları yalnızca önemli bulgulara göre değil, metodolojik sağlamlıklarına ve alakalarına göre değerlendirmek bu sorunları hafifletebilir. Araştırma bulgularının ekonomik önemini ve pratik sonuçlarını vurgulamak, alanı ilerletmek için hayati öneme sahiptir (Chopra ve ark. 2022).