นักเศรษฐศาสตร์มีบทบาทสำคัญในการแจ้งนโยบายเกี่ยวกับปัญหาเร่งด่วน เช่น ความไม่เท่าเทียมกัน การศึกษา และสาธารณสุข ในช่วงไม่กี่ทศวรรษที่ผ่านมา สาขาวิชานี้ได้ผ่าน "การปฏิวัติความน่าเชื่อถือ" โดยเน้นเทคนิคการประเมินโปรแกรมที่เข้มงวดเพื่อสร้างความสัมพันธ์เชิงสาเหตุ การเปลี่ยนแปลงนี้ทำให้การวิเคราะห์ทางเศรษฐกิจมีความน่าเชื่อถือมากขึ้น แต่ในทางกลับกัน อาจส่งผลกระทบในวงกว้างต่อสิ่งที่ถือได้ว่าเป็นการวิจัยที่สามารถทำตลาดได้ในเชิงเศรษฐศาสตร์

การปฏิวัติความน่าเชื่อถือนั้นมีลักษณะเฉพาะคือการใช้กลยุทธ์เชิงประจักษ์ที่ออกแบบมาเพื่อเสริมสร้างการอ้างเหตุผลเชิงสาเหตุ ผลงานสำคัญโดย Angrist และ Krueger (1991) และ Card (1990) ได้แนะนำการทดลองตามธรรมชาติและเทคนิคตัวแปรเชิงเครื่องมือเพื่อจัดการกับข้อกังวลด้านปัจจัยภายใน ซึ่งวางรากฐานสำหรับการอนุมานเชิงสาเหตุที่น่าเชื่อถือยิ่งขึ้น ในเวลาต่อมา วิธีการต่างๆ เช่น ความแตกต่างในความแตกต่าง (DiD) การออกแบบความไม่ต่อเนื่องของการถดถอย (RDD) และการทดลองแบบสุ่มที่มีการควบคุม (RCT) ได้รับความนิยมมากขึ้น ซึ่งส่งสัญญาณถึงการเปลี่ยนแปลงกระบวนทัศน์ไปสู่กลยุทธ์เชิงประจักษ์ที่ "อิงตามการออกแบบ" (Angrist และ Pischke 2010, Pischke 2021)

เพื่อประเมินวิวัฒนาการของวิธีการเหล่านี้ ในเอกสารล่าสุด (Garg และ Fetzer 2024) เราได้วิเคราะห์เอกสารการทำงานมากกว่า 44,000 ฉบับจาก NBER และ CEPR ตั้งแต่ปี 1980 ถึงปี 2023 การวิเคราะห์ของเราเผยให้เห็นถึงการเพิ่มขึ้นอย่างมีนัยสำคัญในการใช้วิธีการอนุมานเชิงสาเหตุในช่วงสี่ทศวรรษที่ผ่านมา รูปที่ 1 แสดงให้เห็นการแพร่กระจายของวิธีการเชิงประจักษ์ที่สำคัญที่ใช้ในเอกสารเหล่านี้

เพื่อให้เห็นภาพว่าวิธีการเหล่านี้มีส่วนสนับสนุนในการสร้างเรื่องราวทางเศรษฐกิจอย่างไร เราจึงใช้กราฟความรู้เพื่อระบุความสัมพันธ์ระหว่างแนวคิดต่างๆ ในการวิจัยทางเศรษฐกิจ รูปที่ 2 แสดงตัวอย่างของกราฟความรู้ดังกล่าวจาก Banerjee et al. (2015) ซึ่งแสดงให้เห็นผลกระทบเชิงสาเหตุของการนำระบบการเงินรายย่อยมาใช้ในอินเดีย

ในกราฟความรู้นี้ ผู้เขียนได้ตรวจสอบวิธีการที่การเข้าถึงการเงินรายย่อยส่งผลต่อผลลัพธ์ต่างๆ ตั้งแต่การก่อตั้งธุรกิจไปจนถึงรูปแบบการใช้จ่ายของครัวเรือน จำนวนขอบเขตเชิงสาเหตุและเส้นทางเฉพาะที่มากบ่งชี้ถึงเรื่องราวเชิงสาเหตุที่เชื่อมโยงกันอย่างเข้มข้น ซึ่งสะท้อนถึงความซับซ้อนของความสัมพันธ์ทางเศรษฐกิจที่สำรวจในการศึกษานี้ การจับคู่โดยละเอียดดังกล่าวสามารถช่วยให้เข้าใจว่าวิธีการเชิงประจักษ์มีส่วนสนับสนุนต่อการพัฒนาความรู้ด้านเศรษฐศาสตร์อย่างไร

แม้จะมีความก้าวหน้าทางวิธีการ แต่ยังคงมีการถกเถียงกันอย่างต่อเนื่องเกี่ยวกับผลกระทบต่อการเผยแพร่ผลงานวิจัยและอิทธิพล ความกังวลโดยเฉพาะอย่างยิ่งอาจเป็นเพราะการปฏิวัติความน่าเชื่อถือทำให้เกิดรูปแบบการวิจัยทางเศรษฐกิจเฉพาะที่อาจให้ความสำคัญกับกล่องเครื่องมือเชิงวิธีการมากกว่าคำถามพื้นฐานที่ผู้กำหนดนโยบายและผู้ตัดสินใจต้องเผชิญในแต่ละวัน (Jiménez-Gómez et al. 2019) นอกจากนี้ การประเมินสิ่งที่มีความสำคัญทางเศรษฐกิจโดยเปรียบเทียบกับสิ่งที่ควรพิจารณาตามหลักสถิติอาจนำไปสู่อคติในการตีพิมพ์ ซึ่งทำให้การศึกษาที่มีผลเป็นลบ เช่น ผลลัพธ์เป็นโมฆะ (Chopra et al. 2022) หรือสร้างรูปแบบเชิงประจักษ์ที่มีมิติสูงที่สอดคล้องกันในเชิงทฤษฎีที่หลากหลายในตัวแปรที่น่าสนใจหลากหลายช่วง ซึ่งอาจมีความสำคัญร่วมกันเมื่อมองว่าฝังอยู่ในห่วงโซ่เหตุปัจจัยหรือกราฟ

เพื่อสำรวจสิ่งนี้ เราใช้กราฟความรู้เพื่อแสดงความสัมพันธ์ระหว่างแนวคิดทางเศรษฐกิจในแต่ละเอกสาร เราวัดความซับซ้อนของเรื่องราวผ่านการวัด เช่น จำนวนเส้นทางเหตุและผลที่ไม่ซ้ำกันและความลึกของห่วงโซ่เหตุและผล ผลการค้นพบของเราชี้ให้เห็นถึงความสัมพันธ์ที่ละเอียดอ่อนระหว่างความเข้มงวดเชิงวิธีการ ความซับซ้อนของเรื่องราว และผลกระทบจากการวิจัย

รูปที่ 3 แสดงให้เห็นว่าบทความที่มีข้อเรียกร้องเชิงสาเหตุในสัดส่วนที่สูงกว่ามีแนวโน้มที่จะได้รับการตีพิมพ์ในวารสารเศรษฐศาสตร์ 'ห้าอันดับแรก' มากกว่า นอกจากนี้ บทความที่นำเสนอความสัมพันธ์เชิงสาเหตุใหม่ๆ และเกี่ยวข้องกับแนวคิดเฉพาะทางที่ไม่สำคัญมากนักก็มีแนวโน้มที่จะได้รับการตีพิมพ์ในระดับสูงด้วยเช่นกัน

อย่างไรก็ตาม เมื่อตรวจสอบจำนวนการอ้างอิง ซึ่งเป็นตัวแทนของอิทธิพลทางวิชาการ เราจะสังเกตเห็นรูปแบบที่แตกต่างกัน ดังที่แสดงในรูปที่ 4 แม้ว่าความซับซ้อนของเรื่องราวจะสัมพันธ์ในเชิงบวกกับจำนวนการอ้างอิงในวารสารชั้นนำ แต่การใช้การอนุมานเชิงสาเหตุไม่ได้ส่งผลให้มีผลกระทบจากการอ้างอิงที่สูงขึ้นเมื่อเผยแพร่เสมอไป ในทางกลับกัน บทความที่เน้นแนวคิดหลักที่ได้รับการยอมรับอย่างกว้างขวางมักจะได้รับการอ้างอิงมากกว่า

ความแตกต่างนี้แสดงให้เห็นว่าแม้ว่าวารสารชั้นนำจะให้ความสำคัญกับนวัตกรรมเชิงวิธีการและเรื่องราวที่ซับซ้อน แต่ผลกระทบทางวิชาการในวงกว้างนั้นขับเคลื่อนโดยความเกี่ยวข้องของหัวข้อการวิจัยมากกว่า สิ่งนี้ทำให้เกิดคำถามสำคัญเกี่ยวกับทิศทางและลำดับความสำคัญของการวิจัยทางเศรษฐกิจ โดยเน้นย้ำถึงความจำเป็นในการสร้างสมดุลระหว่างความเข้มงวดเชิงวิธีการและการมีส่วนร่วมกับการอภิปรายทางเศรษฐกิจที่สำคัญ (Deaton และ Cartwright 2016, Pischke 2021) มีความกังวลว่าการวิจัยที่ตีพิมพ์อย่างโดดเด่นในวารสารชั้นนำอาจกระตุ้นให้เกิดการเปลี่ยนแปลงโฟกัสการวิจัยในพื้นที่ที่อาจมีความสนใจในวงกว้างเพียงเล็กน้อย ซึ่งอาจทำให้เกิด "หลุมกระต่าย" ลึกๆ ที่อาจสร้างพลวัตการตีพิมพ์ที่เสริมกำลังตัวเองในภายหลัง ขัดขวางนวัตกรรมในวงกว้างมากขึ้น

The increased emphasis on sophisticated empirical methods brings challenges related to replication and research transparency. For example, Chopra et al. (2022) find a substantial perceived penalty against null results in the publication process, which can distort the scientific record and hinder cumulative knowledge. Such biases can lead to an overrepresentation of significant findings, inflating false-positive rates and undermining the reliability of published research (Brodeur et al. 2016).

Moreover, we observe a rise in the use of proprietary data, with the proportion of papers using private company data doubling from about 4% in 1980 to over 8% in 2023. The use of private data in fields like finance and industrial organisation exhibit the highest proportions. Proprietary data can provide granular insights, but it can also raise concerns about replicability and transparency. Limited access to such data hampers other researchers' ability to verify findings or explore alternative hypotheses (Jiménez-Gómez et al. 2019). Further, the provision of research access to proprietary private data may be skewed towards academics with a broad profile, which could further exacerbate the inequalities in the profession in terms of research access (Fetzer 2022). Alternatively, companies could strategically use (publicly funded) researchers to produce private knowledge goods, outsourcing research and development. Alternatively, they may leverage the credentials of academics or higher education institution to foster brand recognition or to boost corporate social responsibility credentials strategically (Bounie et al. 2021).

Deaton and Cartwright (2016) caution against overreliance on randomised control trials (RCTs) and emphasise the importance of understanding the mechanisms behind observed effects. They argue that without a theoretical framework, findings from RCTs may not be generalisable to other contexts, limiting their policy relevance. The generalisability and scalability of experimental results are crucial for informing policy decisions (Jiménez-Gómez et al. 2019).

These findings have significant implications for the economics profession. The trade-off between methodological rigor and broader academic impact suggests the need for a more holistic approach to research. As Jiménez-Gómez et al. (2019) argue, experimental economists must tackle the generalisability and applicability of their evidence, ensuring that findings contribute meaningfully to theory and policy discussions. This involves embracing diverse methodologies and focusing on questions with substantial policy relevance (Deaton and Cartwright 2016).

การส่งเสริมความโปร่งใสและการรายงานผลลัพธ์ที่เป็นโมฆะถือเป็นสิ่งสำคัญในการรักษาความสมบูรณ์ของกระบวนการทางวิทยาศาสตร์ Miguel et al. (2014) สนับสนุนแนวทางปฏิบัติที่ช่วยเพิ่มความน่าเชื่อถือและการเข้าถึง เช่น การลงทะเบียนล่วงหน้าและการแบ่งปันข้อมูล การแก้ไขปัญหาที่เกิดจากข้อมูลที่เป็นกรรมสิทธิ์นั้นต้องอาศัยการสร้างสมดุลระหว่างประโยชน์ของชุดข้อมูลที่มีคุณค่ากับความจำเป็นของการวิจัยที่สามารถตรวจสอบและทำซ้ำได้ การริเริ่มที่ส่งเสริมวิทยาศาสตร์แบบเปิดและการศึกษาการจำลองสามารถช่วยบรรเทาปัญหาเหล่านี้ได้ (Jiménez-Gómez et al. 2019, Brodeur et al. 2016)

นอกจากนี้ ยังมีการยอมรับมากขึ้นถึงข้อจำกัดของการมุ่งเน้นเฉพาะความสำคัญทางสถิติ ดังที่ Brodeur et al. (2016) เน้นย้ำ การเน้นย้ำผลลัพธ์ที่สำคัญมากเกินไปอาจนำไปสู่ ​​"การแฮ็กค่า p" และทำให้มีอัตราการเกิดผลบวกปลอมเพิ่มขึ้น การใช้แนวทางทางสถิติที่มั่นคงและการประเมินมูลค่าการศึกษาโดยอิงจากความถูกต้องและความเกี่ยวข้องของวิธีการ มากกว่าที่จะพิจารณาเฉพาะผลลัพธ์ที่สำคัญเท่านั้น สามารถบรรเทาปัญหาเหล่านี้ได้ การเน้นย้ำความสำคัญทางเศรษฐกิจและผลทางปฏิบัติของผลการวิจัยถือเป็นสิ่งสำคัญในการพัฒนาสาขานี้ (Chopra et al. 2022)