Los economistas desempeñan un papel crucial a la hora de orientar las políticas sobre cuestiones urgentes como la desigualdad, la educación y la salud pública. En las últimas décadas, la disciplina ha experimentado una "revolución de la credibilidad", que ha hecho hincapié en técnicas rigurosas de evaluación de programas para establecer relaciones causales. Este cambio ha mejorado la credibilidad de los análisis económicos, pero, por otro lado, podría haber tenido implicaciones más amplias para lo que, en términos generales, podría considerarse investigación comercializable en economía.

La revolución de la credibilidad se caracteriza por la adopción de estrategias empíricas diseñadas para fortalecer las afirmaciones causales. Los trabajos seminales de Angrist y Krueger (1991) y Card (1990) introdujeron experimentos naturales y técnicas de variables instrumentales para abordar las preocupaciones de endogeneidad, sentando las bases para una inferencia causal más creíble. Posteriormente, métodos como las diferencias en diferencias (DiD), el diseño de regresión discontinua (RDD) y los ensayos controlados aleatorios (ECA) han ganado prominencia, lo que señala un cambio de paradigma hacia estrategias empíricas "basadas en el diseño" (Angrist y Pischke 2010, Pischke 2021).

Para evaluar la evolución de estos métodos, en un artículo reciente (Garg y Fetzer 2024) analizamos más de 44.000 documentos de trabajo del NBER y el CEPR que abarcan el período comprendido entre 1980 y 2023. Nuestro análisis revela un aumento significativo en el uso de métodos de inferencia causal en las últimas cuatro décadas. La figura 1 ilustra la proliferación de métodos empíricos clave utilizados en estos artículos.

Para visualizar cómo estos métodos contribuyen a la construcción de narrativas económicas, utilizamos gráficos de conocimiento para mapear las relaciones entre los conceptos en la investigación económica. La Figura 2 presenta un ejemplo de un gráfico de conocimiento de este tipo de Banerjee et al. (2015), que ilustra el impacto causal de la introducción de las microfinanzas en la India.

En este gráfico de conocimiento, los autores examinan cómo el acceso a las microfinanzas influye en una serie de resultados, desde la creación de empresas hasta los patrones de gasto de los hogares. La gran cantidad de aristas causales y caminos únicos indica una narrativa causal rica e interconectada, que refleja la complejidad de las relaciones económicas exploradas en el estudio. Estos mapeos detallados pueden ayudar a entender cómo los métodos empíricos contribuyen al avance del conocimiento en economía.

A pesar de los avances metodológicos, existe un debate en curso sobre las implicaciones para la difusión y la influencia de la investigación. Una preocupación particular puede ser que la revolución de la credibilidad haya dado lugar a un estilo específico de investigación económica que puede poner más énfasis en la caja de herramientas metodológicas, en lugar de la cuestión subyacente con la que los responsables de las políticas y los tomadores de decisiones tienen que lidiar día a día (Jiménez-Gómez et al. 2019). Además, evaluar lo que es económicamente significativo, en comparación con lo que merece consideración por razones estadísticas, puede conducir a un sesgo de publicación, lo que perjudica a los estudios que, por ejemplo, producen resultados nulos (Chopra et al. 2022) o generan una amplia gama de patrones empíricos de alta dimensión y teóricamente consistentes en una amplia gama de variables de interés que pueden ser significativas en conjunto cuando se las considera integradas en una cadena causal o un gráfico.

Para explorar esto, utilizamos gráficos de conocimiento para representar las relaciones entre los conceptos económicos en cada artículo. Cuantificamos la complejidad narrativa a través de medidas como la cantidad de caminos causales únicos y la profundidad de las cadenas causales. Nuestros hallazgos sugieren una relación matizada entre el rigor metodológico, la complejidad narrativa y el impacto de la investigación.

La figura 3 muestra que los artículos con una mayor proporción de afirmaciones causales tienen más probabilidades de ser publicados en las cinco principales revistas de economía. Además, los artículos que introducen relaciones causales novedosas y abordan conceptos menos centrales y especializados tienen una mayor probabilidad de ser publicados en las principales revistas.

Sin embargo, al examinar el número de citas (un indicador de la influencia académica), observamos un patrón diferente. Como se muestra en la Figura 4, si bien la complejidad de una narrativa se correlaciona positivamente con el número de citas en las principales revistas, el uso de métodos de inferencia causal no conduce necesariamente a un mayor impacto de citas una vez publicado. En cambio, los artículos que se centran en conceptos centrales y ampliamente reconocidos tienden a recibir más citas.

Esta divergencia sugiere que, si bien las principales revistas priorizan la innovación metodológica y las narrativas complejas, el impacto académico más amplio está impulsado más por la relevancia de los temas de investigación. Esto plantea preguntas importantes sobre la dirección y las prioridades de la investigación económica, y destaca la necesidad de un equilibrio entre el rigor metodológico y el compromiso con los debates económicos centrales (Deaton y Cartwright 2016, Pischke 2021). Existe la preocupación de que la investigación publicada de manera destacada en las principales revistas pueda alentar un cambio en el enfoque de la investigación hacia áreas que pueden ser de interés marginal más amplio, posiblemente creando "agujeros de conejo" profundos que posteriormente pueden generar una dinámica de publicación que se refuerce a sí misma, obstaculizando la innovación en general.

El mayor énfasis en métodos empíricos sofisticados trae consigo desafíos relacionados con la replicación y la transparencia de la investigación. Por ejemplo, Chopra et al. (2022) encuentran una percepción sustancial de penalización contra los resultados nulos en el proceso de publicación, lo que puede distorsionar el registro científico y obstaculizar el conocimiento acumulativo. Estos sesgos pueden conducir a una sobrerrepresentación de hallazgos significativos, inflando las tasas de falsos positivos y socavando la confiabilidad de la investigación publicada (Brodeur et al. 2016).

Además, observamos un aumento en el uso de datos privados, con la proporción de artículos que utilizan datos de empresas privadas duplicándose de alrededor del 4% en 1980 a más del 8% en 2023. El uso de datos privados en campos como las finanzas y la organización industrial exhibe las proporciones más altas. Los datos privados pueden proporcionar información granular, pero también pueden generar preocupaciones sobre la replicabilidad y la transparencia. El acceso limitado a dichos datos obstaculiza la capacidad de otros investigadores para verificar los hallazgos o explorar hipótesis alternativas (Jiménez-Gómez et al. 2019). Además, la provisión de acceso a la investigación a datos privados privados puede estar sesgada hacia académicos con un perfil amplio, lo que podría exacerbar aún más las desigualdades en la profesión en términos de acceso a la investigación (Fetzer 2022). Alternativamente, las empresas podrían utilizar estratégicamente a investigadores (financiados con fondos públicos) para producir bienes de conocimiento privados, externalizando la investigación y el desarrollo. Alternativamente, pueden aprovechar las credenciales de académicos o instituciones de educación superior para fomentar el reconocimiento de marca o impulsar estratégicamente las credenciales de responsabilidad social corporativa (Bounie et al. 2021).

Deaton y Cartwright (2016) advierten contra la excesiva dependencia de los ensayos controlados aleatorizados (ECA) y destacan la importancia de comprender los mecanismos que subyacen a los efectos observados. Argumentan que, sin un marco teórico, los hallazgos de los ECA pueden no ser generalizables a otros contextos, lo que limita su relevancia para las políticas. La generalización y la escalabilidad de los resultados experimentales son cruciales para fundamentar las decisiones políticas (Jiménez-Gómez et al. 2019).

Estos hallazgos tienen implicaciones significativas para la profesión económica. El equilibrio entre el rigor metodológico y el impacto académico más amplio sugiere la necesidad de un enfoque más holístico de la investigación. Como sostienen Jiménez-Gómez et al. (2019), los economistas experimentales deben abordar la generalización y aplicabilidad de sus evidencias, asegurando que los hallazgos contribuyan significativamente a los debates teóricos y de políticas. Esto implica adoptar diversas metodologías y centrarse en cuestiones con una relevancia política sustancial (Deaton y Cartwright 2016).

Fomentar la transparencia y la notificación de resultados nulos es esencial para mantener la integridad del proceso científico. Miguel et al. (2014) abogan por prácticas que mejoren la credibilidad y la accesibilidad, como el registro previo y el intercambio de datos. Para abordar los desafíos que plantean los datos confidenciales es necesario equilibrar los beneficios de los conjuntos de datos enriquecidos con la necesidad de una investigación verificable y replicable. Las iniciativas que promueven la ciencia abierta y los estudios de replicación pueden ayudar a mitigar estos problemas (Jiménez-Gómez et al. 2019, Brodeur et al. 2016).

Además, cada vez se reconocen más las limitaciones de centrarse únicamente en la significación estadística. Como destacan Brodeur et al. (2016), un énfasis excesivo en los resultados significativos puede conducir a un “p-hacking” e inflar las tasas de falsos positivos. La adopción de prácticas estadísticas sólidas y la valoración de los estudios en función de su solidez y relevancia metodológica, en lugar de solo de los hallazgos significativos, pueden mitigar estos problemas. Hacer hincapié en la importancia económica y las implicaciones prácticas de los hallazgos de las investigaciones es vital para el avance de este campo (Chopra et al. 2022).