Cómo interpretar el efecto tratamiento promedio en una evaluación de impacto

Introducción

Contenidos

Toggle

Al responder preguntas de inferencia causal a través de un experimento, estimamos un efecto tratamiento promedio, comparando una o más variables de resultado en dos grupos: tratamiento (quienes participan de la intervención) y control (grupo de comparación, que no participa en la intervención). Si la evaluación aleatoria se diseña e implementa correctamente, suministra una estimación insesgada del impacto de un tratamiento en la muestra en estudio: una estimación internamente válida.

¿Cómo interpretar el efecto de un experimento?

El efecto tratamiento promedio es una estimación del impacto general de un programa en un resultado, permitiendo que otros factores varíen en respuesta al programa.

¿El efecto tratamiento es un efecto ceteris paribus?

No. El efecto tratamiento promedio normalmente es distinto del efecto del tratamiento en la variable de resultado manteniendo todo lo demás constante (ceteris paribus).

Para entender por qué, asuma que la función de producción de un resultado de interés Y tiene la forma Y=f(I), donde I es un vector de inputs, donde algunos pueden ser modificados directamente por el tratamiento, mientras que otros depende de las respuestas de los hogares o firmas.

Esta relación es estructural; se mantiene independientemente de las acciones de los individuos o instituciones afectadas por los cambios de política. El impacto de cualquier input o componente del vector I, que forma parte de esta relación, es un parámetro estructural.

A continuación, considere un cambio en un elemento del vector I, sea t.

Una estimación de interés es cómo los cambios en t afectan Y cuando todas las demás variables se mantienen constantes, es decir, la derivada parcial de Y con respecto a t (efecto ceteris paribus).

Una segunda estimación de interés es la derivada total de Y con respecto a t, que incluye los cambios en otros inputs en respuesta al cambio en t.

En general, si otros inputs son complementos o sustitutos de t, entonces los cambios exógenos en I producirán cambios en otros inputs j.

Por ejemplo, los padres pueden responder a un programa de subsidio escolar aumentando su provisión de inputs educacionales caseros. Alternativamente, los padres pueden considerar el programa como un sustituto de los inputs caseros y disminuir su provisión. De hecho, se ha encontrado que las becas y el gasto de los hogares en educación son sustitutos. Cuando el gobierno otorga becas a los hogares, éstos disminuyen su gasto en educación, por lo que el gasto total permanece constante.

En general, las derivadas parcial y total pueden ser bastante diferentes, y ambas pueden ser de interés para los hacedores de política.

¿Qué efecto es más importante?

La derivada total es de interés debido a que muestra lo que sucede con las variables de resultado luego de que un input sea exógenamente suministrado y de que los agentes re-optimicen. De hecho, nos da el impacto “real” de la política en el resultado de interés.

No obstante, la derivada total puede no dar una medida del efecto global en el bienestar. Por ejemplo, en el ejemplo del subsidio escolar, los padres pueden responder disminuyendo su gasto privado en educación, mientras que aumentan su consumo de otros bienes, que no están en la función de producción educacional.

La derivada total no captura los beneficios de esta re-optimización. En cambio, bajo algunos supuestos, la derivada parcial sí permite medir el impacto del input en el bienestar general.

Comentarios finales

Los resultados de las evaluaciones aleatorias entregan una forma reducida de estimación de los impactos de un tratamiento, donde estos parámetros de la forma reducida son derivadas totales.

Las derivadas parciales sólo pueden ser obtenidas si los investigadores especifican el modelo que relaciona varios inputs con los resultados de interés, y levantan datos de estos inputs intermedios.

Como conclusión, hay que tener en cuenta que, para estimar impactos en el bienestar de una política, la aleatorización debe ser combinada con teoría.

Bibliografía

Duflo, Esther & Glennerster, Rachel & Kremer, Michael, 2008. «Using Randomization in Development Economics Research: A Toolkit,» Handbook of Development Economics, in: T. Paul Schultz & John A. Strauss (ed.), Handbook of Development Economics, edition 1, volume 4, chapter 61, pages 3895-3962, Elsevier.