Introducción
Contenidos
Una de las áreas de investigación más interesantes en las ciencias sociales es la identificación de relaciones de causa y efecto. Una relación causal es útil para predecir los efectos que tendría el cambio en una variable de interés sobre una variable de resultado–ceteris paribus: manteniendo todas las demás variables constantes. Esto nos permite evaluar el impacto de las políticas públicas, ya que de esta manera nos podemos asegurar que los efectos encontrados corresponden al efecto causal de la política sobre una variable de resultado, y que no se trata meramente de una correlación.
El uso de experimentos para identificar relaciones causales
Para identificar relaciones causales los investigadores pueden realizar experimentos controlados, que permiten aislar el efecto de la variable de interés (tratamiento) sobre la variable de resultado. Dicho efecto se conoce en la literatura económica como efecto de tratamiento. De esta manera, evitamos confundir el efecto de la variable de interés con los efectos que pueden tener otras variables sobre la variable de resultado. Sin embargo, no siempre es posible hacer un experimento, ya que son costosos y muchas veces involucran cuestionen éticas importantes (por ejemplo, excluir a grupos de la población de un programa para mejorar sus indicadores de salud).
Estrategias de identificación
Aun cuando no sea posible hacer un experimento, se puede hacer un análisis econométrico tal que sus resultados se aproximen a los de un experimento real, a través de lo que los economistas denominamos métodos cuasi experimentales, que se basan en estrategias de identificación de efectos causales.
La estrategia de identificación se realiza mediante un cuidadoso diseño experimental, usando modelos econométricos sofisticados que permiten mitigar los sesgos intrínsecos de las investigaciones no experimentales.
El sesgo de selección
El sesgo de selección es un problema inherente de los experimentos no aleatorios. Por ejemplo, suponga que se quiere evaluar si los hospitales hacen que los adultos mayores sean más saludables. Dado que los pacientes reciben medicinas y consejos valiosos en las consultas médicas, uno tendería a creer que los hospitales sí tendrían un efecto positivo sobre la salud de los adultos mayores (hipótesis).
Un análisis intuitivamente razonable para responder esta pregunta sería comparar la salud (variable de resultado) de aquellos adultos mayores que asisten regularmente al consultorio con la de aquellos que no asisten.
Una investigación realizada en hospitales en EEUU (National Health Interview Survey) utilizando este enfoque, llegó a la conclusión de que los hospitales empeoraban la salud de los adultos mayores. Este resultado se puede interpretar reconociendo que los hospitales suelen estar llenos de pacientes enfermos, por lo que los adultos mayores se exponen a contraer enfermedades que pueden afectar negativamente su salud.
Sin embargo, hay un problema con la estrategia de identificación de la investigación. El análisis estuvo contaminado por un sesgo de selección. Se podría pensar que las personas que asisten al consultorio son menos saludables que las que no asisten, por lo que el efecto del tratamiento (asistencia al hospital) se estaría confundiendo con las diferencias en la salud de los personas. Este razonamiento se verificó al comparar los indicadores de salud de las personas que asistían al hospital y las que no: en promedio, las personas que no asistían al hospital efectivamente eran más saludables que las que sí asistían.
Necesidad de un contrafactual
Para determinar correctamente un efecto causal, se debe comparar el efecto del tratamiento con un contrafactual, una situación que no ocurrió, pero podría haber ocurrido. En otras palabras, se debe estimar el cambio en la variable de resultado de los individuos tratados, si no hubieran sido tratados, lo que, en la práctica, es una situación inobservable.
En el ejemplo anterior, se debería comparar la salud de una persona que asistió al consultorio, con la salud que habría tenido esa misma persona en caso de no haber asistido al consultorio (contrafactual). Por el contrario, si se comparan los resultados de dos personas intrínsecamente diferentes en sus características observables y/o inobservables, se obtendrá una estimación sesgada del efecto de tratamiento—cuyo sesgo se conoce como sesgo de selección.
Se debe tener en cuenta que el efecto contrafactual es imposible de conocer para un individuo en particular, pero se puede estimar un efecto promedio utilizando individuos de la misma población para construir grupos de control. En otras palabras, se puede hacer una estimación del contrafactual. Esto es lo que se hace en un diseño cuasi experimental.
La asignación aleatoria resuelve el problema del sesgo de selección
Una forma de resolver el problema del sesgo de selección es seleccionar aleatoriamente los individuos que serán parte del grupo de tratamiento y grupo de control, ya que de esta manera los potenciales efectos serán independientes de la asignación. En otras palabras, si los individuos pertenecientes a ambos grupos provienen de la misma distribución, se puede asumir que son iguales en promedio, tanto en características observables como inobservables, y que la única diferencia entre ambos grupos es que unos individuos fueron tratados y otros no. Por lo tanto, seriamos capaces de identificar el efecto causal del tratamiento sobre la variable de resultado.
Diseños experimentales vs cuasi experimentales
Los diseños cuasi experimentales tienen un problema importante, que es las estimaciones de los impactos no tienen validez externa. El efecto causal estimado es válido solo para los tratados, pero no se puede generalizar al resto de la población. En cambio los experimentos aleatorios sí son generalizables, al menos en teoría. En la práctica la situación es distinta, ya que el impacto de las políticas públicas es muy dependiente del contexto y de pequeños detalles, que pueden hacer que un programa que haya funcionado en cierto lugar, fracase en otro, y viceversa.
Cómo hacer que los resultados sean más generalizables
Los experimentos se deben repetir en distintos lugares. Lo que se recomienda es realizar programas piloto, también conocidos como ensayos controlados aleatorizados, en que se diseña y ejecuta un proyecto, pero considerando solo una pequeña parte de la población, que se asigna aleatoriamente a grupos tratamiento y control. Luego, el programa se evalúa, para determinar si tiene un impacto positivo, y para calcular su costo-efectividad, es decir, cuánto cuesta producir dicho impacto. Los ensayos permiten identificar los programas exitosos y hacer las mejoras que sean necesarias a un bajo costo, ya que sólo los programas que demuestren ser efectivos se escalan al resto de la población. Para generalizar los resultados, dichos ensayos se deben repetir en múltiples localidades. Si el resultado del experimento se puede replicar en múltiples localidades, se pueden pensar que se trata de un impacto generalizable.
Referencias
Joshua D. Angrist & Jörn-Steffen Pischke, 2009. «Mostly Harmless Econometrics: An Empiricist’s Companion,» Economics Books, Princeton University Press.