En este artículo continúa el torneo de predicciones de IMACEC en base a modelos de machine learning.
En primer lugar, se evalúan las predicciones del mes anterior mayo de 2021, en que se predijo el IMACEC de abril de 2021. Luego se trabaja en una nueva predicción, para mayo de 2021. Para esta predicción sólo se innova haciendo feature engineering, es decir, generando nuevas variables a partir de los datos existentes.
Puedes descargar el código utilizado en este artículo en GitHub.
Fe de erratas
Contenidos
En el artículo anterior se compararon las predicciones de los modelos propuestos para el IMACEC de abril de 2021, con la predicción de la encuesta de perspectivas económicas. Sin embargo, la comparación fue incorrectamente realizada, ya que la predicción de la encuesta utilizada correspondía a marzo de 2021. La predicción de la encuesta para abril se divulgó posteriormente a la publicación del artículo. De hecho, todavía no se cuenta con la predicción de la encuesta de perspectivas económicas para mayo de 2021, por lo que no será posible utilizar dicha predicción como referencia en este artículo. Sólo se podrá considerar en el momento de evaluar los resultados del mes anterior (es decir, en el próximo artículo de esta serie).
Evaluación de los resultados del mes anterior
La tasa de crecimiento anual del IMACEC en abril de 2021 fue de 14,0%, un número anormalmente alto, que se explica por la baja base de comparación del año anterior, en que la economía estaba siendo seriamente afectada por la pandemia de covid19. Por lo tanto, los errores de predicción resultaron ser muy altos, incluso para la encuesta de perspectivas económicas.
En esta oportunidad la mejor predicción la dio la encuesta de perspectivas económicas, cuya predicción mediana fue de 9,5% (error de predicción de 4,5%). Con respecto a las predicciones en base a índices de percepciones, todas subestimaron la tasa de crecimiento del IMACEC, y los errores de predicción fueron muy grandes, lo que se debió principalmente a que las percepciones se encontraban muy pesimistas (consumidores) o neutrales (empresarios), lo que no permitía presagiar un crecimiento tan grande.
La mejor predicción del mes fue la realizada en base al IMCE. En segundo lugar, se ubicó la predicción del ICE, que al igual que el IMCE se trata de un índice de confianza empresarial. Luego se encuentra la predicción en base a todos los índices de confianza empresarial.
Predicción del mayo de 2021: Feature engineering
Para hacer una nueva predicción para el mes de mayo de 2021, se procedió de la misma manera que en el mes anterior, ocupando los mismos modelos, y los mismos pasos y parámetros para calibrarlos. Lo único que cambió fueron las variables utilizadas, ya que, además de las variables del mes anterior, los índices compuestos y las percepciones que los componen, en esta oportunidad se crearon nuevas variables usando feature engineering.
Las nuevas variables generadas se pueden clasificar en dos categorías: (1) promedios móviles de los índices de confianza y (2) nuevos índices creados promediando subconjuntos de percepciones o índices sectoriales.
En el caso de los índices de confianza de los consumidores, IPECO e IPEC, se crearon las siguientes variables:
- Promedio móvil trimestral
- Promedio móvil semestral
- Índice de percepciones del presente
- Índice de percepciones del futuro
- Índice de percepciones personales
- Índice de percepciones nacionales
Donde los promedios móviles corresponde a la confianza promedio de los últimos 3 o 6 meses, y donde los índices de percepciones del presente, futuro, personales y nacionales sólo incluyen los índices de percepciones relacionados con estas dimensiones.
En el caso de los índices de confianza empresarial IMCE e ICE se construyeron las siguientes variables:
- Promedio simple de los índices sectoriales
- Promedio trimestral
- Promedio semestral
- Promedios sin algún sector económico
Los índices de confianza empresarial son promedios ponderados de los índices sectoriales, donde los ponderadores corresponden a la participación de cada sector económico en el PIB. Como alternativa a este método de agregación se propone usar un promedio simple, de forma de dar igual importancia a cada sector económico. Por otro lado, los promedios móviles son la confianza promedio de los últimos 3 o 6 meses, y los promedios sin algún sector económico, corresponden al promedio simple de los índices sectoriales excluyendo algún indicador. Por ejemplo, el índice sin minería es el promedio de todos los índices sectoriales excluyendo el índice del sector minero.
Calibración de los modelos
En el torneo compiten los diversos índices de confianza de consumidores y empresarios: IPECO, IPEC, ICE e IMCE, y además, la suma de índices de consumidores (IPECO + IPEC) y de empresarios (ICE + IMCE), y la suma de todos los índices (consumidores + empresarios).
La matriz de predictores ocupados en cada modelo se compone de:
- Filas: todos los datos disponibles para cada índice (o grupo de índices), lo que varía dependiendo de cada índice.
- Columnas: los índices de confianza, índices de percepciones (variables que los componen), y los nuevos índices generados (descritos anteriormente).
Luego, para cada modelo se usa K-fold cross validation y una búsqueda de grilla en un conjunto de parámetros, para seleccionar la mejor combinación de éstos, que minimice el CV-RMSE. Se observa que el modelo en que se ocuparon todas las variables fue el que obtuvo el menor CV-RMSE. También se observa que entre los índices individuales el IMCE obtuvo el mejor resultado.
Los siguientes son los mejores parámetros seleccionados para cada modelo:
Ajuste a la muestra completa
Antes de hacer las predicciones se ajustaron los modelos a la muestra completa, usando los parámetros seleccionados anteriormente. Para visualizar cómo se desempeñaron las nuevas variables generadas en relación a las variables originales, a continuación se muestran los gráficos de feature importances para los modelos que consideran todos los índices de consumidores, empresarios, y todos los índices. Los restantes gráficos se pueden visualizar en la jupyter notebook.
En el caso del modelo en base a índices de confianza de los consumidores, la mejor variable fue el IPECO, seguido de su promedio móvil trimestral, la percepción del desempleo actual del IPECO, y el promedio móvil semestral del IPECO.
En el caso del modelo en base a índices de confianza empresarial, la mejor variable fue el promedio móvil semestral del IMCE, seguido del ICE sin construcción, el promedio móvil trimestral del IMCE, y el promedio móvil semestral del ICE.
En el caso del modelo en base a todos los índices de confianza, la mejor variable fue el promedio móvil semestral del IMCE, seguida del promedio trimestral del IMCE, promedio semestral del ICE y el ICE sin construcción.
En todos los casos analizados, las nuevas variables generadas se ubicaron entre las más importantes, lo que sugiere que se trata de un buen enfoque.
Predicciones para mayo de 2021
Por último, es muestran las predicciones para el mes de mayo de 2021:
La mayor predicción la da el modelo que considera todas las variables (5.2%), mientras que la menor predicción la da el modelo en base al IPECO (-0.65%). El modelo en base al IMCE—el ganador del mes anterior—da una predicción de 3.13%. Por otro lado, se observa que, en correspondencia con los niveles de confianza de consumidores (pesimistas) y empresarios (neutrales), las predicciones en base a los índices de confianza empresarial son mayores que las realizadas en base a los índices de confianza de los consumidores.