En el área de data, uno de los mayores retos no siempre es la tecnología más compleja, sino la solución de problemas cotidianos que afectan la eficiencia de los procesos. Hace poco, nos encontramos con un problema de un cliente que ejemplifica eso y quiero contaros cómo lo resolvimos y cómo algo tan simple como automatizar un proceso puede marcar una gran diferencia.
El problema: el factor humano y los procesos manuales
Un cliente con datos altamente confidenciales nos pidió que estos fueran compartidos únicamente a través de un SFTP en formato Excel. Estos archivos se descargaban manualmente cada mes para cargarlos en un dashboard de Power BI.
Todo parecía funcionar, pero había un problema: la dependencia manual. Esto significaba que, cada mes, alguien del equipo tenía que comprobar si los datos estaban disponibles, descargarlos y cargarlos en el sistema. No hace falta decir que, en más de una ocasión, se olvidaba el paso o se realizaba tarde, lo que causaba retrasos y afectaba la fiabilidad del dashboard.
La solución: automatización con Azure Data Factory
Para resolver esto, decidimos eliminar la manualidad del proceso y apostar por la automatización. La solución fue conectar el SFTP directamente con Azure Data Factory (ADF) y crear un pipeline que gestionara la carga de los datos de forma automática.
El pipeline consta de los siguientes pasos:
- Conexión segura al SFTP: Configuramos un linked service en ADF para conectarnos al servidor SFTP y acceder a los archivos necesarios.
- Extracción y transformación: Una vez conectado, el pipeline toma los archivos Excel, aplica transformaciones necesarias (como limpieza de datos o formateo) y los prepara para la carga.
- Carga en Azure SQL Database: Finalmente, los datos transformados se cargan automáticamente en una tabla específica de la base de datos.
- Actualización del dashboard: Power BI, conectado a la base de datos, se actualiza en tiempo real con los datos más recientes.
El impacto
Desde que implementamos esta solución, el cliente no ha vuelto a preocuparse por retrasos o errores humanos en la carga de datos. Ahora todo ocurre automáticamente: el pipeline de ADF revisa si hay nuevos archivos en el SFTP, los procesa y los carga, garantizando que el dashboard siempre esté actualizado.
Lecciones aprendidas
- Automatiza lo automatizable: Muchas veces, la causa de los problemas es la intervención manual en procesos que pueden ser automatizados.
- La importancia de la seguridad: Trabajando con datos confidenciales, fue clave asegurar la conexión entre el SFTP y ADF, utilizando credenciales seguras y cifrado.
- Herramientas integradas hacen la diferencia: La flexibilidad de Azure Data Factory y su integración con Power BI nos permitió implementar una solución rápida y eficiente.
En resumen, este proyecto fue un buen recordatorio de que no siempre necesitas soluciones complejas para resolver problemas. A veces, basta con identificar lo que no está funcionando, confiar en las herramientas adecuadas y dejar que la tecnología haga su magia.
