Automatizando la generación de paquetes SSIS

Tras muchas experiencias en desarrollo de procesos ETL con Integration Services, en los que buena parte de ellos tienen como destino final un Data Mart o un Data Warehouse, hemos ido recopilando buenas prácticas, pros y contras de dar un enfoque u otro a la solución de cada problema, cuáles de ellas obtienen mejores resultados de rendimiento según qué casos, etc.

Por otro lado, cuando llevas años haciendo procesos de este tipo, ves que hay muchas casuisticas que se repiten en buena parte de los procesos que tienes que diseñar, incluso ya tienes una imagen grabada en tu mente de cómo son algunos de estos procesos, debido a que los has repetido multitud de veces. Por ejemplo, los procesos de carga de una dimensión que tiene atributos a los que vas a aplicar SCD tipo 1 o SCD tipo 2.

Y si estos procesos son tan repetitivos ¿Por qué no automatizarlos? Esa fue la pregunta que nos hicimos hace tiempo, y a partir de ahí nos pusimos a trabajar en el tema.

¿Cuál fue nuestra solución? Crear un generador de paquetes que permitiera crear de forma automatizada paquetes que solucionasen casuísticas muy frecuentes. Comenzamos implementando una primera versión que era capaz de generar automáticamente un paquete que sincronizaba dos tablas. Le indicabas el origen, la tabla de origen, y el destino, y a partir de esa información generaba un paquete que sincronizaba el origen con el destino y además creaba una tabla reflejando el historial de cambios que se habían producido. Por tanto, además de sincronizar, auditaba cambios.

De ahí seguimos avanzando y nos planteamos ¿Y si pudiera rellenar los datos del origen, las transformaciones más frecuentes (lookups, merge join, derived columns) en un Excel y que a partir de ahí me generase el paquete para ciertos procesos ETL que son repetitivos?

Bien pues ya lo tenemos desde hace un tiempo disponible. ¿Te imaginas la cantidad de tiempo que te puede ahorrar, tanto de desarrollo como de mantenimiento y solución de bugs? Muchísimo, así es.

Ahora con este generador de paquetes de SSIS, puedes generar un Excel que incluya un buen porcentaje de los paquetes ETL de cualquier proyecto en el que quieras hacer procesos que traen información a un área de staging y posteriormente desde ese área de staging alimentan el Data Mart o Data Warehouse. Por supuesto, recopilando todas las buenas prácticas que implementamos en nuestros proyectos habitualmente.

Eso si, siempre habrá algunos más específicos que tengas que generar como hasta ahora, desde Visual Studio, pero serán los mínimos.

Si quieres conocer más sobre nuestro Generador de paquetes y ver un caso práctico en el que se muestra desde el excel que rellenamos hasta el resultado final, te recomiendo ver este video:

Video Generando Paquetes SSIS automáticamente