Como vimos en la entrada anterior sobre la creación de procesos de ETL. Uno de los puntos que comentaba era la generación automática de los paquetes de SSIS que componen nuestro proceso ETL.
En SolidQ hemos trabajado mucho dentro de esta línea, y en la actualidad contamos con una herramienta que aporta un pilar muy importante a nuestro marco de desarrollo. Dicha herramienta se basa en tres pilares fundamentales:
- Una arquitectura que nos aporte un conjunto de plantillas de desarrollo, así como unos procesos ETL comunes para situaciones comunes (bajadas de datos, carga de dimensiones con atributos tipo 1 y tipo 2 (SCD), carga de tablas de hechos, etc.)
- Un diseño detallado del proceso de ETL, donde especifiquemos claramente las tablas de salida y sus orígenes de datos, así como las transformaciones a realizar en los flujos de datos.
- Una herramienta que combine los puntos anteriores para agilizar el desarrollo evitando las tareas repetitivas.
Enbreve publicaremos un video, en el que mostramos cómo podemos desarrollar un gran número de paquetes en tiempo record (unos minutos vs un día de trabajo) habiendo hecho un buen trabajo de diseño y habiendo automatizado las tareas repetitivas.
La herramienta es adaptable a distintos orígenes de datos, pudiendo conectarnos a AS 400, Oracle, SQL Server, etc. además de poder incorporar o modificar los procesos en función de las necesidades y las definiciones que tengamos en nuestra arquitectura.
1 comment