Con el nuevo catálogo de SSIS introducido en SQL Server 2012 tenemos muchísima información disponible sobre nuestros paquetes SSIS. ¿La estás exprimiendo al máximo? Aprende sobre tus paquetes SSIS y evita problemas en tus procesos diarios en esta sesión
Monitorizando SQL Server Integration Services like a boss from SolidQ on Vimeo.
Presentación realizada en el SolidQ Summit por: Pau Sempere
1. #SQSummit Montorizando SSISDB Pau Sempere Sanchez Data Platform Architect psempere@solidq.com @pausempere Like a boss! 400
2. Agenda •Estructura del catálogo •El catálogo con Power BI •Gemas escondidas
3. Estructura del catálogo Claves • Operations • Executions o Data Statistics o Component Phases • Projects o Packages • Event Messages
4. Estructura del catálogo ¿Qué tenemos hasta ahora? • SSIS Dashboard • Proyectos independientes
5. Estructura del catálogo Pros • Integrado • Gran nivel de detalle • Nivel de logging • Fácil de usar Contras ? Estático ? Gran nivel de detalle ? Muerte por chocolate SSIS Dashboard
6. Demo SSIS Dashboard
7. El catálogo con Power BI Power BI • Perspectiva análitica • Modelo interactivo • Métricas avanzadas • Cross-filtering • Gráficos personalizados
8. El catálogo con Power BI SSISDB
9. Demo Enriqueciendo el dashboard
10. Niveles de logging • None • Basic • Performance • Verbose En SQL Server 2016, háztelo tú mismo ?
11. Expandiendo el modelo • Filas afectadas por paquete • ¿Más filas ? más tiempo? • Uso de memoria • Límite de la máquina • ¿Afecta al rendimiento?
12. Expandiendo el modelo • Patrones • Degradación de rendimiento en horas de backup • Uso de paquetes ad-hoc • Competencia por recursos
13. Demo Uso de paquetes
14. Fases de ejecución – Data Flow • AcquireConnections • Validate • ReleaseConnections • PrepareForExecute • PreExecute • ProcessInput • PrimeOutput • Cleanup ? AcquireConnections ? Validate ? ReleaseConnections ? PrepareForExecute ? PreExecute ? ProcessInput ? PrimeOutput ? Cleanup
15. Fases de ejecución – Data Flow PreExecute • Resuelve las queries en origen • Carga Lookups • Importa datos para calcular el tamaño de buffers
16. Fases de ejecución – Data Flow ProcessInput • Recibe datos del (de los) componente(s) anterior(es) • Procesa el dato • Puede llamarse varias veces • ¡Buffer disponible!
17. Fases de ejecución – Process Input
18. Fases de ejecución – Data Flow PrimeOutput • Añade datos a la salida • Componentes bloqueantes / semi-bloqueantes
19. Demo Análisis por fases
20. Lookups • Elemento común en paquetes BI • Muy sensible a malas prácticas • Full cache carga todo el dato en memoria • ¿Cuánta?
21. Lookups • No existe “catalog.lookup_usage” • Bucear en los mensajes de diagnóstico ?
22. Demo Lookups
23. Presión de memoria • SSIS basa su potencia en el procesamiento en memoria • Si se queda sin ella, pagina buffers a disco (swapping) • Esto es MALO ?
24. Presión a memoria
25. Demo Presión a memoria
26. Ralentización de reservas • Antes de paginar, SSIS detecta la presión • Baja el ritmo de creación de buffers para mantener la memoria estable • ¡Alerta de rendimiento!
27. Gestión de memoria
28. Demo Ralentización de reservas de memoria
29. Contadores de rendimiento • BLOB bytes read • BLOB bytes written • BLOB files in use • Buffer memory • Buffers in use • Rows read • Buffers spooled • Flat buffer memory • Flat buffers in use • Private buffer memory • Private buffers in use • Rows written
30. Siguientes pasos • Convertirlo a proactivo (TR) • Direct Query • PowerShell usando API • Event Hubs + Azure Stream Analytics • Alertas en Power BI móvil (sólo iOS ahora mismo) • Convertirlo en predictivo • SSAS Data Mining • Azure ML
31. También puedes preguntar tus dudas con el hashtag #SQSummit en Twitter ADAPTIVE BI FRAMEWORK Te ayudaremos a mejorar la velocidad de desarrollo de tu plataforma de analítica de negocio basada en nuestra experiencia: •Diseña antes de construir •Automatización de procesos por ETL •Servicios de mentoring para ayudarte a conseguir mejores prácticas para la construcción de procesos específicos y plataformas de analítica de negocio •Muy fácil de mantener SOLIDQ FLEX SERVICES Con SolidQ Flex Services evitarás sustos, consiguiendo que tus sistemas sean estables. Desde una solución sencilla de monitorización, hasta un servicio de atención de incidencias 24/7, mantenimiento proactivo, resolución de problemas y línea de soporte. Todo con un co
