El mundo de los datos ha cambiado en los últimos años. Conceptos como la computación en la nube, el internet de las cosas, la analítica avanzada, el análisis en tiempo real, etc. plantean retos de negocio, pero, sobre todo, tecnológicos.
Replantearnos la manera en la que procesamos los datos para satisfacer las nuevas necesidades de análisis para tipos de datos más grandes, más rápidos y más variables es un ejercicio necesario en 2018.
Las arquitecturas Lambda son una respuesta a estas nuevas necesidades, aunque no la única. Éstas arquitecturas plantean 3 bloques o capas diferentes:
- Capa batch: Almacena y procesa datos masivos para incluirlos en nuestros análisis históricos o como “alimento” para modelos predictivos o de analítica avanzada.
- Capa veloz (speed layer): Ingiere y procesa datos en tiempo cuasi-real para análisis operacional.
- Capa de servicio: Unifica y presenta la información de las capas anteriores, permitiendo a los usuarios interpretar la información combinada, dando una visión total de la realidad del negocio.
Las arquitecturas Lambda también presentan retos, como la interconexión de las diferentes piezas necesarias para construirla, la necesidad de análisis a medio camino entre las capas “batch” y “speed” para completar la visión de negocio, el mantenimiento de lógica de negocio distribuida entre capas, etc.
En esta sesión repasaremos conceptos básicos, opciones de implementación y una demo completa donde implementaremos una arquitectura Lambda básica con elementos Azure como Azure Stream Analytics, Databricks, Power BI, Azure SQL Database, Analysis Services o Event Hubs.
A continuación, puedes ver la presentación de la charla ‘Arquitecturas lambda en Azure’ del SolidQ Summit 2018:
