...
Los eventos generados a través de Kinesis (ver KINESIS) son depositados en s3. El datalake nace de todos los streams recibidos de los microservicios. Existen 4 actualmente: Enrollment, instrument-management, payment y profile management.
AWS Glue es la herramienta principal para hacer procesos de ETL dentro de spin. AWS Glue tiene conexiones con el datalake (S3) y a veces es administrado desde nuestro orquestador Airflow (MWAA). Los eventos contenidos en los streams son colocados en el datalake con ayuda de una lambda desarrollada por BE, y son escaneados con crawlers creados en AWS Glue para crear tablas que pueden ser consultadas con Athena. Esta es la herramienta principal para hacer queries directas sobre el datalake montado en s3.
...