De acuerdo a la estrategia actual de ingesta de datos desde la base de datos hacia al Data Lake, se manejan tres fases:
RAW Data: Mediante un Jobs se extrae la información histórica con el fin de llenar la tabla fría de Data Lake
Change Data Capture: Mediante un Jobs se extrae la información actualizada pata alimentar la Tabla Delta
Refined Data: Extracción de diferencias entre tabla delta y tabla fría para añadir en Tabla Caliente.
Las fases anteriores aplican tanto para la base de datos de accounts como la de balance, como se muestra a continuación:
Add Comment