Hola comunidad, como información adicional: Cuando se trabaja con millones de filas como es este caso, se recomienda el uso de herramientas adicionales como es Python, que permite manejar grandes volúmenes de información y de forma segura y ágil. Estuve trabajando con el archivo de 8.3 Gb y el proceso de limpieza de este archivo con Python no llevó más de 5 minutos. Esto comprendió, leer el data set, limpiar los datos y crear los archivos separados para las dimensiones y tabla de hechos. De este modo ya nos queda el archivo normalizado y se ahorra tiempo en la carga en PowerBI,. Solo se cargan los archivos ya procesados y quedan por hacer transformaciones mínimas, evitando el riesgo que colapse la memoria y el mismo PowerBI.
¡Gracias por tu aportación Pablo! ✨ Definitivamente Python es una muy buena opción para este tipo de escenarios. Hacer el procesamiento antes de llegar a Power BI ayuda a reducir los tiempos de carga y hace mucho más sencillo trabajar con archivos de ese tamaño.
Participaciones
Inicia sesión para dejar tu duda, comentario y/o respuesta
Pablo Luis Gallo
Estudiante
•hace 1 mes
como información adicional:
Cuando se trabaja con millones de filas como es este caso, se recomienda el uso de herramientas adicionales como es Python, que permite manejar grandes volúmenes de información y de forma segura y ágil.
Estuve trabajando con el archivo de 8.3 Gb y el proceso de limpieza de este archivo con Python no llevó más de 5 minutos. Esto comprendió, leer el data set, limpiar los datos y crear los archivos separados para las dimensiones y tabla de hechos.
De este modo ya nos queda el archivo normalizado y se ahorra tiempo en la carga en PowerBI,. Solo se cargan los archivos ya procesados y quedan por hacer transformaciones mínimas, evitando el riesgo que colapse la memoria y el mismo PowerBI.
Saludos!
Sarai R.
Equipo Datdata
•hace 1 mes