Pipeline de datos masivos desplegado en VPS
Pipeline contenerizado para ingerir, validar y transformar más de 16 millones de registros, almacenarlos en SingleStore y MinIO, y exponer archivos Parquet mediante una API.
Laboratorio de Maestría · 2026
Resumen analítico
Registros validados
Indicador principal
16.3M
procesados después de validar el CSV
Proceso
PySpark
Formato
Parquet
Destino
MinIO
El desafío
Problema y datos
Construir un flujo reproducible para cargar, depurar, almacenar y consultar un dataset masivo, verificando su integridad antes y después de cada transformación.
Sobre el dataset
Discogs Releases Dataset de Kaggle. Aunque el archivo tenía 45,106,264 líneas físicas, la validación identificó aproximadamente 16.3 millones de registros reales debido a saltos de línea internos en campos de texto.
Proceso analítico
Metodología
Descarga e ingesta del CSV desde Apache Zeppelin
Limpieza y carga JDBC con PySpark hacia SingleStore
Validación del volumen real con PySpark, DuckDB y herramientas de línea de comandos
Conversión a Parquet y almacenamiento de objetos en MinIO
Despliegue contenerizado de una API con FastAPI y Uvicorn, validada mediante Postman
Resultados
Resultados e interpretación
- Se identificó que el conteo de líneas físicas no equivalía al número de registros CSV por la presencia de saltos de línea dentro de campos entrecomillados.
- Las conversiones a Parquet produjeron consistentemente 16,319,274 registros; una validación adicional del patrón de inicio de filas obtuvo 16,364,057.
- El laboratorio integra procesamiento distribuido, base de datos, almacenamiento de objetos y una API Python dentro de infraestructura desplegada en VPS.
Tecnologías