Cuando los trabajos de Spark con comandos repartición aún fallan con problemas relacionados con la reproducción aleatoria, puede ser muy molesto encontrar fallas persistentes de Spark incluso después de implementar puntos de control. El manejo de Spark de las fases aleatorias y las dificultades para romper con éxito el linaje RDD son frecuentemente las causas de este error. Aquí, investigamos cómo crear trabajos de Spark sólidos que puedan procesar datos de manera efectiva y al mismo tiempo reducir los riesgos de falla al combinar puntos de control con tácticas de persistencia, configuraciones sofisticadas y pruebas unitarias.