Wanneer Spark-taken met herpartitioneren-opdrachten nog steeds mislukken vanwege shuffle-gerelateerde problemen, kan het erg vervelend zijn om aanhoudende Spark-fouten tegen te komen, zelfs na het implementeren van checkpointing. Spark's omgang met shuffle-fasen en de moeilijkheden bij het succesvol doorbreken van de RDD-afstamming zijn vaak de oorzaken van deze fout. Hier onderzoeken we hoe we robuuste Spark-taken kunnen bouwen die gegevens effectief kunnen verwerken en tegelijkertijd het risico op fouten kunnen verkleinen door checkpointing te combineren met persistentietactieken, geavanceerde configuraties en unit-tests.