当使用重新分区命令的 Spark 作业仍然因与洗牌相关的问题而失败时，即使在实施检查点之后遇到持续的 Spark 故障也可能会非常烦人。 Spark 对 shuffle 阶段的处理以及成功打破 RDD 沿袭的困难常常是导致此错误的原因。在这里，我们研究如何构建强大的 Spark 作业，通过将检查点与持久性策略、复杂的配置和单元测试相结合，可以有效地处理数据，同时降低失败风险。 🚀