我尝试浏览各种帖子，但没有得到答案。可以说我的Spark作业有1000个输入分区，但我只有8个执行程序核心。该工作分为两个阶段。有人可以帮助我确切地了解spark是如何处理的。如果您能帮助回答以下问题，我将不胜感激
抱歉，如果这些问题不清楚。这不是一个真正的用例，但是当我学习Spark时，我试图了解如何处理不同分区的内部细节。
谢谢！
Spark将在第一阶段运行所有作业，然后再开始第二阶段。这并不意味着它将启动8个分区，等待它们全部完成，然后再启动另外8个分区。相反，这意味着每次执行者完成一个分区时，它将从第一阶段开始另一个分区，直到开始第一阶段的所有部分，然后spark将等待直到第一阶段的所有阶段都完成，然后再开始第二阶段。
数据存储在内存中，或者如果没有足够的可用内存，则溢出到执行器内存的磁盘上。是否发生溢出将取决于确切有多少可用内存以及产生多少中间数据。
最佳文件大小各不相同，并且可以最佳衡量，但是要考虑以下一些关键因素：
如果您只有8个核心，我倾向于10MB或更大的文件。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句