任务优化注意事项

EMRFS S3-optimized 提交者会为任务尝试写入的每个文件消耗少量内存，直到任务被提交或中止。在大多数作业中，占用的内存量可以忽略不计。对于包含写入大量文件的长期任务的作业，提交程序占用的内存可能很大，需要调整为 Spark 执行程序分配的内存。您可以使用 spark.executor.memory 属性调整执行程序内存。作为指导，编写 100000 个文件的单个任务通常需要额外的 100 MB 内存。有关更多信息，请参阅 Apache Spark 配置文档中的应用程序属性。