Apache Spark 작업에 대한 AWS Glue 성능 조정 모범 사례

Roman Myers, Takashi Onikura, Noritaka Sekiyama, Amazon Web Services(AWS)

2023년 12월(문서 기록)

AWS Glue에서는 성능 조정을 위한 다양한 옵션을 제공합니다. 이 가이드에서는 Apache Spark에서 AWS Glue 조정에 대한 주요 주제를 정의합니다. 그런 다음 Apache Spark 작업에 대해 이러한 AWS Glue를 조정할 때 따라야 할 기준 전략을 제공합니다. 이 가이드를 사용하여 AWS Glue에서 사용할 수 있는 지표를 해석함으로써 성능 문제를 식별하는 방법을 알아봅니다. 그런 다음 이러한 문제를 해결하기 위한 전략을 통합하여 성능을 극대화하고 비용을 최소화합니다.

이 가이드에서는 다음과 같은 조정 사례를 다룹니다.