翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# AWS Glue および Amazon EMR SparkジョブのSpark SQLクエリの調整
<a name="introduction"></a>

*Phani Alapaty と Ravikiran Rao、Amazon Web Services (AWS)*

*2024 年 *1 月 ([ドキュメント履歴](doc-history.md))

[https://spark.apache.org/sql/](https://spark.apache.org/sql/) は、構造化データを処理するためのApache Sparkモジュールです。[Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) および [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html)ジョブはSpark SQL、 を使用してデータの処理、変換、ロードを行います。基本的なSpark回復力のある分散データセット (RDD) API とは異なり、Spark SQLインターフェイスはデータと実行される計算の両方の構造Sparkに関する詳細情報を に提供します。内部的には、 はこの追加情報Spark SQLを使用して追加のクエリ最適化を実行します。SQL やデータセット API などSpark SQL、 を操作する方法はいくつかあります。

データの結合は、データをオブジェクトストアまたはデータベースに抽出、変換、またはロードするときに実行できる最も一般的で重要なオペレーションの 1 つです。参加するときは、パフォーマンスを考慮する必要があります。結合、分析、集計オペレーションの一部がメモリ不足になる場合、大規模なネットワーク転送など、複数のシナリオがあります。これにより、ジョブが AWS Glue Spark失敗する可能性があります。

このガイドでは、 AWS Glue または Amazon EMR ジョブのSpark SQL結合クエリを調整するのに役立つベストプラクティスを提供します。 Sparkには、Spark SQLワークロードのパフォーマンスを向上させる多くの設定オプションが用意されています。これらの調整はプログラムで行うことも、 `spark-submit` コマンドを使用してグローバルレベルで適用することもできます。このガイドでは、Spark SQLクエリとアプリケーションのパフォーマンスを改善または微調整できるように、これらの設定の一部について説明します。このガイドの推奨事項は、Spark SQLクエリとアプリケーションのパフォーマンスを向上させるためにプロフェッショナルサービスが AWS 使用する設定に基づいています。

## 対象者
<a name="intended-audience"></a>

このガイドは、アーキテクト、データエンジニア、データサイエンティスト、開発者が、Spark SQLクエリのパフォーマンスを向上させるSpark SQL設定オプションを理解するのに役立ちます。