機能と機能 - Amazon EMR
サポートされているプラットフォーム仕組み利用できるリージョン範囲と要件

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

機能と機能

サポートされているプラットフォーム

  • 言語: Python および Scala Spark アプリケーション

  • ターゲットプラットフォーム: Amazon EMR、EMR Serverless AWS 、Glue

仕組み

Spark アプリケーションが失敗した場合、トラブルシューティングエージェントを使用して、問題を自動的に調査できます。Spark イベントログ、エラーメッセージ、リソース使用状況を分析して、Spark エグゼキュターのメモリ不足、設定エラー、コードバグなど、正確な問題を特定します。

Spark ワークロードの分析を自然言語プロンプトに求めると、エージェントはプラットフォームのリソースに接続し、機能 (Spark イベントログ、クエリプラン、エグゼキュタータイムライン、ログトレース、設定、メトリクスなど) を抽出します。

  • EMR-EC2 の場合: クラスターの EMR Persistent UI に接続します。

  • Glue の場合: ジョブの Glue Studio の Spark UI からコンテキストを構築します。

  • EMR-Serverless の場合: ジョブの EMR-Serverless Spark History Server に接続します。

  • エージェントは、エラースタックのトレースと設定の詳細も分析して、実用的なインサイトを提供します。

失敗したワークロードについては、根本原因を明確に説明し、修正するための具体的な手順を示します。エージェントは、コード関連の問題を検出すると、コードの変更内容を正確に示すコードレコメンデーションを自動的に提供します。完全な分析を行わずに、コードレベルの提案をいつでも直接リクエストすることもできます。

利用できるリージョン

Spark トラブルシューティングエージェントは、次のリージョンで使用できます。

  • アジアパシフィック: 東京 (ap-northeast-1)、ソウル (ap-northeast-2)、シンガポール (ap-southeast-1)、シドニー (ap-southeast-2)、ムンバイ (ap-south-1)

  • 北米: カナダ (ca-central-1)

  • 欧州: ストックホルム (eu-north-1)、アイルランド (eu-west-1)、ロンドン (eu-west-2)、パリ (eu-west-3)、フランクフルト (eu-central-1)

  • 南米: サンパウロ (sa-east-1)

  • 米国: バージニア北部 (us-east-1)、オハイオ (us-east-2)、オレゴン (us-west-2)

Spark トラブルシューティングの範囲とユーザー要件

  • サポートされている Spark ワークロードの状態: このツールは、失敗した Spark ワークロードのレスポンスのみをサポートします。

  • EMR Persistent UI: Amazon EMR-EC2 ワークロードを分析する場合、分析ツールは EMR Persistent UI に接続して主要な Spark 情報を取得しようとします。EMR Persistent UI に関する考慮事項を以下に示します。

  • Glue Studio Spark UI: Glue ワークロードを分析する AWS 場合、分析ツールは Amazon S3 からユーザーの Spark イベントログを解析することで、主要な Spark 情報を取得しようとします。Spark イベントログの最大許容サイズは、ローリングログ用に 512 MB と 2 GB です。

  • コードの推奨事項: PySpark ワークロードの Amazon EMR-EC2 および AWS Glue ワークロードでのみサポート

  • リージョンリソース: Spark トラブルシューティングエージェントはリージョン別であり、そのリージョンの基盤となる EMR リソースをトラブルシューティングプロセスに使用します。クロスリージョントラブルシューティングはサポートされていません。