EMR オブザーバビリティのベストプラクティス - Amazon EMR
Apache Spark アプリケーションのパフォーマンス最適化ツール

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR オブザーバビリティのベストプラクティス

EMR オブザーバビリティには、 AWS EMR クラスターの包括的なモニタリングおよび管理アプローチが含まれます。基盤は、EMR Studio と Prometheus や Grafana などのサードパーティーツールによって補完されたプライマリモニタリングサービスとして Amazon CloudWatch に依存しています。このドキュメントでは、クラスターオブザーバビリティの特定の側面について説明します。

  1. Spark オブザーバビリティ (GitHub) – Spark ユーザーインターフェイスについては、Amazon EMR に 3 つのオプションがあります。

  2. Spark トラブルシューティング (GitHub) — エラーの解決策。

  3. EMR クラスターモニタリング (GitHub) – クラスターのパフォーマンスのモニタリング。

  4. EMR (GitHub) のトラブルシューティング — 一般的な EMR クラスターの問題を特定、診断、解決します。 GitHub

  5. コスト最適化 (GitHub) – このセクションでは、費用対効果の高いワークロードを実行するためのベストプラクティスの概要を説明します。

Apache Spark アプリケーションのパフォーマンス最適化ツール

  1. AWS EMR Advisor ツールは Spark イベントログを分析し、EMR クラスター設定の最適化、パフォーマンスの向上、コスト削減のためのカスタマイズされた推奨事項を提供します。履歴データを活用することで、理想的なエグゼキュターサイズとインフラストラクチャ設定を提案し、より効率的なリソース使用率を実現し、クラスター全体のパフォーマンスを向上させます。

  2. Amazon CodeGuru Profiler ツールは、ランタイムデータを収集して分析することで、開発者が Spark アプリケーションのパフォーマンスのボトルネックと非効率性を特定するのに役立ちます。このツールは既存の Spark アプリケーションとシームレスに統合され、最小限のセットアップで CPU 使用率、メモリパターン、パフォーマンスホットスポットに関する詳細なインサイトを AWS コンソールを通じて提供します。