Amazon EMR クラスターのトラブルシューティング

EMR クラスターは、オープンソースソフトウェア、カスタムアプリケーションコード、AWS のサービス で構成される複雑なエコシステムで稼働します。こうした要素のいずれかで問題が発生すると、クラスターに障害が発生したり、処理の完了までに予想以上に時間がかかったりする可能性があります。クラスターの問題を特定し、修正するには、次のトピックが役立ちます。

EMR での Spark アプリケーションのトラブルシューティングに関するガイダンス。

新しい Hadoop アプリケーションを開発するときは、デバッグを有効にして、小規模の代表的なデータのサブセットを処理して、アプリケーションをテストすることをお勧めします。アプリケーションをステップバイステップで実行して、各ステップを個別にテストすることもできます。詳細については、「Amazon EMR クラスターのログ記録とデバッグを設定する」および「ステップ 5: Amazon EMR クラスターのステップバイステップテスト」を参照してください。