ステップ 2: 環境の確認
Amazon EMR は、ウェブサービスのエコシステムおよびオープンソースソフトウェアの一部として動作します。これらの依存関係に影響する内容は、Amazon EMR のパフォーマンスに影響を及ぼす可能性があります。
サービスの停止の確認
Amazon EMR は、内部で複数のAmazon Web Services を使用します。Amazon EC2 で仮想サーバーを稼働させ、Amazon S3 にデータとスクリプトを保存し、CloudWatch にメトリクスを報告します。これらのサービスを中断するイベントはまれですが、発生すると、Amazon EMR で問題が発生する恐れがあります。
次に進む前に、サービスヘルスダッシュボード
使用制限の確認
大規模なクラスターを起動する場合、多数のクラスターを同時起動した場合、または AWS アカウントアカウントが他のユーザーと共有されている場合は、AWS サービスの制限超過によってクラスターで障害が発生した可能性があります。
Amazon EC2 は、単一の AWS リージョンで実行される仮想サーバーインスタンスの数を、20 個までのオンデマンドインスタンスまたはリザーブドインスタンスに制限しています。20 ノードを超えるクラスターを起動するか、AWS アカウントでアクティブな EC2 インスタンスの総数が 20 を超えるクラスターを起動すると、必要な EC2 インスタンスがいずれも起動されず、クラスターの起動に失敗する可能性があります。この場合、Amazon EMR は EC2 QUOTA EXCEEDED エラーを返します。Amazon EC2 インスタンスの制限引き上げリクエスト
使用制限を超えるもう 1 つの原因は、クラスターが終了してからすべてのリソースを解放するまでの遅延です。設定によっては、1 つのクラスターが完全に終了して、割り当てられたリソースを解放するまでに 5～20 分かかることがあります。クラスターを起動しようとして EC2 QUOTA EXCEEDED エラーが発生する場合、そのエラーの原因として、最近終了したクラスターのリソースがまだ解放されていないことが考えられます。この場合は、Amazon EC2 クォータ増加リクエスト
Simple Storage Service (Amazon S3) では、アカウントで作成されるバケットの数を 100 までに制限しています。クラスターがこの制限を超える新しいバケットを作成すると、バケットの作成が失敗し、クラスターが失敗する恐れがあります。
リリースバージョンの確認
クラスターの起動に使用したリリースラベルと最新の Amazon EMR リリースを比較します。Amazon EMR の各リリースには、新しいアプリケーション、機能、パッチ、バグ修正などの改善内容が含まれています。クラスターに影響を及ぼしている問題が、最新のリリースバージョンでは修正されている可能性があります。可能な場合は、最新のバージョンを使用してクラスターをもう一度実行してください。
Amazon VPC サブネット設定の確認
クラスターが Amazon VPC サブネットで起動された場合は、「Amazon EMR 用の VPC でネットワークを設定する」の説明に従ってサブネットを設定する必要があります。さらに、クラスターを起動するサブネットに存在する空きの Elastic IP アドレスが、クラスター内の各ノードに 1 つずつ割り当てるのに十分であることを確認します。
