翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR でのインスタンスストレージのオプションと動作
概要
インスタンスストアおよび Amazon EBS ボリュームストレージは HDFS データに使用されます。また、バッファ、キャッシュ、スクラッチデータ、および一部のアプリケーションがローカルファイルシステムに「流出」する可能性があるその他の一時的なコンテンツにも使用されます。
Amazon EMR 内での Amazon EBS の機能は、通常の Amazon EC2 インスタンスと異なります。Amazon EMR クラスターにアタッチされた Amazon EBS ボリュームはエフェメラルです。これらのボリュームは、クラスターとインスタンスが終了すると (たとえば、インスタンスグループを縮小する場合などに) 削除されるため、データが永続的に存在するとはみなさないでください。データの存続はエフェメラルですが、クラスター内のノードの数と仕様によっては、HDFS 内のデータがレプリケートされることもあります。Amazon EBS ストレージボリュームを追加すると、これらは追加ボリュームとしてマウントされます。これらは起動ボリュームの一部ではありません。YARN は、すべての追加ボリュームを使用するように構成されますが、ローカルストレージとしての追加ボリュームの割り当て (たとえばローカルログファイルなど) はお客様の責任にて行ってください。
考慮事項
EMR クラスターで Amazon EBS を使用するときは、以下の追加の考慮事項に留意してください。
-
Amazon EBS ボリュームのスナップショットを作成し、それを Amazon EMR 内で復元することはできません。再利用可能なカスタム設定を作成するには、カスタム AMI (Amazon EMR バージョン 5.7.0 以降で入手可能) を使用します。詳細については、「カスタム AMI を使用して Amazon EMR クラスター設定の柔軟性を高める」を参照してください。
-
暗号化された Amazon EBS ルートデバイスボリュームは、カスタム AMI を使用するときにのみサポートされます。詳細については、「暗号化された Amazon EBS ルートデバイスボリュームを使用したカスタム AMI の作成」を参照してください。
-
Amazon EMR API を使用してタグを適用する場合は、それらのオペレーションが EBS ボリュームに適用されます。
-
インスタンスごとに 25 ボリュームという制限があります。
-
コアノードの Amazon EBS ボリュームは 5 GB 未満にすることはできません。
-
Amazon EBS には、インスタンス起動リクエストごとに 2,500 EBS ボリュームの固定制限があります。この制限は、EC2 クラスターの Amazon EMR にも適用されます。この制限内の EBS ボリュームの合計数でクラスターを起動し、必要に応じてクラスターを手動でスケールアップするか、Amazon EMR Managed Scaling を使用することをお勧めします。EBS ボリューム制限の詳細については、「Service quotas」を参照してください。
インスタンスのデフォルト Amazon EBS ストレージ
EBS 専用のストレージを持つ EC2 インスタンスの場合、Amazon EMR は、Amazon EBS gp2 または gp3 ストレージボリュームをそのインスタンスに割り当てます。Amazon EMR リリース 5.22.0 以降を使用してクラスターを作成する場合、デフォルトの Amazon EBS ストレージ容量はインスタンスのサイズに基づいて増加します。
増えたストレージは複数のボリュームに分割されます。これにより、IOPS のパフォーマンスだけでなく、一部の標準ワークロードのパフォーマンスも向上します。別の Amazon EBS インスタンスストレージ設定を使用する場合、EMR クラスターを作成する際、または既存のクラスターにノードを追加する際にこれを指定することができます。Amazon EBS gp2 または gp3 ボリュームはルートボリュームとして使用でき、また gp2 または gp3 ボリュームを追加のボリュームとして追加することもできます。詳細については、「追加の EBS ストレージボリュームを指定する」を参照してください。
次の表は、Amazon EBS gp2 ストレージボリュームのデフォルト数、サイズ、およびインスタンスタイプごとの合計サイズを示しています。gp2 ボリュームと gp3 ボリュームの比較については、「Amazon EBS ボリュームタイプ gp2 と gp3 の比較」を参照してください。
| インスタンスサイズ | ボリューム数 | ボリュームサイズ (GiB) | 合計サイズ (GiB) |
|---|---|---|---|
|
*.large |
1 |
32 |
32 |
|
*.xlarge |
2 |
32 |
64 |
|
*.2xlarge |
4 |
32 |
128 |
|
*.4xlarge |
4 |
64 |
256 |
|
*.8xlarge |
4 |
128 |
512 |
|
*.9xlarge |
4 |
144 |
576 |
|
*.10xlarge |
4 |
160 |
640 |
|
*.12xlarge |
4 |
192 |
768 |
|
*.16xlarge |
4 |
256 |
1024 |
|
*.18xlarge |
4 |
288 |
1152 |
|
*.24xlarge |
4 |
384 |
1536 |
インスタンスのデフォルトの Amazon EBS ルートボリューム
Amazon EMR リリース 6.15 以降では、Amazon EMR が Amazon EBS 汎用 SSD (gp3) を AMI のルートデバイスとして自動的にアタッチし、パフォーマンスを強化します。それ以前のリリースでは、Amazon EMR は、ルートデバイスとして EBS 汎用 SSD (gp2) をアタッチします。
| 6.15 以降 | 6.14 以前 | |
|---|---|---|
| デフォルトのルートボリュームタイプ |
|
|
| デフォルトサイズ |
|
|
| デフォルト IOPS |
|
|
| デフォルトのスループット |
|
Amazon EBS ルートデバイスボリュームをカスタマイズする方法については、「追加の EBS ストレージボリュームを指定する」を参照してください。
追加の EBS ストレージボリュームを指定する
Amazon EMR でインスタンスタイプを設定するとき、追加の EBS ボリュームを指定して、インスタンスストア (存在する場合) とデフォルト EBS ボリュームを超える容量を追加できます。Amazon EBS には、汎用 SSD、プロビジョンド IOPS (SSD)、スループット最適化 (HDD)、Cold (HDD)、磁気のボリュームタイプが用意されています。これらはパフォーマンス特性と料金が異なるため、お使いのアプリケーションの分析ニーズとビジネスニーズに応じてストレージを調整してください。たとえば、一部のアプリケーションはディスクへの書き込みが必要になる場合がありますが、メモリ内でまたは Amazon S3 を使用して安全に動作できるアプリケーションもあります。
Amazon EBS ボリュームをインスタンスにアタッチできるのは、クラスターの起動時と、別のタスクノードインスタンスグループを追加するときです。Amazon EMR クラスター内のインスタンスに障害が発生した場合は、インスタンスおよびアタッチされている Amazon EBS ボリュームの両方が、新しいボリュームに置き換えられます。結果として、手動で Amazon EBS ボリュームをデタッチする場合、Amazon EMR はそれを失敗として扱い、インスタンスストレージ (該当する場合) とボリュームストアの両方を置き換えます。
Amazon EMR では、既存の EMR クラスターのボリュームタイプを gp2 から gp3 に変更することはできません。ワークロードに gp3 を使用するには、新しい EMR クラスターを起動する必要があります。また、使用中またはプロビジョニング中のクラスターのスループットと IOPS を更新することはお勧めしません。Amazon EMR は、クラスターのスケールアップ中に追加される新しいインスタンスに対して、クラスター起動時に指定したスループットと IOPS の値を使用するためです。詳細については、「Amazon EBS ボリュームタイプ gp2 と gp3 の比較」および「gp3 Amazon EBS ボリュームタイプへの移行時の IOPS とスループットの選択」を参照してください。
重要
EMR クラスターで gp3 ボリュームを使用するには、新しい EMR クラスターを起動する必要があります。
