

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon EMR でのインスタンスストレージのオプションと動作
<a name="emr-plan-storage"></a>

## 概要
<a name="emr-plan-storage-ebs-storage-overview"></a>

インスタンスストアおよび Amazon EBS ボリュームストレージは HDFS データに使用されます。また、バッファ、キャッシュ、スクラッチデータ、および一部のアプリケーションがローカルファイルシステムに「流出」する可能性があるその他の一時的なコンテンツにも使用されます。

Amazon EMR 内での Amazon EBS の機能は、通常の Amazon EC2 インスタンスと異なります。Amazon EMR クラスターにアタッチされた Amazon EBS ボリュームはエフェメラルです。これらのボリュームは、クラスターとインスタンスが終了すると (たとえば、インスタンスグループを縮小する場合などに) 削除されるため、データが永続的に存在するとはみなさないでください。データの存続はエフェメラルですが、クラスター内のノードの数と仕様によっては、HDFS 内のデータがレプリケートされることもあります。Amazon EBS ストレージボリュームを追加すると、これらは追加ボリュームとしてマウントされます。これらは起動ボリュームの一部ではありません。YARN は、すべての追加ボリュームを使用するように構成されますが、ローカルストレージとしての追加ボリュームの割り当て (たとえばローカルログファイルなど) はお客様の責任にて行ってください。

## 考慮事項
<a name="emr-plan-storage-ebs-storage-considerations"></a>

EMR クラスターで Amazon EBS を使用するときは、以下の追加の考慮事項に留意してください。
+ Amazon EBS ボリュームのスナップショットを作成し、それを Amazon EMR 内で復元することはできません。再利用可能なカスタム設定を作成するには、カスタム AMI (Amazon EMR バージョン 5.7.0 以降で入手可能) を使用します。詳細については、「[カスタム AMI を使用して Amazon EMR クラスター設定の柔軟性を高める](emr-custom-ami.md)」を参照してください。
+ 暗号化された Amazon EBS ルートデバイスボリュームは、カスタム AMI を使用するときにのみサポートされます。詳細については、「[暗号化された Amazon EBS ルートデバイスボリュームを使用したカスタム AMI の作成](emr-custom-ami.md#emr-custom-ami-encrypted)」を参照してください。
+ Amazon EMR API を使用してタグを適用する場合は、それらのオペレーションが EBS ボリュームに適用されます。
+ インスタンスごとに 25 ボリュームという制限があります。
+ コアノードの Amazon EBS ボリュームは 5 GB 未満にすることはできません。
+ Amazon EBS には、インスタンス起動リクエストごとに 2,500 EBS ボリュームの固定制限があります。この制限は、EC2 クラスターの Amazon EMR にも適用されます。この制限内の EBS ボリュームの合計数でクラスターを起動し、必要に応じてクラスターを手動でスケールアップするか、Amazon EMR Managed Scaling を使用することをお勧めします。EBS ボリューム制限の詳細については、「[Service quotas](https://docs.aws.amazon.com/general/latest/gr/ebs-service.html#limits_ebs:~:text=Amazon%20EBS%20has,exceeding%20the%20limit.)」を参照してください。

## インスタンスのデフォルト Amazon EBS ストレージ
<a name="emr-plan-storage-ebs-storage-default"></a>

EBS 専用のストレージを持つ EC2 インスタンスの場合、Amazon EMR は、Amazon EBS gp2 または gp3 ストレージボリュームをそのインスタンスに割り当てます。Amazon EMR リリース 5.22.0 以降を使用してクラスターを作成する場合、デフォルトの Amazon EBS ストレージ容量はインスタンスのサイズに基づいて増加します。

増えたストレージは複数のボリュームに分割されます。これにより、IOPS のパフォーマンスだけでなく、一部の標準ワークロードのパフォーマンスも向上します。別の Amazon EBS インスタンスストレージ設定を使用する場合、EMR クラスターを作成する際、または既存のクラスターにノードを追加する際にこれを指定することができます。Amazon EBS gp2 または gp3 ボリュームはルートボリュームとして使用でき、また gp2 または gp3 ボリュームを追加のボリュームとして追加することもできます。詳細については、「[追加の EBS ストレージボリュームを指定する](#emr-plan-storage-additional-ebs-volumes)」を参照してください。

次の表は、Amazon EBS gp2 ストレージボリュームのデフォルト数、サイズ、およびインスタンスタイプごとの合計サイズを示しています。gp2 ボリュームと gp3 ボリュームの比較については、「[Amazon EBS ボリュームタイプ gp2 と gp3 の比較](emr-plan-storage-compare-volume-types.md)」を参照してください。


**Amazon EMR 5.22.0 以降のインスタンスタイプ別のデフォルトの Amazon EBS gp2 ストレージボリュームとサイズについて**  

| インスタンスサイズ | ボリューム数 | ボリュームサイズ (GiB) | 合計サイズ (GiB) | 
| --- | --- | --- | --- | 
| \*.large | 1 | 32 | 32 | 
| \*.xlarge | 2 | 32 | 64 | 
| \*.2xlarge | 4 | 32 | 128 | 
| \*.4xlarge | 4 | 64 | 256 | 
| \*.8xlarge | 4 | 128 | 512 | 
| \*.9xlarge | 4 | 144 | 576 | 
| \*.10xlarge | 4 | 160 | 640 | 
| \*.12xlarge | 4 | 192 | 768 | 
| \*.16xlarge | 4 | 256 | 1024 | 
| \*.18xlarge | 4 | 288 | 1152 | 
| \*.24xlarge | 4 | 384 | 1536 | 

## インスタンスのデフォルトの Amazon EBS ルートボリューム
<a name="emr-plan-storage-ebs-root-volume"></a>

Amazon EMR リリース 6.15 以降では、Amazon EMR が Amazon EBS 汎用 SSD (gp3) を AMI のルートデバイスとして自動的にアタッチし、パフォーマンスを強化します。それ以前のリリースでは、Amazon EMR は、ルートデバイスとして EBS 汎用 SSD (gp2) をアタッチします。


|  | 6.15 以降 | 6.14 以前 | 
| --- | --- | --- | 
| デフォルトのルートボリュームタイプ |  [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html) | [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html) | 
| デフォルトサイズ |  [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html)  |  [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html)  | 
| デフォルト IOPS |  [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html)  |   | 
| デフォルトのスループット |  [See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-storage.html)  |   | 

Amazon EBS ルートデバイスボリュームをカスタマイズする方法については、「[追加の EBS ストレージボリュームを指定する](#emr-plan-storage-additional-ebs-volumes)」を参照してください。

## 追加の EBS ストレージボリュームを指定する
<a name="emr-plan-storage-additional-ebs-volumes"></a>

Amazon EMR でインスタンスタイプを設定するとき、追加の EBS ボリュームを指定して、インスタンスストア (存在する場合) とデフォルト EBS ボリュームを超える容量を追加できます。Amazon EBS には、汎用 SSD、プロビジョンド IOPS (SSD)、スループット最適化 (HDD)、Cold (HDD)、磁気のボリュームタイプが用意されています。これらはパフォーマンス特性と料金が異なるため、お使いのアプリケーションの分析ニーズとビジネスニーズに応じてストレージを調整してください。たとえば、一部のアプリケーションはディスクへの書き込みが必要になる場合がありますが、メモリ内でまたは Amazon S3 を使用して安全に動作できるアプリケーションもあります。

Amazon EBS ボリュームをインスタンスにアタッチできるのは、クラスターの起動時と、別のタスクノードインスタンスグループを追加するときです。Amazon EMR クラスター内のインスタンスに障害が発生した場合は、インスタンスおよびアタッチされている Amazon EBS ボリュームの両方が、新しいボリュームに置き換えられます。結果として、手動で Amazon EBS ボリュームをデタッチする場合、Amazon EMR はそれを失敗として扱い、インスタンスストレージ (該当する場合) とボリュームストアの両方を置き換えます。

Amazon EMR では、既存の EMR クラスターのボリュームタイプを gp2 から gp3 に変更することはできません。ワークロードに gp3 を使用するには、新しい EMR クラスターを起動する必要があります。また、使用中またはプロビジョニング中のクラスターのスループットと IOPS を更新することはお勧めしません。Amazon EMR は、クラスターのスケールアップ中に追加される新しいインスタンスに対して、クラスター起動時に指定したスループットと IOPS の値を使用するためです。詳細については、「[Amazon EBS ボリュームタイプ gp2 と gp3 の比較](emr-plan-storage-compare-volume-types.md)」および「[gp3 Amazon EBS ボリュームタイプへの移行時の IOPS とスループットの選択](emr-plan-storage-gp3-migration-selection.md)」を参照してください。

**重要**  
EMR クラスターで gp3 ボリュームを使用するには、新しい EMR クラスターを起動する必要があります。