翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # 実行中のクラスター内のインスタンスグループの再設定 Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスターアプリケーションを再設定して追加の設定分類を指定できます。そのためには、Amazon EMR コンソール、 AWS Command Line Interface (AWS CLI)、または SDK AWS を使用できます。 新しい Amazon EMR コンソールでインスタンスグループのアプリケーション設定を更新すると、新規設定と既存の設定がマージされ、有効な新規設定が作成されます。Amazon EMR が設定をマージできないという稀なケースでは、コンソールに警告が表示されます。 インスタンスグループの再設定リクエストを送信すると、Amazon EMR が新しい設定仕様にバージョン番号を割り当てます。CloudWatch イベントを表示することで、設定のバージョン番号やインスタンスグループの状態を追跡できます。詳細については、「[CloudWatch イベントのモニタリング](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-cloudwatch-events.html)」を参照してください。 **注記** クラスターの作成時に指定したクラスター設定に対して実行できるのは上書きのみであり、削除はできません。既存の設定と指定したファイルに差異がある場合、Amazon EMR は SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。 ## インスタンスグループの再設定時の考慮事項 **再設定アクション** Amazon EMR コンソール、 AWS Command Line Interface (AWS CLI)、または AWS SDK を使用して再設定リクエストを送信すると、Amazon EMR は既存のクラスター上の設定ファイルをチェックします。既存の設定と指定したファイルに差異がある場合、Amazon EMR は再設定アクションを開始し、いくつかのアプリケーションを再起動し、SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。 Amazon EMR は、インスタンスグループの再設定ごとに、デフォルトのアクションをいくつか実行します。これらのデフォルトのアクションが、ユーザーが行ったクラスターのカスタマイズと競合して、再設定に失敗することがあります。再設定失敗のトラブルシューティング方法については、[インスタンスグループの再設定のトラブルシューティング](#emr-configure-apps-running-cluster-troubleshoot)を参照してください。 Amazon EMR は、リクエストで指定した設定分類に対する再設定アクションも開始します。これらのアクションの詳細なリストについては、使用している Amazon EMR のバージョンの「設定分類」セクションを参照してください。例えば、[6.2.0 の設定分類](emr-620-release.md#emr-620-class)です。 Amazon EMR リリースガイドには、Amazon EMR バージョン 5.32.0 および 6.2.0 以降の再設定アクションのみが記載されています。 **サービスの中断** Amazon EMR では、ローリングプロセスに従って、タスクインスタンスグループとコアインスタンスグループのインスタンスの再設定を行います。インスタンスグループ内のインスタンスのうち、一度に変更および再起動されるのはわずか 10% です。このプロセスは完了するまでに時間がかかりますが、実行中のクラスターでアプリケーションが失敗する可能性は低くなります。 YARN の再起動中に YARN ジョブを実行するには、複数のマスターノードを持つ Amazon EMR クラスターを作成するか、`yarn-site` 設定分類で `yarn.resourcemanager.recovery.enabled` を `true` に設定します。複数のマスターノードの使用方法については、[高可用性 YARN ResourceManager](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-YARN) を参照してください。 **アプリケーションの検証** Amazon EMR は、再設定の再起動プロセスの後に、クラスター上の各アプリケーションが実行中であることを確認します。使用できないアプリケーションがある場合、再設定操作全体が失敗します。再設定操作に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。 再設定の失敗を回避するため、クラスターに使用する予定のアプリケーションのみをインストールすることをお勧めします。再設定リクエストを送信する前に、すべてのクラスターアプリケーションが正常に稼働していることを確認することもお勧めします。 **再設定のタイプ** インスタンスグループは、2 つの方法のいずれかで再設定できます。 + **上書き**: デフォルトの再設定方法です。5.35.0 および 6.6.0 より前の Amazon EMR リリースでは、この方法のみ使用できます。この方法で再設定すると、クラスター上のすべてのファイルが、新しく送信した設定セットで強制的に上書きされます。この方法では、再設定 API 以外で行った設定ファイル変更がすべて消去されます。 + **マージ**: Amazon EMR リリース 5.35.0 および 6.6.0 以降でサポートされる再設定の方法です。ただし、バージョンに関係なく、Amazon EMR コンソールでは、この再設定は行えません。この方法で再設定すると、新しく送信した設定が、クラスターに既に存在する設定と統合されます。このオプションでは、送信した新しい設定のみが追加または変更されます。既存の設定は保持されます。 Amazon EMR では、適切なサービス稼働に必要な Hadoop 設定の一部が継続的に上書きされます。 **制限事項** 実行中のクラスターのインスタンスグループを再設定するときは、次の制限を考慮してください。 + 非 Yarn アプリケーションでは、アプリケーションが適切に設定されていない場合は特に、再起動中の失敗やクラスターの問題が発生する可能性があります。メモリや CPU 使用率が最大に近づいているクラスターは、再起動プロセス後に問題が発生する可能性があります。これは、マスターインスタンスグループに対して特にあてはまります。 + インスタンスグループのサイズ変更中は、再設定リクエストを送信できません。インスタンスグループのサイズ変更中に再設定を開始した場合、インスタンスグループのサイズ変更が完了するまで再設定を開始することはできません。再設定中にサイズ変更を行う場合も同様です。 + インスタンスグループを再設定後、Amazon EMR は、新しい設定を反映するためにアプリケーションを再起動します。再設定中にアプリケーションが使用されていると、ジョブが失敗したり、アプリケーションで予期しない動作が発生したりする可能性があります。 + インスタンスグループの再設定に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。バージョンを戻せなかった場合は、新しい `ModifyInstanceGroup` リクエストを送信して、インスタンスグループを `SUSPENDED` 状態から復旧させる必要があります。 + Phoenix 設定分類の再設定リクエストは、Amazon EMR バージョン 5.23.0 以降でのみサポートされていて、Amazon EMR バージョン 5.21.0 や 5.22.0 ではサポートされていません。 + HBase 設定分類の再設定リクエストは、Amazon EMR バージョン 5.30.0 以降でのみサポートされていて、Amazon EMR バージョン 5.23.0 から 5.29.0 ではサポートされていません。 + Amazon EMR バージョン 5.27.0 以降でのみ、複数のプライマリノードを持つ EMR クラスターでのアプリケーション再設定リクエストがサポートされています。 + `hdfs-encryption-zones` 分類または Hadoop KMS 設定分類の再設定は、複数のプライマリノードを持つ Amazon EMR クラスターではサポートされていません。 + Amazon EMR では現在、YARN ResourceManager の再起動を必要とする Capacity Scheduler の特定の再設定リクエストをサポートしていません。例えば、キューを完全に削除することはできません。 ## コンソールでのインスタンスグループの再設定 **注記** Amazon EMR コンソールでは、**マージ**タイプの再設定がサポートされていません。 1. [https://console.aws.amazon.com/emr](https://console.aws.amazon.com/emr) で Amazon EMR コンソールを開きます。 1. **[名前]** の下のクラスター一覧で、再設定するアクティブなクラスターを選択します。 1. クラスターのクラスター詳細ページを開き、**[設定]** タブに移動します。 1. [**フィルタ**] ドロップダウンリストで、再設定するインスタンスグループを選択します。 1. **[再設定]** ドロップダウンメニューで、**[テーブルで編集する]** と **[JSON ファイルで編集する]** のいずれかを選択します。 + **テーブルで編集する** -- 設定分類テーブルで、既存の設定のプロパティと値を編集するか、**[設定の追加]** を選択して追加の設定分類を指定します。 + **JSON ファイルで編集する** -- JSON に直接設定を入力するか、短縮構文 (シャドウテキストで示されている) を使用します。それ以外の方法として、JSON の `Configurations` オブジェクトとしてファイルの Amazon S3 URI を指定します。 **注記** 設定分類テーブルの **[ソース]** 列は、クラスター作成時と、このインスタンスグループ用の追加設定の指定時のどちらで設定を指定するかを示しています。インスタンスグループの設定は、両方のソースから編集することができます。最初のクラスター設定を削除することはできませんが、インスタンスグループの設定は上書きすることができます。 また、ネストされた設定分類は、テーブルで直接追加または編集することもできます。たとえば、`export` の追加の `hadoop-env` サブ分類を指定するには、テーブルで `hadoop.export` 設定分類を追加します。次に、この分類の特定のプロパティおよび値を指定します。 1. (オプション) [**Apply this configuration to all active instance groups (この設定をすべてのアクティブインスタンスグループに適用する)**] を選択します。 1. 変更を保存します。 ## CLI を使用したインスタンスグループの再設定 **modify-instance-groups** コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。 **注記** 次の例では、{{}} をクラスター ID に、{{}} をインスタンスグループ ID に置き換えてください。 **Example - インスタンスグループの設定を置き換える** 次の例では、`instanceGroups.json` という名前の設定 JSON ファイルを参照して、インスタンスグループの YARN NodeManager ディスクヘルスチェッカーのプロパティを編集します。 1. 設定分類を準備し、コマンドを実行するのと同じディレクトリに `instanceGroups.json` として保存します。 ``` [ { "InstanceGroupId":"{{}}", "Configurations":[ { "Classification":"yarn-site", "Properties":{ "yarn.nodemanager.disk-health-checker.enable":"true", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0" }, "Configurations":[] } ] } ] ``` 1. 以下のコマンドを実行してください。 ``` aws emr modify-instance-groups --cluster-id {{}} \ --instance-groups file://instanceGroups.json ``` **Example - インスタンスグループに設定を追加する** インスタンスグループに設定を追加する場合は、そのインスタンスグループに対して前に指定した設定すべてを新しい `ModifyInstanceGroup` リクエストに含める必要があります。含めない場合、前に指定した設定が削除されます。 次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。設定には、値が上書きされないように YARN NodeManager ディスクヘルスチェッカーに対して前に指定した値も含められています。 1. `instanceGroups.json` に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。 ``` [ { "InstanceGroupId":"{{}}", "Configurations":[ { "Classification":"yarn-site", "Properties":{ "yarn.nodemanager.disk-health-checker.enable":"true", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0", "yarn.nodemanager.vmem-check-enabled":"true", "yarn.nodemanager.vmem-pmem-ratio":"3.0" }, "Configurations":[] } ] } ] ``` 1. 以下のコマンドを実行してください。 ``` aws emr modify-instance-groups --cluster-id {{}} \ --instance-groups file://instanceGroups.json ``` **Example — **マージタイプの再設定を使用してインスタンスグループに設定を追加する**** デフォルトの**上書き**再設定によってインスタンスグループに設定を追加する場合は、そのインスタンスグループに以前指定したすべての設定を、新しい `ModifyInstanceGroup` リクエストに含める必要があります。そうしない場合、**上書き**によって、以前指定した設定が削除されます。**マージ**の再設定では、この操作は不要です。ただし、リクエストでは、新しい設定のみ指定する必要があります。 次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。これは、**マージ**タイプの再設定であるため、YARN NodeManager ディスクヘルスチェッカーに以前指定した値は上書きされません。 1. `instanceGroups.json` に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。 ``` [ {"InstanceGroupId":"{{}}", "ReconfigurationType" :"MERGE", "Configurations":[ {"Classification":"yarn-site", "Properties":{ "yarn.nodemanager.vmem-check-enabled":"true", "yarn.nodemanager.vmem-pmem-ratio":"3.0" }, "Configurations":[] } ] } ] ``` 1. 以下のコマンドを実行してください。 ``` aws emr modify-instance-groups --cluster-id {{}} \ --instance-groups file://instanceGroups.json ``` **Example - インスタンスグループの設定を削除する** インスタンスグループの設定を削除するには、前の設定を除外する新しい再設定リクエストを送信します。 最初の*クラスター*設定に対して実行できるのは上書きのみです。この設定を削除することはできません。 例えば、前の例から YARN NodeManager ディスクヘルスチェッカーの設定を削除するには、次の内容の新しい `instanceGroups.json` を送信します。 ``` [ { "InstanceGroupId":"{{}}", "Configurations":[ { "Classification":"yarn-site", "Properties":{ "yarn.nodemanager.vmem-check-enabled":"true", "yarn.nodemanager.vmem-pmem-ratio":"3.0" }, "Configurations":[] } ] } ] ``` 最後の再設定リクエストに含まれる設定をすべて削除するには、空の設定の配列を指定して再設定リクエストを送信します。例: ``` [ { "InstanceGroupId":"{{}}", "Configurations":[] } ] ``` **Example — 1 つのリクエストでインスタンスグループの再設定とサイズ変更を実行する** 同じリクエストでインスタンスグループの再設定とサイズ変更を行う方法を次の JSON 例に示します。 ``` [ { "InstanceGroupId":"{{}}", "InstanceCount":5, "EC2InstanceIdsToTerminate":["i-123"], "ForceShutdown":true, "ShrinkPolicy":{ "DecommissionTimeout":10, "InstanceResizePolicy":{ "InstancesToTerminate":["i-123"], "InstancesToProtect":["i-345"], "InstanceTerminationTimeout":20 } }, "Configurations":[ { "Classification":"yarn-site", "Configurations":[], "Properties":{ "yarn.nodemanager.disk-health-checker.enable":"true", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0" } } ] } ] ``` ## Java SDK を使用したインスタンスグループの再設定 **注記** 次の例では、{{}} をクラスター ID に、{{}} をインスタンスグループ ID に置き換えてください。 次のコードスニペットでは、 AWS SDK for Javaを使用して、インスタンスグループに対する新しい設定を指定します。 ``` AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key"); AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials); Map hiveProperties = new HashMap(); hiveProperties.put("hive.join.emit.interval","1000"); hiveProperties.put("hive.merge.mapfiles","true"); Configuration configuration = new Configuration() .withClassification("hive-site") .withProperties(hiveProperties); InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig() .withInstanceGroupId("{{}}") .withReconfigurationType("MERGE"); .withConfigurations(configuration); ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest() .withClusterId("") .withInstanceGroups(igConfig); emr.modifyInstanceGroups(migRequest); ``` 次のコードスニペットでは、空の設定の配列を指定して、インスタンスグループに対して前に指定した設定を削除します。 ``` List configurations = new ArrayList(); InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig() .withInstanceGroupId("{{}}") .withConfigurations(configurations); ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest() .withClusterId("{{}}") .withInstanceGroups(igConfig); emr.modifyInstanceGroups(migRequest); ``` ## インスタンスグループの再設定のトラブルシューティング インスタンスグループの再設定プロセスが失敗した場合、Amazon EMR は再設定を元に戻し、Amazon CloudWatch イベントを使用して失敗メッセージをログに記録します。イベントには、再設定失敗の簡単な概要が記載されます。ここに、再構成が失敗したインスタンスと、対応する失敗メッセージがリストされます。失敗メッセージの例を次に示します。 ``` The reconfiguration operation for instance group {{ig-1xxxxxxx9}} in Amazon EMR cluster {{j-2AL4XXXXXX5T9 }}(ExampleClusterName) failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is {{example12345}}. Failure message: Instance {{i-xxxxxxx1}}, {{i-xxxxxxx2}}, {{i-xxxxxxx3}} failed with message "This is an example failure message". ``` 再設定失敗に関する詳細データを収集するには、ノードのプロビジョニングログを確認します。これは、次のようなメッセージを受信したときに特に有用です。 ``` {{i-xxxxxxx1}} failed with message “Unable to complete transaction and some changes were applied.” ``` ------ #### [ On the node ] **ノードに接続してノードのプロビジョニングログにアクセスする** 1. SSH を使用して、再設定が失敗したノードに接続します。手順については、*Amazon EC2* *Linux インスタンス用ユーザーガイド*の [Linux インスタンスへの接続](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AccessingInstances.html)を参照してください。 1. ノードのプロビジョニングログファイルが含まれる次のディレクトリに移動します。 ``` /mnt/var/log/provision-node/ ``` 1. `reports` サブディレクトリを開き、再設定のノードのプロビジョニングレポートを検索します。`reports` ディレクトリでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。 レポートファイルの名前とパスの例を次に示します。 ``` /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz ``` 1. レポートは、次の例に示すように、`zless` などのファイルビューワーを使用して確認できます。 ``` zless 202104061715.yaml.gz ``` ------ #### [ Amazon S3 ] **Amazon S3 を使用してノードのプロビジョニングログにアクセスするには** 1. にサインイン AWS マネジメントコンソール し、[https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/) で Amazon S3 コンソールを開きます。 1. ログファイルをアーカイブするようにクラスターを設定したときに指定した Amazon S3 バケットを開きます。 1. ノードのプロビジョニングログファイルが含まれる次のフォルダに移動します。 ``` amzn-s3-demo-bucket/elasticmapreduce/{{}}/node/{{}}/provision-node/ ``` 1. `reports` フォルダを開き、再設定のノードのプロビジョニングレポートを検索します。`reports` フォルダでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。 レポートファイルの名前とパスの例を次に示します。 ``` /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz ``` 1. ログファイルを表示するには、Amazon S3 からローカルマシンにログファイルをテキストファイルとしてダウンロードします。手順については、「[オブジェクトのダウンロード](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html)」を参照してください。 ------ 各ログファイルには、関連する再設定に関する詳細なプロビジョニングレポートが含まれています。エラーメッセージ情報を検索するには、レポートの `err` ログレベルを検索します。レポートの形式は、クラスターの Amazon EMR のバージョンによって異なります。 5.32.0 および 6.2.0 より前の Amazon EMR リリースバージョンのエラー情報を次の例に示します。 ``` - !ruby/object:Puppet::Util::Log level: !ruby/sym err tags: - err message: "Example detailed error message." source: Puppet time: 2021-01-01 00:00:00.000000 +00:00 ``` Amazon EMR リリースバージョン 5.32.0 および 6.2.0 以降では、代わりに次の形式が使用されます。 ``` - level: err message: 'Example detailed error message.' source: Puppet tags: - err time: '2021-01-01 00:00:00.000000 +00:00' file: line: ```