AMS SSP を使用して AMS アカウントに Amazon EMR をプロビジョニングする - AMS Advanced ユーザーガイド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AMS SSP を使用して AMS アカウントに Amazon EMR をプロビジョニングする

AMS セルフサービスプロビジョニング (SSP) モードを使用して、AMS マネージドアカウントで Amazon EMR 機能に直接アクセスします。Amazon EMR は、Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi、Presto などのオープンソースツールを使用して大量のデータを処理するための、業界をリードするクラウドビッグデータプラットフォームです。Amazon EMR を使用すると、従来のオンプレミスソリューションのコストの半分未満で、標準の Apache Spark の 3 倍以上の速度で Petabyte スケール分析を実行できます。実行時間の短いジョブでは、クラスターをスピンアップおよびスピンダウンし、使用したインスタンスに対して 1 秒あたりの料金を支払うことができます。長時間実行されるワークロードの場合、需要に合わせて自動的にスケーリングする高可用性クラスターを作成できます。

Amazon EMR クラスターの 1 つ以上のインスタンスを AMS マルチアカウントランディングゾーンまたはシングルアカウントランディングゾーンアカウントに作成して、一時的および永続的な Amazon EMR クラスターの両方をサポートできます。Kerberos 認証を有効にして、オンプレミスの Active Directory ドメインからユーザーを認証することもできます。

Amazon EMR クラスターで複数のデータストアを活用して、ユースケース固有の Hadoop ツールとライブラリをサポートできます。Amazon EMR クラスターは、OnDemandインスタンスまたはスポットインスタンスを使用して作成し、容量を管理し、コストを削減するように自動スケーリングを設定できます。

クラスターログファイルは、ログ記録とデバッグのために Amazon S3 バケットにアーカイブできます。Amazon EMR クラスターでホストされているウェブインターフェイスにアクセスして、hadoop 管理要件をサポートしたり、顧客のノートブックエクスペリエンスをサポートしたりすることもできます。

詳細については、「Amazon EMR」を参照してください。

AWS Managed Services での Amazon EMR に関するよくある質問

Q: AMS アカウントの Amazon EMR へのアクセスをリクエストするにはどうすればよいですか?

Management | AWS service | Self-provisioned service | Add (review required) (ct-3qe6io8t6jtny) 変更タイプを送信してアクセスをリクエストします。この RFC は、次の IAM ロールをアカウントにプロビジョニングします。

  • customer_emr_cluster_instance_profile

  • customer_emr_cluster_autoscaling_role

  • customer_emr_console_role

  • customer_emr_cluster_service_role

アカウントにプロビジョニングされたら、フェデレーションソリューションで customer_emr_console_role をオンボードする必要があります。

Q: AMS アカウントでの Amazon EMR の使用にはどのような制限がありますか?

AWS コンソールから EC2 クラスターに Amazon EMR を作成するときは、クラスターの作成 – 詳細オプションを使用することをお勧めします。Amazon EMR クラスターは、キーがfor-use-with-amazon-emr-managed-policies」、値が「true」のタグを追加して作成する必要があります。セキュリティオプションで次の設定を選択します。

  • クラスターのカスタムロールを選択します。

    • EMR ロール: customer_emr_cluster_service_role

    • EC2 インスタンスプロファイル: customer_emr_cluster_instance_profile

    • Auto Scaling ロール: customer_emr_cluster_autoscaling_role

  • EC2 セキュリティグループ:

    • マスター : ams-emr-master-security-group

    • コアとタスク: ams-emr-worker-security-group

    • サービスアクセス: ams-emr-serviceaccess-security-group

Q: AMS アカウントで Amazon EMR を使用するための前提条件または依存関係は何ですか?

AMS は、Amazon EMR マスター、ワーカー、およびサービスノードのデフォルトのセキュリティグループを作成します。

Amazon EMR クラスターで使用する起動テンプレートとセキュリティグループには、値「true」のタグキーfor-use-with-amazon-emr-managed-policies」が必要です。

デフォルトの Amazon EMR クラスターインスタンスプロファイルでは、名前に「emr」が含まれている s3 バケットや dynamodb テーブルなどのリソースにアクセスできます。Amazon EMR で使用する追加のリソースを使用するための追加の IAM ポリシーをリクエストできます。customer_emr_cluster_instance_profile を使用して Amazon EMR ジョブで次のリソース ARN を使用できます。

  • arn:aws:dynamodb:*:*:table/*emr*

  • arn:aws:kinesis:*:*:stream/*emr*

  • arn:aws:sns:*:*:*emr*arn:aws:sqs:*:*:*emr*

  • arn:aws:sqs:*:*:*emr*

  • arn:aws:sqs:*:*:AWS-ElasticMapReduce-*

  • arn:aws:sdb:*:*:domain:*emr*

  • arn:aws:s3:::*emr*

Amazon EMR クラスターに kerberos 認証が必要な場合:

  • カーベライズされた各 Amazon EMR クラスターに使用する領域名とオンプレミスの Active Directory IP アドレスを指定します。

  • インフラストラクチャ要件:

    マルチアカウントランディングゾーン (MALZ): RFC を送信して、新しいマネージドアプリケーションアカウントまたは既存のアプリケーションアカウントに新しい VPC を作成します。

    単一アカウントランディングゾーン (SALZ): RFC を送信して VPC に新しいサブネットを作成します。

  • オンプレミス Active Directory でクラスターの領域に対する受信信頼を設定します。

  • マネージド AD の領域に DNS ゾーンを設定するには、RFC を送信します。

  • 領域設定:

    MALZ: 管理 | その他 | その他 | 更新 (ct-0xdawir96cy7k) RFC を送信して、ドメイン名のサフィックスに領域名を使用するように設定された VPC DHCP オプションを更新します。

    SALZ: 管理 | その他 | その他 | 更新 (ct-0xdawir96cy7k) RFC を送信して、ドメイン名のサフィックスに特定の領域を使用する新しい Amazon EMR AMI を生成します。

Amazon EMR Studio をデプロイするには、ロールに Amazon Simple Storage Service バケットの前提条件customer_emr_cluster_service_roleがあります。バケットを作成するには、自動 CT ct-1a68ck03fn98r (デプロイ | 高度なスタックコンポーネント | S3 ストレージ | 作成) を使用します。この自動 CT を使用して Amazon EMR 用の Amazon S3 バケットを作成する場合、バケット名はプレフィックス で始まる必要がありますcustomer-emr-*。また、Amazon EMR クラスターと同じ AWS リージョンにバケットを作成する必要があります。