翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
AMS SSP を使用して AMS アカウントに Amazon EMR をプロビジョニングする
AMS セルフサービスプロビジョニング (SSP) モードを使用して、AMS マネージドアカウントで Amazon EMR 機能に直接アクセスします。Amazon EMR は、Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi、Presto などのオープンソースツールを使用して大量のデータを処理するための、業界をリードするクラウドビッグデータプラットフォームです。Amazon EMR を使用すると、従来のオンプレミスソリューションのコストの半分未満で、標準の Apache Spark の 3 倍以上の速度で Petabyte スケール分析を実行できます。実行時間の短いジョブでは、クラスターをスピンアップおよびスピンダウンし、使用したインスタンスに対して 1 秒あたりの料金を支払うことができます。長時間実行されるワークロードの場合、需要に合わせて自動的にスケーリングする高可用性クラスターを作成できます。
Amazon EMR クラスターの 1 つ以上のインスタンスを AMS マルチアカウントランディングゾーンまたはシングルアカウントランディングゾーンアカウントに作成して、一時的および永続的な Amazon EMR クラスターの両方をサポートできます。Kerberos 認証を有効にして、オンプレミスの Active Directory ドメインからユーザーを認証することもできます。
Amazon EMR クラスターで複数のデータストアを活用して、ユースケース固有の Hadoop ツールとライブラリをサポートできます。Amazon EMR クラスターは、OnDemandインスタンスまたはスポットインスタンスを使用して作成し、容量を管理し、コストを削減するように自動スケーリングを設定できます。
クラスターログファイルは、ログ記録とデバッグのために Amazon S3 バケットにアーカイブできます。Amazon EMR クラスターでホストされているウェブインターフェイスにアクセスして、hadoop 管理要件をサポートしたり、顧客のノートブックエクスペリエンスをサポートしたりすることもできます。
詳細については、「Amazon EMR
AWS Managed Services での Amazon EMR に関するよくある質問
Q: AMS アカウントの Amazon EMR へのアクセスをリクエストするにはどうすればよいですか?
Management | AWS service | Self-provisioned service | Add (review required) (ct-3qe6io8t6jtny) 変更タイプを送信してアクセスをリクエストします。この RFC は、次の IAM ロールをアカウントにプロビジョニングします。
customer_emr_cluster_instance_profilecustomer_emr_cluster_autoscaling_rolecustomer_emr_console_rolecustomer_emr_cluster_service_role
アカウントにプロビジョニングされたら、フェデレーションソリューションで customer_emr_console_role をオンボードする必要があります。
Q: AMS アカウントでの Amazon EMR の使用にはどのような制限がありますか?
AWS コンソールから EC2 クラスターに Amazon EMR を作成するときは、クラスターの作成 – 詳細オプションを使用することをお勧めします。Amazon EMR クラスターは、キーがfor-use-with-amazon-emr-managed-policies」、値が「true」のタグを追加して作成する必要があります。セキュリティオプションで次の設定を選択します。
クラスターのカスタムロールを選択します。
EMR ロール: customer_emr_cluster_service_role
EC2 インスタンスプロファイル: customer_emr_cluster_instance_profile
Auto Scaling ロール: customer_emr_cluster_autoscaling_role
EC2 セキュリティグループ:
マスター : ams-emr-master-security-group
コアとタスク: ams-emr-worker-security-group
サービスアクセス: ams-emr-serviceaccess-security-group
Q: AMS アカウントで Amazon EMR を使用するための前提条件または依存関係は何ですか?
AMS は、Amazon EMR マスター、ワーカー、およびサービスノードのデフォルトのセキュリティグループを作成します。
Amazon EMR クラスターで使用する起動テンプレートとセキュリティグループには、値「true」のタグキーfor-use-with-amazon-emr-managed-policies」が必要です。
デフォルトの Amazon EMR クラスターインスタンスプロファイルでは、名前に「emr」が含まれている s3 バケットや dynamodb テーブルなどのリソースにアクセスできます。Amazon EMR で使用する追加のリソースを使用するための追加の IAM ポリシーをリクエストできます。customer_emr_cluster_instance_profile を使用して Amazon EMR ジョブで次のリソース ARN を使用できます。
arn:aws:dynamodb:*:*:table/*emr*
arn:aws:kinesis:*:*:stream/*emr*
arn:aws:sns:*:*:*emr*arn:aws:sqs:*:*:*emr*
arn:aws:sqs:*:*:*emr*
arn:aws:sqs:*:*:AWS-ElasticMapReduce-*
arn:aws:sdb:*:*:domain:*emr*
arn:aws:s3:::*emr*
Amazon EMR クラスターに kerberos 認証が必要な場合:
カーベライズされた各 Amazon EMR クラスターに使用する領域名とオンプレミスの Active Directory IP アドレスを指定します。
インフラストラクチャ要件:
マルチアカウントランディングゾーン (MALZ): RFC を送信して、新しいマネージドアプリケーションアカウントまたは既存のアプリケーションアカウントに新しい VPC を作成します。
単一アカウントランディングゾーン (SALZ): RFC を送信して VPC に新しいサブネットを作成します。
オンプレミス Active Directory でクラスターの領域に対する受信信頼を設定します。
マネージド AD の領域に DNS ゾーンを設定するには、RFC を送信します。
領域設定:
MALZ: 管理 | その他 | その他 | 更新 (ct-0xdawir96cy7k) RFC を送信して、ドメイン名のサフィックスに領域名を使用するように設定された VPC DHCP オプションを更新します。
SALZ: 管理 | その他 | その他 | 更新 (ct-0xdawir96cy7k) RFC を送信して、ドメイン名のサフィックスに特定の領域を使用する新しい Amazon EMR AMI を生成します。
Amazon EMR Studio をデプロイするには、ロールに Amazon Simple Storage Service バケットの前提条件customer_emr_cluster_service_roleがあります。バケットを作成するには、自動 CT ct-1a68ck03fn98r (デプロイ | 高度なスタックコンポーネント | S3 ストレージ | 作成) を使用します。この自動 CT を使用して Amazon EMR 用の Amazon S3 バケットを作成する場合、バケット名はプレフィックス で始まる必要がありますcustomer-emr-*。また、Amazon EMR クラスターと同じ AWS リージョンにバケットを作成する必要があります。