Amazon EMR Studio の AWS CloudFormation テンプレートを作成する

Service Catalog を使用して EMR クラスターテンプレートを作成するには

1. 1 つ以上の CloudFormation テンプレートを作成します。テンプレートを保存する場所はユーザーが決定します。テンプレートはフォーマット設定されたテキストファイルであるため、Amazon S3 にアップロードするか、ローカルファイルシステムに保存することができます。CloudFormation テンプレートの詳細については、「AWS CloudFormation ユーザーガイド」の「テンプレート」をご参照ください。

   次のルールを使用してテンプレートに名前を付けるか、パターン [a-zA-Z0-9][a-zA-Z0-9._-]* に照らして名前をチェックします。

   • テンプレート名の先頭は、英字または数字である必要があります。

   • テンプレート名には、英字、数字、ピリオド (.)、アンダースコア (_)、ハイフン (-) のみを使用できます。

   作成する各クラスターテンプレートには、以下のオプションが含まれている必要があります。

   入力パラメータ

   • ClusterName - プロビジョニング後にユーザーがクラスターを識別するのに役立つクラスターの名前。

   出力

   • ClusterId - 新しくプロビジョニングされた EMR クラスターの ID。

   2 つのノードを持つクラスターの YAML 形式の AWS CloudFormation テンプレートの例を次に示します。サンプルテンプレートには、必要なテンプレートオプションが含まれており、EmrRelease および ClusterInstanceType の追加の入力パラメータが定義されています。

   awsTemplateFormatVersion: 2010-09-09
   
   Parameters:
     ClusterName:
       Type: "String"
       Default: "Example_Two_Node_Cluster"
     EmrRelease:
       Type: "String"
       Default: "emr-6.2.0"
       AllowedValues:
       - "emr-6.2.0"
       - "emr-5.32.0"
     ClusterInstanceType:
       Type: "String"
       Default: "m5.xlarge"
       AllowedValues:
       - "m5.xlarge"
       - "m5.2xlarge"
   
   Resources:
     EmrCluster:
       Type: AWS::EMR::Cluster
       Properties:
         Applications:
         - Name: Spark
         - Name: Livy
         - Name: JupyterEnterpriseGateway
         - Name: Hive
         EbsRootVolumeSize: '10'
         Name: !Ref ClusterName
         JobFlowRole: EMR_EC2_DefaultRole
         ServiceRole: EMR_DefaultRole_V2
         ReleaseLabel: !Ref EmrRelease
         VisibleToAllUsers: true
         LogUri: 
           Fn::Sub: 's3://aws-logs-${AWS::AccountId}-${AWS::Region}/elasticmapreduce/'
         Instances:
           TerminationProtected: false
           Ec2SubnetId: 'subnet-ab12345c'
           MasterInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
           CoreInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
             Market: ON_DEMAND
             Name: Core
   
   Outputs:
     ClusterId:
       Value:
         Ref: EmrCluster
       Description: The ID of the  EMR cluster

2. Studio と同じ AWS アカウントでクラスターテンプレートのポートフォリオを作成します。

   1. https://console.aws.amazon.com/servicecatalog/ で AWS Service Catalog コンソールを開きます。

   2. 左のナビゲーションメニューから [Portfolios] (ポートフォリオ) を選択します。

   3. [Create portfolio] (ポートフォリオの作成) ページで、必要情報を入力します。

   4. Create. AWS Service Catalog creates を選択します。ポートフォリオを作成し、ポートフォリオの詳細を表示します。

3. 次のステップを使用して、クラスターテンプレートを AWS Service Catalog 製品として追加します。

   1. AWS Service Catalog マネジメントコンソールで [Administration] (管理) の [Products] (製品) ページに移動します。

   2. [Upload new product] (新しい製品のアップロード) を選択します。

   3. [Product name] (製品名) および [Owner] (所有者) を入力します。

   4. [Version details] (バージョンの詳細) でテンプレートファイルを指定します。

   5. [Review] (確認) を選択して製品設定を確認してから、[Create product] (製品の作成) を選択します。

4. ポートフォリオに製品を追加するには、以下のステップを完了します。

   1. AWS Service Catalog マネジメントコンソールで [Products] (製品) ページに移動します。

   2. 製品を選択し、[Actions] (アクション)、[Add product to portfolio]] (ポートフォリオへの製品の追加) の順に選択します。

   3. ポートフォリオを選択し、[Add product to portfolio] (ポートフォリオへの製品の追加) を選択します。

5. 製品の起動制約を作成します。起動制約は、製品を起動するためのユーザーアクセス許可を指定する IAM ロールです。起動制約を調整できますが、CloudFormation、Amazon EMR、および AWS Service Catalogを使用するためのアクセス許可を許可する必要があります。詳細な情報と手順については、「Service Catalog launch constraints」を参照してください。

6. 起動制約をポートフォリオ内の各製品に適用します。起動制約は、各製品に個別に適用する必要があります。

   1. AWS Service Catalog マネジメントコンソールの [Portfolios] (ポートフォリオ) ページからポートフォリオを選択します。

   2. [制約] タブを選択して、[制約の作成] を選択します。

   3. 製品を選択し、[Constraint type] (制約タイプ) で [Launch] (起動) を選択します。[続行] をクリックしてください。

   4. [Launch constraint] (起動制約) セクションで起動制約ロールを選択し、[Create] (作成) を選択します。

7. ポートフォリオへのアクセス権を付与します。

   1. AWS Service Catalog マネジメントコンソールの [Portfolios] (ポートフォリオ) ページからポートフォリオを選択します。

   2. [Groups, roles, and users] (グループ、ロール、およびユーザー) タブをを展開し、[Add groups, roles, users] (グループ、ロール、またはユーザーの追加) を選択します。

   3. [Roles] (ロール) タブで EMR Studio IAM ロールを検索し、ロールを選択し、[Add access] (アクセス権の追加) を選択します。

      使用するもの	アクセス権を付与する対象
      IAM 認証	ネイティブユーザー
      IAM フェデレーション	フェデレーションの IAM ロール
      IAM Identity Center フェデレーション	EMR Studio ユーザーロール