EMR Notebooks のプログラムで実行するサンプルコマンド - Amazon EMR
概要アクセス許可制限例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR Notebooks のプログラムで実行するサンプルコマンド

概要

EMR Notebooks は、スクリプトまたはコマンドラインから実行 API で実行できます。 AWS コンソール外で EMR ノートブックの実行を開始、停止、一覧表示、および記述すると、EMR ノートブックをプログラムで制御できます。パラメータ化されたノートブックセルがあるノートブックには、さまざまなパラメータ値を渡すことができます。これにより、パラメータ値の新しいセットごとにノートブックのコピーを作成する必要がなくなります。詳細については、「Amazon EMR API actions」を参照してください。

EMR Notebooks の実行は、Amazon CloudWatch Events および AWS Lambdaを使用してスケジュールまたはバッチ処理できます。詳細については、Amazon CloudWatch Events AWS Lambda で を使用する」を参照してください。

注記

EMR Notebooks は、コンソールで EMR Studio Workspace として使用できます。コンソールの [ワークスペースの作成] ボタンを使用すると、新しいノートブックを作成できます。EMR Notebooks ユーザーが Workspace にアクセスしたり作成したりするには、追加の IAM ロール権限が必要です。詳細については、「Amazon EMR Notebooks are Amazon EMR Studio Workspaces in the console」および「Amazon EMR console」を参照してください。

プログラムによる実行のロール権限

EMR Notebooks でプログラムによる実行を使用するには、以下のポリシーを使用してユーザー権限を設定する必要があります。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowExecutionActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:StartNotebookExecution",
        "elasticmapreduce:DescribeNotebookExecution",
        "elasticmapreduce:ListNotebookExecutions"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "AllowPassingServiceRole",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::123456789012:role/EMR_Notebooks_DefaultRole"
      ]
    }
  ]
}

EMR Notebooks クラスターで EMR Notebooks をプログラムで実行する場合、以下の権限を追加する必要があります。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowRetrievingManagedEndpointCredentials",
      "Effect": "Allow",
      "Action": [
        "emr-containers:GetManagedEndpointSessionCredentials"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ],
      "Condition": {
        "StringEquals": {
          "emr-containers:ExecutionRoleArn": [
            "arn:aws:iam::123456789012:role/emr-on-eks-execution-role"
          ]
        }
      }
    },
    {
      "Sid": "AllowDescribingManagedEndpoint",
      "Effect": "Allow",
      "Action": [
        "emr-containers:DescribeManagedEndpoint"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ]
    }
  ]
}

プログラムによる実行の制限事項

  • アカウント AWS リージョン ごとに最大 100 の同時実行がサポートされています。

  • 30 日以上実行された場合、実行は終了します。

  • Notebooks のプログラムによる実行は、Amazon EMR Serverless インタラクティブアプリケーションではサポートされていません。

プログラムによる EMR Notebooks の実行例

以下のセクションでは、、Boto3 SDK (Python) AWS CLI、Ruby を使用したプログラムによる EMR ノートブック実行の例をいくつか紹介します。

Apache Airflow や Amazon Managed Workflows for Apache Airflow (MWAA) などのオーケストレーションツールを使用して、スケジュールされたワークフローの一部としてパラメータ化されたノートブックを実行することもできます。詳細については、「AWS Big Data Blog」の「Orchestrating analytics jobs on EMR Notebooks using MWAA」を参照してください。