ジョブ実行 - AWS Glue
 – データ型 –JobRunPredecessorJobBookmarkEntryBatchStopJobRunSuccessfulSubmissionBatchStopJobRunErrorNotificationProperty — 操作 —StartJobRun (start_job_run)BatchStopJobRun (batch_stop_job_run)GetJobRun (get_job_run)GetJobRuns (get_job_runs)GetJobBookmark (get_job_bookmark)GetJobBookmarks (get_job_bookmarks)ResetJobBookmark (reset_job_bookmark)

ジョブ実行

Jobs Runs API では、AWS Glue における、ジョブの実行の開始、停止、表示と、ジョブのブックマークのリセットに関連するデータ型と API について説明します。ジョブ実行履歴には、ワークフローとジョブ実行のために 90 日間アクセスできます。

データ型

JobRun の構造

ジョブ実行についての情報が含まれています。

フィールド

  • Id – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブ実行の ID。

  • Attempt – 数値 (整数)。

    このジョブを実行しようと試みた回数。

  • PreviousRunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブの以前の実行の ID。例えば、StartJobRun アクションで指定された JobRunId を表します。

  • TriggerName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブ実行を開始したトリガーの名前。

  • JobName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    この実行で使用されているジョブ定義の名前。

  • JobMode – UTF-8 文字列 (有効な値: SCRIPT="" | VISUAL="" | NOTEBOOK="")。

    ジョブの作成方法を説明するモード。次の値を指定できます:

    • SCRIPT - ジョブは AWS Glue Studio スクリプトエディタを使用して作成されました。

    • VISUAL - ジョブは AWS Glue Studio ビジュアルエディタを使用して作成されました。

    • NOTEBOOK - ジョブはインタラクティブセッションノートブックを使用して作成されました。

    JobMode フィールドが欠落しているか null の場合、SCRIPT がデフォルト値として割り当てられます。

  • JobRunQueuingEnabled – ブール。

    ジョブ実行に対してジョブ実行キューイングが有効であるかどうかを指定します。

    true の値は、ジョブ実行キューイングがジョブ実行に対して有効であることを意味します。false または未入力の場合、ジョブ実行はキューイングの対象になりません。

  • StartedOn – タイムスタンプ。

    このジョブ実行が開始された日付と時刻。

  • LastModifiedOn – タイムスタンプ。

    このジョブ実行が最後に変更された時刻。

  • CompletedOn – タイムスタンプ。

    このジョブ実行が完了した日付と時刻。

  • JobRunState – UTF-8 文字列 (有効な値:STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR | WAITING | EXPIRED)。

    現在のジョブ実行の状態。異常終了したジョブのステータスの詳細については、「AWS Glue Job Run のステータス」を参照してください。

  • Arguments – キーバリューペアのマップ配列。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    この実行に関連付けられているジョブの引数。このジョブ実行では、ジョブ定義自体に設定されているデフォルト引数を置き換えます。

    独自のジョブ実行スクリプトが消費する引数だけでなく、AWS Glue が消費する引数もここで指定できます。

    ジョブ引数はログに記録される場合があります。プレーンテキストのシークレットを引数として渡さないでください。ジョブ内に保持する場合は、AWS Glue 接続、AWS Secrets Manager または他のシークレット管理メカニズムから取得します。

    独自のジョブ引数を指定および使用する方法については、デベロッパーガイドのトピック「 Python で AWS Glue API を呼び出す」を参照してください。

    Spark ジョブの設定時にこのフィールドに指定できる引数については、デベロッパーガイドのトピック「AWS Glueで使用するスペシャルパラメータ」を参照してください。

    Ray ジョブの設定時にこのフィールドに指定できる引数については、デベロッパーガイドの「Ray ジョブでジョブパラメータを使用する」を参照してください。

  • ErrorMessage – UTF–8 文字列。

    このジョブ実行に関連付けられているエラーメッセージ。

  • PredecessorRuns – Predecessor オブジェクトの配列。

    このジョブ実行に先行するもののリスト。

  • AllocatedCapacity – 数値 (整数)。

    このフィールドは廃止されました。代わりに MaxCapacity を使用します。

    この JobRun に割り当てられた AWS Glue データ処理ユニット (DPU) の数。2～100 DPU の範囲で割り当てることができます。デフォルト値は 10 です。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。詳細については、「AWS Glue 料金表ページ」を参照してください。

  • ExecutionTime – 数値 (整数)。

    ジョブ実行でリソースを消費した時間 (秒)。

  • Timeout – 数値 (整数)。1 以上。

    JobRun のタイムアウト (分)。ジョブ実行が終了済みになって TIMEOUT ステータスに入るまでに、ジョブ実行でリソースを消費できる最大時間です。この値は、親ジョブで設定したタイムアウト値を上書きします。

    ジョブのタイムアウト値は 7 日または 10080 分未満である必要があります。それ以外の場合は、ジョブは例外をスローします。

    値を空白のままにすると、タイムアウトはデフォルトで 2,880 分に設定されます。

    タイムアウト値が 7 日を超える既存の AWS Glue ジョブは、デフォルトで 7 日に設定されます。たとえば、バッチジョブに 20 日間のタイムアウトを指定している場合、7 日目に停止します。

    ストリーミングジョブでメンテナンスウィンドウを設定している場合、7 日後にメンテナンスウィンドウ中に再起動されます。

  • MaxCapacity – 数値 (double)。

    Glue バージョン 1.0 以前のジョブで、標準ワーカータイプを使用して、このジョブの実行時に割り当てることができる AWS Glue データ処理ユニット (DPU) の数。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。詳細については、「AWS Glue 料金表ページ」を参照してください。

    一方、Glue バージョン 2.0 以降のジョブでは、Maximum capacity を指定できません。代わりに、Worker type と Number of workers を指定する必要があります。

    WorkerType および NumberOfWorkers を使用している場合は MaxCapacity を設定しないでください。

    MaxCapacity に割り当てることができる値は、Python シェルジョブ、Apache Spark ETL ジョブ、Apache Spark ストリーミング ETL ジョブのいずれを実行しているかによって異なります。

    • Python シェルジョブを指定すると (JobCommand.Name="pythonshell")、0.0625 または 1 DPU のいずれかを割り当てることができます。デフォルトは 0.0625 DPU です。

    • Apache Spark ETL ジョブ (JobCommand.Name="glueetl") または Apache Spark ストリーミング ETL ジョブ (JobCommand.Name="gluestreaming") を指定した場合は、2～100 の DPU を割り当てることができます。デフォルトでは 10 DPU になっています。このジョブタイプには、小数の DPU 割り当てを指定できません。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    ジョブの実行時に割り当てられる事前定義済みのワーカーの種類。Spark ジョブに使用できる値は G.1X、G.2X、G.4X、G.8X、または G.025X です。Ray ジョブに使用できる値は Z.2X です。

    • G.1X ワーカータイプでは、各ワーカーは 1 DPU (4 vCPU、16 GB のメモリ、94 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.2X ワーカータイプでは、各ワーカーは 2 DPU (8 vCPU、32 GB のメモリ、138 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.4X ワーカータイプでは、各ワーカーは 4 DPU (16 vCPU、64 GB のメモリ、256 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降の Spark ETL ジョブでのみ使用可能で、以下の AWS リージョンで使用できます。米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム)。

    • G.8X ワーカータイプでは、各ワーカーは 8 DPU (32 vCPU、128 GB のメモリ、512 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降の Spark ETL ジョブでのみ使用可能で、G.4X ワーカータイプでサポートされているのと同じ AWS リージョンで使用できます。

    • G.025X ワーカータイプでは、各ワーカーは 0.25 DPU (2 vCPU、4 GB のメモリ、84 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。少量のストリーミングジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降のストリーミングジョブでのみ使用できます。

    • Z.2X ワーカータイプでは、各ワーカーは 2 M-DPU (8 vCPU、64 GB のメモリ、128 GB のディスク) にマッピングされており、オートスケーラーに基づき最大 8 個の Ray ワーカーを提供します。

  • NumberOfWorkers – 数値 (整数)。

    ジョブの実行時に割り当てられた、定義済みの workerType ワーカー数。

  • SecurityConfiguration – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブ実行で使用される SecurityConfiguration 構造の名前。

  • LogGroupName – UTF–8 文字列。

    セキュアなログ記録のための、ロググループの名前。AWS KMS を使用して、Amazon CloudWatch のサーバー側で暗号化することができます。この名前には /aws-glue/jobs/ を指定できます。その場合、デフォルトの暗号化は NONE です。ロール名および SecurityConfiguration 名 (つまり /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/) を追加すると、そのセキュリティ設定がロググループの暗号化に使用されます。

  • NotificationProperty – NotificationProperty オブジェクト。

    ジョブ実行通知の構成プロパティを指定します。

  • GlueVersion – UTF-8 文字列。1～255 バイト長。Custom string pattern #47 に一致。

    Spark ジョブでは、AWS Glue がジョブで使用できる Apache Spark と Python のバージョンは GlueVersion によって決まります。Python バージョンは、Spark タイプのジョブでサポートされるバージョンを示します。

    Ray ジョブの場合、GlueVersion を 4.0 以降に設定する必要があります。ただし、Ray ジョブで使用できる Ray、Python、および追加ライブラリのバージョンは、Job コマンドの Runtime パラメータによって決まります。

    利用可能な AWS Glue のバージョン、および対応する Spark および Python のバージョンの詳細については、デベロッパーガイドの「Glue バージョン」を参照してください。

    Glue バージョンを指定せずに作成されたジョブは、デフォルトで Glue 0.9 に設定されます。

  • DPUSeconds – 数値 (double)。

    このフィールドは、実行クラス FLEX で実行するジョブまたは自動スケーリングが有効になっているときに実行するジョブのいずれかについて設定できます。これは、ジョブ実行のライフサイクル中に各エグゼキューターが実行された合計時間 (秒単位) を DPU 係数 (G.1X ワーカーの場合は 1、G.2X ワーカーの場合は 2、G.025X ワーカーの場合は 0.25) で乗じたものを表します。Auto Scaling ジョブの場合に、この値は executionEngineRuntime * MaxCapacity とは異なる場合がありますが、これは特定の時間に実行されるエグゼキュータの数が MaxCapacity より少ないことがあるためです。この場合、DPUSeconds の値が executionEngineRuntime * MaxCapacity より小さくなる可能性があります。

  • ExecutionClass – UTF-8 文字列。16 バイト長以下 (有効値: FLEX="" | STANDARD="")。

    ジョブが標準実行クラスまたは柔軟な実行クラスのどちらで実行されるのかを示します。標準の実行クラスは、素早くジョブを起動する必要があり、専用のリソースが必要な時間的な制約のあるワークロードに最適です。

    柔軟な実行クラスは、開始時刻と完了時刻が変化する時間的制約が厳しいジョブに適しています。

    AWS Glue バージョン 3.0 以上のジョブの場合のみ、コマンドタイプ glueetl で ExecutionClass を FLEX に設定できます。柔軟な実行クラスは Spark ジョブで使用できます。

  • MaintenanceWindow – UTF-8 文字列。Custom string pattern #34 に一致。

    このフィールドでは、ストリーミングジョブのメンテナンスウィンドウの曜日と時間を指定します。AWS Glue は定期的にメンテナンスアクティビティを実行します。AWS Glue は、これらのメンテナンスウィンドウ中にストリーミングジョブを再起動する必要があります。

    AWS Glue は、指定されたメンテナンスウィンドウの 3 時間以内にジョブを再起動します。たとえば、月曜日の午前 10 時 (GMT) にメンテナンスウィンドウを設定すると、ジョブは午前 10 時 (GMT) から午後 1 時 (GMT) までの間に再起動されます。

  • ProfileName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    ジョブ実行に関連付けられた AWS Glue 使用プロフィールの名前。

  • StateDetail - UTF-8 文字列。400,000 バイト長以下。

    このフィールドは、ジョブ実行の状態に関連する詳細を格納します。フィールドは null 許容です。

    例えば、ジョブ実行キューイングの結果としてジョブ実行が WAITING 状態のとき、フィールドにはジョブ実行がその状態になっている理由が示されます。

  • ExecutionRoleSessionPolicy – UTF-8 文字列。2～2,048 バイト長。

    StartJobRun API に対するこのインラインセッションポリシーにより、追加の IAM ロールを作成しなくても、ジョブの範囲に関して指定された実行ロールの許可を動的に制限できます。

Predecessor 構造

このジョブ実行をトリガーした条件トリガーの述語に使用されたジョブ実行。

フィールド

  • JobName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    先行するジョブ実行で使用したジョブ定義の名前。

  • RunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    先行するジョブ実行のジョブ実行 ID。

JobBookmarkEntry 構造

ジョブの処理を再開できるポイントを定義します。

フィールド

  • JobName – UTF-8 文字列。

    該当するジョブの名前。

  • Version – 数値 (整数)。

    ジョブのバージョン。

  • Run – 数値 (整数)。

    実行 ID 番号。

  • Attempt – 数値 (整数)。

    試行 ID 番号。

  • PreviousRunId – UTF–8 文字列。

    前回のジョブ実行に関連付けられた一意の実行識別子。

  • RunId – UTF–8 文字列。

    実行 ID 番号。

  • JobBookmark – UTF–8 文字列。

    ブックマーク自体。

BatchStopJobRunSuccessfulSubmission 構造

指定された JobRun を停止するリクエストの成功を記録します。

フィールド

  • JobName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    停止したジョブ実行で使用したジョブ定義の名前。

  • JobRunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    停止したジョブ実行の JobRunId。

BatchStopJobRunError 構造

指定したジョブ実行を停止しようとして発生したエラーを記録します。

フィールド

  • JobName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    該当するジョブ実行で使用したジョブ定義の名前。

  • JobRunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    該当するジョブ実行の JobRunId。

  • ErrorDetail – ErrorDetail オブジェクト。

    発生したエラーに関する詳細を指定します。

NotificationProperty 構造

通知の構成プロパティを指定します。

フィールド

  • NotifyDelayAfter – 数値 (整数)。1 以上。

    ジョブの実行が開始された後、ジョブ実行遅延通知を送信するまでの待機時間 (分単位)。

操作

StartJobRun アクション (Python: start_job_run)

ジョブ定義を使用してジョブ実行を開始します。

リクエスト

  • JobName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    使用するジョブ定義の名前。

  • JobRunQueuingEnabled – ブール。

    ジョブ実行に対してジョブ実行キューイングが有効であるかどうかを指定します。

    true の値は、ジョブ実行キューイングがジョブ実行に対して有効であることを意味します。false または未入力の場合、ジョブ実行はキューイングの対象になりません。

  • JobRunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    再試行する以前の JobRun の ID。

  • Arguments – キーバリューペアのマップ配列。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    この実行に関連付けられているジョブの引数。このジョブ実行では、ジョブ定義自体に設定されているデフォルト引数を置き換えます。

    独自のジョブ実行スクリプトが消費する引数だけでなく、AWS Glue が消費する引数もここで指定できます。

    ジョブ引数はログに記録される場合があります。プレーンテキストのシークレットを引数として渡さないでください。ジョブ内に保持する場合は、AWS Glue 接続、AWS Secrets Manager または他のシークレット管理メカニズムから取得します。

    独自のジョブ引数を指定および使用する方法については、デベロッパーガイドのトピック「 Python で AWS Glue API を呼び出す」を参照してください。

    Spark ジョブの設定時にこのフィールドに指定できる引数については、デベロッパーガイドのトピック「AWS Glueで使用するスペシャルパラメータ」を参照してください。

    Ray ジョブの設定時にこのフィールドに指定できる引数については、デベロッパーガイドの「Ray ジョブでジョブパラメータを使用する」を参照してください。

  • AllocatedCapacity – 数値 (整数)。

    このフィールドは廃止されました。代わりに MaxCapacity を使用します。

    この JobRun に割り当てる AWS Glue データ処理ユニット (DPU) の数。最低 2 つの DPUを割り当てることができます。デフォルトは 10 です。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。詳細については、「AWS Glue 料金表ページ」を参照してください。

  • Timeout – 数値 (整数)。1 以上。

    JobRun のタイムアウト (分)。ジョブ実行が終了済みになって TIMEOUT ステータスに入るまでに、ジョブ実行でリソースを消費できる最大時間です。この値は、親ジョブで設定したタイムアウト値を上書きします。

    ジョブのタイムアウト値は 7 日または 10080 分未満である必要があります。それ以外の場合は、ジョブは例外をスローします。

    値を空白のままにすると、タイムアウトはデフォルトで 2,880 分に設定されます。

    タイムアウト値が 7 日を超える既存の AWS Glue ジョブは、デフォルトで 7 日に設定されます。たとえば、バッチジョブに 20 日間のタイムアウトを指定している場合、7 日目に停止します。

    ストリーミングジョブでメンテナンスウィンドウを設定している場合、7 日後にメンテナンスウィンドウ中に再起動されます。

  • MaxCapacity – 数値 (double)。

    Glue バージョン 1.0 以前のジョブで、標準ワーカータイプを使用して、このジョブの実行時に割り当てることができる AWS Glue データ処理ユニット (DPU) の数。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。詳細については、「AWS Glue 料金表ページ」を参照してください。

    一方、Glue バージョン 2.0 以降のジョブでは、Maximum capacity を指定できません。代わりに、Worker type と Number of workers を指定する必要があります。

    WorkerType および NumberOfWorkers を使用している場合は MaxCapacity を設定しないでください。

    MaxCapacity に割り当てることができる値は、Python シェルジョブ、Apache Spark ETL ジョブ、Apache Spark ストリーミング ETL ジョブのいずれを実行しているかによって異なります。

    • Python シェルジョブを指定すると (JobCommand.Name="pythonshell")、0.0625 または 1 DPU のいずれかを割り当てることができます。デフォルトは 0.0625 DPU です。

    • Apache Spark ETL ジョブ (JobCommand.Name="glueetl") または Apache Spark ストリーミング ETL ジョブ (JobCommand.Name="gluestreaming") を指定した場合は、2～100 の DPU を割り当てることができます。デフォルトでは 10 DPU になっています。このジョブタイプには、小数の DPU 割り当てを指定できません。

  • SecurityConfiguration – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブ実行で使用される SecurityConfiguration 構造の名前。

  • NotificationProperty – NotificationProperty オブジェクト。

    ジョブ実行通知の構成プロパティを指定します。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    ジョブの実行時に割り当てられる事前定義済みのワーカーの種類。Spark ジョブに使用できる値は G.1X、G.2X、G.4X、G.8X、または G.025X です。Ray ジョブに使用できる値は Z.2X です。

    • G.1X ワーカータイプでは、各ワーカーは 1 DPU (4 vCPU、16 GB のメモリ、94 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.2X ワーカータイプでは、各ワーカーは 2 DPU (8 vCPU、32 GB のメモリ、138 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.4X ワーカータイプでは、各ワーカーは 4 DPU (16 vCPU、64 GB のメモリ、256 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降の Spark ETL ジョブでのみ使用可能で、以下の AWS リージョンで使用できます。米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム)。

    • G.8X ワーカータイプでは、各ワーカーは 8 DPU (32 vCPU、128 GB のメモリ、512 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降の Spark ETL ジョブでのみ使用可能で、G.4X ワーカータイプでサポートされているのと同じ AWS リージョンで使用できます。

    • G.025X ワーカータイプでは、各ワーカーは 0.25 DPU (2 vCPU、4 GB のメモリ、84 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。少量のストリーミングジョブには、このワーカータイプをお勧めします。このワーカータイプは、AWS Glue バージョン 3.0 以降のストリーミングジョブでのみ使用できます。

    • Z.2X ワーカータイプでは、各ワーカーは 2 M-DPU (8 vCPU、64 GB のメモリ、128 GB のディスク) にマッピングされており、オートスケーラーに基づき最大 8 個の Ray ワーカーを提供します。

  • NumberOfWorkers – 数値 (整数)。

    ジョブの実行時に割り当てられた、定義済みの workerType ワーカー数。

  • ExecutionClass – UTF-8 文字列。16 バイト長以下 (有効値: FLEX="" | STANDARD="")。

    ジョブが標準実行クラスまたは柔軟な実行クラスのどちらで実行されるのかを示します。標準の実行クラスは、素早くジョブを起動する必要があり、専用のリソースが必要な時間的な制約のあるワークロードに最適です。

    柔軟な実行クラスは、開始時刻と完了時刻が変化する時間的制約が厳しいジョブに適しています。

    AWS Glue バージョン 3.0 以上のジョブの場合のみ、コマンドタイプ glueetl で ExecutionClass を FLEX に設定できます。柔軟な実行クラスは Spark ジョブで使用できます。

  • ProfileName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    ジョブ実行に関連付けられた AWS Glue 使用プロフィールの名前。

  • ExecutionRoleSessionPolicy – UTF-8 文字列。2～2,048 バイト長。

    StartJobRun API に対するこのインラインセッションポリシーにより、追加の IAM ロールを作成しなくても、ジョブの範囲に関して指定された実行ロールの許可を動的に制限できます。

レスポンス

  • JobRunId – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    このジョブ実行に割り当てられた ID。

エラー

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

BatchStopJobRun アクション (Python: batch_stop_job_run)

指定したジョブ定義の 1 つ以上のジョブ実行を停止します。

リクエスト

  • JobName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    ジョブ実行を停止するジョブ定義の名前。

  • JobRunIds – 必須: UTF-8 文字列の配列。1 ～ 25 個の文字列。

    このジョブ定義で停止する JobRunIds のリスト。

応答

  • SuccessfulSubmissions – BatchStopJobRunSuccessfulSubmission オブジェクトの配列。

    正常に送信された停止対象の JobRun のリスト。

  • Errors – BatchStopJobRunError オブジェクトの配列。

    JobRuns を停止しようとして発生したエラーのリスト。各エラーで発生した JobRunId とエラーの詳細が含まれます。

エラー

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetJobRun アクション (Python: get_job_run)

指定されたジョブ実行のメタデータを取得します。ジョブ実行履歴には、ワークフローとジョブ実行のために 365 日間アクセスできます。

リクエスト

  • JobName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    実行中のジョブ定義の名前。

  • RunId – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    ジョブ実行の ID。

  • PredecessorsIncluded – ブール。

    以前の実行のリストが返される場合は、true です。

レスポンス

  • JobRun – JobRun オブジェクト。

    リクエストされたジョブ実行のメタデータ。

エラー

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobRuns アクション (Python: get_job_runs)

特定のジョブ定義に該当するすべての実行のメタデータを取得します。

GetJobRuns は、最新のジョブを最初に返して、ジョブの実行を時系列で返します。

リクエスト

  • JobName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

    すべてのジョブ実行を取得するジョブ定義の名前。

  • NextToken – UTF-8 文字列。

    継続トークン (これが継続呼び出しの場合)。

  • MaxResults – 1 未満または 200 を超えない数値 (整数)。

    応答の最大サイズ。

応答

  • JobRuns – JobRun オブジェクトの配列。

    ジョブ実行のメタデータオブジェクトのリスト。

  • NextToken – UTF–8 文字列。

    継続トークン (一部のリクエストされたジョブがまだ返されていない場合)。

エラー

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobBookmark アクション (Python: get_job_bookmark)

ジョブブックマークエントリに関する情報を返します。

ジョブのブックマークの有効化と使用の詳細については、以下を参照してください。

リクエスト

  • JobName – 必須: UTF–8 文字列。

    該当するジョブの名前。

  • Version – 数値 (整数)。

    ジョブのバージョン。

  • RunId – UTF–8 文字列。

    このジョブの実行に関連付けられた一意の実行識別子。

レスポンス

  • JobBookmarkEntry – JobBookmarkEntry オブジェクト。

    ジョブの処理を再開できるポイントを定義する構造。

エラー

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ValidationException

GetJobBookmarks アクション (Python: get_job_bookmarks)

ジョブブックマークエントリに関する情報を返します。リストは、バージョン番号の小さい順に並べられます。

ジョブのブックマークの有効化と使用の詳細については、以下を参照してください。

リクエスト

  • JobName – 必須: UTF–8 文字列。

    該当するジョブの名前。

  • MaxResults – 数値 (整数)。

    応答の最大サイズ。

  • NextToken – 数値 (整数)。

    継続トークン (これが継続呼び出しの場合)。

応答

  • JobBookmarkEntries – JobBookmarkEntry オブジェクトの配列。

    ジョブの処理を再開できるポイントを定義するジョブブックマークエントリのリスト。

  • NextToken – 数値 (整数)。

    すべてのエントリが返される場合は 1、要求されたすべてのジョブ実行が返されなかった場合は 1 より大きい値を持つ、継続トークン。

エラー

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ResetJobBookmark アクション (Python: reset_job_bookmark)

ブックマークエントリをリセットします。

ジョブのブックマークの有効化と使用の詳細については、以下を参照してください。

リクエスト

  • JobName – 必須: UTF–8 文字列。

    該当するジョブの名前。

  • RunId – UTF–8 文字列。

    このジョブの実行に関連付けられた一意の実行識別子。

レスポンス

  • JobBookmarkEntry – JobBookmarkEntry オブジェクト。

    ブックマークエントリのリセット。

エラー

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException