在 AWS Glue 中使用 Git 版本控制系統

與 Git 版本控制系統整合，例如 AWS CodeCommit、GitHub、GitLab 和 Bitbucket

無論您是使用視覺化任務或指令碼任務，都能在 AWS Glue Studio 中編輯 AWS Glue 任務，並將任務同步到儲存庫

將任務中的來源和目標參數化

從儲存庫提取任務，並在 AWS Glue Studio 中編輯

利用 AWS Glue Studio 的多分支工作流程，從分支提取任務及/或將任務推送到分支，藉以測試任務

從儲存庫下載檔案並將任務上傳至 AWS Glue Studio，以便建立跨帳戶任務

使用您選擇的自動化工具，例如 Jenkins 和 AWS CodeDeploy 等

AWSGlueServiceRole

AWSGlueConsoleFullAccess

glue:UpdateJobFromSourceControl — 以便能使用版本控制系統中的任務更新 AWS Glue

glue:UpdateSourceControlFromJob — 以便能使用儲存於 AWS Glue 的任務更新版本控制系統

s3:GetObject — 以便能擷取任務的指令碼，同時將指令碼推送至版本控制系統

s3:PutObject — 以便能在從來源控制系統提取任務時更新指令碼

已由您管理員建立的儲存庫

儲存庫中的分支

個人存取權杖 (如果是 Bitbucket，此為儲存庫存取權杖)

儲存庫擁有者的使用者名稱

在儲存庫中設定許可，以允許 AWS Glue Studio 讀取和寫入儲存庫

您需要一個資料夾和任務定義 (需與任務名稱相符) 的 JSON 檔案

如需範例，請參閱下方的任務定義。儲存庫中的分支應包含路徑 my-visual-job/my-visual-job.json，其中資料夾和 JSON 檔案都需與任務名稱相符

{
  "name" : "my-visual-job",
  "description" : "",
  "role" : "arn:aws:iam::aws_account_id:role/Rolename",
  "command" : {
    "name" : "glueetl",
    "scriptLocation" : "s3://foldername/scripts/my-visual-job.py",
    "pythonVersion" : "3"
  },
  "codeGenConfigurationNodes" : "{\"node-nodeID\":{\"S3CsvSource\":{\"AdditionalOptions\":{\"EnableSamplePath\":false,\"SamplePath\":\"s3://notebook-test-input/netflix_titles.csv\"},\"Escaper\":\"\",\"Exclusions\":[],\"Name\":\"Amazon S3\",\"OptimizePerformance\":false,\"OutputSchemas\":[{\"Columns\":[{\"Name\":\"show_id\",\"Type\":\"string\"},{\"Name\":\"type\",\"Type\":\"string\"},{\"Name\":\"title\",\"Type\":\"choice\"},{\"Name\":\"director\",\"Type\":\"string\"},{\"Name\":\"cast\",\"Type\":\"string\"},{\"Name\":\"country\",\"Type\":\"string\"},{\"Name\":\"date_added\",\"Type\":\"string\"},{\"Name\":\"release_year\",\"Type\":\"bigint\"},{\"Name\":\"rating\",\"Type\":\"string\"},{\"Name\":\"duration\",\"Type\":\"string\"},{\"Name\":\"listed_in\",\"Type\":\"string\"},{\"Name\":\"description\",\"Type\":\"string\"}]}],\"Paths\":[\"s3://dalamgir-notebook-test-input/netflix_titles.csv\"],\"QuoteChar\":\"quote\",\"Recurse\":true,\"Separator\":\"comma\",\"WithHeader\":true}}}"
}            
          

您需要一個資料夾、內含任務定義的 JSON 檔案和指令碼

資料夾和 JSON 檔案應與任務名稱相符。指令碼名稱必須與任務定義中的 scriptLocation 及檔案附檔名相符

例如在下方的任務定義中，儲存庫中的分支應包含路徑 my-script-job/my-script-job.json 和 my-script-job/my-script-job.py。指令碼名稱應與 scriptLocation 中的名稱相符，包括指令碼的附檔名

{
  "name" : "my-script-job",
  "description" : "",
  "role" : "arn:aws:iam::aws_account_id:role/Rolename",
  "command" : {
    "name" : "glueetl",
    "scriptLocation" : "s3://foldername/scripts/my-script-job.py",
    "pythonVersion" : "3"
  }
}            
          

AWS Glue 目前不支援從 GitLab-Groups 推送/提取。