Step Functions로 AWS Glue DataBrew 작업 시작

Step Functions를 사용하여 분석 및 기계 학습 워크플로에 데이터 정리 및 데이터 정규화 단계를 추가하기 위해 DataBrew 통합을 사용하는 방법을 알아봅니다.

Step Functions의 AWS 서비스와 통합하는 방법에 대한 자세한 내용은 서비스 통합 및 Step Functions의 서비스 API에 파라미터 전달 섹션을 참조하세요.

다음에는 요청-응답 DataBrew 작업을 시작하는 Task 상태가 포함됩니다.

"DataBrew StartJobRun": {
            "Type": "Task",
            "Resource": "arn:aws:states:::databrew:startJobRun",
            "Arguments": {
               "Name": "sample-proj-job-1"
            },
            "Next": "NEXT_STATE"
          },
        

다음에는 동기 DataBrew 작업을 시작하는 Task 상태가 포함됩니다.

"DataBrew StartJobRun": {
           "Type": "Task",
           "Resource": "arn:aws:states:::databrew:startJobRun.sync",
           "Arguments": {
              "Name": "sample-proj-job-1"
           },
           "Next": "NEXT_STATE"
          },
        

지원되는 DataBrew API

DataBrew 호출을 위한 IAM 정책

다음 예제 템플릿에서는 AWS Step Functions가 상태 시스템 정의의 리소스를 기반으로 IAM 정책을 만드는 방법을 보여줍니다. 자세한 내용은 Step Functions가 통합 서비스용 IAM 정책을 생성하는 방법 및 Step Functions에서 서비스 통합 패턴 검색(을)를 참조하세요.

Run a Job (.sync)

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun",
                "databrew:listJobRuns",
                "databrew:stopJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:us-east-1:123456789012:job/*"
            ]
        }
    ]
}

Request Response

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:us-east-1:123456789012:job/*"
            ]
        }
    ]
}