CreateRecipeJob
使用现有 AWS Glue DataBrew 配方中定义的步骤创建用于转换输入数据的新作业
请求语法
POST /recipeJobs HTTP/1.1
Content-type: application/json
{
"DatabaseOutputs": [
{
"DatabaseOptions": {
"TableName": "string",
"TempDirectory": {
"Bucket": "string",
"BucketOwner": "string",
"Key": "string"
}
},
"DatabaseOutputMode": "string",
"GlueConnectionName": "string"
}
],
"DataCatalogOutputs": [
{
"CatalogId": "string",
"DatabaseName": "string",
"DatabaseOptions": {
"TableName": "string",
"TempDirectory": {
"Bucket": "string",
"BucketOwner": "string",
"Key": "string"
}
},
"Overwrite": boolean,
"S3Options": {
"Location": {
"Bucket": "string",
"BucketOwner": "string",
"Key": "string"
}
},
"TableName": "string"
}
],
"DatasetName": "string",
"EncryptionKeyArn": "string",
"EncryptionMode": "string",
"LogSubscription": "string",
"MaxCapacity": number,
"MaxRetries": number,
"Name": "string",
"Outputs": [
{
"CompressionFormat": "string",
"Format": "string",
"FormatOptions": {
"Csv": {
"Delimiter": "string"
}
},
"Location": {
"Bucket": "string",
"BucketOwner": "string",
"Key": "string"
},
"MaxOutputFiles": number,
"Overwrite": boolean,
"PartitionColumns": [ "string" ]
}
],
"ProjectName": "string",
"RecipeReference": {
"Name": "string",
"RecipeVersion": "string"
},
"RoleArn": "string",
"Tags": {
"string" : "string"
},
"Timeout": number
}
URI 请求参数
该请求不使用任何 URI 参数。
请求体
请求接受采用 JSON 格式的以下数据。
- Name
-
作业的唯一名称。有效字符包括字母数字(A-Z、a-z、0-9)、连字符(-)、句点(.)和空格。
类型:字符串
长度限制:长度下限为 1。最大长度为 240。
必需:是
- RoleArn
-
要在 DataBrew 运行作业时担任的 AWS Identity and Access Management(IAM)角色的 Amazon 资源名称(ARN)。
类型:字符串
长度约束:最小长度为 20。最大长度为 2048。
必需:是
- DatabaseOutputs
-
表示一个 JDBC 数据库输出对象列表,它定义了要写入的 DataBrew 配方作业的输出目标。
类型:DatabaseOutput 对象数组
数组成员:最少 1 个物品。
必需:否
- DataCatalogOutputs
-
代表作业运行时 AWS Glue Data Catalog 输出的一个或多个构件。
类型:DataCatalogOutput 对象数组
数组成员:最少 1 个物品。
必需:否
- DatasetName
-
此作业处理的数据集的名称。
类型:字符串
长度限制:长度下限为 1。最大长度为 255。
必需:否
- EncryptionKeyArn
-
用于保护作业的加密密钥的 Amazon 资源名称(ARN)。
类型:字符串
长度约束:最小长度为 20。最大长度为 2048。
必需:否
- EncryptionMode
-
作业的加密模式包括以下几种:
-
SSE-KMS- 具有由 AWS KMS 管理的密钥的服务器端加密。 -
SSE-S3- 使用 Amazon S3 托管密钥进行服务器端加密。
类型:字符串
有效值:
SSE-KMS | SSE-S3必需:否
-
- LogSubscription
-
对作业启用或禁用 Amazon CloudWatch 日志记录。如果启用了日志记录,CloudWatch 会为每次作业运行写入一个日志流。
类型:字符串
有效值:
ENABLE | DISABLE必需:否
- MaxCapacity
-
DataBrew 在作业处理数据时可以使用的最大节点数。
类型:整数
必需:否
- MaxRetries
-
作业运行失败后重试此作业的最大次数。
类型:整数
有效范围:最小值为 0。
必需:否
- Outputs
-
代表作业运行时 输出的一个或多个构件。
类型:Output 对象数组
数组成员:最少 1 个物品。
必需:否
- ProjectName
-
要么是现有项目的名称,要么是配方和要与配方关联的数据集的组合。
类型:字符串
长度限制:长度下限为 1。最大长度为 255。
必需:否
- RecipeReference
-
表示 DataBrew 配方的名称和版本。
类型:RecipeReference 对象
必需:否
- Tags
-
要应用于此作业的元数据标签。
类型:字符串到字符串映射
映射条目:最多 200 项。
密钥长度限制:最小长度为 1。最大长度为 128。
值长度限制:最大长度为 256。
必需:否
- Timeout
-
作业的超时(以分钟为单位)。如果作业的运行时间超出此超时时间,作业将以
TIMEOUT状态结束。类型:整数
有效范围:最小值为 0。
必需:否
响应语法
HTTP/1.1 200
Content-type: application/json
{
"Name": "string"
}
响应元素
如果此操作成功,则该服务将会发送回 HTTP 200 响应。
服务以 JSON 格式返回以下数据。
- Name
-
您创建的作业的名称。
类型:字符串
长度限制:长度下限为 1。最大长度为 240。
错误
有关所有操作的常见错误的信息,请参阅常见错误。
- AccessDeniedException
-
对指定资源的访问被拒绝。
HTTP 状态代码:403
- ConflictException
-
更新或删除资源可能会导致状态不一致。
HTTP 状态代码:409
- ResourceNotFoundException
-
无法找到一个或多个资源。
HTTP 状态代码:404
- ServiceQuotaExceededException
-
超出服务配额。
HTTP 状态代码:402
- ValidationException
-
此请求的输入参数验证失败。
HTTP 状态代码:400
另请参阅
有关在特定语言的 AWS SDK 中使用此 API 的更多信息,请参阅以下内容: