文档历史记录 - AWS Data Pipeline

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解详情

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

文档历史记录

本文档与 AWS Data Pipeline 的 2012 年 10 月 29 日版本关联。

更改 描述 发行日期
AWS Data Pipeline 现已不再向新客户提供

AWS Data Pipeline 现已不再向新客户提供。AWS Data Pipeline 的现有客户可以继续正常使用该服务。了解更多

2025 年 7 月 25 日
添加了有关使用 AWS CLI 执行某些过程的文档。删除了与 AWS Data Pipeline 控制台相关的过程。

有关更多信息,请参阅克隆管道查看管道日志使用 CLI 从 Data Pipeline 模板创建管道

2023 年 5 月 26 日
添加了更多内容和从 AWS Data Pipeline 迁移到其他替代服务的示例。

更新了关于迁移 AWS Data Pipeline 到 AWS Glue、AWS Step Functions 或 Amazon MWAA 的主题,提供了有关每种替代方案、服务之间的概念映射以及示例的更多信息。有关更多信息,请参阅 从 AWS Data Pipeline 迁移工作负载

2023 年 3 月 31 日
添加了有关 AWS Data Pipeline 支持 IMDSv2 的信息。

AWS Data Pipeline 支持 Amazon EMR 的 IMDSv2 以及 Amazon EC2 资源。有关更多信息,请参阅AWS Data Pipeline 中的数据保护EmrClusterEc2Resource

2022 年 12 月 16 日
添加了有关从 AWS Data Pipeline 迁移到其他替代服务的主题。

现在还有其他 AWS 服务可以为客户提供更好的数据集成体验。您可以将 AWS Data Pipeline 的典型用例迁移到 AWS Glue、AWS Step Functions 或 Amazon MWAA。有关更多信息,请参阅 从 AWS Data Pipeline 迁移工作负载

2022 年 12 月 16 日

更新了支持的 Amazon EC2 和 Amazon EMR 实例列表。

更新了用于实例的 HVM(硬件虚拟机)AMI 的 ID 列表。

更新了支持的 Amazon EC2 和 Amazon EMR 实例列表。有关更多信息,请参阅 管道工作活动支持的实例类型

更新了用于实例的 HVM(硬件虚拟机)AMI 的 ID 列表。有关更多信息,请参阅语法并搜索 imageId

2018 年 11 月 9 日
添加了将 Amazon EBS 卷附加到集群节点以及在私有子网中启动 Amazon EMR 集群的配置。

EMRcluster 对象中添加了配置选项。您可以在使用 Amazon EMR 集群的管道中使用这些选项。

请使用 coreEbsConfigurationmasterEbsConfigurationTaskEbsConfiguration 字段配置将 Amazon EBS 卷附加到 Amazon EMR 集群中的核心节点、主节点和任务节点的操作。有关更多信息,请参阅 将 EBS 卷附加到集群节点

可以使用 emrManagedMasterSecurityGroupIdemrManagedSlaveSecurityGroupIdServiceAccessSecurityGroupId 字段在私有子网中配置 Amazon EMR 集群。有关更多信息,请参阅 在私有子网中配置 Amazon EMR 集群

有关 EMRcluster 语法的更多信息,请参阅EmrCluster

2018 年 4 月 19 日
添加了支持的 Amazon EC2 和 Amazon EMR 实例列表。

增加了在管道定义中未指定实例类型时 AWS Data Pipeline 默认创建的实例列表。添加了支持的 Amazon EC2 和 Amazon EMR 实例列表。有关更多信息,请参阅 管道工作活动支持的实例类型

2018 年 3 月 22 日
增加了对按需管道的支持。
  • 增加了对按需管道的支持,使您能够通过重新激活管道来重新运行它。

2016 年 2 月 22 日
对 RDS 数据库的其他支持
  • 已将 rdsInstanceIdregionjdbcDriverJarUri 添加到 RdsDatabase

  • 更新了 database 中的 SqlActivity 以支持 RdsDatabase

2015 年 8 月 17 日
其他 JDBC 支持
2015 年 7 月 7 日
HadoopActivity、可用区和 Spot 实例支持
  • 增加了对将并行工作提交到 Hadoop 集群的支持。有关更多信息,请参阅 HadoopActivity

  • 增加了使用 Ec2ResourceEmrCluster 请求 Spot 实例的功能。

  • 增加了在指定的可用区中启动 EmrCluster 资源的功能。

2015 年 6 月 1 日
停用管道

增加了对停用活动管道的支持。有关更多信息,请参阅 停用管道

2015 年 4 月 7 日
更新了模板和控制台

添加了新模板。更新了“入门”一章以使用 Getting Started with ShellCommandActivity 模板。有关更多信息,请参阅 使用 CLI 从 Data Pipeline 模板创建管道

2014 年 11 月 25 日
VPC 支持

增加了对在 Virtual Private Cloud (VPC) 中启动资源的支持。

2014 年 3 月 12 日
区域支持

增加了对多个服务区域的支持。除了 us-east-1 之外,AWS Data Pipeline 也在 eu-west-1ap-northeast-1ap-southeast-2us-west-2 中受支持。

2014 年 2 月 20 日
Amazon Redshift 支持

在 AWS Data Pipeline 中增加了对 Amazon Redshift 的支持,包括一个新的控制台模板(Copy to Redshift)和一个模板演示教程。有关更多信息,请参阅使用 AWS Data Pipeline 复制数据到 Amazon RedshiftRedshiftDataNodeRedshiftDatabaseRedshiftCopyActivity

2013 年 11 月 6 日
PigActivity

增加了 PigActivity,它提供了对 Pig 的本机支持。有关更多信息,请参阅 PigActivity

2013 年 10 月 15 日
新的控制台模板、活动和数据格式

增加了新的 CrossRegion DynamoDB Copy 控制台模板,包括新的 HiveCopyActivity 和 DynamoDBExportDataFormat。

2013 年 8 月 21 日
级联故障和重新运行

增加了有关 AWS Data Pipeline 级联故障和重新运行行为的信息。有关更多信息,请参阅 级联故障和重新运行

2013 年 8 月 8 日
问题排查视频

增加了 AWS Data Pipeline 基本问题排查视频。有关更多信息,请参阅 故障排除

2013 年 7 月 17 日
编辑活动管道

添加了有关编辑活动管道和重新运行管道组件的更多信息。有关更多信息,请参阅 编辑管道

2013 年 7 月 17 日
使用不同区域中的资源

添加了有关使用不同区域中的资源的更多信息。有关更多信息,请参阅 利用多个区域中的资源使用管道

2013 年 6 月 17 日
WAITING_ON_DEPENDENCIES 状态

CHECKING_PRECONDITIONS 状态已更改为 WAITING_ON_DEPENDENCIES,并且已为管道对象添加 @waitingOn 运行时字段。

2013 年 5 月 20 日
DynamoDBDataFormat

添加了 DynamoDBDataFormat 模板。

2013 年 4 月 23 日
处理 Web 日志视频和 Spot 实例支持

推出了“使用 AWS Data Pipeline、Amazon EMR 和 Hive 处理 Web 日志”视频以及 Amazon EC2 竞价型实例支持。

2013 年 2 月 21 日

首次发布 AWS Data Pipeline 开发人员指南。

2012 年 12 月 20 日