Historial de documentos

AWS Data Pipeline ya no está disponible para los nuevos clientes. Los clientes existentes de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Para obtener más información, consulte Clonación de la canalización, Visualización de registros de canalización y Cree una canalización a partir de plantillas de Data Pipeline mediante la CLI.

Se actualizó el tema para hacer la migración de AWS Data Pipeline a AWS Glue, AWS Step Functions o Amazon MWAA con más información sobre cada alternativa, mapeos conceptuales entre los servicios y ejemplos. Para obtener más información, consulte Migración de cargas de trabajo desde AWS Data Pipeline.

AWS Data Pipeline es compatible con IMDSv2 para los recursos de Amazon EMR y Amazon EC2. Para obtener más información, consulte Protección de datos en AWS Data Pipeline, EmrCluster y Ec2Resource.

Ahora hay otros servicios de AWS que ofrecen a los clientes una mejor experiencia de integración de datos. Puede migrar los casos de uso típicos de AWS Data Pipeline a AWS Glue, AWS Step Functions o Amazon MWAA. Para obtener más información, consulte Migración de cargas de trabajo desde AWS Data Pipeline.

Se actualizaron las listas de instancias de Amazon EC2 y Amazon EMR compatibles.

Se ha actualizado la lista de ID de las AMI de HVM (máquina virtual de hardware) que se usan para las instancias.

Se actualizaron las listas de instancias de Amazon EC2 y Amazon EMR compatibles. Para obtener más información, consulte Tipos de instancia compatibles con las actividades de trabajo de canalización.

Se ha actualizado la lista de ID de las AMI de HVM (máquina virtual de hardware) que se usan para las instancias. Para obtener más información, Sintaxis y busque imageId.

Se han añadido opciones de configuración a un objeto EMRcluster. Puede utilizar estas opciones en canalizaciones que utilizan clústeres de Amazon EMR.

Utilice los campos coreEbsConfiguration, masterEbsConfiguration, y TaskEbsConfiguration para configurar la asociación de volúmenes de Amazon EBS a los nodos principal, maestro y de tarea del clúster de Amazon EMR. Para obtener más información, consulte Asociar volúmenes de EBS a los nodos del clúster.

Utilice los campos emrManagedMasterSecurityGroupId, emrManagedSlaveSecurityGroupId y ServiceAccessSecurityGroupId para configurar un clúster de Amazon EMR en una subred privada. Para obtener más información, consulte Configurar un clúster de Amazon EMR en una subred privada.

Para obtener más información acerca de la sintaxis EMRcluster, consulte EmrCluster.

Se ha añadido la lista de las instancias que AWS Data Pipeline crea de forma predeterminada si no se especifica un tipo de instancia en la definición de la canalización. Se ha añadido una lista de instancias de Amazon EC2 y Amazon EMR compatibles. Para obtener más información, consulte Tipos de instancia compatibles con las actividades de trabajo de canalización.

Se ha añadido compatibilidad para desactivar canalizaciones activas. Para obtener más información, consulte Desactivación de la canalización.

Se agregó contenido nuevo Se ha actualizado el capítulo de introducción para utilizar la plantilla Getting Started with ShellCommandActivity. Para obtener más información, consulte Cree una canalización a partir de plantillas de Data Pipeline mediante la CLI.

Se ha añadido compatibilidad para lanzar recursos en una nube virtual privada (VPC).

Se ha añadido compatibilidad con varias regiones de servicio. Además de us-east-1, AWS Data Pipeline se admite en las regiones eu-west-1, ap-northeast-1, ap-southeast-2 y us-west-2.

Se ha añadido compatibilidad con Amazon Redshift en AWS Data Pipeline, incluida una nueva plantilla de consola (Copy to Redshift) y un tutorial para demostrar el uso de la plantilla. Para obtener más información, consulte Copiar datos a Amazon Redshift con AWS Data Pipeline, RedshiftDataNode, RedshiftDatabase y RedshiftCopyActivity.

Se ha añadido PigActivity, que dispone de compatibilidad nativa con Pig. Para obtener más información, consulte PigActivity.

Se ha añadido la plantilla de consola CrossRegion DynamoDB Copy, que incluye los nuevos HiveCopyActivity y DynamoDBExportDataFormat.

Se ha añadido información sobre el error en cascada de AWS Data Pipeline y el comportamiento de repetición de ejecuciones. Para obtener más información, consulte Errores en cascada y repeticiones de ejecuciones.

Se ha añadido el vídeo de solución de problemas básicos de AWS Data Pipeline. Para obtener más información, consulte Solución de problemas.

Se ha añadido más información sobre la edición de canalizaciones activas y la repetición de la ejecución de componentes de canalización. Para obtener más información, consulte Edición de la canalización.

Se ha añadido más información sobre el uso de los recursos en distintas regiones. Para obtener más información, consulte Uso de una canalización con recursos en varias regiones.

El estado CHECKING_PRECONDITIONS ha cambiado a WAITING_ON_DEPENDENCIES y se ha añadido el campo en tiempo de ejecución @waitingOn para objetos de canalización.

Se ha añadido la plantilla DynamoDBDataFormat.

Se ha introducido el vídeo “Procesar registros web con AWS Data Pipeline, Amazon EMR y Hive” y la compatibilidad con instancias de spot de Amazon EC2.

Versión inicial de la Guía del desarrollador de AWS Data Pipeline.