AWS Data Pipeline non è più disponibile per i nuovi clienti. I clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. [Ulteriori informazioni](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/)
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Che cos'è AWS Data Pipeline?
**Nota**
AWS Data Pipeline il servizio è in modalità manutenzione e non sono previste nuove funzionalità o espansioni regionali. Per ulteriori informazioni e per scoprire come migrare i carichi di lavoro esistenti, consulta. [Migrazione dei carichi di lavoro da AWS Data Pipeline](migration.md)
AWS Data Pipeline è un servizio web che puoi utilizzare per automatizzare lo spostamento e la trasformazione dei dati. Con AWS Data Pipeline, puoi definire flussi di lavoro basati sui dati, in modo che le attività possano dipendere dal completamento con successo delle attività precedenti. Definisci i parametri delle trasformazioni dei dati e AWS Data Pipeline applichi la logica che hai impostato.
I seguenti componenti AWS Data Pipeline collaborano per gestire i dati:
+ Una *pipeline definition (definizione di pipeline)* specifica la logica di business della gestione dei dati. Per ulteriori informazioni, consulta [Sintassi del file di definizione della pipeline](dp-writing-pipeline-definition.md).
+ Una *pipeline* pianifica ed esegue le attività creando istanze Amazon EC2 per eseguire le attività lavorative definite. È possibile caricare la definizione di pipeline nella e quindi attivarla. È possibile modificare la definizione di pipeline e attivare di nuovo la pipeline affinché abbia effetto. Puoi disattivare la pipeline, modificare un'origine dati e quindi attivare la pipeline di nuovo. Quando la pipeline non è più necessaria, è possibile eliminarla.
+ *Task Runner analizza* le attività e quindi le esegue. Ad esempio, Task Runner potrebbe copiare i file di registro su Amazon S3 e avviare cluster Amazon EMR. Task Runner viene installato e viene eseguito automaticamente sulle risorse create dalle definizioni della pipeline. È possibile scrivere un'applicazione task runner personalizzata oppure utilizzare l'applicazione Task Runner fornita da. AWS Data Pipeline Per ulteriori informazioni, consulta [Runner delle attività](dp-how-remote-taskrunner-client.md).
Ad esempio, puoi AWS Data Pipeline archiviare i log del tuo server Web su Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) ogni giorno e poi eseguire un cluster Amazon EMR (Amazon EMR) settimanale su quei log per generare report sul traffico. AWS Data Pipeline pianifica le attività giornaliere per copiare i dati e l'attività settimanale per avviare il cluster Amazon EMR. AWS Data Pipeline assicura inoltre che Amazon EMR attenda il caricamento dei dati dell'ultimo giorno su Amazon S3 prima di iniziare l'analisi, anche in caso di ritardo imprevisto nel caricamento dei log.
![\[AWS Data Pipeline panoramica funzionale\]](http://docs.aws.amazon.com/it_it/datapipeline/latest/DeveloperGuide/images/dp-how-dp-works-v2.png)
**Topics**
+ [Migrazione dei carichi di lavoro da AWS Data Pipeline](migration.md)
+ [Servizi correlati](datapipeline-related-services.md)
+ [Accedere AWS Data Pipeline](#accessing-datapipeline)
+ [Prezzi](#datapipeline-pricing)
+ [Tipi di istanza supportati per attività di lavoro delle pipeline](dp-supported-instance-types.md)
# Migrazione dei carichi di lavoro da AWS Data Pipeline
AWS ha lanciato il AWS Data Pipeline servizio nel 2012. A quel tempo, i clienti cercavano un servizio che li aiutasse a spostare in modo affidabile i dati tra diverse fonti di dati utilizzando una varietà di opzioni di elaborazione. Ora esistono altri servizi che offrono ai clienti un'esperienza migliore. Ad esempio, puoi utilizzarlo per eseguire e AWS Glue orchestrare le applicazioni Apache Spark, Step Functions AWS per aiutare a orchestrare i AWS componenti del servizio o Amazon Managed Workflows for Apache Airflow (Amazon MWAA) per aiutare a gestire l'orchestrazione del flusso di lavoro per Apache Airflow.
Questo argomento spiega come migrare da opzioni alternative. AWS Data Pipeline L'opzione scelta dipende dal carico di lavoro corrente su. AWS Data Pipeline Puoi migrare i casi d'uso tipici AWS Data Pipeline verso AWS Step Functions o Amazon MWAA. AWS Glue
## Migrazione dei carichi di lavoro in AWS Glue
[AWS Glue](https://aws.amazon.com/glue/) è un servizio di integrazione dati serverless che semplifica agli utenti analitici il rilevamento, la preparazione, lo spostamento e l'integrazione di dati da più origini. Include strumenti per la creazione, l'esecuzione di lavori e l'orchestrazione dei flussi di lavoro. Con AWS Glue, puoi scoprire e connetterti a più di 70 diverse fonti di dati e gestire i tuoi dati in un catalogo di dati centralizzato. Puoi creare, eseguire e monitorare visivamente pipeline di estrazione, trasformazione e caricamento (ETL) per caricare dati nei data lake. Inoltre, puoi eseguire ricerche e query immediatamente nei dati catalogati utilizzando Amazon Athena, Amazon EMR e Amazon Redshift Spectrum.
Ti consigliamo di migrare il AWS Data Pipeline carico di lavoro a quando: AWS Glue
+ Stai cercando un servizio di integrazione dei dati senza server che supporti varie fonti di dati, interfacce di creazione tra cui editor visivi e notebook e funzionalità avanzate di gestione dei dati come la qualità dei dati e il rilevamento dei dati sensibili.
+ Il carico di lavoro può essere migrato verso AWS Glue flussi di lavoro, job (in Python o Apache Spark) e crawler (ad esempio, la pipeline esistente è costruita su Apache Spark).
+ È necessaria un'unica piattaforma in grado di gestire tutti gli aspetti della pipeline di dati, tra cui l'acquisizione, l'elaborazione, il trasferimento, i test di integrità e i controlli di qualità.
+ La tua pipeline esistente è stata creata da un modello predefinito sulla AWS Data Pipeline console, ad esempio l'esportazione di una tabella DynamoDB in Amazon S3, e stai cercando un modello con lo stesso scopo.
+ Il tuo carico di lavoro non dipende da una specifica applicazione dell'ecosistema Hadoop come Apache Hive.
+ Il tuo carico di lavoro non richiede l'orchestrazione di server locali.
AWS addebita una tariffa oraria, fatturata al secondo, per i crawler (rilevamento dei dati) e i job ETL (elaborazione e caricamento dei dati). AWS Glue Studio è un motore di orchestrazione integrato per AWS Glue le risorse e viene offerto senza costi aggiuntivi. [Scopri di più sui prezzi nella AWS Glue sezione Prezzi.](https://aws.amazon.com/glue/pricing/)
## Migrazione dei carichi di lavoro a Step Functions AWS
[AWS Step Functions](https://aws.amazon.com/step-functions/) è un servizio di orchestrazione serverless che consente di creare flussi di lavoro per le applicazioni aziendali critiche. Con Step Functions utilizzi un editor visivo per creare flussi di lavoro e integrarli direttamente con oltre 11.000 azioni per oltre 250 AWS servizi, come AWS Lambda, Amazon EMR, DynamoDB e altri. Puoi usare Step Functions per orchestrare le pipeline di elaborazione dei dati, gestire gli errori e lavorare con i limiti di throttling sui servizi sottostanti. AWS È possibile creare flussi di lavoro che elaborano e pubblicano modelli di machine learning, orchestrano microservizi e AWS controllano servizi, ad esempio per creare flussi di lavoro di estrazione, trasformazione e AWS Glue caricamento (ETL). È possibile anche creare flussi di lavoro automatizzati e di lunga durata per applicazioni che richiedono l'interazione umana.
Analogamente AWS Data Pipeline, AWS Step Functions è un servizio completamente gestito fornito da AWS. Non ti verrà richiesto di gestire l'infrastruttura, applicare patch worker, gestire gli aggiornamenti delle versioni del sistema operativo o simili.
Ti consigliamo di migrare il AWS Data Pipeline carico di lavoro a AWS Step Functions quando:
+ Stai cercando un servizio di orchestrazione del flusso di lavoro senza server e ad alta disponibilità.
+ Stai cercando una soluzione conveniente che addebiti una granularità dell'esecuzione di una singola attività.
+ I tuoi carichi di lavoro orchestrano attività per molti altri AWS servizi, come Amazon EMR, Lambda o DynamoDB. AWS Glue
+ Stai cercando una soluzione low-code dotata di un drag-and-drop visual designer per la creazione di flussi di lavoro e che non richieda l'apprendimento di nuovi concetti di programmazione.
+ Stai cercando un servizio che fornisca integrazioni con oltre 250 altri AWS servizi che coprano oltre 11.000 azioni out-of-the-box, oltre a consentire integrazioni con attività e servizi non personalizzati.AWS
AWS Data Pipeline Sia Step Functions che Step Functions utilizzano il formato JSON per definire i flussi di lavoro. Ciò consente di archiviare i flussi di lavoro nel controllo del codice sorgente, gestire le versioni, controllare l'accesso e automatizzare con CI/CD. Step Functions utilizza una sintassi chiamata Amazon State Language che è completamente basata su JSON e consente una transizione senza interruzioni tra le rappresentazioni testuali e visive del flusso di lavoro.
Con Step Functions, puoi scegliere la stessa versione di Amazon EMR in cui utilizzi attualmente. AWS Data Pipeline
Per la migrazione delle attività sulle risorse AWS Data Pipeline gestite, puoi utilizzare l'[integrazione dei servizi AWS SDK](https://docs.aws.amazon.com/step-functions/latest/dg/supported-services-awssdk.html) su Step Functions per automatizzare il provisioning e la pulizia delle risorse.
[Per la migrazione delle attività su server locali, istanze EC2 gestite dall'utente o un cluster EMR gestito dall'utente, puoi installare un agente SSM sull'istanza.](https://docs.aws.amazon.com/systems-manager/latest/userguide/systems-manager-prereqs.html) È possibile avviare il comando tramite [AWS Systems Manager Run Command](https://docs.aws.amazon.com/systems-manager/latest/userguide/execute-remote-commands.html) di Step Functions. Puoi anche avviare la macchina a stati dalla pianificazione definita in [Amazon EventBridge](https://aws.amazon.com/eventbridge/).
AWS Step Functions ha due tipi di flussi di lavoro: flussi di lavoro standard e flussi di lavoro rapidi. Per i flussi di lavoro standard, l'addebito viene calcolato in base al numero di transizioni di stato necessarie per eseguire l'applicazione. Per Express Workflows, i costi vengono addebitati in base al numero di richieste per il flusso di lavoro e alla sua durata. Scopri di più sui prezzi in [AWS Step Functions Pricing](https://aws.amazon.com/step-functions/pricing/).
## Migrazione dei carichi di lavoro su Amazon MWAA
[Amazon MWAA (Managed Workflows for Apache Airflow) è un](https://aws.amazon.com/managed-workflows-for-apache-airflow/) servizio di orchestrazione gestito per Apache [Airflow che semplifica la configurazione e la gestione di pipeline](https://airflow.apache.org/) di dati nel cloud su larga scala. end-to-end Apache Airflow è uno strumento open source utilizzato per creare, pianificare e monitorare in modo programmatico sequenze di processi e attività denominate «flussi di lavoro». Con Amazon MWAA, puoi usare i linguaggi di programmazione Airflow e Python per creare flussi di lavoro senza dover gestire l'infrastruttura sottostante per scalabilità, disponibilità e sicurezza. Amazon MWAA ridimensiona automaticamente la capacità di esecuzione del flusso di lavoro per soddisfare le tue esigenze ed è integrato con i servizi AWS di sicurezza per aiutarti a fornire un accesso rapido e sicuro ai tuoi dati.
Analogamente AWS Data Pipeline, Amazon MWAA è un servizio completamente gestito fornito da. AWS Sebbene sia necessario apprendere diversi nuovi concetti specifici relativi a questi servizi, non è necessario gestire l'infrastruttura, applicare patch worker, gestire gli aggiornamenti delle versioni del sistema operativo o simili.
Ti consigliamo di migrare i AWS Data Pipeline carichi di lavoro su Amazon MWAA quando:
+ Stai cercando un servizio gestito e ad alta disponibilità per orchestrare i flussi di lavoro scritti in Python.
+ Desideri passare a una tecnologia open source completamente gestita e ampiamente adottata, Apache Airflow, per la massima portabilità.
+ È necessaria un'unica piattaforma in grado di gestire tutti gli aspetti della pipeline di dati, tra cui l'acquisizione, l'elaborazione, il trasferimento, i test di integrità e i controlli di qualità.
+ Stai cercando un servizio progettato per l'orchestrazione della pipeline di dati con funzionalità come un'interfaccia utente avanzata per l'osservabilità, i riavvii per i flussi di lavoro non riusciti, i backfill e i nuovi tentativi di esecuzione delle attività.
+ Stai cercando un servizio che includa più di 800 operatori e sensori predefiniti, che coprano e non coprano servizi. AWS AWS
I flussi di lavoro Amazon MWAA sono definiti come Directed Acyclic Graphs (DAGs) utilizzando Python, quindi puoi trattarli anche come codice sorgente. Il framework Python estensibile di Airflow ti consente di creare flussi di lavoro che si connettono praticamente con qualsiasi tecnologia. È dotato di una ricca interfaccia utente per la visualizzazione e il monitoraggio dei flussi di lavoro e può essere facilmente integrato con i sistemi di controllo delle versioni per automatizzare il processo. CI/CD
Con Amazon MWAA, puoi scegliere la stessa versione di Amazon EMR in cui utilizzi attualmente. AWS Data Pipeline
AWS addebita in base al tempo di funzionamento dell'ambiente Airflow e qualsiasi ulteriore scalabilità automatica per fornire maggiore capacità ai dipendenti o ai server Web. Scopri di più sui prezzi in [Amazon Managed Workflows for Apache Airflow Pricing](https://aws.amazon.com/managed-workflows-for-apache-airflow/pricing/).
## Mappatura dei concetti
La tabella seguente contiene la mappatura dei concetti principali utilizzati dai servizi. Aiuterà le persone che hanno familiarità con Data Pipeline a comprendere la terminologia Step Functions e MWAA.
| Data Pipeline | Aderenza | Step Functions | Amazon MWAA |
| --- | --- | --- | --- |
| Pipelines | [Flussi di lavoro](https://docs.aws.amazon.com/glue/latest/dg/workflows_overview.html) | [Flussi di lavoro](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-standard-vs-express.html) | [Grafi acrilici diretti](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html) |
| Definizione della pipeline JSON | [Definizione del flusso di lavoro](https://docs.aws.amazon.com/glue/latest/dg/creating_running_workflows.html) o progetti [basati su Python](https://docs.aws.amazon.com/glue/latest/dg/blueprints-overview.html) | [Amazon State Language JSON](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-amazon-states-language.html) | [Basato su Python](https://airflow.apache.org/docs/apache-airflow/stable/tutorial/fundamentals.html#example-pipeline-definition) |
| Attività | [Jobs](https://docs.aws.amazon.com/glue/latest/dg/etl-jobs-section.html) | [https://docs.aws.amazon.com/step-functions/latest/dg/concepts-states.html](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-states.html) | [Attività](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html) ([operatori](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/operators.html) e [sensori](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/sensors.html)) |
| Istanze | [Job viene eseguito](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-runs.html) | [Esecuzioni](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-state-machine-executions.html) | [DAG funziona](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html) |
| Tentativi | Tentativi di nuovo tentativo | [Catcher e retrier](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-error-handling.html) | [Tentativi](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html#default-arguments) |
| Pianificazione della pipeline | [Pianifica i trigger](https://docs.aws.amazon.com/glue/latest/dg/about-triggers.html) | [EventBridge Attività dello scheduler](https://docs.aws.amazon.com/scheduler/latest/UserGuide/what-is-scheduler.html) | [Cron](https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/timezone.html)[, [orari](https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/timetable.html), sensibili ai dati](https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/datasets.html) |
| Espressioni e funzioni della pipeline | [Libreria Blueprint](https://docs.aws.amazon.com/glue/latest/dg/developing-blueprints-overview.html) | [https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-intrinsic-functions.html](https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-intrinsic-functions.html) | [Framework Python estensibile](https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html) |
## Esempi
Nelle sezioni seguenti sono elencati esempi pubblici a cui è possibile fare riferimento per migrare da un servizio AWS Data Pipeline all'altro. È possibile utilizzarli come esempi e creare la propria pipeline sui singoli servizi aggiornandola e testandola in base al proprio caso d'uso.
### AWS Glue esempi
L'elenco seguente contiene implementazioni di esempio per i casi AWS Data Pipeline d'uso più comuni con. AWS Glue
+ [Esecuzione di job Spark](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-intro-tutorial.html)
+ [Copia di dati da JDBC ad Amazon S3 (incluso Amazon Redshift](https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/samples/jdbc_to_s3))
+ [Copia di dati da Amazon S3 a](https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/samples/s3_to_jdbc) JDBC (incluso Amazon Redshift)
+ [Copia di dati da Amazon S3 a DynamoDB](https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/samples/s3_to_dynamodb)
+ [Spostamento di dati da e verso Amazon Redshift](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-redshift.html)
+ [Accesso interregionale tra più account alle tabelle Dynamodb](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-dynamo-db-cross-account.html)
### AWS Esempi di Step Functions
L'elenco seguente contiene implementazioni di esempio per i AWS Data Pipeline casi d'uso più comuni con Step Functions AWS .
+ [Gestione di un job in Amazon EMR](https://docs.aws.amazon.com/step-functions/latest/dg/sample-emr-job.html)
+ [Esecuzione di un processo di elaborazione dati su Amazon EMR Serverless](https://aws.amazon.com/blogs/big-data/run-a-data-processing-job-on-amazon-emr-serverless-with-aws-step-functions/)
+ [Lavori in esecuzione Hive/Pig/Hadoop](https://catalog.us-east-1.prod.workshops.aws/workshops/c86bd131-f6bf-4e8f-b798-58fd450d3c44/en-US/step-functions/01-execute-step-function)
+ [Interrogazione di set di dati di grandi dimensioni](https://docs.aws.amazon.com/step-functions/latest/dg/sample-query-large-datasets.html) (Amazon Athena, Amazon S3,) AWS Glue
+ [Esecuzione di flussi di lavoro ETL con Amazon Redshift](https://docs.aws.amazon.com/step-functions/latest/dg/sample-etl-orchestration.html)
+ [AWS Glue Orchestrazione dei crawler](https://aws.amazon.com/blogs/compute/orchestrating-aws-glue-crawlers-using-aws-step-functions/)
Guarda [tutorial](https://docs.aws.amazon.com/step-functions/latest/dg/tutorials.html) aggiuntivi ed [esempi di progetti](https://docs.aws.amazon.com/step-functions/latest/dg/create-sample-projects.html) per l'utilizzo di AWS Step Functions.
### Esempi di Amazon MWAA
L'elenco seguente contiene implementazioni di esempio per i casi AWS Data Pipeline d'uso più comuni con Amazon MWAA.
+ [Esecuzione di un job Amazon EMR](https://catalog.us-east-1.prod.workshops.aws/workshops/795e88bb-17e2-498f-82d1-2104f4824168/en-US/workshop-2-2-2/m1-processing/emr)
+ [Creazione di un plug-in personalizzato per Apache Hive e Hadoop](https://docs.aws.amazon.com/mwaa/latest/userguide/samples-hive.html)
+ [Copia dei dati da Amazon S3 a Redshift](https://catalog.us-east-1.prod.workshops.aws/workshops/795e88bb-17e2-498f-82d1-2104f4824168/en-US/workshop-2-2-2/m1-processing/redshift)
+ [Esecuzione di uno script Shell su un'istanza EC2 remota](https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html)
+ [Orchestrazione di flussi di lavoro ibridi (on-premise)](https://dev.to/aws/orchestrating-hybrid-workflows-using-amazon-managed-workflows-for-apache-airflow-mwaa-2boc)
Consulta [tutorial](https://docs.aws.amazon.com/mwaa/latest/userguide/tutorials.html) ed [esempi di progetti](https://docs.aws.amazon.com/mwaa/latest/userguide/sample-code.html) aggiuntivi per l'uso di Amazon MWAA.
# Servizi correlati
AWS Data Pipeline funziona con i seguenti servizi per archiviare dati.
+ Amazon DynamoDB: fornisce un database NoSQL completamente gestito con prestazioni veloci a basso costo. Per ulteriori informazioni, consulta *[Amazon DynamoDB Developer Guide](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/)*.
+ Amazon RDS: fornisce un database relazionale completamente gestito che si adatta a set di dati di grandi dimensioni. Per ulteriori informazioni, consulta la *[Amazon Relational Database Service Developer Guide](https://docs.aws.amazon.com/AmazonRDS/latest/DeveloperGuide/)*.
+ Amazon Redshift: fornisce un data warehouse veloce, completamente gestito e su scala petabyte che semplifica ed economica l'analisi di grandi quantità di dati. Per ulteriori informazioni, consulta la *[Amazon Redshift Database Developer Guide](https://docs.aws.amazon.com/redshift/latest/dg/)*.
+ Amazon S3: fornisce uno storage di oggetti sicuro, durevole e altamente scalabile. Per ulteriori informazioni, consulta la *[Guida per l'utente di Amazon Simple Storage Service](https://docs.aws.amazon.com/AmazonS3/latest/userguide/)*.
AWS Data Pipeline funziona con i seguenti servizi di elaborazione per trasformare i dati.
+ Amazon EC2: fornisce una capacità di elaborazione ridimensionabile, letteralmente server nei data center di Amazon, che puoi utilizzare per creare e ospitare i tuoi sistemi software. Per ulteriori informazioni, consulta la Guida per l'*[utente di Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/)*.
+ Amazon EMR: semplifica, velocizza ed economicamente vantaggiosa la distribuzione e l'elaborazione di grandi quantità di dati su server Amazon EC2, utilizzando un framework come Apache Hadoop o Apache Spark. Per ulteriori informazioni, consulta la *[Amazon EMR Developer Guide.](https://docs.aws.amazon.com/emr/latest/DeveloperGuide/)*
## Accedere AWS Data Pipeline
È possibile creare, accedere e gestire le pipeline utilizzando una qualsiasi delle seguenti interfacce:
+ **Console di gestione AWS**— Fornisce un'interfaccia web che è possibile utilizzare per accedere AWS Data Pipeline.
+ **AWS Command Line Interface (AWS CLI)** — Fornisce comandi per un'ampia gamma di servizi AWS AWS Data Pipeline, inclusi ed è supportato su Windows, macOS e Linux. Per ulteriori informazioni sull'installazione di AWS CLI, consulta [AWS Command Line Interface](https://aws.amazon.com/cli/). Per un elenco di comandi per AWS Data Pipeline, consulta [datapipeline](https://docs.aws.amazon.com/cli/latest/reference/datapipeline/index.html).
+ **AWS SDKs**: fornisce informazioni specifiche per la lingua APIs e si occupa di molti dettagli di connessione, come il calcolo delle firme, la gestione dei nuovi tentativi di richiesta e la gestione degli errori. Per ulteriori informazioni, consulta [AWS SDKs](https://aws.amazon.com/tools/#SDKs).
+ **API di interrogazione**: fornisce chiamate APIs di basso livello utilizzando richieste HTTPS. L'API di interrogazione è il modo più diretto per accedere al AWS Data Pipeline, ma richiede che la propria applicazione gestisca dettagli di basso livello, come la generazione di un hash per la firma della richiesta e la gestione degli errori. Per ulteriori informazioni, consulta la *documentazione di riferimento dell’API di [AWS Data Pipeline](https://docs.aws.amazon.com/datapipeline/latest/APIReference/)*.
## Prezzi
I prezzi di Amazon Web Services sono calcolati in base all'uso effettivo. In effetti AWS Data Pipeline, paghi per la tua pipeline in base alla frequenza con cui è programmata l'esecuzione delle tue attività e dei prerequisiti e al luogo in cui vengono eseguite. Per ulteriori informazioni, consultare [AWS Data Pipeline Prezzi](https://aws.amazon.com/datapipeline/pricing/).
Se l'account AWS è inferiore a 12 mesi, hai diritto a utilizzare il piano gratuito. Il piano gratuito include tre precondizioni a bassa frequenza e cinque attività a bassa frequenza al mese senza alcun costo aggiuntivo. Per ulteriori informazioni, consulta [Piano gratuito di AWS](https://aws.amazon.com/free/).
# Tipi di istanza supportati per attività di lavoro delle pipeline
Quando AWS Data Pipeline esegue una pipeline, compila i componenti della pipeline per creare un set di istanze Amazon EC2 utilizzabili. Ogni istanza contiene tutte le informazioni necessarie per l'esecuzione di un'attività specifica. Il set completo di istanze costituisce l'elenco delle attività della pipeline. AWS Data Pipeline passa le istanze ai runner delle attività per essere processate.
Le istanze EC2 sono disponibili in diverse configurazioni, note come *tipi di istanze*. Ogni tipo di istanza dispone di diverse capacità di CPU, input/output e storage. Oltre a specificare il tipo di istanza per un'attività, puoi scegliere diverse opzioni di acquisto. Non tutti i tipi di istanze sono disponibili in tutte le regioni AWS. Se un tipo di istanza non è disponibile, è possibile che la pipeline non riesca a effettuare il provisioning o che il provisioning si blocchi. Per informazioni sulla disponibilità delle istanze, consulta la pagina dei [prezzi di Amazon EC2](https://aws.amazon.com//ec2/pricing). Aprire il link per l'opzione di acquisto di istanze e filtrare in base alla **Region (Regione)** per vedere se un tipo di istanza è disponibile nella regione. Per ulteriori informazioni su questi tipi di istanze, famiglie e tipi di virtualizzazione, consulta [Amazon EC2 Instances e Amazon](https://aws.amazon.com/ec2/instance-types/) [Linux AMI](https://aws.amazon.com/amazon-linux-ami/instance-type-matrix/) Instance Type Matrix.
Le tabelle seguenti descrivono i tipi di istanza supportati. AWS Data Pipeline Puoi utilizzarle AWS Data Pipeline per avviare istanze Amazon EC2 in qualsiasi regione, comprese le regioni in cui non AWS Data Pipeline è supportata. Per informazioni sulle regioni in cui AWS Data Pipeline è supportato, consulta [AWS Regions and Endpoints](https://docs.aws.amazon.com/general/latest/gr/rande.html#datapipeline_region).
**Topics**
+ [Istanze Amazon EC2 predefinite per regione AWS](dp-ec2-default-instance-types.md)
+ [Istanze Amazon EC2 aggiuntive supportate](dp-ec2-supported-instance-types.md)
+ [Istanze Amazon EC2 supportate per cluster Amazon EMR](dp-emr-supported-instance-types.md)
# Istanze Amazon EC2 predefinite per regione AWS
Se non si specifica un tipo di istanza nella definizione della pipeline, AWS Data Pipeline avvia un'istanza per impostazione predefinita.
La tabella seguente elenca le istanze Amazon EC2 AWS Data Pipeline utilizzate di default nelle regioni in cui AWS Data Pipeline è supportata.
| Nome della regione | Regione | Tipo di istanza |
| --- | --- | --- |
| Stati Uniti orientali (Virginia settentrionale) | us-east-1 | m1.small |
| Stati Uniti occidentali (Oregon) | us-west-2 | m1.small |
| Asia Pacifico (Sydney) | ap-southeast-2 | m1.small |
| Asia Pacifico (Tokyo) | ap-northeast-1 | m1.small |
| UE (Irlanda) | eu-west-1 | m1.small |
La tabella seguente elenca le istanze Amazon EC2 che vengono AWS Data Pipeline avviate per impostazione predefinita nelle regioni in cui AWS Data Pipeline non è supportata.
| Nome della regione | Regione | Tipo di istanza |
| --- | --- | --- |
| Stati Uniti orientali (Ohio) | us-east-2 | t2.small |
| Stati Uniti occidentali (California settentrionale) | us-west-1 | m1.small |
| Asia Pacifico (Mumbai) | ap-south-1 | t2.small |
| Asia Pacifico (Singapore) | ap-southeast-1 | m1.small |
| Asia Pacifico (Seoul) | ap-northeast-2 | t2.small |
| Canada (Centrale) | ca-central-1 | t2.small |
| UE (Francoforte) | eu-central-1 | t2.small |
| UE (Londra) | eu-west-2 | t2.small |
| UE (Parigi) | eu-west-3 | t2.small |
| Sud America (San Paolo) | sa-east-1 | m1.small |
# Istanze Amazon EC2 aggiuntive supportate
Oltre alle istanze predefinite che vengono create se non si specifica un tipo di istanza nella definizione della pipeline, vengono supportate le seguenti istanze.
La tabella seguente elenca le istanze Amazon EC2 che AWS Data Pipeline supportano e possono creare, se specificato.
| Classe istanza | Tipi di istanza |
| --- | --- |
| Uso generale | t2.nano \$1 t2.micro \$1 t2.small \$1 t2.medium \$1 t2.large |
| Calcolo ottimizzato | c3.large \$1 c3.xlarge \$1 c3.2xlarge \$1 c3.4xlarge \$1 c3.8xlarge \$1 c4.large \$1 c4.xlarge \$1 c4.2xlarge \$1 c4.4xlarge \$1 c4.8xlarge \$1 c5.xlarge \$1 c5.9xlarge \$1 c5.2xlarge \$1 c5.4xlarge \$1 c5.9xlarge \$1 c5.18xlarge \$1 c5d.xlarge \$1 c5d.2xlarge \$1 c5d.4xlarge \$1 c5d.9xlarge \$1 c5d.18xlarge |
| Memoria ottimizzata | m3.medium \$1 m3.large \$1 m3.xlarge \$1 m3.2xlarge \$1 m4.large \$1 m4.xlarge \$1 m4.2xlarge \$1 m4.4xlarge \$1 m4.10xlarge \$1 m4.16xlarge \$1 m5.xlarge \$1 m5.2xlarge \$1 m5.4xlarge \$1 m5.12xlarge \$1 m5.24xlarge \$1 m5d.xlarge \$1 m5d.2xlarge \$1 m5d.4xlarge \$1 m5d.12xlarge \$1 m5d.24xlarge r3.large \$1 r3.xlarge \$1 r3.2xlarge \$1 r3.4xlarge \$1 r3.8xlarge \$1 r4.large \$1 r4.xlarge \$1 r4.2xlarge \$1 r4.4xlarge \$1 r4.8xlarge \$1 r4.16xlarge |
| Storage ottimizzato | i2.xlarge \$1 i2.2xlarge \$1 i2.4xlarge \$1 i2.8xlarge \$1 hs1.8xlarge \$1 g2.2xlarge \$1 g2.8xlarge \$1 d2.xlarge \$1 d2.2xlarge \$1 d2.4xlarge \$1 d2.8xlarge |
# Istanze Amazon EC2 supportate per cluster Amazon EMR
Questa tabella elenca le istanze Amazon EC2 che AWS Data Pipeline supportano e possono creare per i cluster Amazon EMR, se specificato. Per ulteriori informazioni, consulta [Tipi di istanza supportati](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html) nella *Guida alla gestione di Amazon EMR*.
| Classe istanza | Tipi di istanza |
| --- | --- |
| Uso generale | m1.small \$1 m1.medium \$1 m1.large \$1 m1.xlarge \$1 m3.xlarge \$1 m3.2xlarge |
| Calcolo ottimizzato | c1.medium \$1 c1.xlarge \$1 c3.xlarge \$1 c3.2xlarge \$1 c3.4xlarge \$1 c3.8xlarge \$1 cc1.4xlarge\$1 cc2.8xlarge \$1 c4.large \$1 c4.xlarge \$1 c4.2xlarge\$1 c4.4xlarge \$1 c4.8xlarge \$1 c5.xlarge \$1 c5.9xlarge \$1 c5.2xlarge \$1 c5.4xlarge \$1 c5.9xlarge \$1 c5.18xlarge \$1 c5d.xlarge \$1 c5d.2xlarge \$1 c5d.4xlarge \$1 c5d.9xlarge \$1 c5d.18xlarge |
| Memoria ottimizzata | m2.xlarge \$1 m2.2xlarge \$1 m2.4xlarge \$1 r3.xlarge \$1 r3.2xlarge \$1 r3.4xlarge \$1 r3.8xlarge \$1 cr1.8xlarge \$1 m4.large \$1 m4.xlarge \$1 m4.2xlarge \$1 m4.4xlarge \$1 m4.10xlarge \$1 m4.16large \$1 m5.xlarge \$1 m5.2xlarge \$1 m5.4xlarge \$1 m5.12xlarge \$1 m5.24xlarge \$1 m5d.xlarge \$1 m5d.2xlarge \$1 m5d.4xlarge \$1 m5d.12xlarge \$1 m5d.24xlarge \$1 r4.large \$1 r4.xlarge \$1 r4.2xlarge \$1 r4.4xlarge \$1 r4.8xlarge \$1 r4.16xlarge |
| Storage ottimizzato | h1.4xlarge \$1 hs1.2xlarge \$1 hs1.4xlarge\$1 hs1.8xlarge \$1 i2.xlarge \$1 i2.2xlarge \$1 i2.4large \$1 i2.8xlarge \$1 d2.xlarge \$1 d2.2xlarge\$1 d2.4xlarge \$1 d2.8xlarge |
| Accelerazione informatica | g2.2xlarge \$1 cg1.4xlarge |