View a markdown version of this page

Connessioni supportate per sorgenti e uscite di dati - AWS Glue DataBrew Guida per gli sviluppatori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connessioni supportate per sorgenti e uscite di dati

Puoi connetterti alle seguenti fonti di dati per i lavori di elaborazione delle DataBrew ricette. Queste includono qualsiasi fonte di dati che non sia un file su cui stai caricando direttamente. DataBrew L'origine dati che stai utilizzando potrebbe essere chiamata database, data warehouse o qualcos'altro. Ci riferiamo a tutti i fornitori di dati come fonti di dati o connessioni.

È possibile creare un set di dati utilizzando una delle seguenti fonti di dati.

Puoi anche utilizzare database Amazon S3 o JDBC supportati da Amazon RDS per l'output dei processi di elaborazione delle ricette.AWS Glue Data Catalog DataBrew Amazon AppFlow e AWS Data Exchange non sono supportati gli archivi dati per l'output dei processi di DataBrew elaborazione delle ricette.

  • Amazon S3

    Puoi usare S3 per archiviare e proteggere qualsiasi quantità di dati. Per creare un set di dati, specifichi un URL S3 da cui DataBrew accedere a un file di dati, ad esempio: s3://your-bucket-name/inventory-data.csv

    DataBrew può anche leggere tutti i file in una cartella S3, il che significa che puoi creare un set di dati che si estende su più file. Per fare ciò, specifica un URL S3 in questo modulo:. s3://your-bucket-name/your-folder-name/

    DataBrew supporta solo le seguenti classi di storage Amazon S3: Standard, Reduced Redundancy e S3 One Standard-IA. Zone-IA DataBrew ignora i file con altre classi di storage. DataBrew ignora anche i file vuoti (file contenenti 0 byte). Per ulteriori informazioni sulle classi di storage Amazon S3, consulta Using Amazon S3 Storage Classes nella Amazon S3 Console User Guide.

  • AWS Glue Data Catalog

    Puoi utilizzare il Data Catalog per definire riferimenti ai dati archiviati nel cloud.AWS Con il Data Catalog, puoi creare connessioni a singole tabelle nei seguenti servizi:

    • Catalogo dati Amazon S3

    • Catalogo dati Amazon Redshift

    • Catalogo dati Amazon RDS

    • AWS Glue

    DataBrew può anche leggere tutti i file in una cartella Amazon S3, il che significa che puoi creare un set di dati che si estende su più file. A tale scopo, specifica un URL Amazon S3 in questo modulo: s3://your-bucket-name/your-folder-name/

    Per essere utilizzate con DataBrew, le tabelle Amazon S3 definite in AWS Glue Data Catalog, devono avere una proprietà di tabella aggiunta chiamata aclassification, che identifica il formato dei dati come csv jsonparquet, o e as. typeOfData file Se la proprietà della tabella non è stata aggiunta al momento della creazione della tabella, puoi aggiungerla utilizzando la AWS Glue console.

    DataBrew supporta solo le classi di storage Amazon S3 Standard, Reduced Redundancy e S3 One Standard-IA. Zone-IA DataBrew ignora i file con altre classi di storage. DataBrew ignora anche i file vuoti (file contenenti 0 byte). Per ulteriori informazioni sulle classi di storage Amazon S3, consulta Using Amazon S3 Storage Classes nella Amazon S3 Console User Guide.

    DataBrew può accedere alle tabelle AWS Glue Data Catalog S3 anche da altri account se viene creata una politica delle risorse appropriata. Puoi creare una policy nella AWS Glue console nella scheda Impostazioni in Data Catalog. Di seguito è riportato un esempio di politica specifica per un singolo Regione AWS.

    avvertimento

    Questa è una politica di risorse altamente permissiva che garantisce l'accesso *$ACCOUNT_TO* illimitato al Data Catalog di. *$ACCOUNT_FROM* Nella maggior parte dei casi, si consiglia di limitare la politica delle risorse a cataloghi o tabelle specifici. Per ulteriori informazioni, consulta le politiche relative alle AWS Glue risorse per il controllo degli accessi nella Guida per gli AWS Glue sviluppatori.

    In alcuni casi, potresti voler creare un progetto o eseguire un job utilizzando una tabella AWS Glue Data Catalog S3 *$ACCOUNT_FROM* che punti a una posizione S3 anch'essa presente in S3.AWS Glue DataBrew*$ACCOUNT_TO* *$ACCOUNT_FROM* In questi casi, il ruolo IAM utilizzato durante la creazione del progetto e del job in *$ACCOUNT_TO* deve avere l'autorizzazione a elencare e ottenere oggetti in quella posizione S3 da. *$ACCOUNT_FROM* Per ulteriori informazioni, consulta Garantire l'accesso su più account nella Developer Guide.AWS Glue

  • Dati connessi tramite driver JDBC

    È possibile creare un set di dati connettendosi ai dati con un driver JDBC supportato. Per ulteriori informazioni, consulta Utilizzo dei driver con AWS Glue DataBrew.

    DataBrew supporta ufficialmente le seguenti fonti di dati utilizzando Java Database Connectivity (JDBC):

    • Microsoft SQL Server

    • MySQL

    • Oracle

    • PostgreSQL

    • Amazon Redshift

    • Connettore Snowflake per Spark

    Le fonti di dati possono essere posizionate ovunque ci si possa connettere ad esse. DataBrew Questo elenco include solo le connessioni JDBC che abbiamo testato e che quindi possiamo supportare.

    Le origini dati Amazon Redshift e Snowflake Connector for Spark possono essere collegate in uno dei seguenti modi:

    • Con un nome di tabella.

    • Con una query SQL che si estende su più tabelle e operazioni.

    Le query SQL vengono eseguite all'avvio di un progetto o all'esecuzione di un processo.

    Per connetterti a dati che richiedono un driver JDBC non in elenco, assicurati che il driver sia compatibile con JDK 8. Per utilizzare il driver, archivialo in S3 in un bucket a cui puoi accedervi con il tuo ruolo IAM per. DataBrew Quindi indirizza il set di dati verso il file del driver. Per ulteriori informazioni, consulta Utilizzo dei driver con AWS Glue DataBrew.

    Query di esempio per un SQL-based set di dati:

    SELECT
    * 
FROM
    public.customer as c 
JOIN
    public.customer_address as ca on c.current_address=ca.current_address
WHERE
    ca.address_id>0 AND ca.address_id<10001 ORDER BY ca.address_id

    Limitazioni di Custom SQL

    Se utilizzi una connessione JDBC per accedere ai dati di un DataBrew set di dati, tieni presente quanto segue:

    • AWS Glue DataBrew non convalida l'SQL personalizzato fornito come parte della creazione del set di dati. La query SQL verrà eseguita all'avvio di un progetto o dell'esecuzione di un processo. DataBrew prende la query fornita e la passa al motore di database utilizzando i driver JDBC predefiniti o forniti.

    • Un set di dati creato con una query non valida avrà esito negativo quando viene utilizzato in un progetto o in un lavoro. Convalida la query prima di creare il set di dati.

    • La funzionalità Validate SQL è disponibile solo per le fonti di Redshift-based dati Amazon.

    • Se desideri utilizzare un set di dati in un progetto, limita il tempo di esecuzione delle query SQL a meno di tre minuti per evitare un timeout durante il caricamento del progetto. Controllate il runtime della query prima di creare un progetto.

  • Amazon AppFlow

    Con Amazon AppFlow, puoi trasferire dati in Amazon S3 da applicazioni di terze parti ( Software-as-a-Service SaaS) come Salesforce, Zendesk, Slack e. ServiceNow È quindi possibile utilizzare i dati per creare un set di dati. DataBrew

    In Amazon AppFlow, crei una connessione e un flusso per trasferire dati tra la tua applicazione di terze parti e un'applicazione di destinazione. Quando usi Amazon AppFlow con DataBrew, assicurati che l'applicazione di AppFlow destinazione Amazon sia Amazon S3. Le applicazioni di AppFlow destinazione Amazon diverse da Amazon S3 non vengono visualizzate nella DataBrew console. Per ulteriori informazioni sul trasferimento di dati da un'applicazione di terze parti e sulla creazione di AppFlow connessioni e flussi Amazon, consulta la AppFlow documentazione di Amazon.

    Quando scegli Connect new dataset nella scheda Datasets di DataBrew e fai clic su Amazon AppFlow, vedi tutti i flussi in Amazon AppFlow configurati con Amazon S3 come applicazione di destinazione. Per utilizzare i dati di un flusso per il tuo set di dati, scegli quel flusso.

    Scegliendo Crea flusso, Gestisci flussi e Visualizza dettagli per Amazon AppFlow nella DataBrew console, si apre la AppFlow console Amazon in modo da poter eseguire tali attività.

    Dopo aver creato un set di dati da Amazon AppFlow, puoi eseguire il flusso e visualizzare i dettagli dell'ultima esecuzione del flusso quando visualizzi i dettagli del set di dati o i dettagli del processo. Quando esegui il flusso DataBrew, il set di dati viene aggiornato in S3 ed è pronto per essere utilizzato in. DataBrew

    Quando selezioni un AppFlow flusso Amazon nella DataBrew console per creare un set di dati, possono verificarsi le seguenti situazioni:

    • I dati non sono stati aggregati: se il trigger del flusso è Eseguito su richiesta o viene eseguito in base alla pianificazione con trasferimento completo dei dati, assicurati di aggregare i dati per il flusso prima di utilizzarlo per creare un set di dati. DataBrew L'aggregazione del flusso combina tutti i record del flusso in un unico file. I flussi con il tipo di trigger Run on schedule con trasferimento incrementale di dati o Run on event non richiedono l'aggregazione. Per aggregare i dati in Amazon AppFlow, scegli Modifica configurazione del flusso > Dettagli di destinazione > Impostazioni aggiuntive > Preferenza trasferimento dati.

    • Il flusso non è stato eseguito: se lo stato di esecuzione di un flusso è vuoto, significa che si tratta di una delle seguenti situazioni:

      • Se il trigger per l'esecuzione del flusso è Esegui su richiesta, il flusso non è ancora stato eseguito.

      • Se il trigger per l'esecuzione del flusso è Run on event, l'evento di attivazione non si è ancora verificato.

      • Se il fattore scatenante per l'esecuzione del flusso è Esegui in base alla pianificazione, non si è ancora verificata un'esecuzione pianificata.

      Prima di creare un set di dati con un flusso, scegli Esegui flusso per quel flusso.

      Per ulteriori informazioni, consulta Amazon AppFlow flows nella Amazon AppFlow User Guide.

  • AWS Data Exchange

    Puoi scegliere tra centinaia di fonti di dati di terze parti disponibili in AWS Data Exchange. Abbonandoti a queste fonti di dati, ottieni la versione più aggiornata dei dati.

    Per creare un set di dati, specifichi il nome di un prodotto di AWS Data Exchange dati a cui sei abbonato e che hai il diritto di utilizzare.