Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Intégration des données Amazon Q dans AWS Glue
L’intégration des données Amazon Q dans AWS Glue est une nouvelle capacité d’IA générative d’AWS Glue qui permet aux ingénieurs de données et aux développeurs ETL de créer des tâches d’intégration de données en utilisant le langage naturel. Les ingénieurs et les développeurs peuvent demander à Amazon Q de créer des tâches, de résoudre des problèmes et de répondre à des questions concernant AWS Glue et l’intégration des données.
Qu’est-ce qu’Amazon Q ?
Note
Optimisé par Amazon Bedrock : AWS met en œuvre une détection automatique des abus. L’intégration de données Amazon Q étant basée sur Amazon Bedrock, les utilisateurs peuvent pleinement tirer parti des contrôles mis en œuvre dans Amazon Bedrock pour renforcer la sûreté, la sécurité et l’utilisation responsable de l’intelligence artificielle (IA).
Amazon Q est un assistant conversationnel optimisé par l’intelligence artificielle (IA) générative et conçu pour vous aider à comprendre, créer, étendre et exploiter des applications AWS. Afin d’accélérer le processus de développement sur AWS, le modèle sur lequel repose Amazon Q est enrichi avec du contenu AWS de haute qualité offrant des réponses plus complètes, exploitables et fiables. Pour plus d’informations, consultez la rubrique Qu’est-ce qu’Amazon Q ?
Qu’est-ce que l’intégration des données Amazon Q dans AWS Glue ?
L’intégration des données Amazon Q dans AWS Glue comprend les fonctionnalités suivantes :
Chat : l’intégration de données Amazon Q dans AWS Glue peut répondre à des questions en langage naturel en anglais concernant AWS Glue et des domaines d’intégration de données tels que les connecteurs de source et de destination de AWS Glue, les tâches ETL de AWS Glue, le catalogue de données, les crawlers et AWS Lake Formation, ainsi que la documentation sur d’autres fonctionnalités et les meilleures pratiques. L’intégration des données Amazon Q dans AWS Glue répond par des instructions pas à pas et inclut des références à ses sources d’informations.
Génération de code d’intégration de données : l’intégration des données Amazon Q dans AWS Glue permet de répondre à des questions sur les scripts ETL d’AWS Glue et de générer du nouveau code à partir d’une question en langage naturel en anglais.
Résolution des problèmes : l’intégration des données Amazon Q dans AWS Glue est spécialement conçue pour vous aider à comprendre les erreurs des tâches AWS Glue et fournit des instructions pas à pas pour identifier et résoudre vos problèmes.
Note
L’intégration des données Amazon Q dans AWS Glue n’utilise pas le contexte de votre conversation pour éclairer les réponses futures pendant toute la durée de votre conversation. Chaque conversation avec l’intégration des données Amazon Q dans AWS Glue est indépendante de vos conversations précédentes ou futures.
Vous utilisez l’intégration des données Amazon Q dans AWS Glue ?
Dans le panneau Amazon Q, vous pouvez demander à Amazon Q de générer du code pour un script ETL AWS Glue, de répondre à une question sur les fonctionnalités AWS Glue ou de résoudre une erreur. La réponse est un script ETL dans PySpark avec des instructions pas à pas pour personnaliser le script, le réviser et l’exécuter. Pour les questions, la réponse est générée à partir de la base de connaissances sur l’intégration des données, avec un résumé et l’URL de la source pour les références.
Par exemple, vous pouvez demander à Amazon Q de « fournir un script Glue qui lit à partir de Snowflake, renomme les champs et écrit dans Redshift » et en réponse, l’intégration des données Amazon Q dans AWS Glue renverra un script de tâche AWS Glue capable d’effectuer l’action demandée. Vous pouvez vérifier le code généré pour vous assurer qu’il répond à l’intention demandée. Si cela vous convient, vous pouvez le déployer comme une tâche AWS Glue en production. Vous pouvez résoudre les problèmes liés aux tâches en demandant à l’intégration d’expliquer les erreurs et les échecs et de proposer des solutions. Amazon Q peut répondre à des questions sur AWS Glue ou sur les bonnes pratiques en matière d’intégration des données.
Voici des exemples de questions qui montrent comment l’intégration des données Amazon Q dans AWS Glue peut vous aider à développer sur AWS Glue :
Génération de code ETL AWS Glue :
Écrire un script AWS Glue qui lit le format JSON à partir de S3, transforme les champs à l’aide d’une application de mappage et écrit les données dans Amazon Redshift
Comment écrire un script AWS Glue pour lire à partir de DynamoDB, appliquer la transformation DropNullFields et écrire dans S3 au format Parquet ?
Donne-moi un script AWS Glue qui lit à partir de MySQL, supprime certains champs en fonction de ma logique métier et écrit dans Snowflake
Écrire une tâche AWS Glue pour lire à partir de DynamoDB et écrire dans S3 au format JSON
Aide-moi à développer un script AWS Glue pour AWS Glue Data Catalog dans S3
Écrire une tâche AWS Glue pour lire le format JSON à partir de S3, supprimer les valeurs nulles et écrire dans Redshift
Explications des fonctionnalités AWS Glue :
Comment utiliser la Qualité des données d’AWS Glue ?
Comment utiliser les signets de tâches AWS Glue ?
Comment activer l’autoscaling AWS Glue ?
Quelle est la différence entre les environnements dynamiques AWS Glue et les environnements de données Spark ?
Quels sont les différents types de connexions pris en charge par AWS Glue ?
Résolution des problèmes liés à AWS Glue :
Comment résoudre les erreurs de manque de mémoire (OOM) des tâches AWS Glue ?
Quels sont les messages d’erreur susceptibles de s’afficher lors de la configuration de Qualité des données d’AWS Glue et comment les corriger ?
Comment corriger une tâche AWS Glue avec le message d’erreur « Accès refusé à Amazon S3 » ?
Comment résoudre les problèmes liés à la répartition de données des tâches AWS Glue ?
Bonnes pratiques en matière d’interaction avec l’intégration des données Amazon Q
Les bonnes pratiques pour interagir avec l’intégration des données Amazon Q sont les suivantes :
Lorsque vous interagissez avec l’intégration des données Amazon Q, posez des questions spécifiques, itérez lorsque vous avez des demandes complexes et vérifiez le degré d’exactitude des réponses.
Lorsque vous fournissez des invites d’intégration des données en langage naturel, soyez aussi spécifique que possible pour aider l’assistant de codage à comprendre exactement ce dont vous avez besoin. Au lieu de dire « extrais les données de S3 », fournissez plus de détails, comme « écris un script AWS Glue qui extrait les fichiers JSON de S3 ».
Passez en revue le script généré avant de l’exécuter, afin de garantir son exactitude. Si le script généré comporte des erreurs ou ne correspond pas à votre intention, fournissez des instructions à l’assistant sur la façon de le corriger.
La technologie d’IA générative est nouvelle et les réponses peuvent comporter des erreurs, parfois appelées hallucinations. Testez et passez en revue tout le code pour détecter des erreurs et des vulnérabilités avant de l’utiliser dans votre environnement ou votre charge de travail.
Intégration des données Amazon Q dans l’amélioration des services AWS Glue
Pour faciliter l’intégration des données Amazon Q dans AWS Glue et fournir les informations les plus pertinentes sur les services AWS, nous pouvons utiliser certains contenus d’Amazon Q, comme les questions que vous posez à Amazon Q et ses réponses, afin d’améliorer le service.
Pour plus d’informations sur le contenu que nous utilisons et sur la manière de vous désinscrire, consultez Amazon Q Developer service improvement dans le Guide de l’utilisateur Amazon Q Developer.
Considérations
Prenez en compte les éléments suivants avant d’utiliser l’intégration de données Amazon Q dans AWS Glue :
Actuellement, la génération de code ne fonctionne qu’avec le noyau PySpark. Le code généré est destiné aux tâches AWS Glue basées sur Python Spark.
Pour en savoir plus sur les combinaisons prises en charge des fonctionnalités de génération de code associées à l’intégration de données Amazon Q dans AWS Glue, consultez Capacités de génération de code prises en charge.
