# Integração de dados do Amazon Q no AWS Glue A integração de dados do Amazon Q no AWS Glue é um novo recurso de IA generativa do AWS Glue que permite que engenheiros de dados e desenvolvedores de ETL criem trabalhos de integração de dados usando linguagem natural. Engenheiros e desenvolvedores podem pedir ao Amazon Q para criar trabalhos, solucionar problemas e responder perguntas sobre o AWS Glue e a integração de dados. ## O que é o Amazon Q? **nota** Tecnologia da Amazon Bedrock: a AWS implementa a [detecção automática de abusos](https://docs.aws.amazon.com/bedrock/latest/userguide/abuse-detection.html). Como a integração de dados do Amazon Q é baseada no Amazon Bedrock, os usuários podem aproveitar ao máximo os controles implementados no Amazon Bedrock para reforçar a segurança, a proteção e o uso responsável de inteligência artificial. O Amazon Q é um assistente conversacional baseado em inteligência artificial (IA) generativa que pode ajudar você a entender, criar, estender e operar aplicações da AWS. O modelo que impulsiona o Amazon Q foi aprimorado com conteúdo de alta qualidade da AWS para fornecer respostas mais completas, acionáveis e referenciadas para acelerar seu desenvolvimento na AWS. Para obter mais informações, consulte [What is Amazon Q?](https://docs.aws.amazon.com/amazonq/latest/aws-builder-use-ug/what-is.html) ## O que é a integração de dados do Amazon Q no AWS Glue? A integração de dados do Amazon Q no AWS Glue inclui os seguintes recursos: + **Chat**: a integração de dados do Amazon Q no AWS Glue pode responder a perguntas de linguagem natural em inglês sobre o AWS Glue e domínios de integração de dados, como conectores de origem e destino do AWS Glue, trabalhos de ETL do AWS Glue, catálogo de dados, crawlers e AWS Lake Formation e outras documentações de recurcos e práticas recomendadas. A integração de dados do Amazon Q no AWS Glue responde com instruções passo a passo e inclui referências às suas fontes de informação. + **Geração de código de integração de dados**: a integração de dados do Amazon Q no AWS Glue pode responder a perguntas sobre scripts de ETL do AWS Glue e gerar novos códigos com base em uma pergunta de linguagem natural em inglês. + **Solução de problemas**: a integração de dados do Amazon Q no AWS Glue foi criada especificamente para ajudar você a entender erros em trabalhos do AWS Glue e fornece instruções passo a passo para identificar a causa e resolver os problemas. **nota** A integração de dados do Amazon Q no AWS Glue não usa o contexto da sua conversa para informar respostas futuras durante a conversa. Cada conversa com a integração de dados do Amazon Q no AWS Glue é independente de conversas anteriores ou futuras. ## Como trabalhar com a integração de dados do Amazon Q no AWS Glue? No painel do Amazon Q, é possível solicitar que o Amazon Q gere código para um script de ETL do AWS Glue, responda a uma pergunta sobre recursos do AWS Glue ou solucione um erro. A resposta é um script de ETL no PySpark com instruções passo a passo para personalizar o script, revisá-lo e executá-lo. Para perguntas, a resposta é gerada de acordo com a base de conhecimento de integração de dados com um resumo e um URL de origem para referências. Por exemplo, é possível pedir ao Amazon Q para "*Fornecer um script Glue que leia do Snowflake, renomeie os campos e grave no Redshift*", e, em resposta, a integração de dados do Amazon Q no AWS Glue retornará um script de trabalho do AWS Glue que possa realizar a ação solicitada. Você pode revisar o código gerado para garantir que ele atenda à intenção solicitada. Quando estiver satisfeito, você pode implantá-lo como um trabalho do AWS Glue na produção. Você pode solucionar problemas solicitando que a integração explique erros e falhas e proponha soluções. O Amazon Q pode responder a perguntas sobre o AWS Glue ou sobre as práticas recomendadas de integração. ![\[Um exemplo de uso da integração de dados do Amazon Q no AWS Glue.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/q-chat-experience-1.gif) Veja a seguir exemplos de perguntas que demonstram como a integração de dados do Amazon Q no AWS Glue pode ajudar você a criar no AWS Glue: Geração de códigos de ETL no AWS Glue: + Grave um script do AWS Glue que leia o JSON do S3, transforme campos usando o mapeamento de aplicação e grave no Amazon Redshift + Como gravar um script do AWS Glue para ler do DynamoDB aplicando a transformação DropNullFields e gravando no S3 como Parquet? + Forneça-me um script do AWS Glue que leia o MySQL, descarte alguns campos com base na minha lógica de negócios e grave no Snowflake + Grave um trabalho do AWS Glue para ler do DynamoDB e gravar no S3 como JSON + Ajude-me a desenvolver um script do AWS Glue para o catálogo de dados do AWS Glue para o S3 + Grave um trabalho do AWS Glue para ler JSON do S3, descartar nulos e gravar no Redshift Explicações de recursos do AWS Glue: + Como usar o AWS Glue Data Quality? + Como usar marcadores de trabalho do AWS Glue? + Como habilitar o ajuste de dimensionamento automático do AWS Glue? + Qual é a diferença entre quadros dinâmicos do AWS Glue e quadros de dados do Spark? + Quais são os diferentes tipos de conexões compatíveis com o AWS Glue? Solução de problemas do AWS Glue: + Como solucionar erros de falta de memória (OOM) em trabalhos do AWS Glue? + Que mensagens de erro você pode ver ao configurar o AWS Glue Data Quality e como corrigi-las? + Como faço para corrigir um trabalho do AWS Glue com o erro de acesso negado ao Amazon S3? + Como resolver problemas com o shuffle de dados em trabalhos do AWS Glue? ## Práticas recomendadas para interagir com a integração de dados do Amazon Q Estas são as práticas recomendadas para interagir com a integração de dados do Amazon Q: + Ao interagir com o SQL generativo do Amazon Q, faça perguntas específicas, itere quando tiver solicitações complexas e verifique se as respostas estão corretas. + Ao fornecer prompts de análise em linguagem natural, tente usar o máximo de especificidade para ajudar o assistente de codificação a compreender exatamente aquilo de que você precisa. Em vez de pedir "extraia dados do S3", forneça mais detalhes, como "escreva um script do AWS Glue que extraia arquivos JSON do S3". + Revise o SQL gerado antes de executá-lo para garantir a precisão. Se a consulta SQL gerada tiver erros ou não corresponder à intenção, dê instruções ao assistente sobre como corrigi-la, em vez de reformular a solicitação inteira. + A tecnologia de IA generativa é nova e pode haver erros, às vezes chamados de alucinações, nas respostas. Teste e analise todo o código em busca de erros e vulnerabilidades antes de usá-lo no ambiente ou no workload. ## Integração de dados do Amazon Q na melhoria de serviços do AWS Glue Para ajudar a integração de dados do Amazon Q no AWS Glue a fornecer as informações mais relevantes sobre os serviços da AWS, podemos usar determinados conteúdos do Amazon Q, como perguntas que você faz ao Amazon Q e suas respostas, para melhorar o serviço. Para obter informações sobre o conteúdo que usamos e como optar por não participar, consulte [Melhoria do serviço do Amazon Q Developer](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/service-improvement.html) no *Manual do Usuário do Amazon Q Developer*. ## Considerações Considere os seguintes itens antes de usar a integração de dados do Amazon Q no AWS Glue: + No momento, a geração de código só funciona com o kernel PySpark. O código gerado é para trabalhos do AWS Glue baseados no Python Spark. + Para obter informações sobre a compatibilidade das combinações de capacidades de geração de código da integração de dados do Amazon Q noAWS Glue, consulte [Capacidades de geração de código suportadas](q-supported-actions.md). # Configurar a integração de dados do Amazon Q no AWS Glue As seções a seguir fornecem informações sobre como configurar a integração de dados do Amazon Q no AWS Glue. **Topics** + [Configurar permissões do IAM](q-setting-up-permissions.md) # Configurar permissões do IAM Este tópico descreve as permissões do IAM que você configura para a experiência de chat do Amazon Q e a experiência do caderno do AWS Glue Studio. **Topics** + [Configurar permissões do IAM para o chat do Amazon Q](#q-setting-up-permissions-amazon-q-chat) + [Permissões do IAM para cadernos do AWS Glue Studio](#q-setting-up-permissions-notebooks) ## Configurar permissões do IAM para o chat do Amazon Q A concessão de permissões às APIs usadas pela integração de dados do Amazon Q no AWS Glue exige permissões apropriadas do AWS Identity and Access Management (IAM). Você pode obter permissões anexando a seguinte política da AWS personalizada à sua identidade do IAM (como usuário, perfil ou grupo): ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] } ] } ``` ------ ## Permissões do IAM para cadernos do AWS Glue Studio Para habilitar a integração de dados do Amazon Q em cadernos do AWS Glue Studio, certifique-se de que a seguinte permissão esteja anexada ao perfil do IAM do caderno: **nota** O prefixo `codewhisperer` é um nome antigo de um serviço que foi fundido com o Amazon Q Developer. Para obter mais informações, consulte [Renomeação do Amazon Q Developer: resumo das alterações](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/service-rename.html). ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] }, { "Sid": "AmazonQDeveloperPermissions", "Effect": "Allow", "Action": [ "codewhisperer:GenerateRecommendations" ], "Resource": "*" } ] } ``` ------ **nota** A integração de dados do Amazon Q no AWS Glue não tem APIs disponíveis por meio do AWS SDK que você possa usar programaticamente. As duas APIs a seguir são usadas na política do IAM para permitir essa experiência por meio do painel de chat do Amazon Q ou dos cadernos do AWS Glue Studio: `StartCompletion` e `GetCompletion`. ### Atribuindo permissões Para conceder acesso, adicione as permissões aos seus usuários, grupos ou perfis: + Usuários e grupos no Centro de Identidade do AWS IAM: criem um conjunto de permissões. Siga as instruções em [Criar um conjunto de permissões](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtocreatepermissionset.html) no *Guia do usuário do Centro de Identidade do AWS IAM*. + Usuários gerenciados no IAM por meio de um provedor de identidades: criem um perfil para federação de identidades. Siga as instruções em [Criando um perfil para um provedor de identidades de terceiros (federação)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-idp.html) no *Guia do Usuário do IAM*. + Usuários do IAM: + Crie um perfil que seu usuário possa assumir. Siga as instruções em [Criação de um perfil para um usuário do IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html) no *Guia do usuário do IAM*. + (Não recomendado) Vincule uma política diretamente a um usuário ou adicione um usuário a um grupo de usuários. Siga as instruções em [Adição de permissões a um usuário (console)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_change-permissions.html#users_change_permissions-add-console) no *Guia do usuário do IAM*. # Capacidades de geração de código suportadas A seguir estão as combinações das capacidades de geração de código da integração de dados do Amazon Q. | Origens e destinos | Transformação | | --- | --- | | S3 com os seguintes tipos de formato: json, csv, parquet, hudi, delta | Drop | | AWS Glue Data Catalog | Agregar | | Redlake | DropDuplicates | | Amazon DynamoDB | Ingressar | | MySQL | Filtro | | Oracle | RenameColumns | | PostgresSQL | FillNull | | Microsoft SQL Server | DropNull | | Amazon DocumentDB/MongoDB | WithColumns | | Snowflake | Consulta SQL | | Google BigQuery | Union | | Teradata | Selecionar | | Amazon OpenSearch Service | | | Vertica | | | SAP HANA | | | Amazon Redshift | | # Interações de exemplo A integração de dados do Amazon Q no AWS Glue permite inserir a consulta/solicitação no painel do Amazon Q. Você pode inserir uma pergunta sobre a funcionalidade de integração de dados fornecida pelo AWS Glue. Uma resposta detalhada, junto com documentos de referência, será retornada. Outro caso de uso é gerar scripts de trabalhos de ETL do AWS Glue. Você pode fazer uma pergunta sobre como realizar um trabalho de extração, transformação e carregamento de dados. Um script PySpark gerado será devolvido. **Topics** + [Interações de chat do Amazon Q](#q-using-example-interactions) + [Interações do AWS Glue com um caderno do Studio](#q-using-example-interactions-notebooks) ## Interações de chat do Amazon Q No console do AWS Glue, comece a criar um novo trabalho e peça ao Amazon Q: *"Crie um fluxo de ETL do Glue, conecte-se a dois locais e eventos de tabelas do catálogo do Glue no meu banco de dados glue\$1db, junte os resultados no venueid do local e no e\$1venueid do evento e, em seguida, filtre por estado do local com a condição VenuEstate=='DC' e escreva em s3://amzn-s3-demo-bucket/codegen/BDB-9999/output/ no formato CSV"*. ![\[Um exemplo de solicitação de integração de dados do Amazon Q no AWS Glue para um script de ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/Q-SIDEPANEL-GS.gif) Você notará que o código foi gerado. Com essa resposta, você pode aprender e entender como criar o código do AWS Glue para sua finalidade. Você pode copiar/colar o código gerado no editor de scripts e configurar espaços reservados. Depois de configurar um perfil do IAM e conexões do AWS Glue no trabalho, salve e execute o trabalho. Quando o trabalho estiver concluído, você poderá verificar se os dados resumidos permanecem no Amazon S3 conforme o esperado e podem ser usados por workloads downstream. ## Interações do AWS Glue com um caderno do Studio **nota** A experiência de integração de dados do Amazon Q em cadernos do AWS Glue Studio ainda se concentra no fluxo de integração de dados baseado em DynamicFrame. Adicione uma nova célula e insira seu comentário para descrever o que deseja alcançar. Depois de pressionar **Tab** e **Enter**, o código recomendado é exibido. A primeira intenção é extrair os dados: *"Forneça um código que leia uma tabela do Glue Data Catalog"*, seguido por *"Forneça um código para aplicar uma transformação de filtro com star\$1rating>3"* e *"Forneça o código que grava o quadro no S3 como Parquet"*. ![\[Um exemplo de uso de um caderno do AWS Glue Studio para solicitar a integração de dados do Amazon Q no AWS Glue para um script ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/q-notebook-experience-1.gif) ![\[Um exemplo de uso de um caderno do AWS Glue Studio para solicitar a integração de dados do Amazon Q no AWS Glue para um script ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/q-notebook-experience-2.gif) ![\[Um exemplo de uso de um caderno do AWS Glue Studio para solicitar a integração de dados do Amazon Q no AWS Glue para um script ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/q-notebook-experience-3.gif) Semelhante à experiência de chat do Amazon Q, o código é recomendado. Se você pressionar **Tab**, o código recomendado será escolhido. É possível executar cada célula preenchendo as opções apropriadas para as fontes no código gerado. Em qualquer momento das execuções, é possível visualizar uma amostra do seu conjunto de dados usando o método `show()`. É possível executar o caderno como um trabalho, seja programaticamente ou escolhendo **Executar**. ### Prompts complexos É possível gerar um script completo com um único prompt complexo. *"Tenho dados JSON no S3 e dados no Oracle que precisam ser combinados. Forneça um script do Glue que leia as duas fontes, faça uma junção e, em seguida, grave os resultados no Redshift."* ![\[Um exemplo de uso de um caderno do AWS Glue Studio para solicitar a integração de dados do Amazon Q no AWS Glue para um script ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/q-notebook-experience-4.gif) Você pode notar que, no caderno, a integração de dados do Amazon Q no AWS Glue gerou o mesmo trecho de código que foi gerado no chat do Amazon Q. É possível executar o caderno como um trabalho escolhendo **Executar** ou programaticamente. # Usar o reconhecimento de contexto com o Amazon Q Data Integration no AWS Glue Agora você pode criar trabalhos de processamento de dados com mais eficiência com a geração de código PySpark DataFrame baseada em consultas e com reconhecimento de contexto no Amazon Q Data Integration. Por exemplo, é possível usar esse prompt para gerar o código PySpark: "crie um trabalho para carregar dados de vendas da tabela 'analytics.salesorder' do Redshift usando a conexão 'erp\$1conn', filtre o valor do pedido abaixo de 50 dólares e salve no Amazon S3 em formato parquet". O Amazon Q gerará o script com base em seu prompt e configurará o fluxo de trabalho de integração de dados com os detalhes fornecidos pela sua pergunta, como configurações de conexão, detalhes do esquema, nomes de bancos de dados/tabelas e especificações de colunas para transformações. Informações confidenciais, como senhas de opções de conexão, continuam a ser editadas. Se as informações necessárias não forem fornecidas no seu prompt, o Amazon Q colocará espaços reservados nos quais você precisará atualizar o código gerado com os valores apropriados antes de executá-lo. Veja a seguir exemplos de como usar o reconhecimento de contexto. ## Exemplo: interações ### Ler um arquivo do Amazon S3 e gravar em um bucket do Amazon S3 Prompt: `Create an AWS Glue spark job that reads a file s3://amzn-s3-demo-bucket-input-bucket-name/input-filename.csv and saves it into the parquet file under directory s3://amzn-s3-demo-bucket-output-bucket-name/output-s3-prefix/` ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node S3DataSource S3DataSource_dsource1 = spark.read.format("csv").load( "s3://amzn-s3-demo-bucket-input-bucket-name/input-filename.csv" ) # Script generated for node S3DataSink S3DataSource_dsource1.write.format("parquet").mode("append").save( "s3://amzn-s3-demo-bucket-output-bucket-name/output-s3-prefix/" ) ``` ![\[Um exemplo de solicitação de integração de dados do Amazon Q no AWS Glue para um script de ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/context-awareness-lakehouse-example.gif) ### Obter dados do Lakehouse e gravar no banco de dados Prompt: `write an ETL script to read from a Lakehouse table my-table in database my-database and write it to a RDS MySQL table my-target-table` Para campos em que você não forneceu informações (por exemplo, o connectionName obrigatório destina-se ao coletor de dados do MySQL e o padrão é um espaço reservado no código gerado), um espaço reservado é mantido para você preencher as informações necessárias antes de executar o script. Script gerado: ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession from connectivity.adapter import CatalogConnectionHelper sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node S3DataSource S3DataSource_dsource1 = spark.read.format("parquet").load( "s3://amzn-lakehouse-demo-bucket/my-database/my-table" ) # Script generated for node ConnectionV2DataSink ConnectionV2DataSink_dsink1_additional_options = {"dbtable": "my-target-table"} CatalogConnectionHelper(spark).write( S3DataSource_dsource1, "mysql", "", ConnectionV2DataSink_dsink1_additional_options, ) ``` ![\[Um exemplo de solicitação de integração de dados do Amazon Q no AWS Glue para um script de ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/context-awareness-example-interactions.gif) ### Exemplo: fluxo de trabalho de ETL completo O exemplo a seguir demonstra como você pode pedir ao AWS Glue que crie um script do AWS Glue para concluir um fluxo de trabalho de ETL completo com o seguinte prompt: `Create a AWS Glue ETL Script read from two AWS Glue Data Catalog tables venue and event in my database glue_db_4fthqih3vvk1if, join the results on the field venueid, filter on venue state with condition as venuestate=='DC' after joining the results and write output to an Amazon S3 S3 location s3://amz-s3-demo-bucket/output/ in CSV format`. O fluxo de trabalho contém a leitura de diferentes fontes de dados (duas tabelas do Catálogo de Dados do AWS Glue) e algumas transformações após a leitura por meio da junção do resultado de duas leituras, filtragem com base em alguma condição e gravação da saída transformada em um destino do Amazon S3 no formato CSV. O trabalho gerado preencherá as informações detalhadas da fonte de dados, da transformação e da operação de sink com as informações correspondentes extraídas da pergunta do usuário, conforme mostrado a seguir. ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node CatalogDataSource CatalogDataSource_dsource1 = spark.sql("select * from `glue_db_4fthqih3vvk1if`.`venue`") # Script generated for node CatalogDataSource CatalogDataSource_dsource2 = spark.sql("select * from `glue_db_4fthqih3vvk1if`.`event`") # Script generated for node JoinTransform JoinTransform_transform1 = CatalogDataSource_dsource1.join( CatalogDataSource_dsource2, (CatalogDataSource_dsource1["venueid"] == CatalogDataSource_dsource2["venueid"]), "inner", ) # Script generated for node FilterTransform FilterTransform_transform2 = JoinTransform_transform1.filter("venuestate=='DC'") # Script generated for node S3DataSink FilterTransform_transform2.write.format("csv").mode("append").save( "s3://amz-s3-demo-bucket/output//output/" ) ``` ![\[Um exemplo de solicitação de integração de dados do Amazon Q no AWS Glue para um script de ETL gerado.\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/context-awareness-complex-example.gif) ## Limitações + Transferência de contexto: + O recurso de reconhecimento de contexto só transfere o contexto da consulta anterior do usuário na mesma conversa. Ele não retém o contexto além da consulta imediatamente anterior. + Suporte a configurações de nós: + Atualmente, o reconhecimento de contexto só oferece suporte a um subconjunto das configurações necessárias para vários nós. + O suporte para campos opcionais está planejado para as próximas versões. + Disponibilidade: + Reconhecimento de contexto e suporte ao DataFrame estão disponíveis nos cadernos do Q Chat e do SageMaker Unified Studio. No entanto, esses recursos ainda não estão disponíveis nos cadernos do AWS Glue Studio.