View a markdown version of this page

Conceitos básicos com contexto de negócios no Data Catalog - AWS Glue
Pré-requisitosEtapa 1: criar um glossário e marcar um ativo com tagsEtapa 2: pesquisar dados usando o contexto de negóciosUso de agentes de IA com o catálogoPróximas etapas

Conceitos básicos com contexto de negócios no Data Catalog

nota

O contexto de negócios e a pesquisa semântica estão em versão prévia para o AWS Glue nas seguintes Regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon) e Europa (Irlanda). Esse atributo está sujeito a alterações.

Este tutorial explica como criar um glossário, marcar ativos com tags e usar a pesquisa semântica para descobrir dados de acordo com o significado.

Pré-requisitos

  • Uma conta AWS com o AWS Glue Data Catalog configurado em uma região compatível.

  • A AWS CLI instalada e configurada.

  • Pelo menos uma tabela registrada no Data Catalog.

  • Um perfil do IAM ou usuário com permissões para ações do AWS Glue Data Catalog.

  • Permissões adicionais são necessárias para pesquisar catálogos criptografados com uma chave do KMS gerenciada pelo cliente. Para obter mais informações, consulte Criptografar ativos do Catalog com chave gerenciada pelo cliente do AWS KMS.

Para conceder as permissões necessárias, anexe a política do IAM a seguir:

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "glue:SearchAssets", "glue:PutAsset", "glue:GetAsset", "glue:DeleteAsset",
            "glue:PutAssetType", "glue:GetAssetType", "glue:DeleteAssetType", "glue:ListAssetTypes",
            "glue:CreateGlossary", "glue:UpdateGlossary", "glue:GetGlossary", "glue:ListGlossaries", "glue:DeleteGlossary",
            "glue:CreateGlossaryTerm", "glue:UpdateGlossaryTerm", "glue:GetGlossaryTerm", "glue:ListGlossaryTerms", "glue:DeleteGlossaryTerm",
            "glue:AssociateGlossaryTerms", "glue:DisassociateGlossaryTerms",
            "glue:PutFormType", "glue:GetFormType", "glue:DeleteFormType", "glue:ListFormTypes",
            "glue:PutAttachment", "glue:DeleteAttachment",
            "glue:ListIterableForms", "glue:BatchGetIterableForms"
        ],
        "Resource": "*"
    }]
}

Etapa 1: criar um glossário e marcar um ativo com tags

Para criar um glossário

Execute o seguinte comando:

aws glue create-glossary \
  --name "Enterprise Data Glossary" \
  --description "Standardized business definitions for enterprise data assets."

Resultado do exemplo:

{
    "Id": "d7xm3np5rk2w9j",
    "Name": "Enterprise Data Glossary"
}
Para criar um termo do glossário

Substitua o identificador do glossário pela Id do resultado anterior.

aws glue create-glossary-term \
  --glossary-identifier "d7xm3np5rk2w9j" \
  --name "Active User" \
  --short-description "A user with at least one login in the last 30 days." \
  --long-description "An account that has logged in at least once within the trailing 30-day window."

Resultado do exemplo:

{
    "Id": "c2fymbu18rtsx5",
    "GlossaryId": "d7xm3np5rk2w9j",
    "Name": "Active User"
}
Para associar o termo a um ativo

Execute o seguinte comando:

aws glue associate-glossary-terms \
  --asset-identifier "arn:aws:glue:us-east-1:123456789012:table/mydb/sales_transactions" \
  --glossary-term-identifiers "c2fymbu18rtsx5"

Use a API SearchAssets para encontrar ativos por significado comercial.

aws glue search-assets \
  --search-text "active users"

Resultado do exemplo:

{
    "Items": [
        {"Id": "c9vq7sh2fk4t2h", "AssetName": "Customer Sales Transactions", "AssetTypeId": "Table"}
    ]
}

Para filtrar os resultados por tipo de ativo:

aws glue search-assets \
  --search-text "active users" \
  --filter-clause '{"AttributeFilter":{"Attribute":"type","Operator":"equals","Value":{"StringValue":"Table"}}}' \
  --max-results 10

Para filtrar somente tabelas do AWS Glue (excluindo tabelas de outros sistemas de origem):

aws glue search-assets \
  --search-text "active users" \
  --filter-clause '{"AndAllFilters":[{"AttributeFilter":{"Attribute":"type","Operator":"equals","Value":{"StringValue":"Table"}}},{"AttributeFilter":{"Attribute":"namespace","Operator":"equals","Value":{"StringValue":"amazon.glue"}}}]}' \
  --max-results 10

Uso de agentes de IA com o catálogo

Agentes de IA compatíveis com MCP podem descobrir ativos do catálogo, recuperar o contexto de negócios e carregar conteúdo de habilidades usando as habilidades do AWS Agent Toolkit. Você pode obter as habilidades do catálogo mediante uma destas maneiras:

  • Empacotado com um plug-in: instale o plug-in aws-data-analytics, que inclui um conjunto selecionado de habilidades de catálogo disponíveis para o agente imediatamente após a instalação. Para obter instruções, consulte Instalação de plug-ins no Guia do usuário do AWS Agent Toolkit.

  • Instalado localmente: baixe as habilidades individuais do Agent Toolkit para o repositório da AWS no GitHub e adicione-as ao diretório de habilidades do seu agente. As habilidades a seguir dão suporte aos fluxos de trabalho do catálogo:

Próximas etapas

  • Anexe formulários para padronizar campos de metadados, como residência de dados ou política de retenção.

  • Crie ativos de habilidades que forneçam aos agentes de IA um contexto de domínio para seus dados.