As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas do Amazon DataZone

Se você encontrar problemas de acesso negado ou dificuldades semelhantes ao trabalhar com o Amazon DataZone, consulte os tópicos nesta seção.

Solução de problemas de permissões do AWS Lake Formation para o Amazon DataZone

Esta seção contém as instruções de solução de problemas que podem ocorrer ao Configurar as permissões do Lake Formation para a Amazon DataZone.

Solução de problemas de vinculação de ativos de linhagem do Amazon DataZone com conjuntos de dados upstream

Esta seção contém as instruções de solução de problemas que você pode encontrar com a linhagem do Amazon DataZone. Em alguns dos eventos de execução de linhagem aberta relacionados ao AWS Glue e ao Amazon Redshift, você pode ver que a linhagem de ativos não está vinculada a um conjunto de dados upstream. Este tópico explica os cenários e algumas abordagens para reduzir problemas. Para obter mais informações sobre linhagem, consulte Linhagem de dados na Amazon DataZone.

SourceIdentifier no nó de linhagem

O atributo sourceIdentifier em um nó de linhagem representa os eventos que acontecem em um conjunto de dados. Para obter mais informações, consulte Atributos principais em nós de linhagem.

O nó de linhagem representa todos os eventos que acontecem no conjunto de dados ou no trabalho correspondente. O nó de linhagem contém um atributo “sourceIdentifier” que contém o identificador do conjunto de dados/trabalho correspondente. Como oferecemos suporte a eventos de linhagem aberta, o valor sourceIdentifier é preenchido por padrão como a combinação de “namespace” e “nome” para um conjunto de dados, trabalho e execução de trabalhos.

Para recursos da AWS, como o AWS Glue e o Amazon Redshift, o sourceIdentifier seria o ARN da tabela do AWS Glue e os ARNs da tabela Redshift, a partir dos quais o Amazon DataZone construirá o evento de execução e outros detalhes da seguinte forma:

SourceIdentifier nos ativos dentro do DataZone

AssetCommonDetailForm tem um atributo chamado “sourceIdentifier” que representa o identificador do conjunto de dados que o ativo representa. Para que os nós de linhagem de ativos sejam vinculados a um conjunto de dados upstream, o atributo precisa ser preenchido com o valor correspondente ao do nó do conjunto de dados sourceIdentifier. Se os ativos forem importados por fonte de dados, o fluxo de trabalho preencherá como ARN da tabela do sourceIdentifier/ARN da tabela do Redshift do AWS Glue automaticamente, enquanto outros ativos (incluindo ativos personalizados) criados por meio da API CreateAsset devem ter esse valor preenchido pelo chamador.

Como o Amazon DataZone constrói o sourceIdentifier a partir do evento OpenLineage?

Para ativos do AWS Glue e do Redshift, o sourceIdentifier é construído usando ARNs do Glue e do Redshift. Veja como o Amazon DataZone faz isso:

AWS GlueARN do

O objetivo é construir um evento OpenLineage no qual o nó da linhagem de saída sourceIdentifier seja:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Para determinar se uma execução está usando dados do AWS Glue, procure determinadas palavras-chave na faceta environment-properties. Especificamente, se houver algum desses campos designados, o sistema presume que a RunEvent é proveniente de AWS Glue.

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

Para uma execução do AWS Glue, use o nome da faceta symlinks para obter o nome do banco de dados e da tabela, que podem ser usados para construir o ARN.

Preciso ter certeza de que o nome é databaseName.tableName:

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

Exemplo de evento COMPLETE:

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

Com base no evento OpenLineage enviado, o nó sourceIdentifier da linhagem de saída será:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

O nó de linhagem de saída será conectado ao nó de linhagem de um ativo, onde o do ativo é sourceIdentifier:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift, ARN

O objetivo é construir um evento OpenLineage no qual o nó da linhagem de saída sourceIdentifier seja:

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

O sistema determina se uma entrada ou saída é armazenada no Redshift com base no namespace. Particularmente, se o namespace começar com redshift:// ou contiver as cadeias de caracteres redshift-serverless.amazonaws.com ou redshift.amazonaws.com, ele é um recurso Redshift.

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Observe que o namespace precisa estar no seguinte formato:

provider://{cluster_identifier}.{region_name}:{port}

Para redshift-serverless:

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Isso resulta no sourceIdentifier a seguir

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Com base no evento OpenLineage enviado, o nó de linhagem sourceIdentifier a ser mapeado para um nó de linhagem para baixo (ou seja, uma saída do evento) é:

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Esse é o mapeamento que ajuda você a visualizar a linhagem de um ativo no catálogo.

Abordagem alternativa

Quando nenhuma das condições acima for atendida, o sistema usa o namespace/name para construir sourceIdentifier:

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

Solucionando a falta de upstream para o nó de linhagem de ativos

Se você não vê o upstream do nó da linhagem do ativo, faça o seguinte para solucionar o motivo pelo qual ele não está vinculado ao conjunto de dados:

Cenários e mitigações incompatíveis

A seguir estão os cenários comumente conhecidos em que eles não coincidem e as possíveis mitigações:

Causa raiz: as tabelas estão presentes em uma conta diferente da conta de domínio do Amazon DataZone.

Atenuação: você pode invocar a operação PostLineageEvent por meio de uma conta associada. Como accountId a criação do ARN é selecionada a partir das credenciais do chamador, você pode assumir o perfil na conta que contém as tabelas ao executar o script de introdução ou invocar PostLineageEvent. Isso ajudará na construção correta dos ARNs e na vinculação aos nós do ativo.

Causa raiz: o ARN para tabelas/visualizações do Redshift contém Redshift/Redshift-serverless com base no namespace e nos atributos de nome das informações do conjunto de dados correspondente no evento de execução do OpenLineage.

Atenuação: como não há uma forma determinística de saber se o nome fornecido pertence ao cluster ou ao grupo de trabalho, usamos a seguinte heurística:

Causa-raiz: os conjuntos de dados upstream não estão vinculados corretamente para ativos personalizados.

Atenuação: preencha o sourceIdentifier no ativo invocando CreateAsset/CreateAssetRevision que corresponda ao do sourceIdentifier do nó do conjunto de dados (que seria <namespace>/<name> para nós personalizados).