Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas de Amazon DataZone

Si tiene problemas de acceso denegado o dificultades similares cuando trabaja con Amazon DataZone, consulte los temas de esta sección.

Solución de problemas de permisos de AWS Lake Formation para Amazon DataZone

Esta sección contiene instrucciones para solucionar problemas que podría encontrarse en Configurar los permisos de Lake Formation para Amazon DataZone.

Solución de problemas para la vinculación de activos del linaje de Amazon DataZone con conjuntos de datos ascendentes

Esta sección contiene instrucciones para solucionar posibles problemas que podría experimentar con el linaje de Amazon DataZone. En algunos de los eventos de AWS Glue y los ejecutados con linaje abierto relacionados con Amazon Redshift, es posible que vea que el linaje de activos no está vinculado a un conjunto de datos ascendente. En este tema se explican los escenarios y algunos enfoques destinados a mitigar los problemas. Para obtener más información acerca del linaje, consulte Linaje de datos en Amazon DataZone.

SourceIdentifier en el nodo de linaje

El atributo sourceIdentifier de un nodo de linaje representa los eventos que ocurren en un conjunto de datos. Para obtener más información, consulte los Key attributes in lineage nodes.

El nodo de linaje representa todos los eventos que ocurren en el conjunto de datos o trabajo correspondiente. El nodo de linaje contiene un atributo SourceIdentifier que contiene el identificador del conjunto de datos/trabajo correspondiente. Como admitimos eventos de linaje abierto, el valor sourceIdentifier se rellena de forma predeterminada como la combinación de espacio de nombres y nombre para un conjunto de datos, una tarea y una ejecución de tareas.

Para recursos de AWS como AWS Glue y Amazon Redshift, el sourceIdentifier sería el ARN de la tabla AWS Glue y los ARN de la tabla Redshift a partir de los cuales Amazon DataZone construirá el evento de ejecución y otros detalles, de la siguiente manera:

SourceIdentifier en los activos de DataZone

AssetCommonDetailForm tiene un atributo llamado “SourceIdentifier” que representa el identificador del conjunto de datos que representa el activo. Para que los nodos del linaje de activos se vinculen a un conjunto de datos ascendente, el atributo debe rellenarse con el valor que coincida con el sourceIdentifier del nodo del conjunto de datos. Si el origen de datos importa los activos, el flujo de trabajo rellena automáticamente el sourceIdentifier, como el ARN de la tabla AWS Glue / ARN de la tabla Redshift, mientras que, en el caso de otros activos (incluidos los activos personalizados) creados mediante la API CreateAsset, el intermediario será el encargado de rellenar ese valor.

¿Cómo construye Amazon DataZone el sourceIdentifier a partir del evento OpenLineage?

Para AWS Glue y los activos de Redshift, el sourceIdentifier se construye a partir de Glue y los ARNs de Redshift. Así es como lo construye Amazon DataZone:

AWS GlueARN de

El objetivo es construir un evento OpenLineage donde el sourceIdentifier del nodo del linaje de salida sea:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Para determinar si una ejecución utiliza datos de AWS Glue, busque determinadas palabras clave en la faceta environment-properties. En concreto, si alguno de estos campos designados está presente, el sistema presupone que RunEvent se origina en AWS Glue.

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

Para una ejecución de AWS Glue, puede usar el nombre de la faceta symlinks para obtener la base de datos y el nombre de la tabla, que se pueden usar para construir el ARN.

Debe asegurarse de que el nombre es databaseName.tableName:

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

Ejemplo de evento COMPLETO:

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

Según el evento OpenLineage enviado, el sourceIdentifier del nodo del linaje de salida será:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

El nodo del linaje de salida se conectará al nodo del linaje de un activo donde el sourceIdentifier del activo está:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift ARN

El objetivo es construir un evento OpenLineage donde el sourceIdentifier del nodo del linaje de salida sea:

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

El sistema determina si una entrada o una salida se almacena en Redshift en función del espacio de nombres. En concreto, si el espacio de nombres comienza por redshift:// o contiene las cadenas redshift-serverless.amazonaws.com o redshift.amazonaws.com, es un recurso de Redshift.

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Tenga en cuenta que el espacio de nombres debe tener el siguiente formato:

provider://{cluster_identifier}.{region_name}:{port}

Para redshift-serverless:

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Resultados en el siguiente sourceIdentifier

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Según el evento OpenLineage enviado, el sourceIdentifier que se va a mapear a un nodo de linaje descendente (es decir, una salida del evento) es:

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Esta es la asignación que le ayuda a visualizar el linaje de un activo en el catálogo.

Enfoque alternativo

Cuando no se cumplen ninguna de las condiciones anteriores, el sistema utiliza el espacio de nombres/nombre para construir el sourceIdentifier:

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

Solución de problemas por falta de flujo ascendente para el nodo del linaje de activos

Si no ve el flujo ascendente del nodo de linaje del activo, puede hacer lo siguiente para solucionar el problema por el que no está vinculado al conjunto de datos:

Escenarios y mitigaciones que no coinciden

Los siguientes son los escenarios más conocidos en los que no coincidirán y las posibles formas de mitigarlo:

Causa raíz: las tablas están presentes en una cuenta diferente a la de la cuenta de dominio de Amazon DataZone.

Mitigación: puede invocar la operación PostLineageEvent desde una cuenta asociada. Como el accountId para construir el ARN se selecciona de las credenciales del intermediario, puede asumir el rol desde la cuenta que contiene las tablas al ejecutar el script de introducción o al invocar PostLineageEvent. Hacerlo ayudará a construir los ARN correctamente y a vincularlos con los nodos de activos.

Causa raíz: el ARN de las tablas o vistas de Redshift contiene Redshift/Redshift sin servidor en función del espacio de nombres y los atributos de nombre de la información del conjunto de datos correspondiente en el evento de ejecución de OpenLineage.

Mitigación: como no existe una forma determinada de saber si el nombre proporcionado pertenece a un clúster o a un grupo de trabajo, utilizamos la siguiente heurística:

Causa principal: los conjuntos de datos ascendentes no están enlazados correctamente para los activos personalizados.

Mitigación: asegúrese de rellenar el sourceIdentifier en el activo invocando un CreateAsset/CreateAssetRevision que coincida con el sourceIdentifier del nodo del conjunto de datos (que sería <namespace>/<name> para nodos personalizados).