Amazon DataZone 问题排查

如果您在使用 Amazon DataZone 时遇到拒绝访问或类似的问题，请参阅此部分中的主题。

对 Amazon DataZone 的 AWS Lake Formation 权限进行问题排查

此部分包含您在为 Amazon DataZone 配置 Lake Formation 权限时可能遇到的问题的问题排查说明。

对与上游资产关联的 Amazon DataZone 世系资产进行问题排查

此部分包含您可能遇到的与 Amazon DataZone 世系相关的问题的问题排查说明。对于一些与 AWS Glue 和 Amazon Redshift 相关的开放世系运行事件，您可能会发现资产世系未链接到上游数据集。本主题说明了场景和几种缓解问题的方法。有关世系的更多信息，请参阅 Amazon DataZone 中的数据血统支持。

世系节点上的 SourceIdentifier

世系节点中的 sourceIdentifier 属性表示数据集上发生的事件。有关更多信息，请参阅世系节点中的关键属性。

世系节点表示在相应的数据集或作业上发生的所有事件。世系节点包含一个“sourceIdentifier”属性，该属性包含相应的数据集/作业的标识符。由于我们支持 open-lineage 事件，因此默认情况下，sourceIdentifier 值将以数据集、作业和作业运行的“命名空间”和“名称”的组合形式填充。

对于 AWS Glue 和 Amazon Redshift 等 AWS 资源，sourceIdentifier 将是 AWS Glue 表 ARN 和 Redshift 表 ARN，Amazon DataZone 将从中构造 run-event 以及其他详细信息，如下所示：

DataZone 中资产的 SourceIdentifier

AssetCommonDetailForm 具有一个名为“sourceIdentifier”的属性，该属性表示资产代表的数据集的标识符。对于要链接到上游数据集的资产世系节点，需要将该属性与数据集节点的 sourceIdentifier 所对应的值一起填充。如果资产由数据来源导入，则工作流会自动采用 AWS Glue 表 ARN/Redshift 表 ARN 的形式填充 sourceIdentifier，调用方将为通过 CreateAsset API 创建的其他资产（包括自定义资产）填充该值。

Amazon DataZone 如何从 OpenLineage 事件构造 sourceIdentifier？

对于 AWS Glue 和 Redshift 资产，从 Glue 和 Redshift ARN 构造 sourceIdentifier。以下是 Amazon DataZone 构造它的方式：

AWS Glue ARN

目标是构造一个 OpenLineage 事件，其中输出世系节点的 sourceIdentifier 为：

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

要确定运行是否正在使用 AWS Glue 中的数据，请查看 environment-properties 分面中是否存在某些关键字。具体而言，如果存在这些指定字段中的任一字段，则系统会假定 RunEvent 源自 AWS Glue。

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

对于 AWS Glue 运行，可以使用 symlinks 分面中的名称来获取数据库和表名，它们可用于构造 ARN。

需要确保名称为 databaseName.tableName：

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

示例 COMPLETE 事件：

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

根据提交的 OpenLineage 事件，输出世系节点的 sourceIdentifier 将为：

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

输出世系节点将连接到资产的世系节点，其中资产的 sourceIdentifier 为：

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift ARN

目标是构造一个 OpenLineage 事件，其中输出世系节点的 sourceIdentifier 为：

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

系统根据命名空间来确定输入或输出是否存储在 Redshift 中。具体而言，如果命名空间以 redshift:// 开头或包含字符串 redshift-serverless.amazonaws.com 或 redshift.amazonaws.com，则它是 Redshift 资源。

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

请注意，命名空间需采用以下格式：

provider://{cluster_identifier}.{region_name}:{port}

对于：redshift-serverless

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

这将产生以下 sourceIdentifier

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

根据提交的 OpenLineage 事件，要映射到下游（即事件的输出）世系节点的 sourceIdentifier 为：

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

该映射可帮助您可视化目录中资产的世系。

替代方法

当上述条件均不满足时，系统使用命名空间/名称来构造 sourceIdentifier：

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

排查资产世系节点缺少上游的问题

如果您看不到资产世系节点的上游，则可以执行以下操作来排查它未与数据集关联的原因：

不匹配的场景和缓解措施

以下是它们不匹配的常见场景以及可能的缓解措施：

根本原因：表存在于与 Amazon DataZone 域账户不同的账户中。

缓解措施：您可以从关联账户调用 PostLineageEvent 操作。由于将从调用方凭证中选取用于构造 ARN 的 accountId，因此在运行入门脚本或调用 PostLineageEvent 时，您可以从包含表的账户代入角色。这样做将有助于正确构造 ARN 并与资产节点关联。

根本原因：Redshift 表/视图的 ARN 包含基于 OpenLineage 运行事件中相应数据集信息的命名空间和名称属性的 Redshift/Redshift-serverless。

缓解措施：由于没有确定的方法来获知给定名称是属于集群还是工作组，因此我们将使用以下启发法：

根本原因：自定义资产的上游数据集未正常关联。

缓解措施：请务必通过调用与数据集节点的 sourceIdentifier 匹配的 CreateAsset/CreateAssetRevision（对于自定义节点，为 <namespace>/<name>）来填充资产的 sourceIdentifier。