Amazon DataZone 中的数据血统支持

了解数据的来源：了解数据源自何处可让您清楚地了解数据的源、依赖关系和转换，从而增强对数据的信任。此透明度有助于自信地做出数据驱动型决策。

了解数据管道更改产生的影响：在对数据管道进行更改时，可以使用世系功能来标识所有将受影响的下游使用者。这有助于确保在不中断关键数据流的情况下进行更改。

确定数据质量问题的根本原因：如果在下游报告中检测到数据质量问题，则可以使用世系（尤其是列级世系）来追溯数据（在列级别），以将问题追溯到其源。这可帮助数据工程师识别和修复问题。

改善数据治理和合规性：可使用列级世系来演示对数据治理和隐私法规的遵从性。例如，可使用列级世系来显示敏感数据（例如 PII）的存储位置以及下游活动中处理敏感数据的方式。

数据集节点 – 此节点类型包括有关特定数据资产的数据世系信息。

作业（运行）节点 – 此节点类型显示作业的详细信息，包括特定作业的最新运行和运行详细信息。此节点还捕获作业的多次运行，并且可在节点详细信息的历史记录选项卡中查看。您可以通过选择节点图标来查看节点详细信息。

对于具有相应数据集类型的数据集节点：

对于作业：

对于作业运行：

列级世系：如果列级世系在数据集节点中可用，则扩展列级世系。如果源列信息可用，这将自动显示与上游或下游数据集节点的关系。

列搜索：当列数的默认显示为 10 时。如果超过 10 个列，则将激活分页以导航到其余列。要快速查看特定列，可以在仅列出已搜索列的数据集节点上进行搜索。

仅查看数据集节点：如果要切换为仅查看数据集世系节点并筛选出作业节点，您可以选择图表查看器左上角的“打开视图控件”图标，然后切换仅显示数据集节点选项。这将从图表中删除所有作业节点，并让您仅浏览数据集节点。请注意，在启用“仅查看数据集节点”时，图表无法向上游或下游展开。

详细信息窗格：每个世系节点都具有捕获到的详细信息，并且会在选中时显示。

版本选项卡：Amazon DataZone 数据世系中的所有世系节点都受版本控制。对于每个数据集节点或作业节点，版本都将作为历史记录捕获，这使您能够在各个版本之间导航以确定随时间推移发生的变化。每个版本都会在世系页面中打开一个新的选项卡以帮助进行比较。

GetLineageNode

ListLineageNodeHistory

PostLineageEvent

蓝图配置 – 设置蓝图的管理员可以将蓝图配置为自动捕获血统。通过此配置，管理员能够定义血统捕获的关键数据来源，而不需要依赖数据生成者对数据进行编目。有关更多信息，请参阅 在管理控制台中启用数据血统。

数据来源配置 – 数据生成者在为 AWS Glue 数据库配置数据来源运行时会看到一个包含数据质量的视图，该视图将告知该数据来源的自动数据血统。

AWS Glue（v5.0）配置 – 在 AWS Glue Studio 中运行 AWS Glue 作业时，可以为作业配置数据血统，使其将血统事件直接发送到 Amazon DataZone 域。

AWS Glue（V5.0）Notebook 配置 – 在 Notebook 中，您可以通过添加 %%configure 魔法命令来自动收集 Spark 执行。此配置会将事件发送到 Amazon DataZone 域。

%%configure --name project.spark -f
{
    "--conf":"spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener --conf spark.openlineage.transport.type=amazon_datazone_api --conf spark.openlineage.transport.domainId={DOMAIN_ID}  --conf spark.glue.accountId={ACCOUNT_ID} --conf spark.openlineage.facets.custom_environment_variables=[AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION; --conf spark.glue.JOB_NAME={JOB_NAME}"
}
                    

下面是参数详细信息：

设置参数以配置从 AWS Glue 到 Amazon DataZone 的通信

参数键：--conf

参数值：

spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener 
--conf spark.openlineage.transport.type=amazon_datazone_api 
--conf spark.openlineage.transport.domainId=<DOMAIN_ID>
--conf spark.openlineage.facets.custom_environment_variables=[AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION;] 
--conf spark.glue.accountId=<ACCOUNT_ID> (replace <DOMAIN_ID> and <ACCOUNT_ID> with the right values)
                    

对于 Notebook，请添加以下附加参数：

--conf spark.glue.JobName=<SessionId> --conf spark.glue.JobRunId=<SessionId or NONE?>
replace <SessionId> and <SessionId> with the right values
                    

蓝图配置 – 设置蓝图的管理员可以将蓝图配置为自动捕获血统。通过此配置，管理员能够定义血统捕获的关键数据来源，而不需要依赖数据生成者对数据进行编目。要进行设置，请转到在管理控制台中启用数据血统。

数据来源配置：数据生成者在为 Amazon Redshift 数据库配置数据来源运行时会看到该数据来源的自动数据血统设置。

血统设置可以在数据来源定义选项卡中查看。数据生成者无法编辑此值。