Amazon DataZone のデータリネージュのサポート

データの出所を理解する: データの出所を理解することで、データオリジン、依存関係、変化を明確に理解し、データへの信頼性を向上させることができます。この透明性は、自信を持ってデータに基づくの意思決定を行うのに役立ちます。

データパイプラインへの変更の影響を理解する: データパイプラインに変更を加えると、リネージュを使用して、影響を受けるすべてのダウンストリームコンシューマーを特定できます。これにより、重要なデータフローを中断することなく変更が行われます。

データ品質問題の根本原因を特定する: ダウンストリームレポートでデータ品質の問題が検出された場合、リネージュの中でも特に列レベルのリネージュを使用してデータをトレースし (列レベルで)、問題を特定してソースに戻すことができます。これにより、データエンジニアは問題を特定して修正できます。

データガバナンスとコンプライアンスの向上: 列レベルのリネージュを使用して、データガバナンスとプライバシー規制へのコンプライアンスを示すことができます。例えば、列レベルのリネージュを使用して、機密データ (PII など) の保存場所とダウンストリームアクティビティでの処理方法を表示できます。

データセットノード - このノードタイプには、特定のデータアセットに関するデータリネージュ情報が含まれます。

ジョブ (実行) ノード - このノードタイプには、特定のジョブの最新実行と実行の詳細など、ジョブの詳細が表示されます。このノードはジョブの複数の実行もキャプチャし、ノードの詳細の [履歴] タブで表示できます。ノードアイコンを選択すると、ノードの詳細を表示できます。

それぞれのデータセットタイプを持つデータセットノードの場合：

ジョブの場合:

ジョブ実行の場合:

列レベルのリネージュ: データセットノードで使用可能な場合は、列レベルのリネージュを拡張します。これにより、ソース列の情報が利用可能な場合、アップストリームまたはダウンストリームのデータセットノードとの関係が自動的に表示されます。

列検索: 列数のデフォルト表示が 10 の場合。列が 10 列を超える場合、ページ分割がアクティブになり、残りの列に移動できます。特定の列をすばやく表示するには、検索した列のみを一覧表示するデータセットノードで検索できます。

データセットノードのみを表示: データセットリネージュノードのみを表示し、ジョブノードを除外するように切り替える場合は、グラフビューワーの左上にあるオープンビューコントロールアイコンを選択し、[データセットノードのみを表示] オプションに切り替えることができます。これにより、すべてのジョブノードがグラフから削除され、データセットノードのみを表示できます。データセットノードのみの表示がオンになっている場合、グラフをアップストリームまたはダウンストリームに拡張することはできません。

詳細ペイン: 各リネージュノードの詳細がキャプチャされ、選択時に表示されます。

バージョンタブ: Amazon DataZone データリネージュのすべてのリネージュノードにバージョニングがあります。すべてのデータセットノードまたはジョブノードについて、バージョンが履歴としてキャプチャされるため、異なるバージョン間を移動して、時間とともに何が変更されたかを特定できます。各バージョンでは、リネージュページに新しいタブが開き、比較やコントラストに役立ちます。

GetLineageNode

ListLineageNodeHistory

PostLineageEvent

ブループリント設定 - ブループリントを設定する管理者は、リネージュを自動的にキャプチャするようにブループリントを設定できます。これにより、管理者はデータプロデューサーがデータをカタログ化するのではなく、リネージュのキャプチャにとって重要なデータソースを定義できます。詳細については、「マネジメントコンソールでデータリネージュを有効にする」を参照してください。

データソース設定 - データプロデューサーは、AWS Glue データベースのデータソース実行を設定する際に、データ品質と共にビューを表示し、そのデータソースの自動データリネージュについて通知します。

AWS Glue (v5.0) 設定 - AWS Glue Studio で Glue AWS ジョブを実行するときに、ジョブがリネージュイベントを Amazon DataZone ドメインに直接送信するようにデータリネージュを設定できます。

AWS Glue (V5.0) ノートブック設定 - ノートブックでは、%%configure マジックを追加することで Spark 実行のコレクションを自動化できます。この設定は、Amazon DataZone ドメインにイベントを送信します。

%%configure --name project.spark -f
{
    "--conf":"spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener --conf spark.openlineage.transport.type=amazon_datazone_api --conf spark.openlineage.transport.domainId={DOMAIN_ID}  --conf spark.glue.accountId={ACCOUNT_ID} --conf spark.openlineage.facets.custom_environment_variables=[AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION; --conf spark.glue.JOB_NAME={JOB_NAME}"
}
                    

デフォルトのパラメータは以下のとおりです。

AWS Glue から Amazon DataZone への通信を設定するパラメータを設定する

パラメータキー: --conf

パラメータ値:

spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener 
--conf spark.openlineage.transport.type=amazon_datazone_api 
--conf spark.openlineage.transport.domainId=<DOMAIN_ID>
--conf spark.openlineage.facets.custom_environment_variables=[AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION;] 
--conf spark.glue.accountId=<ACCOUNT_ID> (replace <DOMAIN_ID> and <ACCOUNT_ID> with the right values)
                    

ノートブックには、さらに次のパラメータを追加します。

--conf spark.glue.JobName=<SessionId> --conf spark.glue.JobRunId=<SessionId or NONE?>
replace <SessionId> and <SessionId> with the right values
                    

ブループリント設定: ブループリントを設定する管理者は、リネージュを自動的にキャプチャするようにブループリントを設定できます。これにより、管理者はデータプロデューサーがデータをカタログ化するのではなく、リネージュのキャプチャにとって重要なデータソースを定義できます。セットアップするには、「マネジメントコンソールでデータリネージュを有効にする」を参照してください。

データソース設定: データプロデューサーは、Amazon Redshift データベースのデータソース実行を設定する際に、そのデータソースの自動データリネージュ設定が表示されます。

リネージュ設定は、[データソース定義] タブで表示できます。データプロデューサーはこの値を編集できません。