# AWS Glue Data Quality
<a name="glue-data-quality"></a>

AWS Glue Data Quality を使用するとデータ品質の測定とモニタリングが行えて、ビジネス上の意思決定を適切に行えるようになります。オープンソースの DeeQu フレームワーク上に構築された AWS Glue Data Quality は、マネージド型のサーバーレス体験を提供します。AWS GlueData Quality はデータ品質定義言語 (DQDL) を使用します。DQDL は、データ品質のルールの定義に使用されるドメイン固有の言語です。DQDL とサポートされているルールタイプの詳細については、「[データ品質定義言語 (DQDL) リファレンス](dqdl.md)」を参照してください。

製品の詳細および価格に関するその他詳細は、[AWS Glue Data Quality](https://aws.amazon.com/glue/features/data-quality) のサービスページを参照してください。

## 利点と主な特徴
<a name="glue-data-quality-key-features"></a>

 AWS Glue Data Quality のメリットと主な特徴は次のとおりです。
+  **サーバーレス** - インストール、パッチ適用、またはメンテナンスは不要です。
+  **すぐに開始できる** — AWS Glue Data Quality はデータをすばやく分析し、ユーザーに代わってデータ品質ルールを作成します。[Create Data Quality Rules] と [Recommend rules] をクリックするだけですぐに始められます。
+  **データ品質問題の検出** — 異常や、検出が困難なデータ品質問題を、機械学習 (ML) を使用して検出します。
+  **ルールを即席で作れる** — 追加設定のいらない 25 以上の DQ ルールを使用してすぐに始められ、具体的なニーズに合わせてルールを作成できます。
+  **品質を評価し、自信を持って判断を下せる** — ルールを評価すると、データの状態に関する概要を示した Data Quality スコアを確認できます。この Data Quality スコアを使用すれば、自信を持ってビジネス上の判断を下せます。
+  **不良データに的を絞る** — AWS Glue Data Quality を使用すると、品質スコアを下げる原因となったレコードを正確に特定できます。それらをすぐに特定し、隔離して、修正できます。
+  **従量制料金** — AWS Glue Data Quality の使用には年間ライセンスは不要です。
+  **ロックインなし** — AWS Glue Data Quality はオープンソースの DeeQu 上に構築されているため、作成中のルールをオープン言語で維持できます。
+  **データ品質チェック** - データ品質のチェックを Data Catalog と AWS Glue ETL パイプラインで行えるため、保管中および転送中のデータの品質を管理できます。
+  **ML ベースのデータ品質検出** — 異常や、検出が困難なデータ品質問題を、機械学習 (ML) を使用して検出します。
+  **ルールを表現するためのオープン言語** - データ品質ルールが一貫してシンプルに作成できます。ビジネスユーザーは、理解できるわかりやすい言語でデータ品質ルールを簡単に表現できます。エンジニアにとっては、コードの生成、一貫したバージョン管理の実装およびデプロイの自動化を可能にする柔軟性がこの言語によって提供されます。

## 仕組み
<a name="glue-data-quality-how-it-works"></a>

AWS Glue Data Quality のエントリポイントは 2 つあります。AWS Glue Data Catalog と AWS Glue ETL ジョブです。このセクションでは、ユースケースの概要と、各エントリポイントでサポートされている AWS Glue の機能について説明します。

### AWS Glue Data Catalog のデータ品質
<a name="glue-data-quality-for-data-catalog"></a>

AWS Glue Data Quality は、AWS Glue Data Catalog に保存されているオブジェクトを評価します。プログラマー以外の人でもデータ品質ルールを簡単に設定できます。例えば、データスチュワードやビジネスアナリストなどです。



[![AWS Videos](http://img.youtube.com/vi/rK1NGQu4Sgg/0.jpg)](http://www.youtube.com/watch?v=rK1NGQu4Sgg)




この方法は、以下のようなユースケースに適しています。
+ 既に AWS Glue Data Catalog でカタログ化しているデータセットに対してデータ品質タスクを実行したい場合
+ データガバナンスに取り組んでおり、データレイク内のデータ品質に関する問題を、継続的に特定または評価する必要がある場合

データカタログのデータ品質は、次のインターフェイスで管理できます。
+ AWS Glue マネジメントコンソール
+ AWS Glue API

AWS Glue Data Catalog で AWS Glue Data Quality を使用する手順については、「[Data Catalog で AWS Glue Data Quality を使用する](data-quality-getting-started.md)」を参照してください。

### AWS Glue ETL ジョブのデータ品質
<a name="glue-data-quality-for-etl"></a>

AWS Glue ETL ジョブ向けの AWS Glue Data Quality を使用すると、プロアクティブなデータ品質タスクを実行できます。プロアクティブなタスクは、データセットをデータレイクにロードする前に不良データを特定し、除外するのに役立ちます。

[![AWS Videos](http://img.youtube.com/vi/DUd5s_CFtBM/0.jpg)](http://www.youtube.com/watch?v=DUd5s_CFtBM)


ETL ジョブ向けの Data Quality は以下のようなユースケースに使用できます。
+ データ品質タスクを ETL ジョブに組み込む場合
+ データ品質タスクを定義するコードを ETL スクリプトで記述する場合
+ ビジュアルデータパイプラインに送信されるデータの品質を管理する場合

ETL ジョブのデータ品質は、次のインターフェイスで管理できます。
+ AWS Glue Studio、AWS Glue Studio、ノートブック、AWS Glue インタラクティブセッション
+ ETL スクリプト用の AWS Glue ライブラリ
+ AWS Glue API

ETL ジョブ向け Data Quality の使用方法については、「AWS Glue Studio ユーザーガイド」の「[Tutorial: Getting started with Data Quality](https://docs.aws.amazon.com/glue/latest/ug/gs-data-quality-chapter.html)」を参照してください。

### データカタログ向け Data Quality と ETL ジョブ向け Data Quality の比較
<a name="glue-data-quality-compare"></a>

こちらの表は、AWS Glue Data Quality がサポートしている各エントリポイントの機能の概要を示したものです。


****  

| 機能 | データカタログ向け Data Quality | ETL ジョブ向け Data Quality | 
| --- | --- | --- | 
| データソース | Amazon S3、Amazon Redshift、Data Catalog と互換性のある JDBC ソース、および Apache Iceberg、Apache Hudi、Delta Lake などのトランザクションデータレイク形式。AWS Lake Formation マネージド OTF 形式もいくつかの制限付きでサポートされています。AWS Glue Data Catalog でカタログ化された Amazon Athena ビューはサポートされていません。[サポートされているソースタイプ](data-quality-getting-started.md#data-quality-get-started-supported-source-types) を参照してください。 | AWS Glue でサポートされているすべてのデータソース。カスタムのコネクタとサードパーティーのコネクタを含みます。 | 
| Data Quality ルールの推奨事項 | サポート | サポートされていません | 
| DQDL ルールの作成と実行 | サポート対象 | サポート | 
| Auto scaling | サポート外 | サポート | 
| AWS Glue Flex のサポート | サポート外 | サポート | 
| スケジューリング | Data Quality ルールを評価するときおよび Step Functions を使用する場合にサポート | Step Functions とワークフローを使用する場合にサポート | 
| データ品質チェックに失敗したレコードの特定 | サポート外 | サポート | 
| Amazon EventBridge との統合 | サポート対象 | サポート | 
| AWS CloudWatch との統合 | サポート対象 | サポート | 
| データ品質評価の結果を Amazon S3 に書き込む | サポート対象 | サポート | 
| 増分的なデータ品質 | プッシュダウン述語によりサポート | AWS Glue ブックマークによりサポート | 
| AWS CloudFormation のサポート | サポート対象 | サポート | 
| ML ベースの異常検出 | サポート外 | サポート | 
| 動的ルール | サポート外 | サポート | 

## 考慮事項
<a name="glue-data-quality-considerations"></a>

AWS Glue Data Quality を使用するときは、事前に次の点を確認します。
+ データ品質ルールは、ネストされたデータソースやリストタイプのデータソースを評価することはできません。「[ネストされた Struct のフラット化](transforms-flatten.md)」を参照してください。

## 用語
<a name="data-quality-terms"></a>

次の表では、AWS Glue Data Quality に関連する用語が定義されています。

**データ品質定義言語 (DQDL)**  
AWS Glue Data Quality のルール作成に使用できるドメイン固有の言語。  
DQDL の詳細については、[データ品質定義言語 (DQDL) リファレンス](dqdl.md) のガイドを参照してください。

**データ品質 **  
データセットがある目的をどの程度果たしているかを示します。 AWS GlueData Quality は、データセットに対するルールを評価してデータ品質を測定します。各ルールは、データの鮮度や整合性などの特性を確認します。データ品質を数値化するには、データ品質スコアを使用できます。

**データ品質スコア**  
AWS Glue Data Quality でルールセットを評価する際に、合格する (結果が true になる) データ品質ルールの割合。

**ルール**  
データにおける特性を確認し、ブール値を返す DQDL 式。詳細については、「[ルールの構造](dqdl.md#dqdl-syntax-rule-structure)」を参照してください。

**アナライザー**  
データ統計を収集する DQDL 式。アナライザーは、ML アルゴリズムで使用できるデータ統計を収集し、異常や、時間の経過に伴って検出が困難となるデータ品質問題を検出できます。

**ルールセット**  
一連のデータ品質ルールで構成される AWS Glue リソース。ルールセットは、AWS Glue Data Catalog 内のテーブルと関連付ける必要があります。ルールセットを保存すると、AWS Glue は Amazon リソースネーム (ARN) をルールセットに割り当てます。

**データ品質スコア**  
AWS Glue Data Quality でルールセットを評価する際に、合格する (結果が true になる) データ品質ルールの割合。

**監視**  
ルールやアナライザーから収集されたデータ統計を経時的に分析することで、AWS Glue によって得られる未確認のインサイト。

## 制限
<a name="data-quality-limits"></a>

 AWS Glue Data Quality サービスの制限: 
+  ルールセットには 2,000 個のルールを含めることができます。ルールセットが大きい場合は、複数のルールセットに分割することをお勧めします。
+  ルールセットのサイズは 65 KB です。ルールセットが大きい場合は、複数のルールセットに分割することをお勧めします。
+  AWS Glue Data Quality は、ルールまたはアナライザーを作成するときに統計を収集します。これらの統計の保存にはコストはかかりません。ただし、アカウントごとに保存できる統計は 100,000 に制限されており、これらの統計は最大 2 年間保持されます。

## AWS Glue Data Quality のリリースノート
<a name="data-quality-release-notes"></a>

このトピックでは、AWS Glue Data Quality に導入された機能について説明します。

### 一般提供を開始: 新機能
<a name="data-quality-release-notes-ga"></a>

以下は、AWS Glue Data Quality の一般提供の開始に伴い利用できるようになった新機能です。
+ データ品質チェックで不合格になったレコードを特定する機能が AWS Glue Studio でサポート
+ 新しいデータ品質のルールタイプ。2 つのデータセット間におけるデータの参照整合性の検証、2 つのデータセット間におけるデータの比較、データタイプのチェックなど
+ AWS Glue Data Catalog でのユーザーエクスペリエンスの向上
+ Apache Iceberg、Apache Hudi、Delta Lake のサポート
+ Amazon Redshift のサポート
+ Amazon EventBridge による通知の簡素化
+ ルールセット作成のための AWS CloudFormation サポート
+ パフォーマンスの向上。ETL のキャッシュオプションと AWS Glue Studio によりデータ品質を評価する際のパフォーマンスが高速化

### 2023 年 11 月 27 日 (プレビュー)
<a name="data-quality-release-notes-preview"></a>
+  ML を利用した異常検出機能が AWS Glue ETL と AWS Glue Studio で利用できるようになりました。これにより、異常や検出が難しいデータ品質の問題を検出できるようになりました。
+  [動的ルールでは、動的なしきい値 (例: `RowCount> avg(last(10))`) を設定できます](https://docs.aws.amazon.com/glue/latest/dg/dqdl.html#dqdl-dynamic-rules) 

### 2024 年 3 月 12 日
<a name="data-quality-release-notes-mar12"></a>
+  DQDL の改良点 
  +  [NULL、BLANKS、WHITESPACES\_ONLY などのキーワードのサポート](dqdl.md#dqdl-keywords-null-empty-whitespaces_only) 
  +  [AWS Glue データ品質が複合ルールを処理する方法を指定するオプション ](dqdl.md#dqdl-syntax-rule-composition) 
  +  [ ColumnValues ルールタイプでは、比較中に NULL 値を渡すことはできません ](dqdl.md#dqdl-keywords-null-empty-whitespaces_only) 
  +  [ DQDL での NOT 演算子のサポート ](dqdl.md#dqdl-syntax-rule-expressions) 

### 2024 年 6 月 26 日
<a name="data-quality-release-notes-jun26"></a>
+ DQDL の改良点
  + DQDL は [Where 句](dqdl.md#dqdl-filtering-data-in-dqdl)のサポートを開始し、DQ ルールを適用する前にデータをフィルタリングできるようになりました

### 2024 年 8 月 7 日
<a name="data-quality-release-notes-aug7"></a>
+ 異常検出と動的ルールの一般提供が開始

### 2024 年 11 月 22 日
<a name="data-quality-release-notes-nov22-2024"></a>
+  [複雑な複合ルールでは、ネストされたサポートを含む複雑なビジネスルールを作成することができます。](https://docs.aws.amazon.com/glue/latest/dg/dqdl.html#dqdl-syntax-rule-composition)
+  ファイルのデータ品質を管理するための新しいルールタイプ 
  +  [FileFreshness](https://docs.aws.amazon.com/glue/latest/dg/dqdl-rule-types-FileFreshness) 
  +  [FileSize](https://docs.aws.amazon.com/glue/latest/dg/dqdl-rule-types-FileSize) 
  +  [FileUniqueness](https://docs.aws.amazon.com/glue/latest/dg/dqdl-rule-types-FileUniqueness) 
  +  [FileMatch](https://docs.aws.amazon.com/glue/latest/dg/dqdl-rule-types-FileMatch) 
+ Visual ETL ジョブのデフォルトのデータ品質チェック

### 2024 年 12 月 6 日
<a name="data-quality-release-notes-dec6-2024"></a>
+ AWS Glue Data Quality は、AWS Glue ETL 5.0 で Amazon SageMaker AI LakeHouse テーブルと AWS Lake Formation マネージド Iceberg、Delta、HUDI テーブルをサポートするようになりました。

### 2025 年 7 月 7 日
<a name="data-quality-release-notes-jul7-2025"></a>
+  AWS Glue Data Quality。AWS Glue データカタログで Amazon S3 Tables、RMS、Lakehouse、および AWS Lake Formation マネージド Iceberg テーブルがサポートされるようになりました。

### 2025 年 11 月 21 日
<a name="data-quality-release-notes-nov21-2025"></a>
+ AWS Glue Data Quality が拡張レポート用のルールラベリングをサポートするようになりました。特定のラベルで結果をクエリすることによって、特定のカテゴリ内の失敗したルールの識別、チームまたはドメインごとのルールの結果のカウント、さまざまなステークホルダーに焦点を当てたレポートの作成を行うことができます。詳細については、「[ラベル](dqdl.md#dqdl-labels)」を参照してください。
+ AWS Glue Data Quality が DQDL で定数をサポートするようになり、定数値を定義してスクリプト全体で参照できるようになりました。これにより、大規模な SQL ステートメントを使用する際のクエリサイズ制限に関連する問題を防ぐことができます。詳細については、「[定数](dqdl.md#dqdl-constants)」を参照してください。