Data Quality API
Data Quality API は、データ品質のデータ型を提供し、データ品質ルールセット、実行、および評価を作成、削除、または更新するための API を含んでいます。
データ型
DataSource 構造
データ品質結果が必要なデータソース (AWS Glue テーブル)。
フィールド
-
GlueTable– GlueTable オブジェクト。AWS Glue テーブル。
-
DataQualityGlueTable– DataQualityGlueTable オブジェクト。データ品質オペレーションの AWS Glue テーブル。
DataQualityRulesetListDetails 構造
GetDataQualityRuleset によって返されるデータ品質ルールセットを記述します。
フィールド
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットの名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質ルールセットの説明。
-
CreatedOn– タイムスタンプ。データ品質ルールセットの作成日時。
-
LastModifiedOn– タイムスタンプ。データ品質ルールセットの最終変更日時。
-
TargetTable– DataQualityTargetTable オブジェクト。AWS Glue テーブルを表すオブジェクト。
-
RecommendationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。推奨実行からルールセットが作成されると、この 2 つをリンクさせるためにこの実行 ID が生成されます。
-
RuleCount– 数値 (整数)。ルールセット内のルールの数。
DataQualityTargetTable 構造
AWS Glue テーブルを表すオブジェクト。
フィールド
-
TableName– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue テーブルの名前。
-
DatabaseName– 必須: UTF-8 文字列、1~255 バイト長、Single-line string pattern に一致。AWS Glue テーブルが存在するデータベースの名前。
-
CatalogId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue テーブルが存在するカタログの ID。
DataQualityRulesetEvaluationRunDescription 構造
データ品質ルールセットの評価実行の結果を記述します。
フィールド
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
-
Status– UTF-8 文字列 (有効な値:RUNNING|FINISHED|FAILED|PENDING_EXECUTION|TIMED_OUT|CANCELING|CANCELED|RECEIVED_BY_TASKRUNNER)。この実行のステータス。
-
StartedOn– タイムスタンプ。実行が開始された日時。
-
DataSource– DataSource オブジェクト。実行に関連付けられたデータソース (AWS Glue テーブル)。
DataQualityRulesetEvaluationRunFilter 構造
フィルタリング基準。
フィールド
-
DataSource– 必須: DataSource オブジェクト。実行に関連付けられたデータソース (AWS Glue テーブル) に基づいてフィルタリングします。
-
StartedBefore– タイムスタンプ。この時刻より前に開始された実行で結果をフィルタリングします。
-
StartedAfter– タイムスタンプ。この時刻以降に開始された実行で結果をフィルタリングします。
DataQualityEvaluationRunAdditionalRunOptions 構造
評価実行で指定できるその他の実行オプション。
フィールド
-
CloudWatchMetricsEnabled– ブール。CloudWatch メトリクスを有効にするかどうか。
-
ResultsS3Prefix– UTF–8 文字列。結果を保存する Amazon S3 のプレフィックス。
-
CompositeRuleEvaluationMethod– UTF-8 文字列 (有効な値:COLUMN|ROW)。ルールセットの複合ルールの評価方法を ROW/COLUMN に設定する
DataQualityRuleRecommendationRunDescription 構造
データ品質ルールの推奨実行の結果を記述します。
フィールド
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
-
Status– UTF-8 文字列 (有効な値:RUNNING|FINISHED|FAILED|PENDING_EXECUTION|TIMED_OUT|CANCELING|CANCELED|RECEIVED_BY_TASKRUNNER)。この実行のステータス。
-
StartedOn– タイムスタンプ。この実行の開始日時。
-
DataSource– DataSource オブジェクト。推奨実行に関連付けられたデータソース (AWS Glue テーブル)。
DataQualityRuleRecommendationRunFilter 構造
データ品質の推奨実行を一覧表示するためのフィルター。
フィールド
-
DataSource– 必須: DataSource オブジェクト。指定したデータソース (AWS Glue テーブル) に基づいてフィルタリングします。
-
StartedBefore– タイムスタンプ。指定した時刻より前に開始された結果の場合、時刻に基づいてフィルタリングします。
-
StartedAfter– タイムスタンプ。指定した時刻以降に開始された結果の場合、時刻に基づいてフィルタリングします。
DataQualityResult 構造
データ品質結果を記述します。
フィールド
-
ResultId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に対する一意の結果 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果のプロファイル ID。
-
Score– 数値 (double)。1.0 以下。集計されたデータ品質のスコア。ルールの合計数に対する合格ルールの比率を表します。
-
DataSource– DataSource オブジェクト。データ品質結果に関連付けられたテーブル (存在する場合)。
-
RulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたルールセットの名前。
-
EvaluationContext– UTF–8 文字列。AWS Glue Studio のジョブのコンテキストでは、通常、キャンバス内の各ノードには何らかの名前が割り当てられ、データ品質ノードには名前が付けられます。複数のノードの場合、
evaluationContextでノードを区別できます。 -
StartedOn– タイムスタンプ。このデータ品質の実行の開始日時。
-
CompletedOn– タイムスタンプ。このデータ品質の実行の完了日時。
-
JobName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ名 (存在する場合)。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ実行 ID (存在する場合)。
-
RulesetEvaluationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。このデータ品質結果のルールセット評価に対する一意の実行 ID。
-
RuleResults– DataQualityRuleResult オブジェクトの配列。構造 2000 個以下。各ルールの結果を表す
DataQualityRuleResultオブジェクトのリスト。 -
AnalyzerResults– DataQualityAnalyzerResult オブジェクトの配列。構造 2000 個以下。各アナライザーの結果を表す
DataQualityAnalyzerResultオブジェクトのリスト。 -
Observations– DataQualityObservation オブジェクトの配列。構造 50 個以下。ルールとアナライザーを評価した後に生成された観測値を表す
DataQualityObservationオブジェクトのリスト。 -
AggregatedMetrics– DataQualityAggregatedMetrics オブジェクト。行レベルの結果に基づく合格/不合格統計を含む、処理された行とルールの合計数を示す
DataQualityAggregatedMetricsオブジェクトの概要。
DataQualityAnalyzerResult 構造
データ品質アナライザーの評価の結果を説明します。
フィールド
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質アナライザーの名前。
-
Description- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質アナライザーの説明。
-
EvaluationMessage- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。評価メッセージ。
-
EvaluatedMetrics– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は数値 (double) です。
アナライザーの評価に関連付けられているメトリクスのマップ。
DataQualityObservation 構造
ルールおよびアナライザーを評価した後に生成される観測値について説明します。
フィールド
-
Description- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質観察の説明。
-
MetricBasedObservation– MetricBasedObservation オブジェクト。評価されたデータ品質メトリクスに基づく観測値を表す
MetricBasedObservationタイプのオブジェクト。
MetricBasedObservation 構造
評価されたデータ品質メトリクスに基づいて生成されたメトリクスベースの観測値について説明します。
フィールド
-
MetricName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。観測値を生成するために使用されるデータ品質メトリクスの名前。
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
MetricValues– DataQualityMetricValues オブジェクト。データ品質メトリクス値の分析を表す
DataQualityMetricValuesタイプのオブジェクト。 -
NewRules– UTF-8 文字列の配列。データ品質メトリクス値に基づく観測値の一部として生成された新しいデータ品質ルールのリスト。
DataQualityMetricValues 構造
履歴データの分析に基づくデータ品質メトリクス値を説明します。
フィールド
-
ActualValue– 数値 (double)。データ品質メトリクスの実際の値。
-
ExpectedValue– 数値 (double)。履歴データの分析に基づくデータ品質メトリクスの期待値。
-
LowerLimit– 数値 (double)。履歴データの分析に基づくデータ品質メトリクスの下限値。
-
UpperLimit– 数値 (double)。履歴データの分析に基づくデータ品質メトリクスの上限値。
DataQualityRuleResult 構造
データ品質ルールの評価の結果を記述します。
フィールド
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールの名前。
-
Description- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質ルールの説明。
-
EvaluationMessage- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。評価メッセージ。
-
Result– UTF-8 文字列 (有効な値:PASS|FAIL|ERROR)。ルールの合格または不合格のステータス。
-
EvaluatedMetrics– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は数値 (double) です。
ルールの評価に関連するメトリクスのマップ。
-
EvaluatedRule- UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。評価済みのルール。
-
RuleMetrics– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は数値 (double) です。
行レベルの結果に基づくルールの評価に関連したメトリクスを含むマップ。
DataQualityResultDescription 構造
データ品質結果を記述します。
フィールド
-
ResultId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。このデータ品質結果に対する一意の結果 ID。
-
DataSource– DataSource オブジェクト。データ品質結果に関連付けられたテーブル名。
-
JobName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ名。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ実行 ID。
-
StartedOn– タイムスタンプ。このデータ品質結果の実行が開始された時刻。
DataQualityResultFilterCriteria 構造
データ品質結果を返すために使用される基準。
フィールド
-
DataSource– DataSource オブジェクト。指定したデータソースで結果をフィルタリングします。例えば、AWS Glue テーブルのすべての結果を取得します。
-
JobName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。指定したジョブ名で結果をフィルタリングします。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。指定したジョブ実行 ID で結果をフィルタリングします。
-
StartedAfter– タイムスタンプ。この時刻以降に開始された実行で結果をフィルタリングします。
-
StartedBefore– タイムスタンプ。この時刻より前に開始された実行で結果をフィルタリングします。
DataQualityRulesetFilterCriteria 構造
データ品質ルールセットのフィルタリングに使用される基準。
フィールド
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットのフィルタリング基準の名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。ルールセットのフィルタリング基準の説明。
-
CreatedBefore– タイムスタンプ。この日付より前に作成されたルールセットをフィルタリングします。
-
CreatedAfter– タイムスタンプ。この日付以降に作成されたルールセットをフィルタリングします。
-
LastModifiedBefore– タイムスタンプ。この日付より前に最終変更されたルールセットをフィルタリングします。
-
LastModifiedAfter– タイムスタンプ。この日付より後に最終変更されたルールセットをフィルタリングします。
-
TargetTable– DataQualityTargetTable オブジェクト。ターゲットテーブルの名前およびデータベース名。
DataQualityAggregatedMetrics 構造
行レベルの結果に基づく合格/不合格統計を含む、処理された行とルールの合計数を示すメトリクスの概要。
フィールド
-
TotalRowsProcessed– 数値 (double)。データ品質評価中に処理された行の合計数。
-
TotalRowsPassed– 数値 (double)。該当するすべてのデータ品質ルールに合格した行の合計数。
-
TotalRowsFailed– 数値 (double)。1 つ以上のデータ品質ルールに失敗した行の合計数。
-
TotalRulesProcessed– 数値 (double)。評価されたデータ品質ルールの総数。
-
TotalRulesPassed– 数値 (double)。評価基準に合格したデータ品質ルールの総数。
-
TotalRulesFailed– 数値 (double)。評価基準を満たさなかったデータ品質ルールの総数。
StatisticAnnotation structure
統計注釈。
フィールド
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
StatisticRecordedOn– タイムスタンプ。注釈付き統計が記録されたタイムスタンプ。
-
InclusionAnnotation– TimestampedInclusionAnnotation オブジェクト。統計に適用される包含注釈。
TimestampedInclusionAnnotation structure
タイムスタンプ付き包含アノテーション。
フィールド
-
Value– UTF-8 文字列 (有効な値:INCLUDE|EXCLUDE)。包含注釈値。
-
LastModifiedOn– タイムスタンプ。包含注釈が最後に変更されたタイムスタンプ。
AnnotationError 構造
失敗した注釈。
フィールド
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。失敗した注釈のプロファイル ID。
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。失敗した注釈の統計 ID。
-
FailureReason– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。注釈が失敗した理由。
DatapointInclusionAnnotation structure
包含アノテーション。
フィールド
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計が属するデータ品質プロファイルの ID。
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
InclusionAnnotation– UTF-8 文字列 (有効な値:INCLUDE|EXCLUDE)。統計に適用する包含注釈値。
StatisticSummaryList リスト
StatisticSummary のリスト。
StatisticSummary オブジェクトの配列。
StatisticSummary のリスト。
StatisticSummary structure
統計に関する概要情報。
フィールド
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
-
RunIdentifier– RunIdentifier オブジェクト。実行識別子
-
StatisticName– UTF-8 文字列。1~255 バイト長。Custom string pattern #16 に一致。統計の名前。
-
DoubleValue– 数値 (double)。統計の値。
-
EvaluationLevel– UTF-8 文字列 (有効な値:Dataset="DATASET"|Column="COLUMN"|Multicolumn="MULTICOLUMN")。統計の評価レベル。使用できる値:
Dataset、Column、Multicolumn。 -
ColumnsReferenced– UTF-8 文字列の配列。統計によって参照される列のリスト。
-
ReferencedDatasets– UTF-8 文字列の配列。統計によって参照されるデータセットのリスト。
-
StatisticProperties– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は説明文字列であり、2048 バイト長以下で、URI address multi-line string pattern に一致します。
NameStringとDescriptionStringを含むStatisticPropertiesMap -
RecordedOn– タイムスタンプ。統計が記録されたタイムスタンプ。
-
InclusionAnnotation– TimestampedInclusionAnnotation オブジェクト。統計の包含注釈。
RunIdentifier 構造
実行識別子。
フィールド
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。実行 ID。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ジョブ実行 ID。
StatisticModelResult structure
統計モデルの結果。
フィールド
-
LowerBound– 数値 (double)。下限。
-
UpperBound– 数値 (double)。上限。
-
PredictedValue– 数値 (double)。予測された値。
-
ActualValue– 数値 (double)。実際の値。
-
Date– タイムスタンプ。日付。
-
InclusionAnnotation– UTF-8 文字列 (有効な値:INCLUDE|EXCLUDE)。包含アノテーション。
DataQualityGlueTable 構造
データ品質オペレーションの入力データまたは出力データとして使用される AWS Glue Data Catalog 内のデータベースおよびテーブル。
フィールド
-
DatabaseName– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue Data Catalog のデータベース名。
-
TableName– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue Data Catalog のテーブル名。
-
CatalogId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue Data Catalog 用の一意の識別子。
-
ConnectionName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。AWS Glue Data Catalog への接続の名前。
-
AdditionalOptions– キーと値のペアのマップ配列。1~10 個のペア。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は説明文字列であり、2048 バイト長以下で、URI address multi-line string pattern に一致します。
テーブルの追加オプション。現在、次の 2 つのキーがサポートされています。
-
pushDownPredicate: データセットのすべてのファイルを一覧表示して読み込むことなく、パーティションをフィルタリングするためのキー。 -
catalogPartitionPredicate: AWS Glue Data Catalog のパーティションインデックスを使用して、サーバー側のパーティションプルーニングを使用するためのキー。
-
-
PreProcessingQuery– UTF-8 文字列は、51,200 バイト長以下で URI address multi-line string pattern に一致します。データ品質オペレーションを実行する前に、AWS Glue Data Catalog のテーブルのデータを前処理するために使用できる SparkSQL 形式の SQL クエリ。
操作
StartDataQualityRulesetEvaluationRun アクション (Python: start_data_quality_ruleset_evaluation_run)
CancelDataQualityRulesetEvaluationRun action (Python: cancel_data_quality_ruleset_evaluation_run)
GetDataQualityRulesetEvaluationRun action (Python: get_data_quality_ruleset_evaluation_run)
ListDataQualityRulesetEvaluationRuns action (Python: list_data_quality_ruleset_evaluation_runs)
StartDataQualityRuleRecommendationRun action (Python: start_data_quality_rule_recommendation_run)
CancelDataQualityRuleRecommendationRun action (Python: cancel_data_quality_rule_recommendation_run)
GetDataQualityRuleRecommendationRun action (Python: get_data_quality_rule_recommendation_run)
ListDataQualityRuleRecommendationRuns action (Python: list_data_quality_rule_recommendation_runs)
GetDataQualityResult action (Python: get_data_quality_result)
BatchGetDataQualityResult action (Python: batch_get_data_quality_result)
ListDataQualityResults action (Python: list_data_quality_results)
CreateDataQualityRuleset action (Python: create_data_quality_ruleset)
DeleteDataQualityRuleset action (Python: delete_data_quality_ruleset)
GetDataQualityRuleset action (Python: get_data_quality_ruleset)
ListDataQualityRulesets action (Python: list_data_quality_rulesets)
UpdateDataQualityRuleset アクション (Python: update_data_quality_ruleset)
ListDataQualityRulesets action (Python: list_data_quality_statistics)
BatchPutDataQualityStatisticAnnotation action (Python: batch_put_data_quality_statistic_annotation)
GetDataQualityModelResult action (Python: get_data_quality_model_result)
ListDataQualityStatisticAnnotations action (Python: list_data_quality_statistic_annotations)
PutDataQualityProfileAnnotation action (Python: put_data_quality_profile_annotation)
StartDataQualityRulesetEvaluationRun アクション (Python: start_data_quality_ruleset_evaluation_run)
ルールセット定義 (推奨または独自のもの) を作成したら、この操作を呼び出して、ルールセットをデータソース (AWS Glue テーブル) に対して評価します。GetDataQualityResult API で取得できる結果は評価で計算されます。
リクエスト
-
DataSource– 必須: DataSource オブジェクト。この実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– 必須: UTF-8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。冪等性を保つために使用されるもので、同じリソースの複数のインスタンスを作成または起動しないように、ランダムな ID (UUID など) に設定することをお勧めします。
-
AdditionalRunOptions– DataQualityEvaluationRunAdditionalRunOptions オブジェクト。評価実行で指定できるその他の実行オプション。
-
RulesetNames– 必須: UTF-8 文字列の配列、1~10 個の文字列。ルールセット名のリスト。
-
AdditionalDataSources– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は DataSource オブジェクトです。
評価実行で指定できる他のデータソースへの参照文字列のマップ。
レスポンス
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
エラー
InvalidInputExceptionEntityNotFoundExceptionOperationTimeoutExceptionInternalServiceExceptionConflictException
CancelDataQualityRulesetEvaluationRun action (Python: cancel_data_quality_ruleset_evaluation_run)
ルールセットがデータソースに対して評価されている実行をキャンセルします。
リクエスト
-
RunId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
レスポンス
応答パラメータはありません。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRulesetEvaluationRun action (Python: get_data_quality_ruleset_evaluation_run)
ルールセットがデータソースに対して評価される特定の実行を取得します。
リクエスト
-
RunId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
レスポンス
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
-
DataSource– DataSource オブジェクト。この評価実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– UTF–8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
AdditionalRunOptions– DataQualityEvaluationRunAdditionalRunOptions オブジェクト。評価実行で指定できるその他の実行オプション。
-
Status– UTF-8 文字列 (有効な値:RUNNING|FINISHED|FAILED|PENDING_EXECUTION|TIMED_OUT|CANCELING|CANCELED|RECEIVED_BY_TASKRUNNER)。この実行のステータス。
-
ErrorString– UTF–8 文字列。実行に関連付けられているエラー文字列。
-
StartedOn– タイムスタンプ。この実行の開始日時。
-
LastModifiedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールの推奨実行が変更された最後の時間ポイント。
-
CompletedOn– タイムスタンプ。この実行の完了日時。
-
ExecutionTime– 数値 (整数)。実行でリソースを消費した時間 (秒)。
-
RulesetNames– UTF-8 文字列の配列、1~10 個の文字列。実行用のルールセット名のリスト。現在、このパラメータは 1 つのルールセット名しかとりません。
-
ResultIds– UTF-8 文字列の配列、1~10 個の文字列。実行用のデータ品質結果の結果 ID のリスト。
-
AdditionalDataSources– キーバリューペアのマップ配列。各キーは UTF-8 文字列、1~255 バイト長で、Single-line string pattern に一致します。
各値は DataSource オブジェクトです。
評価実行で指定できる他のデータソースへの参照文字列のマップ。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRulesetEvaluationRuns action (Python: list_data_quality_ruleset_evaluation_runs)
フィルタリング基準を満たすすべての実行が一覧表示され、ルールセットがデータソースに対して評価されます。
リクエスト
-
Filter– DataQualityRulesetEvaluationRunFilter オブジェクト。フィルタリング基準。
-
NextToken– UTF–8 文字列。結果をオフセットするページ分割されたトークン。
-
MaxResults– 1~1000 の数値 (整数)。返される結果の最大数。
応答
-
Runs– DataQualityRulesetEvaluationRunDescription オブジェクトの配列。データ品質ルールセットの実行を表す
DataQualityRulesetEvaluationRunDescriptionオブジェクトのリスト。 -
NextToken– UTF–8 文字列。ページネーショントークン (さらに結果がある場合)。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
StartDataQualityRuleRecommendationRun action (Python: start_data_quality_rule_recommendation_run)
どのルールを記述するのかわからない場合は、ルールの生成に使用される推奨実行を開始します。AWS GlueData Quality はデータを分析し、推奨されるルールセットの候補を提案します。その後、ルールセットをトリアージし、生成されたルールセットを好みに合わせて変更できます。
推奨事項の実行は、実行から 90 日後に自動的に削除されます。
リクエスト
Data Quality ルールのレコメンデーションリクエストのリクエスト。
-
DataSource– 必須: DataSource オブジェクト。この実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– 必須: UTF-8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
CreatedRulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットの名前。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
-
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。冪等性を保つために使用されるもので、同じリソースの複数のインスタンスを作成または起動しないように、ランダムな ID (UUID など) に設定することをお勧めします。
レスポンス
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionConflictException
CancelDataQualityRuleRecommendationRun action (Python: cancel_data_quality_rule_recommendation_run)
ルールの生成に使用されていた指定の推奨実行をキャンセルします。
リクエスト
-
RunId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
レスポンス
応答パラメータはありません。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRuleRecommendationRun action (Python: get_data_quality_rule_recommendation_run)
ルールの生成に使用された指定の推奨実行を取得します。
リクエスト
-
RunId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
レスポンス
Data Quality ルールのレコメンデーション実行のレスポンス。
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
-
DataSource– DataSource オブジェクト。この実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– UTF–8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
Status– UTF-8 文字列 (有効な値:RUNNING|FINISHED|FAILED|PENDING_EXECUTION|TIMED_OUT|CANCELING|CANCELED|RECEIVED_BY_TASKRUNNER)。この実行のステータス。
-
ErrorString– UTF–8 文字列。実行に関連付けられているエラー文字列。
-
StartedOn– タイムスタンプ。この実行の開始日時。
-
LastModifiedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールの推奨実行が変更された最後の時間ポイント。
-
CompletedOn– タイムスタンプ。この実行の完了日時。
-
ExecutionTime– 数値 (整数)。実行でリソースを消費した時間 (秒)。
-
RecommendedRuleset– UTF-8 文字列、1~65536 バイト長。開始ルールの推奨実行が完了すると、推奨ルールセット (ルールのセット) が作成されます。このメンバーには、これらのルールがデータ品質定義言語 (DQDL) 形式で格納されています。
-
CreatedRulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。実行によって作成されたルールセットの名前。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRuleRecommendationRuns action (Python: list_data_quality_rule_recommendation_runs)
フィルタリング基準を満たす推奨実行を一覧表示します。
リクエスト
-
Filter– DataQualityRuleRecommendationRunFilter オブジェクト。フィルタリング基準。
-
NextToken– UTF–8 文字列。結果をオフセットするページ分割されたトークン。
-
MaxResults– 1~1000 の数値 (整数)。返される結果の最大数。
応答
-
Runs– DataQualityRuleRecommendationRunDescription オブジェクトの配列。DataQualityRuleRecommendationRunDescriptionオブジェクトのリスト。 -
NextToken– UTF–8 文字列。ページネーショントークン (さらに結果がある場合)。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityResult action (Python: get_data_quality_result)
データ品質ルール評価の結果を取得します。
リクエスト
-
ResultId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に対する一意の結果 ID。
レスポンス
データ品質結果のレスポンス。
-
ResultId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に対する一意の結果 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果のプロファイル ID。
-
Score– 数値 (double)。1.0 以下。集計されたデータ品質のスコア。ルールの合計数に対する合格ルールの比率を表します。
-
DataSource– DataSource オブジェクト。データ品質結果に関連付けられたテーブル (存在する場合)。
-
RulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたルールセットの名前。
-
EvaluationContext– UTF–8 文字列。AWS Glue Studio のジョブのコンテキストでは、通常、キャンバス内の各ノードには何らかの名前が割り当てられ、データ品質ノードには名前が付けられます。複数のノードの場合、
evaluationContextでノードを区別できます。 -
StartedOn– タイムスタンプ。このデータ品質結果の実行が開始された日時。
-
CompletedOn– タイムスタンプ。このデータ品質結果の実行が完了した日時。
-
JobName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ名 (存在する場合)。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ実行 ID (存在する場合)。
-
RulesetEvaluationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセット評価に関連付けられた一意の実行 ID。
-
RuleResults– DataQualityRuleResult オブジェクトの配列。構造 2000 個以下。各ルールの結果を表す
DataQualityRuleResultオブジェクトのリスト。 -
AnalyzerResults– DataQualityAnalyzerResult オブジェクトの配列。構造 2000 個以下。各アナライザーの結果を表す
DataQualityAnalyzerResultオブジェクトのリスト。 -
Observations– DataQualityObservation オブジェクトの配列。構造 50 個以下。ルールとアナライザーを評価した後に生成された観測値を表す
DataQualityObservationオブジェクトのリスト。 -
AggregatedMetrics– DataQualityAggregatedMetrics オブジェクト。行レベルの結果に基づく合格/不合格統計を含む、処理された行とルールの合計数を示す
DataQualityAggregatedMetricsオブジェクトの概要。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionEntityNotFoundException
BatchGetDataQualityResult action (Python: batch_get_data_quality_result)
指定した結果 ID のデータ品質結果のリストを取得します。
リクエスト
-
ResultIds– 必須: UTF-8 文字列の配列、1~100 個の文字列。データ品質結果に対する一意の結果 ID のリスト。
レスポンス
-
Results– 必須: DataQualityResult オブジェクトの配列。データ品質結果を表す
DataQualityResultオブジェクトのリスト。 -
ResultsNotFound– UTF-8 文字列の配列、1~100 個の文字列。結果が見つからなかった結果 ID のリスト。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityResults action (Python: list_data_quality_results)
アカウントのすべてのデータ品質実行結果を返します。
リクエスト
-
Filter– DataQualityResultFilterCriteria オブジェクト。フィルタリング基準。
-
NextToken– UTF–8 文字列。結果をオフセットするページ分割されたトークン。
-
MaxResults– 1~1000 の数値 (整数)。返される結果の最大数。
レスポンス
-
Results– 必須: DataQualityResultDescription オブジェクトの配列。DataQualityResultDescriptionオブジェクトのリスト。 -
NextToken– UTF–8 文字列。ページネーショントークン (さらに結果がある場合)。
エラー
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
CreateDataQualityRuleset action (Python: create_data_quality_ruleset)
指定した AWS Glue テーブルに DQDL ルールが適用されたデータ品質ルールセットを作成します。
データ品質定義言語 (DQDL) を使用して、ルールセットを作成します。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
リクエスト
データ品質評価ルールセットを作成するリクエスト。
-
Name– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットに対する一意の名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質ルールセットの説明。
-
Ruleset– 必須: UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
-
Tags– キーと値のペアのマップ配列。50 ペア以下。各キーは UTF-8 文字列で、1~128 バイト長です。
各値は UTF-8 文字列で、256 バイト長以下です。
データ品質ルールセットに適用されるタグのリスト。
-
TargetTable– DataQualityTargetTable オブジェクト。データ品質ルールセットに関連付けられたターゲットテーブル。
-
RecommendationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。推奨実行に対する一意の実行 ID。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
-
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。冪等性を保つために使用されるもので、同じリソースの複数のインスタンスを作成または起動しないように、ランダムな ID (UUID など) に設定することをお勧めします。
レスポンス
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットに対する一意の名前。
エラー
InvalidInputExceptionAlreadyExistsExceptionOperationTimeoutExceptionInternalServiceExceptionResourceNumberLimitExceededException
DeleteDataQualityRuleset action (Python: delete_data_quality_ruleset)
データ品質ルールセットを削除します。
リクエスト
-
Name– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットの名前。
レスポンス
応答パラメータはありません。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRuleset action (Python: get_data_quality_ruleset)
既存のルールセットを識別子または名前で返します。
リクエスト
-
Name– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットの名前。
レスポンス
データ品質ルールセットレスポンスを返します。
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットの名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。ルールセットの説明。
-
Ruleset– UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
-
TargetTable– DataQualityTargetTable オブジェクト。ターゲットテーブルの名前およびデータベース名。
-
CreatedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールセットが作成された日時。
-
LastModifiedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールセットが変更された最後の時間ポイント。
-
RecommendationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。推奨実行からルールセットが作成されると、この 2 つをリンクさせるためにこの実行 ID が生成されます。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRulesets action (Python: list_data_quality_rulesets)
指定した AWS Glue テーブルのリスト用のルールセットのページ分割されたリストを返します。
リクエスト
-
NextToken– UTF-8 文字列。結果をオフセットするページ分割されたトークン。
-
MaxResults– 1~1000 の数値 (整数)。返される結果の最大数。
-
Filter– DataQualityRulesetFilterCriteria オブジェクト。フィルタリング基準。
-
Tags– キーと値のペアのマップ配列。50 ペア以下。各キーは UTF-8 文字列で、1~128 バイト長です。
各値は UTF-8 文字列で、256 バイト長以下です。
キーと値のペアタグのリスト。
応答
-
Rulesets– DataQualityRulesetListDetails オブジェクトの配列。指定した AWS Glue テーブルのリスト用のルールセットのページ分割されたリスト。
-
NextToken– UTF–8 文字列。ページネーショントークン (さらに結果がある場合)。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
UpdateDataQualityRuleset アクション (Python: update_data_quality_ruleset)
指定したデータ品質ルールセットを更新します。
リクエスト
-
Name– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットの名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。ルールセットの説明。
-
Ruleset– UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
レスポンス
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットの名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。ルールセットの説明。
-
Ruleset– UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
エラー
EntityNotFoundExceptionAlreadyExistsExceptionIdempotentParameterMismatchExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionResourceNumberLimitExceededException
ListDataQualityRulesets action (Python: list_data_quality_statistics)
データ品質統計のリストを取得します。
リクエスト
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
-
TimestampFilter– TimestampFilter オブジェクト。タイムスタンプフィルター。
-
MaxResults– 1~1000 の数値 (整数)。このリクエストで返す結果の最大数。
-
NextToken– UTF–8 文字列。結果の次ページをリクエストするページネーショントークン。
応答
-
Statistics– StatisticSummary オブジェクトの配列。StatisticSummaryList。 -
NextToken– UTF–8 文字列。結果の次ページをリクエストするページネーショントークン。
エラー
EntityNotFoundExceptionInvalidInputExceptionInternalServiceException
TimestampFilter 構造
タイムスタンプフィルター。
フィールド
-
RecordedBefore– タイムスタンプ。統計を結果に含める前のタイムスタンプ。
-
RecordedAfter– タイムスタンプ。統計を結果に含める必要があるタイムスタンプ。
CreateDataQualityRulesetRequest structure
データ品質評価ルールセットを作成するリクエスト。
フィールド
-
Name– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質ルールセットに対する一意の名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。データ品質ルールセットの説明。
-
Ruleset– 必須: UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
-
Tags– キーと値のペアのマップ配列。50 ペア以下。各キーは UTF-8 文字列で、1~128 バイト長です。
各値は UTF-8 文字列で、256 バイト長以下です。
データ品質ルールセットに適用されるタグのリスト。
-
TargetTable– DataQualityTargetTable オブジェクト。データ品質ルールセットに関連付けられたターゲットテーブル。
-
RecommendationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。推奨実行に対する一意の実行 ID。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
-
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。べき等性を保つために使用されるもので、同じリソースの複数のインスタンスを作成または起動しないように、ランダムな ID (UUID など) に設定することをお勧めします。
GetDataQualityRulesetResponse structure
データ品質ルールセットレスポンスを返します。
フィールド
-
Name– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットの名前。
-
Description– 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。ルールセットの説明。
-
Ruleset– UTF-8 文字列、1~65536 バイト長。データ品質定義言語 (DQDL) ルールセット。詳細については、「AWS Glue デベロッパーガイド」を参照してください。
-
TargetTable– DataQualityTargetTable オブジェクト。ターゲットテーブルの名前およびデータベース名。
-
CreatedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールセットが作成された日時。
-
LastModifiedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールセットが変更された最後の時間ポイント。
-
RecommendationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。推奨実行からルールセットが作成されると、この 2 つをリンクさせるためにこの実行 ID が生成されます。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
GetDataQualityResultResponse structure
データ品質結果のレスポンス。
フィールド
-
ResultId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に対する一意の結果 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果のプロファイル ID。
-
Score– 数値 (double)。1.0 以下。集計されたデータ品質のスコア。ルールの合計数に対する合格ルールの比率を表します。
-
DataSource– DataSource オブジェクト。データ品質結果に関連付けられたテーブル (存在する場合)。
-
RulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたルールセットの名前。
-
EvaluationContext– UTF–8 文字列。AWS Glue Studio のジョブのコンテキストでは、通常、キャンバス内の各ノードには何らかの名前が割り当てられ、データ品質ノードには名前が付けられます。複数のノードの場合、
evaluationContextでノードを区別できます。 -
StartedOn– タイムスタンプ。このデータ品質結果の実行が開始された日時。
-
CompletedOn– タイムスタンプ。このデータ品質結果の実行が完了した日時。
-
JobName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ名 (存在する場合)。
-
JobRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質結果に関連付けられたジョブ実行 ID (存在する場合)。
-
RulesetEvaluationRunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセット評価に関連付けられた一意の実行 ID。
-
RuleResults– DataQualityRuleResult オブジェクトの配列。構造 2000 個以下。各ルールの結果を表す
DataQualityRuleResultオブジェクトのリスト。 -
AnalyzerResults– DataQualityAnalyzerResult オブジェクトの配列。構造 2000 個以下。各アナライザーの結果を表す
DataQualityAnalyzerResultオブジェクトのリスト。 -
Observations– DataQualityObservation オブジェクトの配列。構造 50 個以下。ルールとアナライザーを評価した後に生成された観測値を表す
DataQualityObservationオブジェクトのリスト。 -
AggregatedMetrics– DataQualityAggregatedMetrics オブジェクト。行レベルの結果に基づく合格/不合格統計を含む、処理された行とルールの合計数を示す
DataQualityAggregatedMetricsオブジェクトの概要。
StartDataQualityRuleRecommendationRunRequest structure
Data Quality ルールのレコメンデーションリクエストのリクエスト。
フィールド
-
DataSource– 必須: DataSource オブジェクト。この実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– 必須: UTF-8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
CreatedRulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。ルールセットの名前。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
-
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。べき等性を保つために使用されるもので、同じリソースの複数のインスタンスを作成または起動しないように、ランダムな ID (UUID など) に設定することをお勧めします。
GetDataQualityRuleRecommendationRunResponse structure
Data Quality ルールのレコメンデーション実行のレスポンス。
フィールド
-
RunId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。この実行に関連付けられた一意の実行識別子。
-
DataSource– DataSource オブジェクト。この実行に関連付けられたデータソース (AWS Glue テーブル)。
-
Role– UTF–8 文字列。実行の結果を暗号化するために提供される IAM ロール。
-
NumberOfWorkers– 数値 (整数)。実行に使用される
G.1Xワーカーの数。デフォルトは 5 です。 -
Timeout– 数値 (整数)。1 以上。実行のタイムアウト (分)。これは、実行が終了済みになって
TIMEOUTステータスに入るまでに、その実行でリソースを消費できる最大時間です。デフォルト値は 2,880 分 (48 時間) です。 -
Status– UTF-8 文字列 (有効な値:RUNNING|FINISHED|FAILED|PENDING_EXECUTION|TIMED_OUT|CANCELING|CANCELED|RECEIVED_BY_TASKRUNNER)。この実行のステータス。
-
ErrorString– UTF–8 文字列。実行に関連付けられているエラー文字列。
-
StartedOn– タイムスタンプ。この実行の開始日時。
-
LastModifiedOn– タイムスタンプ。タイムスタンプ。このデータ品質ルールの推奨実行が変更された最後の時間ポイント。
-
CompletedOn– タイムスタンプ。この実行の完了日時。
-
ExecutionTime– 数値 (整数)。実行でリソースを消費した時間 (秒)。
-
RecommendedRuleset– UTF-8 文字列、1~65536 バイト長。開始ルールの推奨実行が完了すると、推奨ルールセット (ルールのセット) が作成されます。このメンバーには、これらのルールがデータ品質定義言語 (DQDL) 形式で格納されています。
-
CreatedRulesetName– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。実行によって作成されたルールセットの名前。
-
DataQualitySecurityConfiguration– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。データ品質暗号化オプションを使用して作成されたセキュリティ設定の名前。
BatchPutDataQualityStatisticAnnotation action (Python: batch_put_data_quality_statistic_annotation)
特定のデータ品質統計のデータポイントを経時的に注釈付けします。API には、InclusionAnnotation 入力の一部として profileID および statisticID の両方が必要です。API は、複数のプロファイル間で単一の statisticId にのみ機能します。
リクエスト
-
InclusionAnnotations– 必須: DatapointInclusionAnnotation オブジェクトの配列。DatapointInclusionAnnotationのリスト。InclusionAnnotations には profileId および statisticId が含まれている必要があります。複数の InclusionAnnotations がある場合、リストは複数の profileId 間で単一の statisticId を参照する必要があります。 -
ClientToken– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。クライアントトークン。
応答
-
FailedInclusionAnnotations– AnnotationError オブジェクトの配列。AnnotationErrorのリスト。
エラー
EntityNotFoundExceptionInvalidInputExceptionInternalServiceExceptionResourceNumberLimitExceededException
GetDataQualityModel アクション (Python: get_data_quality_model)
モデルのトレーニングステータスを詳細情報 (CompletedOn, StartedOn, FailureReason) とともに取得します。
リクエスト
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
ProfileId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
レスポンス
-
Status– UTF-8 文字列 (有効な値:RUNNING|SUCCEEDED|FAILED)。データ品質モデルのトレーニングステータス。
-
StartedOn– タイムスタンプ。データ品質モデルトレーニングが開始されたタイムスタンプ。
-
CompletedOn– タイムスタンプ。データ品質モデルトレーニングが完了したときのタイムスタンプ。
-
FailureReason– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。トレーニング失敗の理由。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityModelResult action (Python: get_data_quality_model_result)
特定のプロファイル ID の統計の予測を取得します。
リクエスト
-
StatisticId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
ProfileId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
レスポンス
-
CompletedOn– タイムスタンプ。データ品質モデルトレーニングが完了したときのタイムスタンプ。
-
Model– StatisticModelResult オブジェクトの配列。StatisticModelResultのリスト。
エラー
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityStatisticAnnotations action (Python: list_data_quality_statistic_annotations)
データ品質統計の注釈を取得します。
リクエスト
-
StatisticId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。統計 ID。
-
ProfileId– UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。プロファイル ID。
-
TimestampFilter– TimestampFilter オブジェクト。タイムスタンプフィルター。
-
MaxResults– 1~1000 の数値 (整数)。このリクエストで返す結果の最大数。
-
NextToken– UTF–8 文字列。次の結果一式を取得するためのページネーショントークン。
応答
-
Annotations– StatisticAnnotation オブジェクトの配列。統計に適用された
StatisticAnnotationのリスト -
NextToken– UTF–8 文字列。次の結果一式を取得するためのページネーショントークン。
エラー
InvalidInputExceptionInternalServiceException
PutDataQualityProfileAnnotation action (Python: put_data_quality_profile_annotation)
プロファイルのすべてのデータポイントに注釈を付けます。
リクエスト
-
ProfileId– 必須: UTF-8 文字列。1~255 バイト長。Single-line string pattern に一致。注釈を付けるデータ品質モニタリングプロファイルの ID。
-
InclusionAnnotation– 必須: UTF-8 文字列 (有効な値:INCLUDE|EXCLUDE)。プロファイルに適用する包含注釈値。
レスポンス
応答パラメータはありません。
エラー
EntityNotFoundExceptionInvalidInputExceptionInternalServiceException