翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

でプロファイルジョブ設定をプログラムで構築するAWS Glue DataBrew

このセクションでは、プログラムで使用できるプロファイルジョブのステップと関数について説明します。これらは、AWS Command Line Interface(AWS CLI) から、またはいずれかのAWS SDKs を使用して使用できます。

プロファイルジョブでは、DataBrew がデータセットを評価する方法を制御するように設定をカスタマイズできます。設定をデータセットに適用するか、特定の列に適用できます。プロファイルジョブの作成時に設定を構築し、いつでも更新できます。

プロファイル設定構造には 4 つの部分があります。

次に例を示します。

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns セクション

構造の ProfileColumnsセクションで、プロファイルジョブで評価するデータセットの列を設定します。 ProfileColumnsは列セレクタ (Selectors) のリストです。列セレクターでは、列名または正規表現を指定できます。以下に例を示します。

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

ProfileColumns を指定すると、 の名前または正規表現に一致する名前の列のみがプロファイルジョブProfileColumnsに含まれます。プロファイルジョブが選択した列のデータ型をサポートしていない場合、DataBrew はジョブの実行中に選択した列をスキップします。

ProfileColumns が未定義の場合、プロファイルジョブはサポートされているすべての列を評価します。サポートされている列は、サポートされているデータ型のデータを含む列です: ByteType、ShortType、、IntegerType、LongType、String、、または FloatType DoubleTypeBoolean。

DatasetStatisticsConfiguration セクション

構造の DatasetStatisticsConfigurationセクションで、列間評価の設定を構築できます。設定には IncludedStatisticsと が含まれますOverrides。以下に例を示します。

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

に評価名を追加することで、必要な評価を選択できますIncludedStatistics。以下に例を示します。

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

を指定するとIncludedStatistics、リスト内の評価のみがプロファイルジョブに含まれます。IncludedStatistics が未定義の場合、プロファイルジョブはサポートされているすべての評価をデフォルト設定で実行します。に NONE を追加することで、すべての評価を除外できますIncludedStatistics。以下に例を示します。

"IncludedStatistics": ["NONE"]

データセットレベルで設定可能な統計

構造の DatasetStatisticsConfigurationセクションで、プロファイルジョブは、次の表に示す評価をサポートします。

ではIncludedStatistics、オーバーライドを追加することで、各評価のデフォルト設定を上書きできます。各オーバーライドには、特定の評価の名前とパラメータマップが含まれます。

ではDatasetStatisticsConfiguration、プロファイルジョブはCORRELATIONオーバーライドをサポートします。このオーバーライドは、選択した列のリストから 2 つの列間のピアソン相関係数を計算します。デフォルト設定では、最初の 10 個の数値列が選択されています。列の数または列セレクタのリストのいずれかを指定して、デフォルト設定を上書きできます。

CORRELATION は、次のパラメータを受け取ります。

以下に例を示します。

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations セクション

構造の ColumnStatisticsConfigurationsセクションでは、特定の列の設定を構築できます。 ColumnStatisticsConfigurationsはColumnStatisticsConfiguration設定のリストです。にはColumnStatisticsConfiguration、Selectors、列セレクタのリスト、および統計の設定Statistics用の があります。以下に例を示します。

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectors は列セレクタのリストです。と同様にProfileColumns、各列セレクタで列名または正規表現を指定できます。を指定するとSelectors、 の任意の列セレクタに一致する列に列設定が適用されますSelectors。それ以外の場合、設定はサポートされているすべての列に適用されます。

ではStatistics、選択した列の設定を上書きできます。と同様にDatasetStatisticsConfiguration、 Statisticsには IncludedStatisticsと がありますOverrides。

必要な評価を選択するには、 に評価名を追加しますIncludedStatistics。

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

を指定するとIncludedStatistics、リスト内の評価のみがプロファイルジョブに含まれます。それ以外の場合、プロファイルジョブはサポートされているすべての評価をデフォルト設定で実行します。

を NONEに追加することで、すべての評価を除外できますIncludedStatistics。

"IncludedStatistics": ["NONE"]                    

場合によっては、同じ列に適用IncludedStatisticsできる異なる設定ColumnStatisticsConfigurationsが に複数存在することがあります。このような場合、プロファイルジョブは で最後の設定を選択しColumnStatisticsConfigurations、選択した列IncludedStatisticsに適用します。新しい設定は、古い設定を上書きします。

列レベルで設定可能な統計

ではColumnStatisticsConfigurations、プロファイルジョブは、次の表に示す評価をサポートします。

このテーブルnumberでサポートされている のデータ型は、属性のデータ型が ByteType、ShortType、、、IntegerTypeLongTypeFloatType、または のいずれかであることを意味しますDoubleType。

ではIncludedStatistics、オーバーライドを追加することで、各評価のデフォルトパラメータをオーバーライドできます。各オーバーライドには、特定の評価の名前とパラメータマップが含まれます。

ColumnStatisticsConfigurations 列のパラメータ

ではColumnStatisticsConfigurations、プロファイルジョブは次のパラメータをサポートします。

場合によっては、同じ列に適用IncludedStatisticsできる異なる設定ColumnStatisticsConfigurationsが に複数存在することがあります。このような場合、プロファイルジョブは で最後の設定を選択しColumnStatisticsConfigurations、選択した列IncludedStatisticsに適用します。新しい設定は、古い設定を上書きします。

MAXIMUM_VALUES

数値列の最大値とその数を一覧表示します。デフォルトのリストサイズは 5 です。に値を指定することで、リストサイズを上書きできますsampleSize。

設定

sampleSize – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示"ALL"します。

例

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

最小値

数値列の最小値とその数を一覧表示します。デフォルトのリストサイズは 5 です。に値を指定することで、リストサイズを上書きできますsampleSize。

設定

sampleSize – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示"ALL"します。

例

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

MOST_COMMON_VALUES

列内の最も一般的な値とその数を一覧表示します。デフォルトのリストサイズは 50 です。に値を指定することで、リストサイズを上書きできますsampleSize。

設定

sampleSize – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示"ALL"します。

例

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

OUTLIER_DETECTION

Z_score アルゴリズムによって数値列または文字列列 (文字列の長さに基づく) の外れ値を検出します。

プロファイルジョブは外れ値をカウントし、外れ値とその z スコアのサンプルリストを生成します。サンプルリストは、z スコアの絶対値によって順序付けられます。デフォルトのリストサイズは 50 です。

Z_Score アルゴリズムは、平均値から標準偏差のしきい値を超える外れ値として値を識別します。デフォルトの外れ値のしきい値は 3 です。

詳細情報を取得するには、しきい値であるしきい値をもう 1 つ指定できます。しきい値はしきい値より小さくする必要があります。この機能はデフォルトでオフになっています。しきい値を指定すると、プロファイルジョブはさらに 1 つのカウント を返しますzScoreMildOutliersCount。また、この場合、 にはしきい値の異常値のサンプルを含めるzScoreOutliersSampleことができます。

設定

例

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

VALUE_DISTRIBUTION

値の範囲によって列の値の分布を測定します。プロファイルジョブは、数値列または文字列列 (文字列の長さに基づく) の値を数値範囲のビンにグループ化し、ビンのリストを生成します。ビンは連続しており、バケットの上限は次のバケットの上限です。

設定

binNumber – ビンの数。この値は 0 より大きくする必要があります。

例

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

Z_SCORE_DISTRIBUTION

数値列における値の z スコアの分布を測定します。プロファイルジョブは、値の z スコアを数値範囲でビンにグループ化し、ビンのリストを生成します。ビンは連続しており、バケットの上限は次のバケットの上限です。

設定

binNumber – ビンの数。この値は 0 より大きくする必要があります。

例

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

PII を設定するための EntityDetectorConfiguration セクション

構造の EntityDetectorConfigurationセクションで、DataBrew がプロファイルジョブの個人を特定できる情報 (PII) として検出するデータセット内のエンティティタイプを設定できます。

EntityTypes

DataBrew がプロファイルジョブの PII として検出するエンティティタイプを設定します。EntityDetectorConfiguration が未定義の場合、エンティティ検出は無効になります。データセットでは、次のエンティティタイプを検出できます。

エンティティタイプグループUSA_ALLもサポートされており、 PERSON_NAMEと を除く上記のすべてのエンティティタイプが含まれていますDATE。

のタイプEntityTypesは文字列の配列です。

AllowedStatistics

検出されたエンティティを含む列で実行できる統計を設定します。AllowedStatistics が未定義の場合、検出されたエンティティを含む列では統計は計算されません。AllowedStatistics パラメータの有効な値のリスト列レベルで設定可能な統計については、「」を参照してください。

のタイプは オブジェクトの配列AllowedStatisticsですAllowedStatistics。