Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Programmgesteuertes Erstellen einer Profiljobkonfiguration in AWS Glue DataBrew

In diesem Abschnitt finden Sie Beschreibungen der Schritte und Funktionen von Profiljobs, die Sie programmgesteuert verwenden können. Sie können sie entweder über AWS Command Line Interface(AWS CLI) oder mithilfe eines der AWS SDKs verwenden.

In einem Profiljob können Sie eine Konfiguration anpassen, um zu steuern, wie Ihr DataBrew Datensatz ausgewertet wird. Sie können die Konfiguration auf einen Datensatz oder auf bestimmte Spalten anwenden. Sie können die Konfiguration erstellen, wenn Sie einen Profiljob erstellen, und sie dann jederzeit aktualisieren.

Eine Profilkonfigurationsstruktur besteht aus vier Teilen:

Im Folgenden sehen Sie ein Beispiel.

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns Abschnitt

Legen Sie im ProfileColumns Abschnitt Ihrer Struktur die Spalten aus Ihrem Datensatz fest, die Sie in Ihrem Profiljob auswerten möchten. ProfileColumnsist eine Liste von Spaltenselektoren (Selectors). Sie können entweder einen Spaltennamen oder einen regulären Ausdruck in einer Spaltenauswahl angeben. Ein Beispiel folgt.

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

Wenn diese ProfileColumns Option angegeben ist, werden nur Spalten, deren Namen mit einem Namen oder einem regulären Ausdruck in ProfileColumns übereinstimmen, in den Profiljob aufgenommen. Wenn der Profiljob den Datentyp einer ausgewählten Spalte nicht unterstützt, wird die ausgewählte Spalte während der Jobausführung DataBrew übersprungen.

Wenn nicht ProfileColumns definiert, wertet der Profiljob alle unterstützten Spalten aus. Unterstützte Spalten sind Spalten, die Daten eines unterstützten Datentyps enthalten:ByteType,ShortType,IntegerType,LongType,FloatType, DoubleTypeString, oder. Boolean

DatasetStatisticsConfiguration Abschnitt

Im DatasetStatisticsConfiguration Abschnitt Ihrer Struktur können Sie eine Konfiguration für Bewertungen zwischen den Spalten erstellen. Die Konfiguration umfasst IncludedStatistics undOverrides. Ein Beispiel folgt.

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

Sie können Bewertungen auswählen, die Sie haben möchten, indem Sie Bewertungsnamen hinzufügenIncludedStatistics. Ein Beispiel folgt.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

Wenn Sie angebenIncludedStatistics, dass nur Bewertungen in der Liste in der Profilaufgabe enthalten sind. Wenn IncludedStatistics nicht definiert, führt der Profiljob alle unterstützten Evaluierungen mit Standardeinstellungen aus. Sie können alle Bewertungen ausschließen, indem Sie NONE zu IncludedStatistics hinzufügen. Ein Beispiel folgt.

"IncludedStatistics": ["NONE"]

Konfigurierbare Statistiken auf Datensatzebene

In dem DatasetStatisticsConfiguration Abschnitt Ihrer Struktur unterstützt ein Profiljob die in der folgenden Tabelle aufgeführten Bewertungen.

In IncludedStatistics können Sie die Standardeinstellungen jeder Auswertung überschreiben, indem Sie eine Überschreibung hinzufügen. Jede Überschreibung umfasst den Namen einer bestimmten Auswertung und eine Parameterzuordnung.

DatasetStatisticsConfigurationIn unterstützt ein Profiljob die CORRELATION Überschreibung. Diese Überschreibung berechnet den Korrelationskoeffizienten nach Pearson zwischen zwei Spalten aus einer Liste ausgewählter Spalten. In der Standardeinstellung werden die ersten 10 numerischen Spalten ausgewählt. Sie können entweder eine Anzahl von Spalten oder eine Liste von Spaltenselektoren angeben, um die Standardeinstellung zu überschreiben.

CORRELATIONverwendet diese Parameter:

Ein Beispiel folgt.

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations Abschnitt

Im ColumnStatisticsConfigurations Abschnitt Ihrer Struktur können Sie Konfigurationen für bestimmte Spalten erstellen. ColumnStatisticsConfigurationsist eine Liste von ColumnStatisticsConfiguration Einstellungen. Darin ColumnStatisticsConfiguration gibt Selectors es eine Liste von Spaltenselektoren und Statistics für die Konfiguration von Statistiken. Ein Beispiel folgt.

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectorsist eine Liste von Spaltenselektoren. Wie bei ProfileColumns können Sie in jedem Spaltenselektor entweder einen Spaltennamen oder einen regulären Ausdruck angeben. Wenn Sie angebenSelectors, wird die Spaltenkonfiguration auf Spalten angewendet, die einem beliebigen Spaltenselektor in entsprechen. Selectors Andernfalls wird die Konfiguration auf alle unterstützten Spalten angewendet.

StatisticsIn können Sie die Einstellungen ausgewählter Spalten überschreiben. Wie beiDatasetStatisticsConfiguration, Statistics hat IncludedStatistics undOverrides.

Um die gewünschten Bewertungen auszuwählen, fügen Sie Bewertungsnamen zu hinzuIncludedStatistics.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

Wenn Sie angebenIncludedStatistics, sind nur die Bewertungen in der Liste in der Profilaufgabe enthalten. Andernfalls führt der Profiljob alle unterstützten Auswertungen mit Standardeinstellungen aus.

Sie können alle Bewertungen ausschließen, indem Sie NONE zu hinzufügenIncludedStatistics.

"IncludedStatistics": ["NONE"]                    

In einigen Fällen gibt es möglicherweise mehrere Konfigurationen mit unterschiedlichen KonfigurationenIncludedStatistics, die Sie auf dieselbe Spalte anwenden können. ColumnStatisticsConfigurations In diesen Fällen wählt der Profiljob die letzte Konfiguration aus ColumnStatisticsConfigurations und wendet IncludedStatistics sie auf die ausgewählte Spalte an. Eine neue Konfiguration überschreibt ältere Konfigurationen.

Konfigurierbare Statistiken auf Spaltenebene

ColumnStatisticsConfigurationsIn unterstützt ein Profiljob die in der folgenden Tabelle aufgeführten Bewertungen.

Ein unterstützter Datentyp number in dieser Tabelle bedeutet, dass der Datentyp des Attributs einer der folgenden ist: ByteTypeShortType,IntegerType,LongType,FloatType, oderDoubleType.

In IncludedStatistics können Sie die Standardparameter jeder Auswertung überschreiben, indem Sie eine Überschreibung hinzufügen. Jede Überschreibung umfasst den Namen einer bestimmten Auswertung und eine Parameterzuordnung.

Parameter für ColumnStatisticsConfigurations Spalten

ColumnStatisticsConfigurationsIn unterstützt ein Profiljob die folgenden Parameter.

In einigen Fällen gibt es möglicherweise mehrere Konfigurationen mit unterschiedlichen KonfigurationenIncludedStatistics, die Sie auf dieselbe Spalte anwenden können. ColumnStatisticsConfigurations In diesen Fällen wählt der Profiljob die letzte Konfiguration aus ColumnStatisticsConfigurations und wendet IncludedStatistics sie auf die ausgewählte Spalte an. Eine neue Konfiguration überschreibt ältere Konfigurationen.

MAXIMUM_VALUES

Listet die Maximalwerte in der numerischen Spalte und ihre Anzahl auf. Die Standardlistengröße ist 5. Sie können die Listengröße überschreiben, indem Sie einen Wert für angebensampleSize.

Einstellungen

sampleSize— Die Größe der Liste, die die maximale Anzahl und Anzahl von Werten in der numerischen Spalte enthält. Dieser Wert sollte größer als 0 sein. Wird verwendet"ALL", um alle Werte aufzulisten.

Beispiel

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

MINIMALWERTE

Listet die Mindestwerte in der numerischen Spalte und ihre Anzahl auf. Die Standardlistengröße ist 5. Sie können die Listengröße überschreiben, indem Sie einen Wert für angebensampleSize.

Einstellungen

sampleSize— Die Größe der Liste, die die maximale Anzahl und Anzahl von Werten in der numerischen Spalte enthält. Dieser Wert sollte größer als 0 sein. Wird verwendet"ALL", um alle Werte aufzulisten.

Beispiel

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

DIE MEISTEN GEBRÄUCHLICHSTEN WERTE

Listet die häufigsten Werte in der Spalte und ihre Anzahl auf. Die Standardlistengröße ist 50. Sie können die Listengröße überschreiben, indem Sie einen Wert für angebensampleSize.

Einstellungen

sampleSize— Die Größe der Liste, die die maximale Anzahl und Anzahl von Werten in der numerischen Spalte enthält. Dieser Wert sollte größer als 0 sein. Wird verwendet"ALL", um alle Werte aufzulisten.

Beispiel

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

OUTLIER_DETECTION

Erkennt Ausreißer in der numerischen Spalte oder Zeichenkettenspalte (basierend auf der Zeichenkettenlänge) mit dem Z_Score-Algorithmus.

Ihr Jobprofil zählt die Anzahl der Ausreißer und generiert eine Beispielliste mit Ausreißern und ihren Z-Werten. Die Stichprobenliste ist nach dem absoluten Wert des Z-Werts sortiert. Die Standardlistengröße ist 50.

Der Z_Score-Algorithmus identifiziert einen Wert als Ausreißer, wenn er um mehr als den Schwellenwert für die Standardabweichung vom Mittelwert abweicht. Der Standardschwellenwert für Ausreißer ist 3.

Sie können einen weiteren Schwellenwert, einen milden Schwellenwert, angeben, um weitere Informationen zu erhalten. Ihr milder Schwellenwert sollte unter Ihrem Schwellenwert liegen. Diese Funktion ist standardmäßig ausgeschaltet. Wenn ein leichter Schwellenwert angegeben ist, gibt Ihr Profiljob eine weitere Zählung zurückzScoreMildOutliersCount. zScoreOutliersSampleKann in diesem Fall auch eine Stichprobe von Ausreißern mit leichtem Schwellenwert enthalten.

Einstellungen

Beispiel

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

VALUE_DISTRIBUTION

Misst die Verteilung der Werte in der Spalte anhand der Wertebereiche. Ein Jobprofil gruppiert Werte aus einer numerischen Spalte oder Zeichenkettenspalte (basierend auf der Länge der Zeichenfolge) in Abschnitte nach numerischen Bereichen und generiert eine Liste von Abschnitten. Abschnitte sind aufeinander folgend, und die Obergrenze für einen Bereich ist die Untergrenze für den nächsten Bereich.

Einstellungen

binNumber— Anzahl der Fächer. Dieser Wert sollte größer als 0 sein.

Beispiel

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

Z_SCORE_DISTRIBUTION

Misst die Verteilung der Z-Werte von Werten in einer numerischen Spalte. Ein Jobprofil gruppiert Z-Werte von Werten nach numerischen Bereichen in Abschnitte und generiert eine Liste von Abschnitten. Abschnitte sind aufeinander folgend, und die Obergrenze für einen Bereich ist die Untergrenze für den nächsten Bereich.

Einstellungen

binNumber— Anzahl der Fächer. Dieser Wert sollte größer als 0 sein.

Beispiel

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

EntityDetectorConfiguration Abschnitt zur Konfiguration von PII

Im EntityDetectorConfiguration Abschnitt Ihrer Struktur können Sie die Entitätstypen in Ihrem Datensatz konfigurieren, die Sie als persönlich identifizierbare Informationen (PII) für eine Profilstelle erkennen möchten DataBrew .

EntityTypes

Sie konfigurieren die Entitätstypen DataBrew , die Sie als personenbezogene Daten für Ihre Profilstelle erkennen möchten. Wenn undefiniert EntityDetectorConfiguration ist, ist die Entitätserkennung deaktiviert. Die folgenden Entitätstypen können in Ihrem Datensatz erkannt werden:

Die Entitätstypgruppe USA_ALL wird ebenfalls unterstützt und umfasst alle oben genannten Entitätstypen außer PERSON_NAME undDATE.

Der Typ von EntityTypes ist ein Array von Zeichenketten.

AllowedStatistics

Konfigurieren Sie die Statistiken, die für Spalten ausgeführt werden dürfen, die erkannte Entitäten enthalten. Wenn AllowedStatistics nicht definiert, werden keine Statistiken für Spalten berechnet, die erkannte Entitäten enthalten. Eine Liste der gültigen Werte Konfigurierbare Statistiken auf Spaltenebene für den Parameter finden Sie unter. AllowedStatistics

Der Typ von AllowedStatistics ist ein Array von AllowedStatistics Objekten.