Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connexions Snowflake

Vous pouvez utiliser AWS Glue pour Spark pour lire et écrire dans des tables dans Snowflake dans la version 4.0 et ultérieure d'AWS Glue. Vous pouvez lire depuis Snowflake à l'aide d'une requête SQL. Vous pouvez vous connecter à Snowflake à l'aide d'un nom d'utilisateur et d'un mot de passe. Vous pouvez vous référer aux informations d'identification Snowflake stockées dans AWS Secrets Manager via le catalogue de données AWS Glue. Les informations d'identification Snowflake du catalogue de données pour AWS Glue pour Spark sont stockées séparément des informations d'identification du catalogue de données Snowflake pour les Crawlers. Vous devez choisir un type de connexion SNOWFLAKE et non un type de connexion JDBC configuré pour se connecter à Snowflake.

Pour en savoir plus sur Snowflake, consultez le site web Snowflake. Pour plus d'informations à propos de Snowflake sur AWS, consultez Snowflake Data Warehouse on Amazon Web Services.

Configuration des connexions Snowflake

Il n'y a aucune condition préalable à AWS pour se connecter aux bases de données Snowflake disponibles sur Internet.

Vous pouvez également effectuer la configuration suivante pour gérer vos informations d'identification de connexion avec AWS Glue.

Dans les situations suivantes, vous pouvez avoir besoin des éléments suivants :

Lecture à partir de tables Snowflake

Conditions préalables : une table Snowflake à partir de laquelle vous souhaitez lire. Vous aurez besoin du nom de la table Snowflake, tableName. Vous aurez besoin de votre URL Snowflake snowflakeUrl, de votre nom d'utilisateur snowflakeUser et de votre mot de passe snowflakePassword. Si votre utilisateur Snowflake ne dispose pas d'un espace de noms par défaut, vous aurez besoin du nom de la base de données Snowflake, databaseName et du nom du schéma schemaName. De plus, si votre utilisateur Snowflake ne dispose pas d'un entrepôt par défaut, vous aurez besoin d'un nom d'entrepôt warehouseName.

Par exemple :

Conditions préalables supplémentaires : suivez les étapes Pour gérer vos informations d'identification de connexion avec AWS Glue afin de configurer snowflakeUrl, snowflakeUsername et snowflakePassword. Pour passer en revue ces étapes, reportez-vous à la section précédente, Configuration des connexions Snowflake. Pour sélectionner la connexion réseau supplémentaire à laquelle se connecter, nous utiliserons le paramètre connectionName.

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

De plus, vous pouvez utiliser les paramètres autopushdown et query pour lire une partie d'une table Snowflake. Cela peut être nettement plus efficace que de filtrer vos résultats une fois qu'ils ont été chargés dans Spark. Prenons un exemple où toutes les ventes sont stockées dans la même table, mais où vous n'avez besoin d'analyser que les ventes d'un certain magasin pendant les jours fériés. Si ces informations sont stockées dans la table, vous pouvez utiliser le pushdown de prédicat pour récupérer les résultats comme suit :

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Écrire sur les tables Snowflake

Conditions préalables : une base de données Snowflake sur laquelle vous souhaitez écrire. Vous aurez besoin d'un nom de table actuel ou souhaité, tableName. Vous aurez besoin de votre URL Snowflake snowflakeUrl, de votre nom d'utilisateur snowflakeUser et de votre mot de passe snowflakePassword. Si votre utilisateur Snowflake ne dispose pas d'un espace de noms par défaut, vous aurez besoin du nom de la base de données Snowflake, databaseName et du nom du schéma schemaName. De plus, si votre utilisateur Snowflake ne dispose pas d'un entrepôt par défaut, vous aurez besoin d'un nom d'entrepôt warehouseName.

Par exemple :

Conditions préalables supplémentaires : suivez les étapes Pour gérer vos informations d'identification de connexion avec AWS Glue afin de configurer snowflakeUrl, snowflakeUsername et snowflakePassword. Pour passer en revue ces étapes, reportez-vous à la section précédente, Configuration des connexions Snowflake. Pour sélectionner la connexion réseau supplémentaire à laquelle se connecter, nous utiliserons le paramètre connectionName.

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Référence des options de connexion Snowflake

Le type de connexion Snowflake accepte les options de connexion suivantes :

Vous pouvez récupérer certains paramètres de cette section à partir d'une connexion au catalogue de données (sfUrl, sfUser, sfPassword), auquel cas vous n'êtes pas obligé de les fournir. Pour ce faire, fournissez le paramètre connectionName.

Vous pouvez récupérer les paramètres de connexion à partir des secrets AWS Secrets Manager à l’aide du paramètre secretId. Lorsque vous utilisez Secrets Manager, les propriétés Spark suivantes peuvent être automatiquement récupérées si elles sont présentes dans le secret :

Ordre de priorité des propriétés : lorsque la même propriété est spécifiée à plusieurs emplacements, AWS Glue utilise l’ordre de priorité suivant (du plus haut au plus bas) :

Les paramètres suivants sont généralement utilisés lors de la connexion à Snowflake.

Les options suivantes sont utilisées pour configurer des comportements spécifiques lors du processus de connexion à Snowflake.

En outre, certaines des options disponibles sur le connecteur Snowflake Spark peuvent être prises en charge dans AWS Glue. Pour plus d'informations sur les options disponibles sur le connecteur Snowflake Spark, consultez la section Réglage des options de configuration du connecteur dans la documentation Snowflake.

Méthodes d’authentification Snowflake

AWS Glue prend en charge les méthodes d’authentification suivantes pour la connexion à Snowflake :

Les deux méthodes d’authentification sont entièrement prises en charge et peuvent être configurées à l’aide de n’importe quelle combinaison d’options de connexion, de connexions du catalogue de données ou de secrets AWS Secrets Manager.

Limites du connecteur Snowflake

La connexion à Snowflake avec AWS Glue pour Spark est soumise aux limitations suivantes.