Snowflake 接続

AWS Glue for Spark を使用して、AWS Glue 4.0 以降のバージョンの Snowflake のテーブルからの読み込みとテーブルへの書き込みを行うことができます。Snowflake からの読み込みは SQL クエリで行うことができます。ユーザーとパスワードを使用して Snowflake に接続できます。AWS Glue データカタログを使用して AWS Secrets Manager に保存されている Snowflake 認証情報を参照できます。AWS Glue for Spark のデータカタログ Snowflake 認証情報は、クローラー用のデータカタログ Snowflake 認証情報とは別に保存されます。Snowflake に接続するように設定された JDBC タイプの接続ではなく、SNOWFLAKE タイプの接続を選択する必要があります。

Snowflake の詳細については、「Snowflake ウェブサイト」を参照してください。AWS 上の Snowflake の詳細については、「Snowflake Data Warehouse on Amazon Web Services」を参照してください。

Snowflake 接続の設定

インターネット経由で利用できる Snowflake データベースに接続するための AWS の前提条件はありません。

オプションで、次の設定を実行して AWS Glue で接続認証情報を管理できます。

次のような状況では、以下が必要になることがあります。

Snowflake テーブルからの読み込み

前提条件: 読み込む目的の Snowflake テーブルがあること。Snowflake のテーブル名 tableName が必要になります。Snowflake の URL snowflakeUrl、ユーザー名 snowflakeUser、パスワード snowflakePassword が必要です。Snowflake ユーザーにデフォルトの名前空間が設定されていない場合は、Snowflake データベース名 databaseName、スキーマ名 schemaName が必要になります。さらに、Snowflake ユーザーにデフォルトのウェアハウスセットがない場合は、ウェアハウス名 warehouseName が必要になります。

例:

その他の前提条件: 「AWS Glue で接続認証情報を管理するには」の手順を実行して、snowflakeUrl、snowflakeUsername、および snowflakePassword を設定します。これらのステップを確認するには、前のセクション「Snowflake 接続の設定」を参照してください。接続するその他のネットワーク接続を選択するには、connectionName パラメータを使用します。

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

さらに、autopushdown および query パラメータを使用して Snowflake テーブルの一部を読み込むことができます。これは、Spark に読み込まれた後に結果をフィルタリングするよりもはるかに効率的です。すべての売上が同じテーブルに格納されているが、分析する必要があるのは休日の特定の店舗の売上だけだという例を考えてみましょう。その情報がテーブルに格納されている場合は、述語プッシュダウンを使用して次のように結果を取得できます。

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Snowflake テーブルへの書き込み

前提条件: 書き込み先の Snowflake データベース。現在の、または希望するテーブル名 tableName が必要です。Snowflake の URL snowflakeUrl、ユーザー名 snowflakeUser、パスワード snowflakePassword が必要です。Snowflake ユーザーにデフォルトの名前空間が設定されていない場合は、Snowflake データベース名 databaseName、スキーマ名 schemaName が必要になります。さらに、Snowflake ユーザーにデフォルトのウェアハウスセットがない場合は、ウェアハウス名 warehouseName が必要になります。

例:

その他の前提条件: 「AWS Glue で接続認証情報を管理するには」の手順を実行して、snowflakeUrl、snowflakeUsername、および snowflakePassword を設定します。これらのステップを確認するには、前のセクション「Snowflake 接続の設定」を参照してください。接続するその他のネットワーク接続を選択するには、connectionName パラメータを使用します。

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Snowflake 接続オプションのリファレンス

Snowflake 接続タイプには次の接続オプションがあります。

このセクションのパラメータの一部はデータカタログ接続 (sfUrl、sfUser、sfPassword) から取得できます。その場合は指定する必要はありません。これを行うには、connectionName パラメータを含めます。

secretId パラメータを使用して、AWS Secrets Manager シークレットから接続パラメータを取得できます。Secrets Manager を使用する際、次の Spark プロパティがシークレットに存在する場合、自動的に取得できます。

プロパティの優先順位: 同じプロパティが複数の場所で指定されている場合、AWS Glue によって次の優先順位 (最高から最低) が使用されます。

以下のパラメータは、Snowflake に接続する際に一般的に使用されます。

以下のオプションを使用して、Snowflake への接続プロセス中の特定の動作を設定します。

さらに、Snowflake Spark コネクタで使用できるオプションの一部が AWS Glue でサポートされている場合があります。Snowflake Spark コネクタで使用できるオプションの詳細については、Snowflake ドキュメントの「コネクタの構成オプションの設定」を参照してください。

Snowflake 認証方法

AWS Glue は、Snowflake に接続するために次の認証方法をサポートしています。

どちらの認証方法とも完全にサポートされており、接続オプション、データカタログ接続、AWS Secrets Manager シークレットの任意の組み合わせを使用して設定できます。

Snowflake コネクタの制限事項

AWS Glue for Spark を使用してスノーフレークに接続することには、以下の制限があります。