REST API 接続 - AWS Glue
AWS Glue での REST 接続タイプの作成

REST API 接続

AWS Glue コネクタは、 AWS と外部の両方の幅広いデータソースをカバーします。ただし、ネイティブ AWS Glue コネクタがサポートしていない独自のシステムや新しいプラットフォームが存在する場合があります。AWS Glue REST コネクタは、ネイティブにサポートされているコネクタと同じように機能する REST ベースの API を持つデータソース用にカスタマイズされた、AWS Glue コネクタを設定するメカニズムを提供します。この機能は、これらのデータソースにアクセスするためにカスタムライブラリまたは ETL スクリプトを構築する必要性を最小限に抑えます。

REST API コネクタを有効にするために、AWS Glue は新しい AWS リソース - 接続タイプを導入しました。次のオペレーションを使用して、REST API ベースのデータソースへの接続を管理できます。

  • RegisterConnectionType - 指定された設定に基づいて、AWS Glue の接続タイプを登録します。リクエスト構造については、「RegisterConnectionType」を参照してください。

  • DeleteConnectionType - AWS Glue の接続タイプの設定を削除します。「DeleteConnectionType」を参照してください。

  • DescribeConnectionType - AWS Glue の特定の接続タイプでサポートされているオプションの詳細を返します。「DescribeConnectionType」を参照してください。

  • ListConnectionTypes - 接続タイプのリストと、各 AWS Glue 接続タイプでサポートされている内容の概要を返します。「ListConnectionTypes」を参照してください。

AWS Glue での REST 接続タイプの作成

REST 接続タイプを作成するには、AWS CLI、 AWS SDK または AWS API を使用して RegisterConnectionType API を呼び出します。設定の詳細は、接続先の REST API に基づいて提供されます。

注記

AWS Glue コンソールを使用して REST 接続を作成できない

前提条件

AWS Glue REST API コネクタの設定を試行する前に、REST API の内部機能について理解しておく必要があります。これには、データソースの REST API ドキュメントと、リクエスト/レスポンス構造を検査するためのツールがあると役立ちます。

REST API の次のプロパティを特定する必要があります。

  • REST エンドポイントへの呼び出しに使用される認証メカニズム。 AWS GlueREST API コネクタは、基本認証、OAuth2 - ClientCredentials、OAuth2 - Authorization Code、OAuth2 - JWT、カスタム認証をサポートしています。

  • REST エンドポイントおよび関連するメタデータ (フィールド名やデータ型など) を介して転送できるエンティティ (データオブジェクト）。

  • HTTP リクエストとレスポンス構造。この構造には、HTTP メソッド、エンドポイント URL、ヘッダー、クエリパラメータ、リクエスト本文とレスポンスペイロードの形式が含まれます。

  • ページ分割スキーム。 AWS GlueREST API コネクタは、 cursor-based と offset-based のページ分割という 2 つのページ分割スキームをサポートしています。

RegisterConnectionType

指定された設定に基づいて AWS Glue の ConnectionType を登録します。ConnectionType リソースは、データソースによるリクエストとレスポンスの解釈方法の詳細を保存する新しい AWS Glue リソースです。現在、REST プロトコルのみがサポートされています。次のような REST API ソースの詳細がカプセル化されます。

  • 接続プロパティ - REST API に接続するための BaseUrl と、AWS GlueCreateConnection 中に入力を行うために必要な追加のリクエストパラメータを定義します。

  • 認証設定 - REST API へのリクエストを認証する方法を定義します。この設定は、接続タイプの AWS Glue 接続を作成するときに使用されます。

  • REST 設定 - REST API ソースからデータを読み取るための HTTP リクエストとレスポンスの設定を定義します。次のプロパティは、グローバルレベルまたはエンティティレベルで設定する必要があります。

    • リクエストメソッド - REST HTTP リメソッドを定義します。

    • レスポンス設定 - API レスポンスの解釈方法を定義します (本文のレコードまたはエラーの場所を含む）。

    • ページ分割設定 - REST API が結果のレコードをページ分割するために使用する戦略と、ページ分割プロパティの送信/取得方法を定義します。

    • 検証エンドポイント設定 - AWS Glue接続を検証するために呼び出すエンドポイントを定義します。

    • エンティティ設定 - コネクタがサポートする REST エンティティとそのスキーマを定義します。

RegisterConnectionType リクエストの構文

「RegisterConnectionType」を参照してください

REST API 接続タイプが登録されると、設定済みのデータソースへの接続を作成する準備が整います。詳細な手順については、「REST API」を参照してください。