# カスタムコネクタを作成する
<a name="creating-custom-connectors"></a>

独自のコネクタを作成し、そのコネクタのコードを AWS Glue Studio にアップロードすることもできます。

カスタムコネクタは、AWS Glue Spark ランタイム API を介して AWS Glue Studio に組み込まれます。Spark、Athena、または JDBC インターフェイスと準拠している任意のコネクタを、AWS Glue Spark ランタイムを使用してプラグインすることができます。これにより、カスタムコネクタで使用できる任意の接続オプションを渡すことができます。

[AWS Glue 接続](https://docs.aws.amazon.com/glue/latest/dg/glue-connections.html)でのすべての接続プロパティをカプセル化して、ETL ジョブにその接続名を指定することができます。Data Catalog 接続を統合することで、単一の Spark アプリケーションからの複数の呼び出しや、異なるアプリケーション間での同じ接続プロパティの使用ができるようにします。

接続には、他のオプションを指定することもできます。AWS Glue Studio が生成するジョブスクリプトには、指定された接続オプションを使用してコネクタをプラグインする接続を使用する `Datasource` エントリが含まれています。例:

```
Datasource = glueContext.create_dynamic_frame.from_options(connection_type = 
"custom.jdbc", connection_options = {"dbTable":"Account","connectionName":"my-custom-jdbc-
connection"}, transformation_ctx = "DataSource0")
```

**AWS Glue Studio にカスタムコネクタを追加する方法**

1. カスタムコネクタ用のコードを作成します。詳しくは、「[カスタムコネクタの開発](developing-custom-connectors.md) 」を参照してください。

1. コネクタに、AWS Glue 機能に対するサポートを追加します。以下に、これらの機能について、さらにそれらが AWS Glue Studio で生成されたジョブスクリプトでどのように使用されるかに関する例をいくつか挙げてみます。
   + **データ型のマッピング** – コネクタは、基盤データストアから列を読み込む際に、列をタイプキャストすることができます。例えば `{"INTEGER":"STRING"}` の `dataTypeMapping` では、レコードの解析と `DynamicFrame` の構築時に、`Integer` 型のすべての列を `String` 型の列に変換します。これにより、ユーザーは任意のタイプに列をキャストすることができます。

     ```
     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}", 
     connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
     ```
   + **並列読み取りのパーティション化** – AWS Glue は、列にあるデータを分割することで、データストアから並列データを読み取れるようにします。パーティション列、パーティションの下限、パーティションの上限、およびパーティション数を指定する必要があります。この機能により、データの並列処理と、Spark アプリケーションに割り当てる複数の Spark エグゼキュータの使用が可能になります。

     ```
     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
     "partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
     transformation_ctx = "DataSource0")
     ```
   + **AWS Secrets Manager を使用した認証情報の保存** – Data Catalog 接続には、AWS Secrets Manager に保存されているシークレットのための `secretId` も含めることができます。AWS シークレットにより、承認と認証に関する情報を安全に保存し、また、AWS Glue の実行時にその情報を提供できます。または、以下に示すように、Spark スクリプトから `secretId` を指定することもできます。

     ```
     DataSource = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
      "secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")
     ```
   + **行述語と列射影によるソースデータのフィルタリング** – AWS Glue Spark ランタイムでは、行述語と列射影を使用しながら、SQL クエリをプッシュダウンすることでソースにあるデータをフィルタリングすることもできます。これにより ETL ジョブは、フィルタリングされたデータを、プッシュダウンをサポートするデータストアからより迅速にロードできます。`SELECT id, name, department FROM department WHERE id < 200.` は、JDBC データ・ソースにプッシュダウンされた SQL クエリの例です。

     ```
     DataSource = glueContext.create_dynamic_frame.from_options(connection_type = 
     "custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department 
     WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx = 
     "DataSource0")
     ```
   + **ジョブのブックマーク** – AWS Glue は、JDBC ソースからのデータの増分ロードをサポートしています。AWS Glue は、最後に処理された (データストアからの) レコードを追跡し、後続の ETL ジョブ実行で新しいデータレコードを処理します。ジョブのブックマークは、その列が順番に増減しているのであれば、ブックマークキーのデフォルト列としてプライマリキーを使用します。ジョブのブックマークの詳細については、*AWS Glue デベロッパーガイド*の「[ジョブ ブックマーク](https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html)」を参照してください。

     ```
     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = 
     "custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
     :"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
     ```

1. カスタムコネクタを JAR ファイルとしてパッケージ化し、そのファイルを Amazon S3 にアップロードします。

1. カスタムコネクタをテストします。詳細については、GitHub の「[Glue カスタムコネクタ: ローカル検証テストガイド](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/localValidation/README.md)」で手順を参照してください。

1. AWS Glue Studio コンソールのナビゲーションペインで、[**Connectors**] (コネクタ) をクリックします。

1. **[Connectors]** (コネクタ) ページで、**[Create custom connector]** (カスタムコネクタを作成) をクリックします。

1. **[Create custom connector]** (カスタムコネクタの作成) ページで、次の情報を入力します。
   + カスタムコード JAR ファイルの Amazon S3 内ロケーションへのパス。
   + AWS Glue Studio によって使用されるコネクタの名前。
   + コネクタのタイプ (**JDBC**、**Spark**、または **Athena**)。
   + コネクタを使用するために AWS Glue Studio が呼び出す、カスタムコード内のエントリポイントの名前。
     + JDBC コネクタの場合、このフィールドは JDBC ドライバのクラス名です。
     + Spark コネクタの場合、このフィールドは、データソースの完全修飾クラス名、またはそのエイリアスである必要があります。これは、`format` 演算子を使用して Spark データソースをロードする際に使用します。
   + (JDBC のみ) データストアの JDBC 接続で使用されるベース URL。
   + (オプション) カスタムコネクタの説明。

1. **[Create connector]** (コネクターを作成) をクリックします。

1. [コネクタ用の接続を作成する](creating-connections.md) の説明を参考に、**[Connectors]** (コネクタ) ページで、そのコネクタを使用する接続を作成します。

## AWS Glue Studio にコネクタを追加する
<a name="creating-connectors"></a>

コネクタとは、データストアと AWS Glue 間の通信を容易にするための、一連のコードのことです。AWS Marketplace で提供されているコネクタをサブスクライブするか、独自のカスタムコネクタを作成することが可能です。

### AWS Marketplace コネクタをサブスクライブする
<a name="subscribe-marketplace-connectors"></a>

AWS Glue Studio を使用すると、AWS Marketplace からコネクタを簡単に導入できます。

**AWS Marketplace から AWS Glue Studio にコネクタを追加する方法**

1. AWS Glue Studio コンソールのナビゲーションペインで、[**Connectors**] (コネクタ) をクリックします。

1. [**Connectors**] (コネクタ) ページで、[**Go to AWS Marketplace**] をクリックします。

1. AWS Marketplace の **[Featured products]** (注目の製品) で、使用するコネクタを選択します。表示されているコネクタの 1 つを選択するか、または検索することができます。コネクタを、名前またはタイプにより検索したり、オプションを使用して検索結果を絞り込むことができます。

   表示されているコネクタのいずれかを使用するには、**[View product]** (製品を表示する) をクリックします。検索結果からコネクタを見つけた場合は、そのコネクタの名前を選択します。

1. コネクタの製品ページで、そのコネクタに関するタブを開いて情報を表示します。そのコネクタを購入する場合は、**[Continue to Subscribe]** (続行してサブスクライブする) をクリックします。

1. 支払い情報を入力し、**[Continue to Configure]** (設定に進む) をクリックします。

1. **[Configure this software]** (このソフトウェアを設定する) ページで、デプロイの方法と使用するコネクタのバージョンを選択します。**[Continue to Launch]** (続行して起動する) をクリックします。

1. **[Launch this software]** (このソフトウェアを起動する) ページでは、コネクタプロバイダから提供される **[Usage Instructions]** (使用手順) を確認することができます。次に進む準備ができたら、**[AWS Glue Studio で接続をアクティブにする]** を選択します。

   少し待機すると、コンソールに、AWS Glue Studio の **[Create marketplace connection]** (マーケットプレイス接続の作成) ページが表示されます。

1. [コネクタ用の接続を作成する](creating-connections.md) の説明を参考に、このコネクタを使用する接続を作成します。

   または、**[Activate connector only]** (アクティブなコネクタのみ) を選択し、この時点での接続の作成をスキップすることも可能です。後にコネクタを使用する際には、先に接続を作成する必要があります。