本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# 將自訂連接器和連線與 AWS Glue Studio 搭配使用
AWS Glue 使用 JDBC 連線為最常用資料存放區 (例如 Amazon Redshift、Amazon Aurora、Microsoft SQL Server、MySQL、MongoDB 和 PostgreSQL) 提供內建支援。AWS Glue 也允許您在擷取、轉換和載入 (ETL) 任務中使用自訂 JDBC 驅動程式。對於原生不支援的資料存放區 (例如 SaaS 應用程式)，您可以使用連接器。
*連接器*是一個選用程式碼套件，可以協助存取 AWS Glue Studio 中的資料存放區。您可以訂閱 AWS Marketplace中提供的多個連接器。
建立 ETL 任務時，您可以使用原生支援的資料存放區 AWS Marketplace、來自 的連接器或您自己的自訂連接器。如果您使用連接器，則必須先為連接器建立連線。*連線*包含連到特定資料存放區所需的屬性。您在 ETL 任務中將連線用於資料來源和資料目標。連接器和連線搭配運作，以方便存取資料存放區。
建立連接器的連線時，可使用下列連線：
+ **Amazon Aurora**：可擴展的高效能關聯式資料庫引擎，具備內建安全、備份與還原，以及記憶體加速功能。
+ **Amazon DocumentDB**：可擴展、高可用性及全受管的文件資料庫服務，支援 MongoDB 和 SQL API。
+ **Amazon Redshift**：可擴展、高可用性及全受管的文件資料庫服務，支援 MongoDB 和 SQL API。
+ **Azure SQL**：Microsoft Azure 的雲端型關聯式資料庫服務，能提供可擴展、可靠及安全的資料儲存和管理功能。
+ **Cosmos DB**：Microsoft Azure 的全域分佈雲端資料庫服務，能提供可擴展、高效能的資料儲存和查詢功能。
+ **Google BigQuery**：無伺服器雲端資料倉儲，可在大型資料集上執行快速 SQL 查詢。
+ **JDBC**：關聯式資料庫管理系統 (RDBMS)，可使用 Java API 進行連線和與資料連線互動。
+ **Kafka**：用於即時資料串流和傳訊的開放原始碼串流處理平台。
+ **MariaDB**：社群開發的 MySQL 分支，可提供增強的效能、可擴展性及功能。
+ **MongoDB**：跨平台的文件導向資料庫，可提供高擴展性、彈性及效能。
+ **MongoDB Atlas**：MongoDB 提供的雲端型資料庫即服務 (DBAs) 產品，可簡化 MongoDB 部署的管理和擴展。
+ **Microsoft SQL Server**：Microsoft 的關聯式資料庫管理系統 (RDBMS)，可提供強大的資料儲存，分析及報告功能。
+ **Mixpanel** – 一種分析平台，可協助企業分析使用者與其網站、行動應用程式及其他數位產品的互動方式。
+ **MySQL**：開放原始碼關聯式資料庫管理系統 (RDBMS)，可廣泛用於 Web 應用程式，並以其可靠性和可擴展性聞名。
+ **網路**：網路資料來源表示可由資料整合平台存取的網路存取資源或服務。
+ **OpenSearch**：OpenSearch 資料來源為一種應用程式，OpenSearch 可與其連線，並從其中擷取資料。
+ **Oracle**：Oracle Corporation 的關聯式資料庫管理系統 (RDBMS)，可提供強大的資料儲存，分析及報告功能。
+ **PostgreSQL**：開放原始碼關聯式資料庫管理系統 (RDBMS)，可提供強大的資料儲存，分析及報告功能。
+ **Salesforce** – Salesforce 提供客戶關係管理 (CRM) 軟體，可協助您進行銷售、客戶服務、電子商務等。如果您是 Salesforce 使用者，您可以 AWS Glue 連線至您的 Salesforce 帳戶。然後，您可以在 ETL 任務中使用 Salesforce 作為資料來源或目的地。執行這些任務以在 Salesforce AWS 和服務或其他支援的應用程式之間傳輸資料。
+ **SAP HANA**：記憶體資料庫和分析平台，可提供快速的資料處理、進階分析和即時資料整合。
+ **Snowflake**：雲端型資料倉儲，可提供可擴展、高效能的資料儲存和分析服務。
+ **Teradata**：關聯式資料庫管理系統 (RDBMS)，可提供高效能的資料儲存，分析及報告功能。
+ **Vertica**：專為大數據分析而設計的欄式導向分析資料倉儲，可提供快速的查詢效能、進階分析和可擴展性。
# 建立自訂連接器
您也可以建置自己的連接器，然後將連接器程式碼上傳到 AWS Glue Studio。
自訂連接器會透過 AWS Glue Spark 執行時間 API 整合至 AWS Glue Studio。AWS Glue Spark 執行時間可讓您插入任何符合 Spark、Athena 或 JDBC 介面的連接器。它可讓您傳入任何可用於自訂連接器的連線選項。
您可以使用 [AWS Glue 連線](https://docs.aws.amazon.com/glue/latest/dg/glue-connections.html)封裝所有連線屬性並提供連線名稱給您的 ETL 任務。與 Data Catalog 連線整合可讓您在單一 Spark 應用程式或不同應用程式之間，跨多個呼叫使用相同的連線屬性。
您可以為連線指定其他選項。AWS Glue Studio 產生的任務指令碼包含 `Datasource` 項目，該項目使用連線以指定的連線選項插入連接器。例如：
```
Datasource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"dbTable":"Account","connectionName":"my-custom-jdbc-
connection"}, transformation_ctx = "DataSource0")
```
**將自訂連接器新增至 AWS Glue Studio**
1. 為您的自訂連接器建立程式碼。如需詳細資訊，請參閱[開發自訂連接器](developing-custom-connectors.md)。
1. 新增對 AWS Glue 功能的支援至您的連接器。以下是這些功能的一些範例，以及如何在 AWS Glue Studio 產生的任務指令碼中使用它們：
+ **資料類型映射** – 您的連接器可以在從基礎資料存放區讀取欄時對欄進行類型轉換。例如，當剖析記錄並建構 `DynamicFrame` 時，`{"INTEGER":"STRING"}` 的 `dataTypeMapping` 會將類型 `Integer` 的所有欄轉換為類型 `String` 的欄。這可以協助使用者將欄轉換為他們選擇的類型。
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}",
connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
+ **並行讀取的分割** – AWS Glue 允許透過分割欄上的資料，從資料存放區並行讀取資料。您必須指定分割區欄、分割區下界、分割區上限，以及分割區的數目。此功能讓您能夠利用資料並行性和分配給 Spark 應用程式的多個 Spark 執行器。
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
"partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
transformation_ctx = "DataSource0")
```
+ **使用 AWS Secrets Manager 來存放登入**資料 – Data Catalog 連線也可以包含 中存放秘密`secretId`的 AWS Secrets Manager。 AWS 秘密可以安全地存放身分驗證和登入資料資訊，並在 AWS Glue 執行時間將其提供給 。或者，您也可以從 Spark 指令碼指定 `secretId`，如下所示：
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
"secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")
```
+ **使用列述詞和欄投影篩選來源資料** – AWS Glue Spark 執行時間也允許使用者下推 SQL 查詢，使用使用列述詞和欄投影在來源篩選資料。這可讓您的 ETL 任務更快從支援下推的資料存放區載入篩選過的資料。下推到 JDBC 資料來源的範例 SQL 查詢是：`SELECT id, name, department FROM department WHERE id < 200.`
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department
WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx =
"DataSource0")
```
+ **任務書籤** – AWS Glue 支援從 JDBC 來源增量載入資料。AWS Glue 會追蹤資料存放區的最後處理記錄，並在後續的 ETL 任務執行中處理新的資料記錄。任務書籤使用主索引鍵作為書籤索引鍵的預設欄，前提是此欄會按順序新增或減少。如需任務書籤的詳細資訊，請參閱 *AWS Glue 開發人員指南*中的[任務書籤](https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html)。
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
:"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
1. 將自訂連接器封裝為 JAR 檔案，然後將檔案上傳到 Amazon S3。
1. 測試您的自訂連接器。如需詳細資訊，請參閱 GitHub 上 [Glue Custom Connectors: Local Validation Tests Guide](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/localValidation/README.md) 的指示。
1. 在 AWS Glue Studio 主控台中，在主控台導覽窗格中選擇 **Connectors** (連接器)。
1. 在 **Connectors (連接器)** 頁面上，選擇 **Create custom connector (建立自訂連接器)**。
1. 在 **Create custom connector (建立自訂連接器)** 頁面上，輸入以下資訊：
+ 指向 Amazon S3 中自訂程式碼 JAR 檔案位置的路徑。
+ AWS Glue Studio 將使用的連接器的名稱。
+ 您的連接器類型，可以是 **JDBC**、**Spark**, 或 **Athena**。
+ 您自訂程式碼中的入口點名稱，AWS Glue Studio 將呼叫以使用連接器。
+ 對於 JDBC 連接器，此欄位應該是 JDBC 驅動程式的類別名稱。
+ 對於 Spark 連接器，此欄位應該是當您使用 `format` 運算子載入 Spark 資料來源時使用的完整資料來源類別名稱或其別名。
+ (僅限 JDBC) 資料存放區的 JDBC 連線使用的基本 URL。
+ (選用) 自訂連接器的描述。
1. 選擇 **Create connector (建立連接器)**。
1. 從 **Connectors (連接器)** 頁面，建立使用此連接器的連線，如[建立連接器的連線](creating-connections.md)中所述。
## 新增連接器至 AWS Glue Studio
連接器是一段程式碼，可促進資料存放區和 AWS Glue 之間的通訊。您可以訂閱 中提供的連接器 AWS Marketplace，也可以建立自己的自訂連接器。
### 訂閱 AWS Marketplace 連接器
AWS Glue Studio 可讓您輕鬆地從 新增連接器 AWS Marketplace。
**將連接器從 新增至 AWS Marketplace AWS Glue Studio**
1. 在 AWS Glue Studio 主控台中，在主控台導覽窗格中選擇 **Connectors** (連接器)。
1. 在**連接器**頁面上，選擇**移至 AWS Marketplace**。
1. 在**精選產品** AWS Marketplace中，選擇您要使用的連接器。您可以選擇其中一個精選連接器，或使用搜尋。您可以搜尋連接器的名稱或類型，也可以使用選項來縮小搜尋結果。
如果您想要使用其中一個精選連接器，請選擇 **View product (檢視產品)**。如果您使用搜尋來尋找連接器，請選擇連接器的名稱。
1. 在連接器的產品頁面上，使用索引標籤來檢視連接器的相關資訊。如果您決定購買此連接器，請選擇 **Continue to Subscribe (繼續訂閱)**。
1. 提供付款資訊，然後選擇 **Continue to Configure (繼續進行設定)**。
1. 在 **Configure this software (設定此軟體)** 頁面上，選擇部署方法和要使用的連接器版本。然後選擇 **Continue to Launch (繼續啟動)**。
1. 在 **Launch this software (啟動此軟體)** 頁面上，您可以檢閱由連接器提供者所提供的 **Usage Instructions (使用指示)**。當您準備好繼續時，請選擇 **在 AWS Glue Studio 中啟用連線**。
一段時間後，主控台會在 AWS Glue Studio 中顯示 **Create marketplace connection** (建立市集連線) 頁面。
1. 建立使用此連接器的連線，如[建立連接器的連線](creating-connections.md)中所述。
或者，您也可以選擇 **Activate connector only (僅啟動連接器)**，在此時略過建立連線。您稍後必須建立連線，才能使用連接器。
# 建立連接器的連線
AWS Glue 連線是 Data Catalog 物件，可存放特定資料存放區的連線資訊。連線會儲存登入憑證、URI 字串、虛擬私有雲端 (VPC) 資訊等。在 Data Catalog 中建立連線，就可輕鬆指定每次您建立任務時的連線詳細資訊。
**建立連接器的連線**
1. 在 AWS Glue Studio 主控台中，選擇主控台導覽窗格中**的連接器**。在**連線**區段中，選擇**建立連線**。
1. 在**建立資料連線**精靈的步驟 1 中，選擇您想要建立連線的資料來源。以下提供多種檢視可用資料來源的方法，包含：
+ 透過選擇索引標籤篩選可用的資料來源。預設會選取**所有連接器**。
+ 切換**清單**即可以清單形式檢視資料來源，或切換回**網格**即可在網格版面中檢視可用的連接器。
+ 使用搜尋列來縮小資料來源清單範圍。當您輸入時，系統會顯示搜尋相符項目，並從檢視中移除不相符的來源。
選擇資料來源後，請選擇**下一步**。
1. 在精靈的步驟 2 中設定連線。
輸入連線詳細資訊。視您選取的連接器類型而定，系統會提示您輸入其他資訊：
![\[螢幕擷取畫面顯示「連接器」頁面和「連線」區段。建立連線按鈕會包含在紅色方塊中。選擇建立連線以啟動連線精靈。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/connections-create-connection.png)
1. 在**建立資料連線**精靈的步驟 1 中，選擇您想要建立連線的資料來源。以下提供多種檢視可用資料來源的方法。依預設，您將會在網格版面中看到所有可用的資料來源。您也可以：
+ 切換**清單**即可以清單形式檢視資料來源，或切換回**網格**即可在網格版面中檢視可用的連接器。
+ 使用搜尋列來縮小資料來源清單範圍。當您輸入時，系統會顯示搜尋相符項目，並從檢視中移除不相符的來源。
![\[螢幕擷取畫面顯示搜尋列和網格/清單切換鈕。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/connections-create-step-1-view.png)
選擇資料來源後，請選擇**下一步**。
1. 在精靈的步驟 2 中設定連線。
輸入連線詳細資訊。視您選取的連接器類型而定，系統可能會要求您輸入其他連線資訊。其中包括：
+ **連線詳細資料**：這些欄位將會根據您要連線的資料來源而變更。例如，如果您要連線至 Amazon DocumentDB 資料庫，則要輸入 Amazon DocumentDB URL。如果您要連線到 Amazon Aurora，請選擇資料庫執行個體並輸入資料庫名稱。以下是 所需的連線詳細資訊 Amazon Aurora：
![\[螢幕擷取畫面顯示將 Amazon Aurora 設定為資料來源所需的連線詳細資訊。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/connections-create-step-2-configure.png)
+ 憑證類型：選擇**使用者名稱和密碼**或 ** AWS Secrets Manager**。輸入要求的驗證資訊。
+ 對於使用 JDBC 的連接器，請輸入為資料存放區建立 JDBC URL 所需的資訊。
+ 如果您使用虛擬私有雲端 (VPC)，請輸入 VPC 的網路資訊。
1. 在精靈的步驟 3 中設定連線屬性。您可以新增說明和標籤作為此步驟的選用部分。名稱為必填項目，會預先填入預設值。選擇**下一步**。
1. 檢閱連線來源、詳細資料及屬性。如果您需要進行任何變更，請針對精靈中的步驟選擇**編輯**。準備就緒後，請選擇**建立連線**。
選擇**建立連線**。
您將返回 **Connectors (連接器)** 頁面，而且資訊橫幅會指出已建立的連線。您現在可以在 AWS Glue Studio 任務中使用連線。
# 建立 Kafka 連線
建立 Kafka 連線時，從下拉式選單中選取 **Kafka** 將會顯示要設定的其他設定：
+ Kafka 叢集詳細資訊
+ 身分驗證
+ 加密
+ 網路選項
**設定 Kafka 叢集詳細資訊**
1. 選擇叢集位置。您可以選擇 **Amazon managed streaming for Apache Kafka (MSK)** 叢集或**客戶受管的 Apache Kafka** 叢集。如需 Amazon Managed streaming for Apache Kafka 的詳細資訊，請參閱 [Amazon managed streaming for Apache Kafka (MSK)](https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html)。
**注意**
Amazon Managed Streaming for Apache Kafka 僅支援 TLS 和 SASL/SCRAM-SHA-512 身分驗證方法。
![\[螢幕擷取畫面顯示了 Kafka 叢集詳細資訊區段，其中包含可選擇叢集位置和輸入 Kafka 自舉伺服器 URL 的選項。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-cluster-details.png)
1. 輸入您的 Kafka Bootstrap 伺服器的 URL。您可以用逗號分隔每個伺服器，進而輸入多個伺服器。附加 `:` 即可在 URL 的結尾處加上連接埠號碼，
例如：`b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094`
**選取身分驗證方法**
![\[螢幕擷取畫面顯示了可用於選取 Kafka 身分驗證方法的下拉式選單。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-connection-authentication.png)
AWS Glue 支援 Simple Authentication and Security Layer (SASL) 架構進行身分驗證。SASL 架構支援各種身分驗證機制， AWS Glue 並提供 SCRAM （使用者名稱和密碼）、GSSAPI (Kerberos 通訊協定） 和 PLAIN （使用者名稱和密碼） 通訊協定。
從下拉式選單中選擇身分驗證方法時，可以選取以下用戶端身分驗證方法：
+ 無 - 無身分驗證。如果為進行測試而建立連線，此方法會很有用。
+ SASL/SCRAM-SHA-512 – 選擇此驗證方法來指定驗證憑證。有兩種可用選項：
+ 使用 AWS Secrets Manager （建議） - 如果您選擇此選項，您可以將登入資料存放在 AWS Secrets Manager 中，並在需要時讓 AWS Glue 存取資訊。指定存放 SSL 或 SASL 驗證憑證的秘密。
![\[螢幕擷取畫面顯示了身分驗證方法為 SASL/SCRAM-SHA-512 時的身分驗證憑證選項。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-connection-authentication-sha-512.png)
+ 直接提供使用者名稱和密碼。
+ SASL/GSSAPI (Kerberos) - 如果您選取此選項，則可以選取 keytab 檔案和 krb5.conf 檔案的位置，然後輸入 Kerberos 主體名稱和 Kerberos 服務名稱。keytab 檔案和 krb5.conf 檔案的位置必須位於 Amazon S3 位置。由於 MSK 尚不支援 SASL/GSSAPI，此選項僅適用於客戶受管的 Apache Kafka 叢集。如需詳細資訊，請參閱 [MIT Kerberos 文件：Keytab](https://web.mit.edu/kerberos/krb5-latest/doc/basic/keytab_def.html)。
+ SASL/PLAIN – 選擇此驗證方法來指定驗證憑證。有兩種可用選項：
+ 使用 AWS Secrets Manager （建議） - 如果您選擇此選項，您可以將登入資料存放在 AWS Secrets Manager 中，並在需要時讓 AWS Glue 存取資訊。指定存放 SSL 或 SASL 驗證憑證的秘密。
+ 直接提供使用者名稱和密碼。
+ SSL 用戶端身分驗證 - 如果您選取此選項，則可以透過瀏覽 Amazon S3 來選取 Kafka 用戶端金鑰存放區的位置。或者，您可以輸入 Kafka 用戶端金鑰存放區密碼和 Kafka 用戶端金鑰密碼。
![\[螢幕擷取畫面顯示了身分驗證方法為 SSL 時的加密選項。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-connection-authentication-ssl.png)
**設定加密設定**
1. 如果 Kafka 連線需要 SSL 連線，請選取 **Require SSL connection** (需要 SSL 連線) 核取方塊。請注意，如果連線無法透過 SSL 連接，則連線將會失敗。用於加密的 SSL 可與任意一種驗證方法 (SASL/SCRAM-SHA-512、SASL/GSSAPI、SASL/PLAIN 或 SSL 用戶端身分驗證) 搭配使用，並且為選用項。
如果身分驗證方法設定為 **SSL client authentication** (SSL 用戶端身分驗證)，則將會自動選取此選項，並將其停用以防止任何變更。
1. (選用)。從憑證授權機構 (CA) 中，選擇私有憑證的位置。請注意，憑證必須位於 S3 位置。選擇 **Browse** (瀏覽) 從連接的 S3 儲存貯體中選擇檔案。該路徑的格式必須是 `s3://bucket/prefix/filename.pem`。其檔案名稱結尾必須是 .pem 副檔名。
1. 您可以選擇略過憑證授權機構 (CA) 的憑證驗證。選擇 **Skip validation of certificate from certificate authority (CA)** (略過憑證授權機構 (CA) 的憑證驗證) 核取方塊。如果未勾選此方塊，則 AWS Glue 會驗證三種演算法的憑證：
+ SHA256withRSA
+ SHA384withRSA
+ SHA512withRSA
![\[螢幕擷取畫面顯示了可用於設定加密的選項，包括是否要求 SSL 連接、從憑證授權機構 (CA) 選擇私有憑證位置的選項以及略過憑證授權機構 (CA) 的憑證驗證的選項。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-connection-encryption.png)
**(選用) 網路選項**
以下是設定 VPC、子網路和安全群組的可選步驟。如果您的 AWS Glue 任務需要在虛擬私有雲端 (VPC) 子網路中的 Amazon EC2 執行個體上執行，您必須提供額外的 VPC 特定組態資訊。
1. 選擇包含您的資料來源的 VPC (虛擬私有雲端)。
1. 選擇 VPC 中的子網路。
1. 選擇一個或多個允許存取 VPC 子網路中資料存放區的安全群組。安全群組與連接到子網路的 ENI 相關聯。您必須至少選擇一個安全群組並為所有 TCP 連接埠建立自我引用的傳入規則。
![\[螢幕擷取畫面顯示了 VPC、子網路和安全群組的可選網路選項。\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/kafka-connection-network-options.png)
# 使用自訂連接器編寫任務
您可以針對 AWS Glue Studio 中的資料來源節點和資料目標節點，使用連接器和連線。
**Topics**
+ [建立將連接器用於資料來源的任務](#create-job-connectors)
+ [為使用連接器的節點設定來源屬性](#edit-connector-source)
+ [為使用連接器的節點設定目標屬性](#edit-connector-target)
## 建立將連接器用於資料來源的任務
建立新任務時，您可以為資料來源和資料目標選擇連接器。
**建立將連接器用於資料來源或資料目標的任務**
1. 登入 AWS 管理主控台 並在 https：//[https://console.aws.amazon.com/gluestudio/](https://console.aws.amazon.com/gluestudio/) 開啟 AWS Glue Studio主控台。
1. 在 **Connectors (連接器)** 頁面 **Your connections (您的連線)** 資源清單中，選擇您想要在任務中使用的連線，然後選擇 **Create job (建立任務)**。
或者，在 AWS Glue Studio **Jobs** (任務) 頁面的 **Create job** (建立任務) 下，選擇 **Source and target added to the graph** (新增至圖表的來源和目標)。在 **Source (來源)** 下拉式清單中，選擇您想要在任務中使用的自訂連接器。您也可以為 **Target (目標)** 選擇連接器。
![\[\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/create-job-data-sources-screenshot.png)
1. 選擇 **Create (建立)** 以開啟視覺化任務編輯器。
1. 設定資料來源節點，如[為使用連接器的節點設定來源屬性](#edit-connector-source)中所述。
1. 透過新增轉換、其他資料存放區和資料目標來繼續建立 ETL 任務，如[在 AWS Glue Studio 中啟動視覺化的 ETL 任務](edit-nodes-chapter.md)中所述。
1. 藉由設定任務屬性來自訂任務執行環境，如[修改任務屬性](managing-jobs-chapter.md#edit-jobs-properties)中所述。
1. 儲存並執行任務。
## 為使用連接器的節點設定來源屬性
建立將連接器用於資料來源的任務後，視覺化任務編輯器會顯示任務圖，其中包含為連接器設定的資料來源節點。您必須設定該節點的資料來源屬性。
**為使用連接器的資料來源節點設定屬性**
1. 在任務圖中選擇連接器資料來源節點，或新增節點，然後選擇 **Node type (節點類型)** 的連接器。然後，在右側的節點詳細資訊面板中，選擇 **Data source properties (資料來源屬性)** 索引標籤 (如果尚未選取)。
![\[\]](http://docs.aws.amazon.com/zh_tw/glue/latest/dg/images/data-source-properties-connector-screenshot2.png)
1. 在 **Data source properties (資料來源屬性)** 索引標籤上，選擇要用於此任務的連線。
輸入每個連線類型所需的其他資訊：
------
#### [ JDBC ]
+ **Data source input type (資料來源輸入類型)**：選擇提供資料表名稱或 SQL 查詢做為資料來源。根據您的選擇，您接著必須提供下列額外資訊：
+ **Table name (資料表名稱)**：資料來源中的資料表名稱。如果資料來源不使用術語*表*，請提供適當的資料結構名稱，如自訂連接器用量資訊 （可在 中使用） 所示 AWS Marketplace。
+ **Filter predicate (篩選述詞)**：讀取資料來源時要使用的條件子句，類似於 `WHERE` 子句，用來擷取資料的子集。
+ **Query code (查詢程式碼)**：輸入 SQL 查詢，以用來從資料來源擷取特定資料集。基本的 SQL 查詢範例是：
```
SELECT column_list FROM
table_name WHERE where_clause
```
+ **Schema** (結構描述)：由於 AWS Glue Studio 使用儲存在連線中的資訊來存取資料來源，而不是從 Data Catalog 資料表中擷取中繼資料資訊，因此您必須提供資料來源的結構描述中繼資料。選擇 **Add schema (新增結構描述)** 開啟結構描述編輯器。
如需如何使用結構描述編輯器的指示，請參閱[編輯自訂轉換節點的結構描述](transforms-custom.md#transforms-custom-editschema)。
+ **Partition column (分割區欄)**：(選用) 您可以選擇分割資料讀取，方法是提供 **Partition column (分割區欄)**、**Lower bound (下限)**、**Upper bound (上限)**，以及 **Number of partitions (分割區數量)**。
`lowerBound` 和 `upperBound` 值用於決定分割區步幅，而不是用於篩選資料表中的列。資料表中的所有列都會進行分割並傳回。
**注意**
欄分割為用於讀取資料的查詢新增一個額外的分割條件。使用查詢而不是資料表名稱時，您應該驗證查詢是否適用於指定的分割條件。例如：
如果您的查詢格式為 `"SELECT col1 FROM table1"`，則透過在使用分割區欄的查詢結尾附加 `WHERE` 子句來測試查詢。
如果您的查詢格式為 `"SELECT col1 FROM table1 WHERE col2=val"`，則透過使用 `AND` 和使用分割區欄的表達式擴展 `WHERE` 子句來測試查詢。
+ **Data type casting (資料類型轉換)**：如果資料來源使用的是 JDBC 中不可用的資料類型，請使用本區段指定來自資料來源的資料類型應該如何轉換為 JDBC 資料類型。您可以指定最多 50 個不同的資料類型轉換。資料來源中使用相同資料類型的所有欄都會以相同的方式轉換。
例如，如果您在資料來源中有三個使用 `Float` 資料類型的欄，而且您指出 `Float` 資料類型應轉換為 JDBC `String` 資料類型，則使用 `Float` 資料類型的全部三個欄都會轉換為 `String` 資料類型。
+ **Job bookmark keys (任務書籤索引鍵)**：任務書籤可協助 AWS Glue 維護狀態資訊，以及防止重新處理舊資料。指定一個或多個資料行作為書籤索引鍵。AWS Glue Studio 使用書籤索引鍵追蹤在該任務執行期間所處理的資料。您用於自訂書籤索引鍵的任何欄必須是嚴格單調地增加或減少，但允許有間隙。
如果您輸入多個書籤索引鍵，則它們會結合在一起，形成單一複合索引鍵。複合任務書籤索引鍵不應包含重複的欄。如果您沒有指定書籤索引鍵，依預設，AWS Glue Studio 會使用主索引鍵做為書籤索引鍵，前提是主索引鍵依序遞增或遞減 (沒有間隙)。如果資料表沒有主索引鍵，但已啟用任務書籤屬性，您必須提供自訂任務書籤索引鍵。否則，搜尋要用作預設值的主索引鍵將會失敗，而且任務執行將會失敗。
+ **Job bookmark keys sorting order (任務書籤索引鍵排序順序)**：選擇索引鍵值是依序增加還是減少。
------
#### [ Spark ]
+ **Schema** (結構描述)：由於 AWS Glue Studio 使用儲存在連線中的資訊來存取資料來源，而不是從 Data Catalog 資料表中擷取中繼資料資訊，因此您必須提供資料來源的結構描述中繼資料。選擇 **Add schema (新增結構描述)** 開啟結構描述編輯器。
如需如何使用結構描述編輯器的指示，請參閱[編輯自訂轉換節點的結構描述](transforms-custom.md#transforms-custom-editschema)。
+ **Connection options (連線選項)**：視需要輸入其他索引鍵值組，以提供額外的連線資訊或選項。例如，您可以輸入資料庫名稱、資料表名稱、使用者名稱和密碼。
例如，對於 OpenSearch，您可以輸入下列索引鍵/值對，如[教學課程：使用 AWS Glue Connector for Elasticsearch](tutorial-elastisearch-connector.md)中所述：
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
如需要使用的最小連線選項範例，請參閱 GitHub 上的範例測試指令碼 [MinimalSparkConnectorTest.scala](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala)，它顯示了您通常會在連線中提供的連線選項。
------
#### [ Athena ]
+ **Table name (資料表名稱)**：資料來源中的資料表名稱。如果您使用連接器從 Athena-CloudWatch Logs 中讀取，您將輸入資料表名稱 `all_log_streams`。
+ **Athena schema name (Athena 結構描述名稱)**：選擇您 Athena 資料來源中對應至包含資料表之資料庫中的結構描述。如果您使用連接器從 Athena-CloudWatch Logs 中讀取，您將輸入類似於 `/aws/glue/name` 的結構描述名稱。
+ **Schema** (結構描述)：由於 AWS Glue Studio 使用儲存在連線中的資訊來存取資料來源，而不是從 Data Catalog 資料表中擷取中繼資料資訊，因此您必須提供資料來源的結構描述中繼資料。選擇 **Add schema (新增結構描述)** 開啟結構描述編輯器。
如需如何使用結構描述編輯器的指示，請參閱[編輯自訂轉換節點的結構描述](transforms-custom.md#transforms-custom-editschema)。
+ **Additional connection options (其他連線選項)**：視需要輸入其他索引鍵值組，以提供額外的連線資訊或選項。
如需範例，請參閱位於 [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena) 的 `README.md` 檔案。在本文件的步驟中，範例程式碼顯示了所需的最少連線選項，也就是 `tableName`、`schemaName` 以及 `className`。程式碼範例會將這些選項指定為 `optionsMap` 變數的一部分，但您可以為您的連線指定它們，然後使用該連線。
------
1. (選用) 提供必要資訊之後，您可以選擇節點詳細資訊面板中的 **Output schema (輸出結構描述)** 索引標籤來檢視為資料來源產生的資料結構描述。此索引標籤上顯示的結構描述將由您新增至任務圖的任何子節點使用。
1. (選用) 設定節點屬性和資料來源屬性之後，您可以選擇節點詳細資訊面板中的 Data preview (資料預覽) 索引標籤來預覽資料來源中的資料集。當您第一次針對任務中的任何節點選擇此索引標籤時，系統會提示您提供 IAM 角色以存取資料。使用此功能需支付相關費用，並且在您提供 IAM 角色後立即開始計費。
## 為使用連接器的節點設定目標屬性
如果您將連接器用於資料目標類型，則必須設定資料目標節點的屬性。
**為使用連接器的資料目標節點設定屬性**
1. 在任務圖中選擇連接器資料目標節點。然後，在右側的節點詳細資訊面板中，選擇 **Data target properties (資料目標屬性)** 索引標籤 (如果尚未選取)。
1. 在 **Data target properties (資料目標屬性)** 索引標籤上，選擇用來寫入目標的連線。
輸入每個連線類型所需的其他資訊：
------
#### [ JDBC ]
+ **Connection (連線)**：選擇要用於連接器的連線。如需如何建立連線的詳細資訊，請參閱[建立連接器的連線](creating-connections.md)。
+ **Table name (資料表名稱)**：資料目標中的資料表名稱。如果資料目標不使用術語*表*，則提供適當的資料結構名稱，如自訂連接器用量資訊 （可在 中使用） 所示 AWS Marketplace。
+ **Batch size (批次大小)** (選用)：輸入單一作業中要在目標資料表中插入的列數或記錄數。預設值為 1000 列。
------
#### [ Spark ]
+ **Connection (連線)**：選擇要用於連接器的連線。如果您先前未建立連線，請選擇 **Create connection (建立連線)** 建立一個。如需如何建立連線的詳細資訊，請參閱[建立連接器的連線](creating-connections.md)。
+ **Connection options (連線選項)**：視需要輸入其他索引鍵值組，以提供額外的連線資訊或選項。您可以輸入資料庫名稱、資料表名稱、使用者名稱和密碼。
例如，對於 OpenSearch，您可以輸入下列索引鍵/值對，如[教學課程：使用 AWS Glue Connector for Elasticsearch](tutorial-elastisearch-connector.md)中所述：
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
如需要使用的最小連線選項範例，請參閱 GitHub 上的範例測試指令碼 [MinimalSparkConnectorTest.scala](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala)，它顯示了您通常會在連線中提供的連線選項。
------
1. 提供必要資訊之後，您可以選擇節點詳細資訊面板中的 **Output schema (輸出結構描述)** 索引標籤來檢視為資料來源產生的資料結構描述。
# 管理連接器和連線
您使用 AWS Glue 的**連線**頁面管理您的連接器和連線。
**Topics**
+ [檢視連接器和連線詳細資訊](#connector-details)
+ [編輯連接器和連線](#editing-connectors)
+ [刪除連接器和連線](#deleting-connectors)
+ [取消連接器的訂閱](#cancel-subscription)
## 檢視連接器和連線詳細資訊
您可以在 **Connectors (連接器)** 頁面上的 **Your connectors (您的連接器)** 和 **Your connections (您的連線)** 資源資料表中檢視連接器和連線的摘要資訊。若要檢視詳細資訊，請執行以下步驟。
**檢視連接器或連線詳細資訊**
1. 在 AWS Glue Studio 主控台中，在主控台導覽窗格中選擇 **Connectors** (連接器)。
1. 選擇您想要檢視詳細資訊的連接器或連線。
1. 選擇 **Actions (動作)**，然後選擇 **View details (檢視詳細資訊)** 以開啟該連接器或連線的詳細資訊頁面。
1. 在詳細資訊頁面上，您可以選擇 **Edit** (編輯) 或 **Delete** (刪除) 連接器或連線。
+ 對於連接器，您可以選擇 **Create connection (建立連線)**，以建立使用連接器的新連線。
+ 對於連線，您可以選擇**建立任務**，以建立使用此連線的任務。
## 編輯連接器和連線
您使用 **Connectors (連接器)** 頁面來變更儲存在連接器和連線中的資訊。
**修改連接器或連線**
1. 在 AWS Glue Studio 主控台中，在主控台導覽窗格中選擇 **Connectors** (連接器)。
1. 選擇您要變更的連接器或連線。
1. 選擇**動作**，然後選擇**編輯**。
您也可以選擇 **View details (檢視詳細資訊)**，並在連接器或連線詳細資訊頁面上，您可以選擇 **Edit (編輯)**。
1. 在 **Edit connector (編輯連接器)** 或 **Edit connection (編輯連線)** 頁面上，更新資訊，然後選擇 **Save (儲存)**。
## 刪除連接器和連線
您使用 **Connectors (連接器)** 頁面來刪除連接器和連線。如果您刪除連接器，則也應該刪除為該連接器建立的所有連線。
**從 AWS Glue Studio 中移除連接器**
1. 在 AWS Glue Studio 主控台中，在主控台導覽窗格中選擇 **Connectors** (連接器)。
1. 選擇您要刪除的連接器或連線。
1. 選擇**動作**，然後選擇**刪除**。
您也可以選擇 **View details (檢視詳細資訊)**，並在連接器或連線詳細資訊頁面上，您可以選擇 **Delete (刪除)**。
1. 確認您想要移除連接器或連線，方法是輸入 **Delete**，然後選擇 **Delete (刪除)**。
刪除連接器時，也會刪除為該連接器建立的所有連線。
使用已刪除連線的任何任務將無法再運作。您可以編輯任務以使用其他資料存放區，也可以移除任務。如需有關如何刪除任務的詳細資訊，請參閱[刪除任務](managing-jobs-chapter.md#delete-jobs)。
如果您刪除連接器，這不會取消 AWS Marketplace中對連接器的訂閱。若要移除已刪除連接器的訂閱，請依照[取消連接器的訂閱](#cancel-subscription)中的指示進行。
## 取消連接器的訂閱
從 刪除連線和連接器之後AWS Glue Studio， AWS Marketplace 如果您不再需要連接器，可以在 中取消訂閱。
**注意**
如果您取消訂閱連接器，這不會從您的帳戶移除連接器或連線。使用連接器和相關連線的任何任務將無法再使用連接器，而且將會失敗。
取消訂閱或重新訂閱連接器之前 AWS Marketplace，您應該刪除與該 AWS Marketplace 產品相關聯的現有連線和連接器。
**在 中取消訂閱連接器 AWS Marketplace**
1. 在 https：//[https://console.aws.amazon.com/marketplace](https://console.aws.amazon.com/marketplace) 登入 AWS Marketplace 主控台。
1. 選擇 **Manage subscriptions (管理訂閱)**。
1. 在 **Manage subscriptions (管理訂閱)** 頁面上，選擇您想要取消的連接器訂閱旁的 **Manage (管理)**。
1. 選擇 **Actions** (動作)，再選擇 **Cancel Subscriptions** (取消訂閱)。
1. 選取核取方塊，確認執行中的執行個體會向您的帳戶收費，然後選擇 **Yes, cancel subscription (是的，取消訂閱)**。
# 開發自訂連接器
您可以編寫程式碼以從資料存放區讀取資料或將資料寫入資料存放區，以及將用於 AWS Glue Studio 任務的資料格式化。您可以為 Spark、Athena 和 JDBC 資料存放區建立連接器。發佈至 GitHub 的範本程式碼提供了您需要實作的基本介面的概述。
您將需要一個本機開發環境來建立您的連接器程式碼。您可以使用任何 IDE，甚至只是命令行編輯器來編寫連接器。開發環境的範例包括：
+ 本機 Scala 環境搭配本機 AWS Glue ETL Maven 程式庫，如 *AWS Glue 開發人員指南*的[在本機開發 Scala](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-scala) 中所述。
+ IntelliJ IDE，透過從 [https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/) 下載 IDE 取得。
**Topics**
+ [開發 Spark 連接器](#code-spark-connector)
+ [開發 Athena 連接器](#code-athena-connector)
+ [開發 JDBC 連接器](#code-jdbc-connector)
+ [搭配 AWS Glue Studio 使用自訂連接器的範例](#custom-connector-examples)
+ [開發 的AWS Glue連接器 AWS Marketplace](#code-marketplace-connector)
## 開發 Spark 連接器
您可以使用 Spark DataSource API V2 (Spark 2.4) 建立 Spark 連接器來讀取資料。
**建立自訂 Spark 連接器**
請按照 AWS Glue GitHub 範例程式庫中的步驟來開發 Spark 連接器，網址為 [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md)。
## 開發 Athena 連接器
您可以建立 Athena 連接器，以供 AWS Glue 和 AWS Glue Studio 用於查詢自訂資料來源。
**建立自訂 Athena 連接器**
請依照 AWS Glue GitHub 範例程式庫中的步驟來開發 Athena 連接器，網址為 [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena)。
## 開發 JDBC 連接器
您可以建立使用 JDBC 存取資料存放區的連接器。
**建立自訂 JDBC 連接器**
1. 在您的本機開發環境中安裝 AWS Glue Spark 執行時間程式庫。請參閱 AWS Glue GitHub 範例程式庫中的指示，網址為 [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md)。
1. 實作負責從資料來源擷取資料的 JDBC 驅動程式。請參閱適用於 Java SE 8 的 [Java 文件](https://docs.oracle.com/javase/8/docs/technotes/guides/jdbc/)。
在您的程式碼中建立一個入口點，供 AWS Glue Studio 用來找到您的連接器。**Class name (類別名稱)** 欄位應該是 JDBC 驅動程式的完整路徑。
1. 使用 `GlueContext` API 來透過連接器讀取資料。如有必要，使用者可以在 AWS Glue Studio 主控台中新增更多輸入選項以設定連到資料來源的連線。如需示範如何使用自訂 JDBC 連接器讀取和寫入 JDBC 資料庫的程式碼範例，請參閱 [Custom and AWS Marketplace connectionType 值](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html#aws-glue-programming-etl-connect-market)。
## 搭配 AWS Glue Studio 使用自訂連接器的範例
如需使用自訂連接器的範例，請參閱下列部落格：
+ [使用 AWS Glue 為您的資料存放區開發、測試及部署自訂連接器](https://aws.amazon.com/blogs/big-data/developing-testing-and-deploying-custom-connectors-for-your-data-stores-with-aws-glue/)
+ Apache Hudi：[使用 AWS Glue 自訂連接器寫入 Apache Hudi 資料表](https://aws.amazon.com/blogs/big-data/writing-to-apache-hudi-tables-using-aws-glue-connector/)
+ Google BigQuery：[使用 AWS Glue 自訂連接器將資料從 Google BigQuery 移轉至 Amazon S3](https://aws.amazon.com/blogs/big-data/migrating-data-from-google-bigquery-to-amazon-s3-using-aws-glue-custom-connectors/)
+ Snowflake (JDBC)：[使用 Snowflake 和 AWS Glue 執行資料轉換](https://aws.amazon.com/blogs/big-data/performing-data-transformations-using-snowflake-and-aws-glue/)
+ SingleStore：[使用 SingleStore 和 AWS Glue 建置快速 ETL](https://aws.amazon.com/blogs/big-data/building-fast-etl-using-singlestore-and-aws-glue/)
+ Salesforce：[ 搭配使用 CData JDBC 自訂連接器與 AWS Glue，將 Salesforce 資料擷取至 Amazon S3](https://aws.amazon.com/blogs/big-data/ingest-salesforce-data-into-amazon-s3-using-the-cdata-jdbc-custom-connector-with-aws-glue) -
+ MongoDB：[使用 Amazon DocumentDB (with MongoDB compatibility) 和 MongoDB 建置 AWS Glue Spark ETL 任務](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/)
+ Amazon Relational Database Service (Amazon RDS)：為 [Amazon RDS 使用您自己的 JDBC 驅動程式來建置 AWS Glue Spark ETL 任務 ](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-by-bringing-your-own-jdbc-drivers-for-amazon-rds/)
+ MySQL (JDBC)：[https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala](https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala)
## 開發 的AWS Glue連接器 AWS Marketplace
身為 AWS 合作夥伴，您可以建立自訂連接器，並將其上傳至 AWS Marketplace 以銷售給AWS Glue客戶。
開發連接器程式碼的程序與自訂連接器的程序相同，但是上傳和驗證連接器程式碼的程序比較詳細。請參閱 GitHub 網站上[為 AWS Marketplace建立連接器](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/marketplace/publishGuide.pdf)中的指示。
# 在 AWS Glue Studio 中使用連接器和連線的限制
當您使用自訂連接器或連接器時 AWS Marketplace，請注意下列限制：
+ 針對自訂連接器建立的連線不支援 testConnection API。
+ 自訂連接器不支援 Data Catalog 連線密碼加密。
+ 如果您為使用 JDBC 連接器的資料來源節點指定篩選述詞，則無法使用任務書籤。
+ AWS Glue Studio 使用者介面外部不支援建立 Marketplace 連線。