本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
中的 Amazon Q 資料整合 AWS Glue
中的 Amazon Q 資料整合 AWS Glue 是 的新生成式 AI 功能 AWS Glue ,可讓資料工程師和 ETL 開發人員使用自然語言建置資料整合任務。工程師和開發人員可以要求 Amazon Q 撰寫任務、疑難排解問題,以及回答有關 AWS Glue 和資料整合的問題。
什麼是 Amazon Q?
注意
採用 Amazon Bedrock 技術: AWS 實作自動濫用偵測。因為 Amazon Q 資料整合是建立在 Amazon Bedrock 的基礎上,所以使用者可以充分利用 Amazon Bedrock 中實作的控制措施,強制執行人工智慧 (AI) 的安全、保障和負責任使用目標。
Amazon Q 是生成式人工智慧 (AI) 支援的對話式助理,可協助您了解、建置、擴展和操作 AWS 應用程式。支援 Amazon Q 的模型已透過高品質 AWS 內容增強,讓您擁有更完整、可行且參考的答案,以加速您的建置 AWS。如需詳細資訊,請參閱什麼是 Amazon Q?
AWS Glue中的 Amazon Q 資料整合是什麼?
中的 Amazon Q 資料整合 AWS Glue 包含下列功能:
聊天 – 中的 Amazon Q 資料整合 AWS Glue 可以用英文回答有關 AWS Glue 和資料整合網域的自然語言問題,例如 AWS Glue 來源和目的地連接器、 AWS Glue ETL 任務、資料目錄 AWS Lake Formation、爬蟲程式和其他功能文件,以及最佳實務。中的 Amazon Q 資料整合會以step-by-step指示 AWS Glue 回應,並包含其資訊來源的參考。
資料整合程式碼產生 – 中的 Amazon Q 資料整合 AWS Glue 可以回答有關 AWS Glue ETL 指令碼的問題,並根據自然語言的英文問題產生新的程式碼。
故障診斷 – 中的 Amazon Q 資料整合 AWS Glue 旨在協助您了解 AWS Glue 任務中的錯誤,並提供step-by-step指示,以找出根本原因並解決問題。
注意
中的 Amazon Q 資料整合 AWS Glue 不會使用您的對話內容,在對話期間通知未來的回應。在 中與 Amazon Q 資料整合的每次對話 AWS Glue ,都與您先前或未來的對話無關。
是否使用 AWS Glue中的 Amazon Q 資料整合?
在 Amazon Q 面板中,您可以請求 Amazon Q 為 AWS Glue ETL 指令碼產生程式碼,或回答有關 AWS Glue 功能或故障診斷錯誤的問題。回應是 PySpark 中的 ETL 指令碼,並提供逐步指示來自訂、檢閱和執行指令碼。系統會根據資料整合知識庫產生對問題的回應,其中包含摘要和來源 URL 以供參考。
例如,您可以要求 Amazon Q 「請提供從 Snowflake 讀取、重新命名欄位和寫入 Redshift 的 Glue 指令碼」,而 中的 Amazon Q 資料整合 AWS Glue 將傳回可執行所請求動作 AWS Glue 的任務指令碼。您可以檢閱產生的程式碼,確保其符合請求的意圖。如果滿意,您可以在生產環境中將其部署為 AWS Glue 任務。您可以要求整合解釋錯誤和失敗,並提出解決方案,藉此疑難排解作業。Amazon Q 可以回答有關 AWS Glue 或資料整合最佳實務的問題。
以下是示範 中的 Amazon Q 資料整合如何 AWS Glue 協助您建置的範例問題 AWS Glue:
AWS Glue ETL 程式碼產生:
撰寫從 S3 讀取 JSON 的 AWS Glue 指令碼,使用套用映射轉換欄位並寫入 Amazon Redshift
如何撰寫從 DynamoDB 讀取、套用 DropNullFields 轉換並以 Parquet 形式寫入 S3 的 AWS Glue 指令碼?
提供從 MySQL 讀取的 AWS Glue 指令碼、根據我的商業邏輯捨棄一些欄位,以及寫入 Snowflake
撰寫 AWS Glue 任務以從 DynamoDB 讀取,並以 JSON 形式寫入 S3
協助我開發 AWS Glue Data Catalog 到 S3 的 AWS Glue 指令碼
撰寫 AWS Glue 任務以從 S3 讀取 JSON、捨棄 null 並寫入 Redshift
AWS Glue 功能說明:
如何使用 AWS Glue Data Quality?
如何使用 AWS Glue 任務書籤?
如何啟用 AWS Glue 自動擴展?
AWS Glue 動態影格和 Spark 資料影格之間的差異是什麼?
支援哪些不同類型的連線 AWS Glue?
AWS Glue 故障診斷:
如何對 AWS Glue 任務上的記憶體不足 (OOM) 錯誤進行故障診斷?
設定 AWS Glue Data Quality 時可能會看到哪些錯誤訊息,以及如何修正這些錯誤訊息?
如何修正錯誤為 Amazon S3 存取遭拒 AWS Glue 的任務?
如何解決 AWS Glue 任務上資料隨機播放的問題?
與 Amazon Q 資料整合互動的最佳實務
以下是與 Amazon Q 資料整合互動的最佳實務:
與 Amazon Q 資料整合互動時,請提出特定問題,在有複雜的請求時反覆運算,並驗證答案的準確性。
以自然語言提供資料整合時,請盡可能具體地協助助理了解您需要的內容。與其詢問「從 S3 擷取資料」,提供更多詳細資訊,例如「撰寫從 S3 擷取 JSON 檔案的 AWS Glue 指令碼」。
執行產生的指令碼之前,請先進行檢閱以確保準確性。如果產生的指令碼有錯誤或不符合您的意圖,請提供指示給助理,說明如何更正。
生成式 AI 技術是一種新穎的技術,在反應中可能會出現錯誤,有時也稱為幻覺。在您的環境或工作負載中使用之前,請先測試並檢閱所有程式碼是否有錯誤和漏洞。
AWS Glue 服務改進中的 Amazon Q 資料整合
為了協助 中的 Amazon Q 資料整合 AWS Glue 提供最相關的資訊 AWS ,我們可能會使用 Amazon Q 的特定內容,例如您向 Amazon Q 提出的問題及其回應,以改善服務。
如需有關我們使用哪些內容以及如何選擇退出的資訊,請參閱《Amazon Q Developer 使用者指南》中的 Amazon Q Developer 服務改善。
考量事項
使用 AWS Glue中的 Amazon Q 資料整合之前,請考慮下列項目:
目前,程式碼產生僅適用於 PySpark 核心。產生的程式碼適用於以 Python Spark 為基礎的 AWS Glue 任務。
如需 中 Amazon Q 資料整合的程式碼產生功能支援組合的詳細資訊 AWS Glue,請參閱 支援的程式碼產生功能。