搭配 Glue 使用 Python AWS 程式庫

您可以安裝其他 Python 模組和程式庫，以與 Glue ETL AWS 搭配使用。對於 AWS Glue 2.0 及更高版本， AWS Glue 使用 Python 套件安裝程式 (pip3) 來安裝 AWS Glue ETL 使用的其他模組。 AWS Glue 提供多種選項，可將其他 Python 模組帶入您的 AWS Glue 任務環境。您可以使用 --additional-python-modules 參數，使用包含綁定 Python 輪的 zip 檔案 （也稱為 "zip of wheel"，適用於 AWS Glue 5.0 及更高版本）、個別 Python 輪檔案、需求檔案 (requirements.txt，適用於 AWS Glue 5.0 及更高版本） 或逗號分隔 Python 模組清單來引入新模組。它也可以用來變更 Glue 環境中提供的 Python AWS 模組版本 （如需詳細資訊Python 模組已在 Glue AWS 中提供，請參閱 )。

在 AWS Glue 2.0 或更新版本中使用 pip 安裝其他 Python 模組

AWS Glue 使用 Python 套件安裝程式 (pip3) 來安裝 AWS Glue ETL 要使用的其他模組。您可以使用 --additional-python-modules 參數與逗號分隔的 Python 模組清單來新增新模組或變更現有模組的版本。您可以將檔案上傳到 Amazon S3，然後將 Amazon S3 物件的路徑包含在模組清單中，透過轉輪壓縮或獨立轉輪成品來安裝建置的車輪成品。如需設定任務參數的詳細資訊，請參閱在 Glue AWS 任務中使用任務參數。

您可以使用 --python-modules-installer-option 參數將其他選項傳遞給 pip3。例如，您可以傳遞 --only-binary 強制 pip 僅為 指定的套件安裝預先建置的成品--additional-python-modules。如需更多範例，請參閱使用 Glue 2.0 從 Spark ETL AWS 工作負載的 wheel 建置 Python 模組。

Python 相依性管理的最佳實務

對於生產工作負載， AWS Glue 建議將所有 Python 相依性封裝為單一 zip 成品中的 wheel 檔案。此方法提供：

重要考量

在AWS 共同責任模型下，您負責管理其他 Python 模組、程式庫及其相依性。其中包含：

如果您有最少的相依性，您可以考慮改用個別的 wheel 檔案。

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/zip-of-wheels-1.0.0.gluewheels.zip
--python-modules-installer-option --no-index

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl

awswrangler==3.9.1
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

包括 Python 檔案與 PySpark 原生功能

AWS Glue 使用 PySpark 在 Glue ETL AWS 任務中包含 Python 檔案。您需使用可用的 --additional-python-modules 管理相依性。您可以使用 --extra-py-files 任務參數來包含 Python 檔案。相依性必須在 Amazon S3 中託管，且引數值應為以逗號分隔的 Amazon S3 路徑清單，並不含空格。此功能的行為類似於您搭配 Spark 使用的 Python 相依性管理。有關 Spark 中 Python 相依性管理的詳細資訊，請參閱 Apache Spark 文件中的 Using PySpark Native Features (使用 PySpark 原生功能) 頁面。在未封裝其他程式碼的情況下，或者當您使用現有工具鏈移轉 Spark 程式以管理相依性時，--extra-py-files 非常有用。為了使您的相依性工具可維護，您必須在提交之前綁定相依性。

使用視覺化轉換的程式設計指令碼

當您使用 AWS Glue Studio 視覺化界面建立 Glue AWS 任務時，您可以使用受管資料轉換節點和自訂視覺化轉換來轉換資料。如需有關受管資料轉換節點的詳細資訊，請參閱使用 AWS Glue 受管轉換來轉換資料。如需有關自訂視覺化轉換的詳細資訊，請參閱 使用自訂視覺化轉換來轉換資料 。只有在任務語言設定為使用 Python 時，才能使用視覺化轉換產生指令碼。

使用視覺化轉換產生 AWS Glue 任務時， AWS Glue Studio 會使用任務組態中的 --extra-py-files 參數，將這些轉換包含在執行時間環境中。如需有關任務參數的詳細資訊，請參閱 在 Glue AWS 任務中使用任務參數。對產生的指令碼或執行時期環境進行變更時，您需要保留此任務組態，指令碼才能成功執行。

壓縮程式庫以加入

除非程式庫包含在單一的 .py 檔案裡，否則應封裝於 .zip 封存中。套件目錄應位於封存的根目錄，且套件必須包含一個 __init__.py 檔案。接著 Python 就可以正常匯入套件。

如果程式庫僅由一個 .py 檔案裡的單一 Python 模組組成，則不必將其置於 .zip 檔案。

在 Glue Studio AWS 筆記本中載入 Python 程式庫

若要在 Glue Studio AWS 筆記本中指定 Python 程式庫，請參閱安裝其他 Python 模組。

在 Glue 0.9/1.0 中的開發端點中載入 Python AWS 程式庫

若要將不同的程式庫集用於不同的 ETL 指令碼，您可以為各程式庫集設定個別的開發端點，或是覆寫每次切換指令碼時開發端點載入的程式庫 .zip 檔案。

在建立開發端點時，您可以使用主控台為其指定一或多個程式庫 .zip 檔案。指派名稱和 IAM 角色後，請選擇 Script Libraries and job parameters (optional) [指令碼程式庫與任務參數 (選用)]，並在 .zipPython library path (Python 程式庫路徑) 方塊中輸入程式庫 檔案的完整 Amazon S3 路徑。例如：

s3://bucket/prefix/site-packages.zip

您也可以為檔案指定多個完整路徑，以逗號但不含空格的方式隔開，例如：

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

如果您在後來更新這些 .zip 檔案，您可以使用主控台將檔案重新匯入開發端點。導覽至該開發端點，從 Action (動作) 選單選擇 Update ETL libraries (更新 ETL 程式庫)。

以類似的方式，您可以使用 Glue APIs AWS 指定程式庫檔案。呼叫 CreateDevEndpoint 動作 (Python: create_dev_endpoint) 以建立開發端點時，您可以在 ExtraPythonLibsS3Path 參數中為程式庫指定一個或多個完整路徑，而呼叫的格式如下：

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

更新開發端點時，您也可以更新其載入的程式庫，方式是使用 DevEndpointCustomLibraries 物件，並在呼叫 UpdateDevEndpoint (update_dev_endpoint) 時將 UpdateEtlLibraries 參數設定為 True。

在任務或 JobRun 使用 Python 程式庫

在主控台建立新任務時，您可以指定一個或多個程式庫 .zip 檔案，方式是選擇 Script Libraries and job parameters (optional) (指令碼程式庫與任務參數 (選用))，並以與建立開發端點相同的方式輸入完整 Amazon S3 路徑：

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

若要呼叫 CreateJob (create_job)，您可以使用 --extra-py-files 預設參數來為預設程式庫指定一個或多個完整路徑，如下所示：

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

接著，啟動 JobRun 時，您可以用不同的內容覆寫預設程式庫設定：

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})

主動分析 Python 相依項

若要在部署至 Glue AWS 之前主動識別潛在的相依性問題，您可以使用相依性分析工具，針對目標 Glue 環境驗證 Python AWS 套件。

AWS 提供專為 Glue 環境設計的開放原始碼 Python AWS 相依性分析器工具。此工具可在 AWS Glue 範例儲存庫中使用，並可在本機用於在部署之前驗證您的相依性。

此分析有助於確保您的相依項遵循固定所有程式庫版本以實現一致生產部署的建議實務。如需詳細資訊，請參閱工具的 README。

# Analyze a single Glue job
python glue_dependency_analyzer.py -j my-glue-job

# Analyze multiple jobs with specific AWS configuration
python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2

I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available.

Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment.

Step 1: Root Cause Analysis
• Retrieve the most recent failed job run ID for the specified Glue job
• Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix
• Analyze the logs to identify:
  • The recently added or modified Python module that triggered the dependency conflict
  • The specific dependency chain causing the installation failure
  • Version compatibility conflicts between required and existing modules

Step 2: Baseline Configuration Identification
• Locate the last successful job run ID prior to the dependency failure
• Document the Python module versions that were functioning correctly in that baseline run
• Establish the compatible version constraints for conflicting dependencies

Step 3: Targeted Resolution Implementation
• Apply pinning by updating the job's additional_python_modules parameter
• Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary
• Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints
• Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions.

Implementation Example:
Scenario: Recently added pandas==2.0.0 to additional_python_modules
Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20)
Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5"
Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version

Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.

Python 模組已在 Glue AWS 中提供

若要變更這些已提供模組的版本，請提供帶有 --additional-python-modules 任務參數的新版本。

附錄 A：建立輪子壓縮成品

我們示範如何建立輪子成品的壓縮。顯示的範例會將套件 cryptography和 下載scipy到輪子成品的壓縮中，並將輪子的壓縮複製到 Amazon S3 位置。

附錄 B： AWS Glue 環境詳細資訊

在AWS 共同責任模型下，您負責管理與 Glue ETL 任務搭配使用的其他 Python AWS 模組、程式庫及其相依性。這包括套用更新和安全性修補程式。

AWS Glue 不支援在任務環境中編譯原生程式碼。不過， AWS Glue 任務會在 Amazon 受管 Linux 環境中執行。透過 Python wheel 檔案，您也許能夠以編譯形式提供原生相依項。如需 Glue AWS 版本相容性詳細資訊，請參閱上表。