使用 SageMaker AI Spark for Python (PySpark) 範例的資源 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 SageMaker AI Spark for Python (PySpark) 範例的資源

Amazon SageMaker AI 會提供 Apache Spark Python 程式庫 (SageMaker AI PySpark)，您可以將其用來整合 Apache Spark 應用程式與 SageMaker AI。本主題包含協助您開始使用 PySpark 的範例。如需 SageMaker AI Apache Spark 程式庫的相關資訊，請參閱 Apache Spark 搭配 Amazon SageMaker AI。

下載 PySpark

您可以從 SageMaker AI Spark GitHub 程式庫下載 Python Spark (PySpark) 和 Scala 程式庫的來源碼。

如需安裝 SageMaker AI Spark 程式庫的指示，請使用下列任何選項或造訪 SageMaker AI PySpark。

  • 使用 pip 安裝：

    pip install sagemaker_pyspark

  • 從來源安裝：

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • 您也可以在筆記本執行個體中建立新的筆記本，其會使用 Sparkmagic (PySpark) 或 Sparkmagic (PySpark3) 核心，並連線至遠端 Amazon EMR 叢集。

    注意

    Amazon EMR 叢集必須以與 AmazonSageMakerFullAccess 政策連接的 IAM 角色設定。有關為 EMR 羣集配置角色的資訊，請參閱為亞馬遜 EMR 權限配置 IAM 角色AWS服務在亞馬遜 EMR 管理指南。

PySpark 範例

如需使用 SageMaker AI PySpark 的範例，請參閱：