Ressources pour utiliser les exemples d' SageMaker AI Spark pour Python (PySpark) - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ressources pour utiliser les exemples d' SageMaker AI Spark pour Python (PySpark)

Amazon SageMaker AI fournit une bibliothèque Python (SageMaker AI PySpark) Apache Spark que vous pouvez utiliser pour intégrer vos applications Apache Spark à l' SageMaker IA. Cette rubrique contient des exemples pour vous aider à démarrer PySpark. Pour plus d'informations sur la bibliothèque SageMaker AI Apache Spark, consultezApache Spark avec Amazon SageMaker AI.

Download PySpark

Vous pouvez télécharger le code source des bibliothèques Python Spark (PySpark) et Scala depuis le GitHub référentiel SageMaker AI Spark.

Pour obtenir des instructions sur l'installation de la bibliothèque SageMaker AI Spark, utilisez l'une des options suivantes ou consultez SageMaker AI PySpark.

  • Installation à l'aide de pip :

    pip install sagemaker_pyspark

  • Installation à partir de la source :

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Vous pouvez également créer un nouveau bloc-notes dans une instance de bloc-notes qui utilise le noyau Sparkmagic (PySpark) ou le Sparkmagic (PySpark3) noyau et vous connecter à un cluster Amazon EMR distant.

    Note

    Le cluster Amazon EMR doit être configuré avec un rôle IAM auquel la AmazonSageMakerFullAccess politique est attachée. Pour de plus amples informations sur la configuration de rôles pour un cluster EMR, veuillez consulter Configure IAM Roles for Amazon EMR Permissions to AWS Services dans le Guide de gestion Amazon EMR.

PySpark exemples

Pour des exemples d'utilisation de l' SageMaker IA PySpark, voir :

Pour exécuter les blocs-notes sur une instance de bloc-notes, consultez Accédez à des exemples de blocs-notes. Pour exécuter les blocs-notes sous Studio, consultez Création ou ouverture d'un bloc-notes Amazon SageMaker Studio Classic.