Sumber daya untuk menggunakan SageMaker AI Spark untuk contoh Python PySpark () - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sumber daya untuk menggunakan SageMaker AI Spark untuk contoh Python PySpark ()

Amazon SageMaker AI menyediakan pustaka Apache Spark Python (SageMaker AI PySpark) yang dapat Anda gunakan untuk mengintegrasikan aplikasi Apache Spark Anda dengan AI. SageMaker Topik ini berisi contoh untuk membantu Anda memulai PySpark. Untuk informasi tentang perpustakaan SageMaker AI Apache Spark, lihat. Apache Spark dengan Amazon AI SageMaker

Unduh PySpark

Anda dapat mengunduh kode sumber untuk pustaka Python Spark (PySpark) dan Scala dari repositori AI Spark. SageMaker GitHub

Untuk petunjuk cara menginstal perpustakaan SageMaker AI Spark, gunakan opsi berikut atau kunjungi SageMaker AI PySpark.

  • Instal menggunakan pip:

    pip install sagemaker_pyspark

  • Instal dari sumbernya:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Anda juga dapat membuat notebook baru dalam instance notebook yang menggunakan kernel Sparkmagic (PySpark) atau Sparkmagic (PySpark3) kernel dan terhubung ke cluster EMR Amazon jarak jauh.

    catatan

    Cluster EMR Amazon harus dikonfigurasi dengan peran IAM yang memiliki kebijakan terlampir. AmazonSageMakerFullAccess Untuk informasi tentang mengonfigurasi peran untuk kluster EMR, lihat Mengonfigurasi Peran IAM untuk Izin EMR Amazon ke AWS Layanan di Panduan Manajemen EMR Amazon.

PySpark contoh

Untuk contoh tentang penggunaan SageMaker AI PySpark, lihat:

Untuk menjalankan notebook pada instance notebook, lihatAkses contoh notebook. Untuk menjalankan notebook di Studio, lihatMembuat atau Membuka Notebook Amazon SageMaker Studio Classic.