View a markdown version of this page

Runtime AWS untuk Apache Spark (emr-spark-8.0-pratinjau) - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Runtime AWS untuk Apache Spark (emr-spark-8.0-pratinjau)

Tabel berikut mencantumkan versi aplikasi yang tersedia dengan AWS runtime for Apache Spark (emr-spark-8.0-preview).

Informasi versi aplikasi
Aplikasi Versi
Spark 4.0.1-amzn-0
Catatan rilis runtime AWS untuk Apache Spark (emr-spark-8.0-preview)

  • Rilis pratinjau - Ini adalah rilis pratinjau yang AWS runtime for Apache Spark menampilkan Apache Spark 4.0.1. Pratinjau ini hanya tersedia di EMR Serverless.

  • Ketersediaan Regional - Rilis pratinjau ini tersedia di semua AWS Wilayah di mana EMR Serverless tersedia, kecuali wilayah China dan AWS GovCloud (AS).

  • Informasi versi aplikasi - Rilis ini dikirimkan dengan versi aplikasi berikut:

    • AWS SDK untuk Java 2.35.5, 1.12.792

    • Pita 3.9, 3.11, 3.12

    • Scala 2.13.16

    • AmazonCloudWatchAgent 1.300034.0-amzn-0

    • Delta 4.0.0-amzn-0-spark

    • Gunung es 1.10.0-amzn-spark-0

    • Rilis ini dikirimkan dengan Amazon Corretto 17 (dibangun di OpenJDK) secara default untuk aplikasi yang mendukung Corretto 17 (JDK 17).

  • Batasan pratinjau - Kemampuan berikut tidak tersedia dalam rilis pratinjau ini:

    • Fitur Interaktif dan Integr asi: SageMaker Unified Studio, integrasi EMR Studio, Spark Connect, Livy, dan tidak JupyterEnterpriseGateway didukung.

    • Format Tabel dan Kontrol Akses: Hudi, Format Universal Delta, dan kontrol akses berbutir halus (FGAC) dengan pemfilteran tingkat baris atau tingkat kolom dan operator tidak didukung. DDL/DML

    • Konektor Data: konektor spark-sql-kinesis, emr-dynamodb, dan spark-redshift tidak tersedia.

    • Server Sejarah: Server Sejarah Spark Persistent tidak tersedia dalam rilis pratinjau ini. Pengguna masih dapat mengakses UI Spark langsung untuk memantau dan men-debug pekerjaan tanpa server aktif secara real-time.

    • Fitur Khusus: Tampilan Terwujud tidak tersedia.

  • Kemampuan pratinjau - Anda dapat menguji kemampuan berikut dalam rilis pratinjau ini. Rilis pratinjau ini tidak direkomendasikan untuk beban kerja produksi:

    • Fitur SQL: Mode ANSI SQL dengan penanganan tipe yang lebih ketat, sintaks SQL PIPE (|>) untuk operasi rantai, tipe data VARIANT untuk data JSON semi-terstruktur, skrip SQL dengan pernyataan aliran kontrol dan variabel sesi, dan fungsi SQL yang ditentukan pengguna.

    • Peningkatan Streaming: API Pemrosesan Status Arbitrary v2 dengan WithState operator transformasi, Pembaca Sumber Data Negara untuk status streaming yang dapat dikueri (eksperimental), dan penyimpanan status yang disempurnakan dengan checkpointing changelog RocksDB yang ditingkatkan.

    • Dukungan Format Tabel: Apache Iceberg v3 dengan dukungan tipe data VARIANT, integrasi Tabel AWS S3, dan Akses Tabel Penuh (FTA) dengan AWS Lake Formation untuk tabel Iceberg, Delta Lake, dan Hive.

  • Dokumentasi Tambahan - Untuk dokumentasi Apache Spark tambahan, lihat Dokumentasi Rilis Apache Spark 4.0.1.

Memulai

Untuk memulai dengan pratinjau Apache Spark 4.0.1, buat aplikasi EMR Serverless menggunakan CLI: AWS 

aws emr-serverless create-application --type spark \
  --release-label emr-spark-8.0-preview \
  --region us-east-1 --name spark4-preview