AWS runtime for Apache Spark(emr-spark-8.0-pratinjau) - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS runtime for Apache Spark(emr-spark-8.0-pratinjau)

Tabel berikut mencantumkan versi aplikasi yang tersedia dengan AWS runtime for Apache Spark (emr-spark-8.0-preview).

Informasi versi aplikasi
Aplikasi Versi
Spark 4.0.1-amzn-0
AWS runtime for Apache Spark(emr-spark-8.0-preview) catatan rilis

  • Rilis pratinjau - Ini adalah rilis pratinjau yang AWS runtime for Apache Spark menampilkan Apache Spark 4.0.1. Pratinjau ini hanya tersedia di EMR Tanpa Server.

  • Ketersediaan Regional - Rilis pratinjau ini tersedia di semua AWS Wilayah di mana EMR Tanpa Server tersedia, kecuali wilayah China dan AWS GovCloud (AS).

  • Informasi versi aplikasi - Rilis ini dikirimkan dengan versi aplikasi berikut:

    • AWS SDK for Java 2.35.5, 1.12.792

    • Python 3.9, 3.11, 3.12

    • Scala 2.13.16

    • AmazonCloudWatchAgent 1.300034.0-amzn-0

    • Delta 4.0.0-amzn-0-spark

    • Gunung es 1.10.0-amzn-spark-0

    • Rilis ini dikirimkan dengan Amazon Corretto 17 (dibangun di atas OpenJDK) secara default untuk aplikasi yang mendukung Corretto 17 (JDK 17).

  • Batasan pratinjau - Kemampuan berikut tidak tersedia dalam rilis pratinjau ini:

    • Fitur Interaktif dan Integrasi: SageMaker Unified Studio, integrasi EMR Studio, Spark Connect, Livy, JupyterEnterpriseGateway dan tidak didukung.

    • Format Tabel dan Kontrol Akses: Hudi, Delta Universal Format, dan fine-grained access control (FGAC) dengan pemfilteran tingkat baris atau tingkat kolom dan operator tidak didukung. DDL/DML

    • Konektor Data: spark-sql-kinesis, emr-dynamodb, dan konektor spark-redshift tidak tersedia.

    • Server Sejarah: Server Sejarah Persisten Spark tidak tersedia dalam rilis pratinjau ini. Pengguna masih dapat mengakses UI Spark langsung untuk memantau dan men-debug pekerjaan tanpa server aktif secara real-time.

    • Fitur Khusus: Tampilan Terwujud tidak tersedia.

  • Kemampuan pratinjau - Anda dapat menguji kemampuan berikut dalam rilis pratinjau ini. Rilis pratinjau ini tidak disarankan untuk beban kerja produksi:

    • Fitur SQL: Mode ANSI SQL dengan penanganan tipe yang lebih ketat, sintaks SQL PIPE (|>) untuk operasi rantai, tipe data VARIANT untuk data JSON semi-terstruktur, skrip SQL dengan pernyataan aliran kontrol dan variabel sesi, dan fungsi yang ditentukan pengguna SQL.

    • Penyempurnaan Streaming: Arbitrary Stateful Processing API v2 dengan transformWithState operator, State Data Source Reader untuk status streaming yang dapat dikueri (eksperimental), dan penyimpanan status yang disempurnakan dengan checkpointing log perubahan RocksDB yang ditingkatkan.

    • Dukungan Format Tabel: Apache Iceberg v3 dengan dukungan tipe data VARIANT, integrasi Tabel AWS S3, dan Akses Tabel Penuh (FTA) dengan tabel AWS Lake Formation untuk Iceberg, Delta Lake, dan Hive.

  • Dokumentasi Tambahan - Untuk dokumentasi Apache Spark tambahan, lihat Dokumentasi Rilis Apache Spark 4.0.1.

Memulai

Untuk memulai pratinjau Apache Spark 4.0.1, buat aplikasi EMR Tanpa Server menggunakan CLI: AWS 

aws emr-serverless create-application --type spark \
  --release-label emr-spark-8.0-preview \
  --region us-east-1 --name spark4-preview