Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Spark API terdaftar yang diizinkan kontrol akses berbutir halus asli PySpark
Untuk menjaga keamanan dan kontrol akses data, Spark fine-grained access control (FGAC) membatasi fungsi tertentu. PySpark Pembatasan ini diberlakukan melalui:
-
Pemblokiran eksplisit yang mencegah eksekusi fungsi
-
Ketidakcocokan arsitektur yang membuat fungsi tidak berfungsi
-
Fungsi yang dapat menimbulkan kesalahan, mengembalikan akses pesan yang ditolak, atau tidak melakukan apa pun saat dipanggil
PySpark Fitur berikut tidak didukung di Spark FGAC:
-
Operasi RDD (diblokir dengan Spark RDDUnsupported Exception)
-
Spark Connect (tidak didukung)
-
Spark Streaming (tidak didukung)
Meskipun kami telah menguji fungsi yang terdaftar di lingkungan Native Spark FGAC dan mengonfirmasi bahwa fungsi tersebut berfungsi seperti yang diharapkan, pengujian kami biasanya hanya mencakup penggunaan dasar setiap API. Fungsi dengan beberapa jenis input atau jalur logika kompleks mungkin memiliki skenario yang belum diuji.
Untuk fungsi apa pun yang tidak tercantum di sini dan tidak jelas bagian dari kategori yang tidak didukung di atas, kami merekomendasikan:
-
Mengujinya terlebih dahulu di lingkungan gamma atau penerapan skala kecil
-
Memverifikasi perilaku mereka sebelum menggunakannya dalam produksi
catatan
Jika Anda melihat metode kelas terdaftar tetapi bukan kelas dasarnya, metode tersebut harus tetap berfungsi—itu hanya berarti kita belum secara eksplisit memverifikasi konstruktor kelas dasar.
PySpark API diatur ke dalam modul. Dukungan umum untuk metode dalam setiap modul dirinci dalam tabel di bawah ini.
| Nama modul | Status | Catatan |
|---|---|---|
|
pyspark_core |
Didukung |
Modul ini berisi kelas RDD utama, dan fungsi-fungsi ini sebagian besar tidak didukung. |
|
pyspark_sql |
Didukung |
|
|
pyspark_testing |
Didukung |
|
|
pyspark_resource |
Didukung |
|
|
pyspark_streaming |
Diblokir |
Penggunaan streaming diblokir di Spark FGAC. |
|
pyspark_mllib |
Eksperimental |
Modul ini berisi operasi MLberbasis RDD, dan fungsi-fungsi ini sebagian besar tidak didukung. Modul ini tidak diuji secara menyeluruh. |
|
pyspark_ml |
Eksperimental |
Modul ini berisi operasi DataFrame berbasis ML, dan fungsi-fungsi ini sebagian besar didukung. Modul ini tidak diuji secara menyeluruh. |
|
pyspark_panda |
Didukung |
|
|
pyspark_pandas_slow |
Didukung |
|
| pyspark_connect |
Diblokir |
Penggunaan Spark Connect diblokir di Spark FGAC. |
| pyspark_pandas_connect |
Diblokir |
Penggunaan Spark Connect diblokir di Spark FGAC. |
| pyspark_pandas_slow_connect |
Diblokir |
Penggunaan Spark Connect diblokir di Spark FGAC. |
| pyspark_errors |
Eksperimental |
Modul ini tidak diuji secara menyeluruh. Kelas kesalahan khusus tidak dapat digunakan. |
Daftar Izin API
Untuk daftar yang dapat diunduh dan lebih mudah dicari, file dengan modul dan kelas tersedia di fungsi Python yang diizinkan di Native FGAC.
