Membuat saluran input ML di AWS Clean Rooms - AWS Clean Rooms

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat saluran input ML di AWS Clean Rooms

Prasyarat:

  • Sebuah Akun AWS dengan akses ke AWS Clean Rooms

  • Kolaborasi yang disiapkan di AWS Clean Rooms tempat Anda ingin membuat saluran input ML

  • Izin untuk menanyakan data dan membuat saluran input ML dalam kolaborasi.

  • (Opsional) Algoritma model yang ada untuk diasosiasikan dengan saluran input ML, atau izin untuk membuat yang baru

  • (Opsional) Tabel dengan aturan analisis yang dapat dijalankan untuk model yang Anda tentukan.

  • (Opsional) Kueri SQL atau templat analisis yang ada untuk digunakan untuk menghasilkan kumpulan data

  • (Opsional) Peran layanan yang ada dengan izin yang sesuai, atau izin untuk membuat peran layanan baru

  • (Opsional) AWS KMS Kunci khusus jika Anda ingin menggunakan kunci enkripsi Anda sendiri

  • Izin yang sesuai untuk membuat dan mengelola model ML dalam kolaborasi

Saluran input ML adalah kumpulan data yang dibuat dari kueri data tertentu. Anggota dengan kemampuan untuk query data dapat mempersiapkan data mereka untuk pelatihan dan inferensi dengan membuat saluran input ML. Membuat saluran input ML memungkinkan data tersebut digunakan dalam model pelatihan yang berbeda dalam kolaborasi yang sama. Anda harus membuat saluran input ML terpisah untuk pelatihan dan inferensi.

Untuk membuat saluran input ML, Anda harus menentukan query SQL yang digunakan untuk query data input dan membuat saluran input ML. Hasil kueri ini tidak pernah dibagikan dengan anggota mana pun dan tetap berada dalam batas-batas Clean Rooms. Referensi Amazon Resource Name (ARN) digunakan pada langkah selanjutnya untuk melatih model atau menjalankan inferensi.

Console
Untuk membuat saluran input ML (konsol)

  1. Masuk ke Konsol Manajemen AWS dan buka AWS Clean Rooms konsol di https://console.aws.amazon.com/cleanrooms.

  2. Di panel navigasi kiri, pilih Kolaborasi.

  3. Pada halaman Kolaborasi, pilih kolaborasi tempat Anda ingin membuat saluran input ML.

  4. Setelah kolaborasi terbuka, pilih tab model ML.

  5. Di bawah model Custom ML, di bagian saluran input ML, pilih Buat saluran input ML.

  6. Pada halaman Create channel input ML, untuk detail saluran masukan ML, lakukan hal berikut:

    1. Untuk Nama, masukkan nama unik untuk saluran Anda.

    2. (Opsional) Untuk Deskripsi, masukkan deskripsi saluran Anda.

    3. Untuk algoritma model terkait, pilih algoritma yang akan digunakan.

      Pilih algoritma model Associate untuk menambahkan yang baru.

  7. Untuk Dataset, pilih metode untuk menghasilkan kumpulan data pelatihan:

    • Pilih kueri SQL untuk menggunakan hasil kueri SQL sebagai kumpulan data pelatihan.

      Jika Anda memilih kueri SQL, masukkan kueri Anda di bidang kueri SQL.

      (Opsional) Untuk mengimpor kueri yang baru saja Anda gunakan, pilih Impor dari kueri terbaru.

    • Pilih template Analisis untuk menggunakan hasil template analisis sebagai kumpulan data pelatihan.

      Awas

      Pembuatan data sintetis melindungi dari menyimpulkan atribut individu apakah individu tertentu hadir dalam kumpulan data asli atau atribut pembelajaran individu tersebut hadir. Namun, itu tidak mencegah nilai literal dari kumpulan data asli, termasuk informasi yang dapat diidentifikasi secara pribadi (PII) muncul di kumpulan data sintetis.

      Sebaiknya hindari nilai dalam kumpulan data input yang hanya terkait dengan satu subjek data karena ini dapat mengidentifikasi kembali subjek data. Misalnya, jika hanya satu pengguna yang tinggal dalam kode pos, keberadaan kode pos itu dalam kumpulan data sintetis akan mengonfirmasi bahwa pengguna berada dalam kumpulan data asli. Teknik seperti memotong nilai presisi tinggi atau mengganti katalog yang tidak biasa dengan yang lain dapat digunakan untuk mengurangi risiko ini. Transformasi ini dapat menjadi bagian dari query yang digunakan untuk membuat saluran input ML.

    1. Jika tidak ada tabel yang terkait, pilih Tabel asosiasi untuk menambahkan tabel dengan aturan analisis yang dapat dijalankan untuk model yang ditentukan.

    2. Pilih Jenis pekerja yang akan digunakan saat membuat saluran data ini. Jenis pekerja default adalah CR.1X. Tentukan Jumlah pekerja yang akan digunakan. Nomor pekerja default adalah 16. Untuk menentukan properti Spark:

      1. Perluas properti Spark.

      2. Pilih Tambahkan properti Spark.

      3. Pada kotak dialog properti Spark, pilih nama Properti dari daftar dropdown dan masukkan Nilai.

      Tabel berikut memberikan definisi untuk setiap properti.

      Untuk informasi selengkapnya tentang properti Spark, lihat Spark Properties di dokumentasi Apache Spark.

      Nama Properti Deskripsi nilai default

      Spark.Task.MaxFailures

      Mengontrol berapa kali berturut-turut tugas dapat gagal sebelum pekerjaan gagal. Membutuhkan nilai yang lebih besar dari atau sama dengan 1. Jumlah percobaan ulang yang diizinkan sama dengan nilai ini dikurangi 1. Hitungan kegagalan diatur ulang jika ada upaya yang berhasil. Kegagalan di berbagai tugas tidak menumpuk menuju batas ini.

      4

      spark.sql.file. maxPartitionBytes

      Menetapkan jumlah maksimum byte untuk dikemas ke dalam satu partisi ketika membaca dari sumber berbasis file seperti Parquet, JSON, dan ORC.

      128MB

      Spark.hadoop.fs.s3.maxRetries

      Menetapkan jumlah maksimum percobaan ulang untuk operasi file Amazon S3.

      spark.network.timeout

      Menetapkan batas waktu default untuk semua interaksi jaringan. Mengganti pengaturan batas waktu berikut jika tidak dikonfigurasi:

      • spark.storage. blockManagerHeartbeatTimeoutMs

      • spark.shuffle.io.connectionTimeout

      • Spark.rpc.askTimeout

      • Spark.rpc.lookupTimeout

      120s

      spark.rdd.compress

      Menentukan apakah untuk mengompres partisi RDD serial menggunakan spark.io.compression.codec. Berlaku StorageLevel untuk.MEMORY_ONLY_SER di Java dan Scala, atau .MEMORY_ONLY dengan Python. StorageLevel Mengurangi ruang penyimpanan tetapi membutuhkan waktu pemrosesan CPU tambahan.

      SALAH

      spark.shuffle.spill.compress

      Menentukan apakah untuk mengompres data tumpahan shuffle menggunakan spark.io.compression.codec.

      BETUL

      spark.sql.adaptif. advisoryPartitionSizeInBytes

      Menetapkan ukuran target dalam byte untuk partisi acak selama pengoptimalan adaptif ketika spark.sql.adaptive.enabled benar. Mengontrol ukuran partisi saat menggabungkan partisi kecil atau memisahkan partisi miring.

      (nilai spark.sql.adaptive.shuffle. targetPostShuffleInputSize)

      spark.sql.adaptif. autoBroadcastJoinAmbang

      Menetapkan ukuran tabel maksimum dalam byte untuk penyiaran ke node pekerja selama bergabung. Berlaku hanya dalam kerangka adaptif. Menggunakan nilai default yang sama seperti spark.sql. autoBroadcastJoinAmbang batas. Setel ke -1 untuk menonaktifkan penyiaran.

      (tidak ada)

      spark.sql.adaptive.coalescepartitions.enabled

      Menentukan apakah akan menggabungkan partisi shuffle bersebelahan berdasarkan spark.sql.adaptive. advisoryPartitionSizeInBytes untuk mengoptimalkan ukuran tugas. Membutuhkan spark.sql.adaptive.enabled agar benar.

      BETUL

      Spark.sql.adaptive.CoalescePartitions. initialPartitionNum

      Mendefinisikan jumlah awal partisi shuffle sebelum penggabungan. Memerlukan spark.sql.adaptive.enabled dan spark.sql.adaptive.CoalescePartitions.enabled untuk menjadi true. Default ke nilai spark.sql.shuffle.partitions.

      (tidak ada)

      Spark.sql.adaptive.CoalescePartitions. minPartitionSize

      Menetapkan ukuran minimum untuk partisi shuffle yang digabungkan untuk mencegah partisi menjadi terlalu kecil selama optimasi adaptif.

      1 MB

      spark.sql.adaptive.coalescepartitions.parallelismFirst

      Menentukan apakah untuk menghitung ukuran partisi berdasarkan paralelisme cluster bukan spark.sql.adaptive. advisoryPartitionSizeInBytes selama penggabungan partisi. Menghasilkan ukuran partisi yang lebih kecil dari ukuran target yang dikonfigurasi untuk memaksimalkan paralelisme. Kami merekomendasikan pengaturan ini ke false pada cluster sibuk untuk meningkatkan pemanfaatan sumber daya dengan mencegah tugas-tugas kecil yang berlebihan.

      BETUL

      spark.sql.adaptive.enabled

      Menentukan apakah akan mengaktifkan eksekusi kueri adaptif untuk mengoptimalkan kembali rencana kueri selama eksekusi kueri, berdasarkan statistik runtime yang akurat.

      BETUL

      spark.sql.adaptif. forceOptimizeSkewedBergabung

      Menentukan apakah akan memaksa mengaktifkan OptimizeSkewedJoin bahkan jika memperkenalkan shuffle tambahan.

      SALAH

      spark.sql.adaptif. localShuffleReader.diaktifkan

      Menentukan apakah akan menggunakan pembaca shuffle lokal ketika partisi shuffle tidak diperlukan, seperti setelah mengonversi dari gabungan sort-merge ke broadcast-hash bergabung. Membutuhkan spark.sql.adaptive.enabled agar benar.

      BETUL

      spark.sql.adaptif. maxShuffledHashJoinLocalMapThreshold

      Menetapkan ukuran partisi maksimum dalam byte untuk membangun peta hash lokal. Memprioritaskan gabungan hash yang diacak daripada gabungan sort-merge saat:

      • Nilai ini sama atau melebihi spark.sql.adaptive. advisoryPartitionSizeInBytes

      • Semua ukuran partisi berada dalam batas ini

      Mengganti spark.sql.join. preferSortMergeBergabunglah dengan pengaturan.

      0 byte

      spark.sql.adaptif. optimizeSkewsInRebalancePartitions.diaktifkan

      Menentukan apakah akan mengoptimalkan partisi shuffle miring dengan membaginya menjadi partisi yang lebih kecil berdasarkan spark.sql.adaptive. advisoryPartitionSizeInBytes. Membutuhkan spark.sql.adaptive.enabled agar benar.

      BETUL

      spark.sql.adaptif. rebalancePartitionsSmallPartitionFactor

      Mendefinisikan faktor ambang ukuran untuk menggabungkan partisi selama pemisahan. Partisi yang lebih kecil dari faktor ini dikalikan dengan spark.sql.adaptive. advisoryPartitionSizeInBytes digabung.

      0.2

      Spark.sql.adaptive.skewjoin.enabled

      Menentukan apakah untuk menangani data miring dalam bergabung diacak dengan memisahkan dan opsional mereplikasi partisi miring. Berlaku untuk gabungan hash sort-merge dan shuffled. Membutuhkan spark.sql.adaptive.enabled agar benar.

      BETUL

      Spark.sql.adaptive.skewJoin. skewedPartitionFactor

      Menentukan faktor ukuran yang menentukan kemiringan partisi. Partisi miring ketika ukurannya melebihi keduanya:

      • Faktor ini dikalikan dengan ukuran partisi median

      • Nilai spark.sql.adaptive.skewJoin. skewedPartitionThresholdInBytes

      5

      Spark.sql.adaptive.skewJoin. skewedPartitionThresholdInBytes

      Menetapkan ambang ukuran dalam byte untuk mengidentifikasi partisi miring. Partisi miring ketika ukurannya melebihi keduanya:

      • Ambang batas ini

      • Ukuran partisi median dikalikan dengan spark.sql.adaptive.skewJoin. skewedPartitionFactor

      Kami merekomendasikan pengaturan nilai ini lebih besar dari spark.sql.adaptive. advisoryPartitionSizeInBytes.

      256MB

      spark.sql. autoBroadcastJoinAmbang

      Menetapkan ukuran tabel maksimum dalam byte untuk penyiaran ke node pekerja selama bergabung. Setel ke -1 untuk menonaktifkan penyiaran.

      10MB

      Spark.Sql.BroadcastTimeout

      Mengontrol periode batas waktu dalam hitungan detik untuk operasi siaran selama siaran bergabung.

      300 detik

      spark.sql.cbo.enabled

      Menentukan apakah akan mengaktifkan optimasi berbasis biaya (CBO) untuk estimasi statistik rencana.

      SALAH

      Spark.sql.cbo.joinreorder.dp.star.filter

      Menentukan apakah akan menerapkan heuristik filter star-join selama enumerasi bergabung berbasis biaya.

      SALAH

      spark.sql.cbo.joinreorder.dp.threshold

      Menetapkan jumlah maksimum node bergabung yang diizinkan dalam algoritma pemrograman dinamis.

      12

      Spark.sql.cbo.joinreOrder.enabled

      Menentukan apakah akan mengaktifkan pengurutan ulang bergabung dalam optimasi berbasis biaya (CBO).

      SALAH

      Spark.sql.cbo.planstats.enabled

      Menentukan apakah untuk mengambil jumlah baris dan statistik kolom dari katalog selama pembuatan rencana logis.

      SALAH

      spark.sql.cbo. starSchemaDetection

      Menentukan apakah akan mengaktifkan pengurutan ulang gabungan berdasarkan deteksi skema bintang.

      SALAH

      spark.sql.file. maxPartitionNum

      Menetapkan jumlah maksimum target partisi file split untuk sumber berbasis file (Parket, JSON, dan ORC). Rescales partisi ketika hitungan awal melebihi nilai ini. Ini adalah target yang disarankan, bukan batas yang dijamin.

      (tidak ada)

      spark.sql.file. maxRecordsPerBerkas

      Menetapkan jumlah maksimum catatan untuk menulis ke satu file. Tidak ada batasan yang berlaku saat disetel ke nol atau nilai negatif.

      0

      spark.sql.file. minPartitionNum

      Menetapkan jumlah minimum target partisi file terpisah untuk sumber berbasis file (Parket, JSON, dan ORC). Default ke spark.sql. leafNodeDefaultParalelisme. Ini adalah target yang disarankan, bukan batas yang dijamin.

      (tidak ada)

      spark.sql. inMemoryColumnarStorage.batchsize

      Mengontrol ukuran batch untuk caching kolumnar. Meningkatkan ukuran meningkatkan pemanfaatan memori dan kompresi tetapi meningkatkan risiko out-of-memory kesalahan.

      10000

      spark.sql. inMemoryColumnarpenyimpanan.dikompresi

      Menentukan apakah akan secara otomatis memilih codec kompresi untuk kolom berdasarkan statistik data.

      BETUL

      spark.sql. inMemoryColumnarPenyimpanan. enableVectorizedReader

      Menentukan apakah untuk mengaktifkan pembacaan vektor untuk caching kolumnar.

      BETUL

      spark.sql.legacy. allowHashOnMapType

      Menentukan apakah untuk memungkinkan operasi hash pada struktur data tipe peta. Pengaturan lama ini mempertahankan kompatibilitas dengan penanganan jenis peta versi Spark yang lebih lama.

      spark.sql.legacy. allowNegativeScaleOfDecimal

      Menentukan apakah untuk memungkinkan nilai skala negatif dalam definisi tipe desimal. Setelan lama ini mempertahankan kompatibilitas dengan versi Spark lama yang mendukung skala desimal negatif.

      spark.sql.legacy. castComplexTypesToString.diaktifkan

      Menentukan apakah akan mengaktifkan perilaku warisan untuk casting tipe kompleks untuk string. Menjaga kompatibilitas dengan aturan konversi tipe versi Spark yang lebih lama.

      spark.sql.legacy. charVarcharAsTali

      Menentukan apakah untuk memperlakukan jenis CHAR dan VARCHAR sebagai tipe STRING. Pengaturan lama ini menyediakan kompatibilitas dengan penanganan tipe string versi Spark yang lebih lama.

      spark.sql.legacy. createEmptyCollectionUsingStringType

      Menentukan apakah untuk membuat koleksi kosong menggunakan elemen tipe string. Setelan lama ini mempertahankan kompatibilitas dengan perilaku inisialisasi koleksi versi Spark yang lebih lama.

      spark.sql.legacy. exponentLiteralAsDesimal. Diaktifkan

      Menentukan apakah untuk menafsirkan literal eksponensial sebagai tipe desimal. Pengaturan lama ini mempertahankan kompatibilitas dengan penanganan literal numerik versi Spark yang lebih lama.

      spark.sql.legacy.json. allowEmptyString.diaktifkan

      Menentukan apakah untuk mengizinkan string kosong dalam pengolahan JSON. Pengaturan lama ini mempertahankan kompatibilitas dengan perilaku penguraian JSON versi Spark yang lebih lama.

      spark.sql.legacy.parquet.int96 RebaseModelRead

      Menentukan apakah akan menggunakan mode rebase INT96 stempel waktu lama saat membaca file Parket. Pengaturan lama ini mempertahankan kompatibilitas dengan penanganan stempel waktu versi Spark yang lebih lama.

      spark.sql.legacy. timeParserPolicy

      Mengontrol perilaku penguraian waktu untuk kompatibilitas mundur. Pengaturan lama ini menentukan bagaimana stempel waktu dan tanggal diuraikan dari string.

      Spark.sql.legacy.typeCoercion. datetimeToString.diaktifkan

      Menentukan apakah akan mengaktifkan perilaku pemaksaan tipe warisan saat mengonversi nilai datetime ke string. Menjaga kompatibilitas dengan aturan konversi datetime versi Spark yang lebih lama.

      spark.sql. maxSinglePartitionByte

      Menetapkan ukuran partisi maksimum dalam byte. Perencana memperkenalkan operasi shuffle untuk partisi yang lebih besar untuk meningkatkan paralelisme.

      128m

      Spark.sql.metadatacache TTLSeconds

      Mengontrol time-to-live (TTL) untuk cache metadata. Berlaku untuk metadata file partisi dan cache katalog sesi. Membutuhkan:

      • Nilai positif lebih besar dari nol

      • Spark.sql.CatalogImplementation diatur ke sarang

      • spark.sql.hive. filesourcePartitionFileCacheSize lebih besar dari nol

      • spark.sql.hive. manageFilesourcePartitions disetel ke true

      -1000ms

      spark.sql.optimizer. collapseProjectAlwaysSebaris

      Menentukan apakah untuk menciutkan proyeksi yang berdekatan dan ekspresi inline, bahkan ketika itu menyebabkan duplikasi.

      SALAH

      spark.sql.optimizer. dynamicPartitionPruning.diaktifkan

      Menentukan apakah untuk menghasilkan predikat untuk kolom partisi yang digunakan sebagai kunci bergabung.

      BETUL

      spark.sql.optimizer. enableCsvExpressionOptimasi

      Menentukan apakah akan mengoptimalkan ekspresi CSV dalam pengoptimal SQL dengan memangkas kolom yang tidak perlu dari operasi from_csv.

      BETUL

      spark.sql.optimizer. enableJsonExpressionOptimasi

      Menentukan apakah untuk mengoptimalkan ekspresi JSON dalam pengoptimal SQL dengan:

      • Memangkas kolom yang tidak perlu dari operasi from_json

      • Menyederhanakan kombinasi from_json dan to_json

      • Mengoptimalkan operasi named_struct

      BETUL

      Spark.sql.optimizer.excludedrules

      Mendefinisikan aturan pengoptimal untuk dinonaktifkan, diidentifikasi dengan nama aturan yang dipisahkan koma. Beberapa aturan tidak dapat dinonaktifkan karena diperlukan untuk kebenaran. Pengoptimal mencatat aturan mana yang berhasil dinonaktifkan.

      (tidak ada)

      Spark.sql.Optimizer.Runtime.BloomFilter. applicationSideScanSizeThreshold

      Menetapkan ukuran pemindaian agregat minimum dalam byte yang diperlukan untuk menyuntikkan filter Bloom di sisi aplikasi.

      10GB

      Spark.sql.Optimizer.Runtime.BloomFilter. creationSideThreshold

      Mendefinisikan ambang batas ukuran maksimum untuk menyuntikkan filter Bloom di sisi pembuatan.

      10MB

      Spark.sql.Optimizer.Runtime.BloomFilter.enabled

      Menentukan apakah akan menyisipkan filter Bloom untuk mengurangi data shuffle ketika satu sisi gabungan shuffle memiliki predikat selektif.

      BETUL

      Spark.sql.Optimizer.Runtime.BloomFilter. expectedNumItems

      Mendefinisikan jumlah default item yang diharapkan dalam filter Bloom runtime.

      1000000

      Spark.sql.Optimizer.Runtime.BloomFilter. maxNumBits

      Menetapkan jumlah maksimum bit yang diizinkan dalam filter Bloom runtime.

      67108864

      Spark.sql.Optimizer.Runtime.BloomFilter. maxNumItems

      Menetapkan jumlah maksimum item yang diharapkan yang diizinkan dalam filter Bloom runtime.

      4000000

      spark.sql.optimizer.runtime.bloomfilter.number.threshold

      Membatasi jumlah maksimum filter runtime non-DPP yang diizinkan per kueri untuk mencegah out-of-memory kesalahan pada driver.

      10

      Spark.sql.Optimizer.Runtime.BloomFilter.Numbits

      Mendefinisikan jumlah default bit yang digunakan dalam filter Bloom runtime.

      8388608

      spark.sql.optimizer.runtime. rowlevelOperationGroupFilter.enabled

      Menentukan apakah akan mengaktifkan penyaringan grup runtime untuk operasi tingkat baris. Memungkinkan sumber data untuk:

      • Pangkas seluruh kelompok data (seperti file atau partisi) menggunakan filter sumber data

      • Jalankan kueri runtime untuk mengidentifikasi catatan yang cocok

      • Buang grup yang tidak perlu untuk menghindari penulisan ulang yang mahal

      Pembatasan:

      • Tidak semua ekspresi dapat dikonversi ke filter sumber data

      • Beberapa ekspresi memerlukan evaluasi Spark (seperti subquery)

      BETUL

      Spark.Sql.Optimizer.RuntimeFilter. semiJoinReduction.diaktifkan

      Menentukan apakah akan menyisipkan semi-join untuk mengurangi data shuffle ketika salah satu sisi gabungan shuffle memiliki predikat selektif.

      SALAH

      Spark.sql.parquet.AggregatePushdown

      Menentukan apakah akan menekan agregat ke Parket untuk optimasi. Mendukung:

      • MIN dan MAX untuk jenis boolean, integer, float, dan tanggal

      • COUNT untuk semua tipe data

      Melempar pengecualian jika statistik hilang dari footer file Parket apa pun.

      SALAH

      spark.sql.parket. columnarReaderBatchUkuran

      Mengontrol jumlah baris di setiap batch pembaca vektor Parket. Pilih nilai yang menyeimbangkan overhead kinerja dan penggunaan memori untuk mencegah out-of-memory kesalahan.

      4096

      Spark.sql.Session.Timezone

      Mendefinisikan zona waktu sesi untuk menangani stempel waktu dalam literal string dan konversi objek Java. Menerima:

      • Berbasis wilayah IDs dalam area/city format (seperti Amerika/Los_Angeles)

      • Offset zona dalam format (+/-) HH, (+/-) HH: mm, atau (+/-) HH: mm: SS (seperti -08 atau + 01:00)

      • UTC atau Z sebagai alias untuk + 00:00

      (nilai zona waktu lokal)

      spark.sql.shuffle.partisi

      Menetapkan jumlah default partisi untuk pengocokan data selama bergabung atau agregasi. Tidak dapat diubah antara restart kueri streaming terstruktur dari lokasi pos pemeriksaan yang sama.

      200

      spark.sql. shuffledHashJoinFaktor

      Mendefinisikan faktor perkalian yang digunakan untuk menentukan kelayakan bergabung hash shuffle. Gabungan hash shuffle dipilih ketika ukuran data sisi kecil dikalikan dengan faktor ini kurang dari ukuran data sisi besar.

      3

      spark.sql.sources. parallelPartitionDiscovery.ambang

      Menetapkan jumlah maksimum jalur untuk daftar file sisi driver dengan sumber berbasis file (Parket, JSON, dan ORC). Ketika terlampaui selama penemuan partisi, file terdaftar menggunakan pekerjaan terdistribusi Spark terpisah.

      32

      spark.sql.statistics.histogram.enabled

      Menentukan apakah akan menghasilkan histogram equi-height selama perhitungan statistik kolom untuk meningkatkan akurasi estimasi. Membutuhkan pemindaian tabel tambahan di luar yang dibutuhkan untuk statistik kolom dasar.

      SALAH

    3. Untuk penyimpanan data dalam beberapa hari, masukkan jumlah hari untuk menyimpan data.

    4. Untuk format Hasil, pilih CSV atau Parket sebagai format data yang harus digunakan saluran input ML.

  8. Untuk akses Layanan, pilih nama peran layanan yang ada yang akan digunakan untuk mengakses tabel ini atau pilih Buat dan gunakan peran layanan baru.

  9. Untuk Enkripsi, pilih Enkripsi rahasia dengan kunci KMS khusus untuk menentukan kunci KMS Anda sendiri dan informasi terkait. Jika tidak, Clean Rooms ML akan mengelola enkripsi.

  10. Pilih Buat saluran masukan ML.

    Ini akan memakan waktu beberapa menit untuk membuat saluran input ML. Anda dapat melihat daftar saluran input ML pada tab model ML.

catatan

Setelah saluran input ML dibuat, Anda tidak dapat mengeditnya.

API

Untuk membuat saluran input ML (API)

Jalankan kode berikut dengan parameter spesifik Anda: 

import boto3 
acr_client = boto3.client('cleanroomsml')

acr_client.create_ml_input_channel(
    name="ml_input_channel_name",
    membershipIdentifier='membership_id',
    configuredModelAlgorithmAssociations=[configured_model_algorithm_association_arn],
    retentionInDays=1,
    inputChannel={
        "dataSource": {
            "protectedQueryInputParameters": {
                "sqlParameters": {
                    "queryString": "select * from table",
                    "computeConfiguration": {
                        "worker": {
                            "type": "CR.1X",
                            "number": 16,
                            "properties": {
                                "spark": {
                                    "spark configuration key": "spark configuration value",
                                }
                            }   
                        }
                    },
                    "resultFormat": "PARQUET"
                }
            }
        },
        "roleArn": "arn:aws:iam::111122223333:role/role_name"
    }
)
channel_arn = resp['ML Input Channel ARN']