View a markdown version of this page

Memperjelas perubahan ketersediaan - Amazon SageMaker AI
AWS-solusi pemantauan yang diterbitkan, metrik bias standar, SHAP, dan Evaluasi Batuan Dasar AmazonMenghapus KlarifikasiMengkonfigurasi penggantian

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memperjelas perubahan ketersediaan

catatan

Amazon SageMaker Clarify tidak lagi terbuka untuk pelanggan baru. Pelanggan yang sudah ada dapat terus menggunakan layanan seperti biasa. AWS terus berinvestasi dalam peningkatan keamanan dan ketersediaan untuk Clarify, tetapi kami tidak berencana untuk memperkenalkan fitur baru.

AWS-solusi pemantauan yang diterbitkan, metrik bias standar, SHAP, dan Evaluasi Batuan Dasar Amazon

Kombinasi solusi pemantauan SageMaker AI sumber terbuka yang AWS diterbitkan, perhitungan dasar metrik bias standar laporan Clarify, pustaka SHAP tempat Clarify SageMaker sendiri dibangun, Amazon AI MLFlow, Amazon, Amazon, QuickSight dan SageMaker Amazon Bedrock Evaluations berfungsi CloudWatch sebagai pengganti Amazon Clarify. SageMaker Panduan ini memberikan yang berikut:

  • AWS Solusi referensi yang diterbitkan adalah fondasinya. Solusi pemantauan Amazon SageMaker AI sumber terbuka dalam aws-samples GitHub organisasi adalah arsitektur referensi teruji produksi yang dibangun sepenuhnya pada AWS layanan terkelola (Amazon SageMaker AI, AI SageMaker MLFlow, Amazon Athena, Lambda, Amazon, Amazon SQS, Amazon SNS AWS , Amazon EventBridge SNS, Amazon). QuickSight Mereka berjalan di dalam AWS akun Anda sendiri dan mengoperasionalkan analisis bias dan penjelasan sebagai bagian dari pipeline yang diatur secara end-to-end, bukan sebagai skrip ad hoc. Ini adalah solusi referensi yang sama yang digunakan dalam panduan migrasi SageMaker Model Monitor.

  • Metrik bias adalah aritmatika standar, bukan ketergantungan perpustakaan. Metrik bias pra-pelatihan dan pasca-pelatihan Clarify (DPL, DPPL, DI, CI, dan langkah-langkah terkait) diterbitkan, rumus standar industri yang dihitung dari jumlah label dan nilai matriks kebingungan. Anda mereproduksinya dengan panda dan scikit-learn, kode yang Anda miliki, uji, dan versi di dalam pipeline Anda sendiri.

  • SHAP adalah mesin yang sama dengan penggunaan Clarify. SageMaker Klarifikasi atribusi fitur komputasi menggunakan pustaka SHAP secara internal (lihat dokumentasi Clarify SHAP values). Mengadopsi SHAP secara langsung menghasilkan Shapley-value atribusi.

  • Amazon Bedrock Evaluations hanya untuk model pondasi. Amazon Bedrock Evaluations dan Amazon Bedrock Guardrails adalah jalur yang AWS dikelola untuk LLM dan evaluasi AI generatif. Mereka menggantikan kemampuan evaluasi model dasar Clarify (FMEval). Mereka bukan pengganti deteksi atau penjelasan bias prediktif (tabular/classical ML).

Menghapus Klarifikasi

Hentikan Klarifikasi pekerjaan pemrosesan untuk analisis baru

Jika alur kerja Anda termasuk menjalankan SageMaker Clarify Processing Jobs menggunakan SageMakerClarifyProcessor class,clarify.BiasConfig/clarify.SHAPConfigconfigurations, ataurun_bias()/run_explainability()method dari SageMaker Python SDK, transisi ke alternatif yang dijelaskan di bagian Configuring Replacements di bawah ini.

Hapus atau pertahankan Clarify artefak keluaran (opsional)

Clarify Processing Jobs menyimpan artefak keluaran di Amazon S3:

  • Laporan analisis bias:analysis.json, dengan metrik bias pra-pelatihan dan pasca-pelatihan

  • Penjelasan SHAP:explanations_shap/out.csv, dengan nilai SHAP lokal per instance

  • Nilai SHAP global: Skor kepentingan fitur agregat

  • Plot ketergantungan sebagian (PDP): Visualisasi efek fitur

  • File kendala: Digunakan oleh Model Monitor untuk penyimpangan bias dan baseline drift atribusi fitur

Jika Anda perlu menyimpannya untuk kepatuhan, jalur audit peraturan, atau referensi historis, tinggalkan di S3 atau arsipkan ke S3 Glacier. Jika tidak lagi diperlukan, hapus awalan S3.

Hapus Clarify dari SageMaker Pipelines (jika digunakan)

Jika Anda memiliki SageMaker Pipelines dengan ClarifyCheckStep atau ProcessingStep langkah-langkah yang memanggil Clarify, ganti dengan ProcessingStep yang menjalankan komputasi metrik standar dan SHAP, mengikuti pola yang sama yang digunakan solusi referensi yang AWS diterbitkan di dalam SageMaker Pipelines (lihat Mengonfigurasi Penggantian di bawah).

Mengkonfigurasi penggantian

Jalur pengganti menghitung metrik bias standar secara langsung dengan panda dan scikit-learn, dan menghitung atribusi fitur dengan SHAP (mesin yang sama menggunakan Clarify). Anda menjalankannya di dalam solusi referensi dan SageMaker Pipelines yang AWS diterbitkan, mencatat hasil ke Aplikasi SageMaker AI MLFlow sehingga hasil bias dan penjelasan Anda membawa garis keturunan, versi, dan tata kelola yang sama dengan pelatihan Anda berjalan.

Mengganti deteksi bias pra-pelatihan dan pasca-pelatihan

Metrik pra-pelatihan Clarify diterbitkan, formula standar berdasarkan jumlah label dan proporsi kelas. Menghitung mereka secara langsung membuat pemeriksaan bias tetap sederhana, dimiliki, dan dapat diuji oleh tim Anda, dan konsisten dengan apa yang dilakukan solusi referensi yang AWS diterbitkan dalam pekerjaan pemantauan mereka.

Lihat referensi metrik bias Clarify pra-pelatihan untuk rumus tepat di balik setiap metrik, sehingga implementasi Anda cocok dengan output Clarify.

Metrik pasca-pelatihan Clarify adalah fungsi standar dari jumlah matriks kebingungan per kelompok. Menghitungkannya langsung dari prediksi dan kebenaran dasar membuat pemeriksaan tetap sederhana dan dimiliki oleh tim Anda, dan itu cocok dengan pendekatan per segmen yang digunakan solusi referensi AWS yang diterbitkan untuk penyimpangan bias. Catat hasil per segmen ke Aplikasi SageMaker AI MLFlow untuk tata kelola dan pelacakan tren.

Lihat referensi metrik bias Clarify pasca-pelatihan untuk rumus yang tepat di balik setiap metrik.

Mengganti penjelasan model (atribusi fitur SHAP)

Pustaka SHAP adalah mesin yang sama yang mendukung SageMaker penjelasan Clarify. Menggunakannya secara langsung memberi Anda lebih banyak fleksibilitas:

pip install shap

Untuk penggunaan produksi, solusi referensi AWS yang diterbitkan mencakup 6_shap_explainability.ipynb buku catatan yang menghasilkan kepentingan fitur global, penjelasan prediksi individu, dan analisis interaksi fitur untuk model yang diterapkan, mencatat hasilnya ke Aplikasi AI MLFlow. SageMaker

Lihat dokumentasi SHAP untuk referensi API.

Mengganti penyimpangan bias dan pemantauan drift atribusi fitur

Pendekatan ini mengoperasionalkan metrik standar yang sama (metrik keadilan yang dihitung langsung dan kepentingan fitur SHAP) pada jadwal, dengan tata kelola, garis keturunan, dan peringatan, menggunakan solusi pemantauan AI Amazon. SageMaker Ini menggunakan EventBridge pola+Lambda+Athena (Iceberg) +MLFlow+SNS+yang sama yang digunakan panduan migrasi Model Monitor untuk penyimpangan kualitas data dan model, sehingga penyimpangan bias dan penyimpangan atribusi fitur menjadi metrik tambahan dalam pipa tata QuickSight kelola yang sama daripada sistem terpisah.

Mengganti evaluasi model pondasi (LLM)

Opsi 1: perpustakaan fmeval (direkomendasikan untuk SageMaker-hosted model)

fmevalPerpustakaan adalah mesin evaluasi yang sama, evaluasi model dasar Clarify dibangun, dan dapat digunakan secara independen dari Clarify Processing Jobs:

pip install fmeval

fmevalPerpustakaan mendukung: ringkasan teks, penjawab pertanyaan, klasifikasi, generasi terbuka, pengetahuan faktual, toksisitas, ketahanan (gangguan semantik), dan evaluasi stereotip yang cepat. Untuk pemantauan kualitas LLM dalam produksi yang sedang berlangsung pada SageMaker titik akhir, Pemantauan Inferensi LLM yang AWS diterbitkan dan Pengamatan Kualitas LLM dengan solusi referensi Grafana menjalankan evaluasi AI generatif MLFlow (Keselamatan, Relevansi, Kefasihan, Pedoman, Koherensi) menggunakan model Amazon Bedrock.

Lihat Menggunakan pustaka fmeval untuk menjalankan evaluasi otomatis dan Melacak evaluasi model LLM menggunakan MLFlow dan fMEval yang SageMaker dikelola Amazon untuk langkah-langkah mendetail.

Opsi 2: Amazon Bedrock Evaluations (layanan terkelola)

Amazon Bedrock Evaluations menyediakan alternatif terkelola untuk evaluasi model pondasi tanpa memerlukan Clarify Processing Jobs:

  1. Buka konsol Amazon Bedrock.

  2. Pilih Evaluasi dari navigasi kiri.

  3. Pilih Buat pekerjaan evaluasi.

  4. Pilih jenis evaluasi:

    • Evaluasi otomatis: Algoritma yang telah ditentukan untuk akurasi, ketahanan, toksisitas

    • Evaluasi manusia: Bawa pekerja manusia untuk penilaian kualitas subjektif

  5. Pilih model untuk dievaluasi (JumpStart model, model Bedrock, atau titik akhir kustom).

  6. Pilih kumpulan data bawaan atau unggah kumpulan data prompt khusus.

  7. Tinjau hasil evaluasi dengan metrik komparatif di seluruh model.

Bedrock Evaluations mendukung evaluasi model yang dihosting di Bedrock, model kustom, dan model eksternal (termasuk penerapan lokal atau multi-cloud) selama Anda memberikan data evaluasi dalam format yang diperlukan.

Lihat Evaluasi kinerja sumber daya Amazon Bedrock dan Evaluasi model atau sistem RAG menggunakan Amazon Bedrock Evaluations untuk langkah-langkah terperinci.

Opsi 3: Amazon Bedrock Guardrails (keamanan runtime)

Untuk pemfilteran konten runtime (toksisitas, PII, konten berbahaya) yang dievaluasi oleh SageMaker Clarify pada waktu penilaian, Amazon Bedrock Guardrails memberikan perlindungan runtime berkelanjutan untuk aplikasi AI generatif:

  • Filter konten: Memblokir konten yang berbahaya, penuh kebencian, seksual, kekerasan, atau menghina

  • Topik yang ditolak: Mencegah respons model pada topik tertentu

  • Filter informasi sensitif: Mendeteksi dan menyunting PII (nama, alamat, SSN, kartu kredit)

  • Pemeriksaan grounding kontekstual: Kurangi halusinasi dengan membumikan respons dalam data sumber

  • Pemeriksaan Penalaran Otomatis: Validasi akurasi faktual menggunakan penalaran formal

Lihat Mendeteksi dan memfilter konten berbahaya dengan menggunakan Amazon Bedrock Guardrails untuk langkah-langkah mendetail.