Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan solusinya
Mengakses UI
Selama proses penyebaran tumpukan (untuk dasbor Deployment dan kasus penggunaan) email dikirim ke alamat email yang dikonfigurasi. Email berisi kredensyal sementara pengguna yang dapat mereka gunakan untuk mendaftar dan mengakses antarmuka web.
catatan
DevOps Pengguna yang memiliki akses ke AWS Management Console harus menyediakan CloudFront URL UI dasbor Deployment kepada pengguna admin saat tumpukan selesai.
Untuk kasus penggunaan, pengguna admin dengan akses ke UI dasbor Deployment harus memberi pengguna bisnis CloudFront URL UI kasus penggunaan saat penerapan selesai.
Setelah masuk, pengguna dapat berinteraksi dengan solusinya UIs, baik dasbor Deployment dalam kasus admin, atau kasus penggunaan dalam kasus pengguna bisnis.
Cara memperbarui penerapan
Saat berada di halaman beranda dasbor Deployment (atau halaman detail penerapan), Anda dapat mengedit konfigurasi yang digunakan oleh penerapan. Anda hanya dapat mengedit penerapan yang ada dalam status CREATE_COMPLETE atau UPDATE_COMPLETE.
Kecuali untuk nama kasus penggunaan, semua opsi lain dapat diedit untuk penerapan. Cukup ubah nilai yang ingin Anda edit dan gunakan kembali.
Bergantung pada ruang lingkup pengeditan yang dilakukan, waktu pemindahan akan bervariasi. Mungkin perlu beberapa detik jika pengaturan sederhana telah berubah (contoh, parameter model), menjadi lebih dari 30 menit jika opsi terkait infrastruktur yang lebih besar telah berubah (misalnya, permintaan untuk membuat indeks Amazon Kendra untuk kasus penggunaan Teks RAG).
Setelah pengeditan berhasil diselesaikan, status aplikasi akan melaporkan status UPDATE_COMPLETE. Pada saat ini, Anda dapat mengakses UI yang diterapkan melalui CloudFront URL dan berinteraksi dengan penerapan yang dimodifikasi.
catatan
Mungkin lebih mudah untuk menjalankan beberapa penerapan side-by-side jika Anda ingin membandingkan pengaturan yang berbeda atau. LLMs Gunakan fitur Clone untuk menggunakan konfigurasi yang ada dengan cepat untuk meluncurkan penerapan baru.
Cara mengkloning penerapan
Saat berada di halaman beranda dasbor Deployment (atau halaman detail penerapan), Anda dapat mengkloning konfigurasi yang digunakan oleh penerapan. Mengkloning penerapan meluncurkan panduan kasus penggunaan baru Deploy, tetapi dengan sebagian besar bidang yang telah diisi sebelumnya dengan nilai yang sama.
Ini adalah pengoperasian yang mudah untuk membantu Anda menduplikasi penerapan dengan cepat dengan pengaturan yang diubah, menghidupkan kembali penerapan yang dihapus, atau membandingkan beberapa LLMs dalam penerapan yang identik.
Cara menghapus penerapan
Saat berada di halaman beranda dasbor Deployment (atau halaman detail penerapan), Anda dapat menghapusnya setelah Anda tidak lagi memerlukan penerapan. Menghapus penerapan akan memanggil operasi penghapusan CloudFormation tumpukan dan membatalkan ketentuan sumber daya untuk penerapan.
Secara default, penerapan yang dihapus masih tetap ada di dasbor untuk mengaktifkan fungsionalitas klon. Untuk menghapus penerapan sepenuhnya dari dasbor sehingga berhenti dilacak di UI, pilih Hapus secara permanen di jendela konfirmasi hapus.
penting
Beberapa sumber daya tertinggal selama penghapusan tumpukan dan harus dihapus secara manual. Lihat bagian Penghapusan pemasangan manual untuk detail tentang sumber daya apa yang disimpan dan cara membersihkannya.
Menggunakan Amazon SageMaker AI sebagai Penyedia LLM
Mulai v1.3.0, Amazon SageMaker AI
penting
Solusinya tidak mengelola siklus hidup titik akhir SageMaker AI Anda. Anda bertanggung jawab untuk menghapus titik akhir SageMaker AI setelah mereka tidak lagi diperlukan untuk berhenti menimbulkan biaya tambahan.
Membuat titik akhir SageMaker AI
Anda dapat menggunakan Amazon SageMaker AI JumpStart
Anda juga dapat menggunakan titik akhir SageMaker AI berbasis generasi teks dan menerapkan menggunakan layanan AI dasar. SageMaker Lihat JumpStart dokumentasi SageMaker AI untuk panduan langkah demi langkah tentang cara menerapkan model untuk inferensi.
catatan
Foundation models/LLMs biasanya cukup besar dan seringkali memerlukan penggunaan instance komputasi dipercepat yang besar. Banyak dari instans yang lebih besar ini mungkin tidak tersedia secara default di akun AWS Anda. Lihat kuota SageMaker AI default dan pastikan untuk meminta peningkatan kuota sebelum menerapkan untuk menghindari kegagalan penerapan umum.
Gunakan titik akhir SageMaker AI untuk membuat penerapan kasus penggunaan Teks
Untuk menerapkan kasus penggunaan Teks baru menggunakan titik akhir SageMaker AI untuk inferensi:
-
Buat kasus penggunaan baru melalui panduan dasbor Deployment dan lengkapi formulir hingga Anda mencapai halaman pemilihan Model.
-
Pada halaman Model, pilih SageMaker AI sebagai penyedia model. Ini akan menghasilkan formulir khusus yang membutuhkan tiga bagian kunci input pengguna:
-
Nama titik akhir SageMaker AI yang ingin Anda gunakan. DevOps pengguna dapat memperoleh ini dari konsol AWS. Perhatikan bahwa titik akhir harus berada di akun dan Wilayah yang sama dengan solusi yang digunakan.
Lokasi nama titik akhir di konsol AWS
-
Skema payload input yang diharapkan oleh titik akhir. Untuk mendukung kumpulan titik akhir terluas, pengguna admin diharuskan memberi tahu solusi bagaimana titik akhir mereka mengharapkan input diformat. Dalam panduan pemilihan model, berikan skema JSON untuk solusi yang akan dikirim ke titik akhir. Anda dapat menambahkan placeholder untuk menyuntikkan nilai statis dan dinamis ke payload permintaan. Opsi yang tersedia adalah:
-
Placeholder wajib:\ <\ <prompt\ >\ > akan diganti secara dinamis dengan input penuh (misalnya, riwayat, konteks, dan input pengguna sesuai template prompt) untuk dikirim ke titik akhir SageMaker AI saat runtime.
-
Placeholder opsional:\ <\ <temperature\ >\ > *,\ * serta parameter apa pun yang ditentukan dalam parameter model lanjutan dapat diberikan ke titik akhir. Setiap string yang berisi placeholder tertutup dalam\ <\ < and\ >\ > (misalnya,\ <\ <max_new_tokens\ >\ >) akan diganti dengan nilai parameter model lanjutan dengan nama yang sama.
Contoh skema masukan - pengaturan bidang wajib, prompt dan suhu, bersama dengan parameter lanjutan khusus, max_new_tokens. Jalur keluaran harus disediakan sebagai JSONPath string yang valid
-
-
-
Lokasi respon string LLMs yang dihasilkan dalam payload output. Ini harus diberikan sebagai JSONPath ekspresi untuk menunjukkan di mana respons teks akhir yang ditampilkan kepada pengguna diharapkan dapat diakses dari dalam objek dan respons titik akhir yang dikembalikan.
Contoh penambahan parameter model Lanjutan untuk digunakan dalam skema input SageMaker AI (lihat Gambar 2 untuk opsi/pengaturan sebelumnya)
catatan
SageMaker AI sekarang mendukung hosting beberapa model di belakang titik akhir yang sama, dan ini adalah konfigurasi default saat menerapkan titik akhir di versi SageMaker AI Studio saat ini (bukan Studio Classic).
Jika titik akhir Anda dikonfigurasi dengan cara ini, Anda akan diminta untuk menambahkan InferenceComponentNameke bagian parameter model lanjutan, dengan nilai yang sesuai dengan nama model yang ingin Anda gunakan.
