Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pengaturan LLM Tingkat Lanjut
Saat menggunakan Amazon Bedrock, Anda dapat mengonfigurasi beberapa pengaturan lanjutan untuk model Anda seperti Amazon Bedrock Guardrails, Provisioned Throughput untuk Amazon Bedrock, dan parameter model tambahan.
Pagar Batuan Dasar Amazon
Amazon Bedrock Guardrails adalah fitur dengan Amazon Bedrock yang mengevaluasi input pengguna dan respons LLM berdasarkan kebijakan yang dikonfigurasi pengguna dan menyediakan lapisan perlindungan tambahan, terlepas dari LLM yang mendasari yang dipilih pengguna untuk kasus penggunaan. Pagar Pembatas terdiri dari 2 kebijakan untuk menghindari konten yang termasuk dalam kategori yang tidak diinginkan atau berbahaya:
-
Topik yang ditolak untuk menentukan serangkaian topik yang tidak diinginkan dalam konteks aplikasi pengguna, misalnya, saran investasi dalam aplikasi keuangan, dan,
-
Filter konten****yang memungkinkan pemfilteran input permintaan pengguna atau respons model yang berisi konten berbahaya.
Untuk penggunaan dalam solusi Generative AI Application Builder, Guardrail harus dikonfigurasi di konsol Amazon Bedrock menggunakan wizard Create guardrail. Setelah dibuat, Anda dapat menambahkan Guardrail ini ke kasus penggunaan obrolan yang dibuat melalui panduan solusi Generative AI Application Builder di pengaturan Tambahan di langkah Pemilihan Model dengan menyediakan versi Guardrail Identifier dan Guardrail Anda.
Menggambarkan wizard Penerapan - mengaktifkan Amazon Bedrock Guardrails
Throughput yang Disediakan untuk Amazon Bedrock
Setiap model Amazon Bedrock sesuai permintaan mengikuti batas kuota akun khusus wilayah untuk inferensi model. Misalnya, Anthropic Claude 2.x di Bedrock saat ini memungkinkan 500 permintaan dan 500.000 token diproses per menit di wilayah us-east-1 dan us-west-2. Anda mungkin juga ingin menggunakan solusi dengan model pra-terlatih yang telah disetel atau dilanjutkan. Untuk contoh seperti itu, Amazon Bedrock memungkinkan throughput yang disediakan yang memungkinkan menjalankan beban kerja inferensi konsisten yang besar untuk model dasar, yang disetel dengan baik, atau dilanjutkan yang dilatih sebelumnya untuk digunakan dalam aplikasi tingkat produksi.
Setelah Throughput yang Disediakan dibeli dalam konsol Amazon Bedrock, Model ARN dibuat untuk digunakan. Anda sekarang dapat menyediakan ARN Model ini di wizard Generative AI Application Builder di langkah pemilihan Model. Untuk melakukannya, pilih Bedrock sebagai penyedia model dan nama model dasar yang digunakan untuk menghasilkan Model ARN yang disediakan ini di konsol Amazon Bedrock. Kemudian, pilih 'Model yang disediakan' saat memilih antara model sesuai permintaan dan model yang disediakan, dan berikan ARN Model Anda.
Menggambarkan panduan Penerapan - Mengaktifkan Throughput yang Disediakan untuk Amazon Bedrock
catatan
Pagar pembatas dan throughput yang disediakan harus berada di Wilayah yang sama dengan Dasbor Deployment yang diterapkan dan tumpukan kasus penggunaan.
Parameter model
LLMs sering menerima berbagai parameter khusus untuk implementasinya. Penyedia model sering memberikan dokumentasi yang menguraikan kumpulan parameter yang didukung dan penggunaannya.
Solusi meneruskan parameter model langsung ke model yang mendasarinya sehingga penting untuk memastikan parameter diatur dengan benar. Lihat dokumentasi penyedia model untuk informasi terbaru tentang parameter yang didukung.
