Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan pencatatan pemanggilan model di Amazon Bedrock dengan menggunakan AWS CloudFormation
Vikramaditya Bhatnagar, Amazon Web Services
Ringkasan
Anda dapat mengonfigurasi Amazon Bedrock untuk mengumpulkan log pemanggilan, data input model, dan data keluaran model untuk semua pemanggilan model di file Anda. Akun AWS Ini adalah praktik terbaik
Pola ini menyediakan contoh AWS CloudFormation template yang menggunakan pendekatan infrastruktur sebagai kode (IAc) untuk mengonfigurasi pencatatan pemanggilan model untuk Amazon Bedrock. Template mengonfigurasi penyimpanan log di CloudWatch Log dan Amazon S3.
Prasyarat dan batasan
Prasyarat
Aktif Akun AWS
Izin berikut:
Izin untuk membuat tumpukan CloudFormation
Izin untuk mengakses Amazon Bedrock
Izin untuk membuat dan mengakses bucket Amazon S3
Izin untuk membuat dan mengakses grup CloudWatch log Log
Izin untuk membuat dan mengakses fungsi AWS Lambda
Izin untuk membuat dan mengakses AWS Key Management Service (AWS KMS) kunci
Batasan
Pola ini mencatat pemanggilan model ke CloudWatch Log dan Amazon S3. Itu tidak mendukung memilih hanya satu dari dua layanan ini.
Arsitektur
Arsitektur target
CloudFormation Template menyediakan sumber daya berikut dalam target Anda Akun AWS:
Grup CloudWatch log Log untuk menyimpan log pemanggilan model
Bucket Amazon S3 untuk menyimpan log pemanggilan model dan kebijakan bucket terkait
Bucket Amazon S3 untuk menyimpan log akses sisi server dan kebijakan bucket terkait
AWS Lambda Fungsi yang mengonfigurasi pengaturan logging di Amazon Bedrock
Sebuah AWS KMS key dan alias kunci yang sesuai
Peran layanan AWS Identity and Access Management (IAM) untuk Amazon Bedrock
Diagram berikut menunjukkan bagaimana log pemanggilan disimpan setelah Anda menyebarkan CloudFormation tumpukan yang terkait dengan pola ini. Amazon Bedrock menerbitkan data log saat model foundation mengirimkan teks, gambar, video, atau data penyematan. Seperti yang ditunjukkan pada diagram, bucket Amazon S3 dan grup CloudWatch log Log dienkripsi dengan file. AWS KMS key
Diagram menunjukkan alur kerja berikut:
Pengguna mengirimkan kueri ke model dasar di Amazon Bedrock.
Amazon Bedrock mengasumsikan peran layanan IAM.
Amazon Bedrock menghasilkan data log dan menyimpannya di grup CloudWatch log Log dan di bucket Amazon S3.
Jika pengguna membaca, mengunggah, atau menghapus file apa pun di bucket Amazon S3 yang berisi log pemanggilan model, aktivitas tersebut akan masuk ke bucket Amazon S3 lain untuk log akses sisi server.
Otomatisasi dan skala
Untuk menskalakan solusi ini, Anda dapat menerapkan CloudFormation template sebagai tumpukan yang disetel ke beberapa Wilayah AWS dan Akun AWS. Untuk informasi selengkapnya, lihat Mengelola tumpukan di seluruh akun dan Wilayah dengan StackSets CloudFormation dokumentasi.
Alat
Layanan AWS
Amazon Bedrock adalah layanan yang dikelola sepenuhnya yang membuat model foundation berkinerja tinggi (FMs) dari perusahaan AI terkemuka dan Amazon tersedia untuk Anda gunakan melalui API terpadu.
AWS CloudFormationmembantu Anda menyiapkan AWS sumber daya, menyediakannya dengan cepat dan konsisten, dan mengelolanya sepanjang siklus hidupnya di seluruh Akun AWS dan. Wilayah AWS
Amazon CloudWatch Logs membantu Anda memusatkan log dari semua sistem, aplikasi, Layanan AWS sehingga Anda dapat memantau dan mengarsipkannya dengan aman.
AWS Identity and Access Management (IAM) membantu Anda mengelola akses ke AWS sumber daya dengan aman dengan mengontrol siapa yang diautentikasi dan diberi wewenang untuk menggunakannya.
AWS Lambdaadalah layanan komputasi yang membantu Anda menjalankan kode tanpa perlu menyediakan atau mengelola server. Ini menjalankan kode Anda hanya bila diperlukan dan skala secara otomatis, jadi Anda hanya membayar untuk waktu komputasi yang Anda gunakan.
AWS Key Management Service (AWS KMS) membantu Anda membuat dan mengontrol kunci kriptografi untuk membantu melindungi data Anda.
Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan kinerja terdepan di industri.
Alat lainnya
Git
adalah sistem kontrol versi terdistribusi open source.
Repositori kode
Kode untuk pola ini tersedia di repositori GitHub enable-bedrock-logging-using-cloudformation
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Unduh CloudFormation template. | Unduh CloudFormation template | Arsitek awan |
Menyebarkan template. | Buat tumpukan di akun target dan Wilayah Anda. Di bagian Parameter, tentukan nilai untuk parameter yang ditentukan dalam templat. Untuk petunjuk, lihat Membuat tumpukan dalam CloudFormation dokumentasi. | Arsitek awan |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Aktifkan akses model. | Di Amazon Bedrock, tambahkan akses ke model foundation. Untuk petunjuknya, lihat Menambahkan atau menghapus akses ke model foundation Amazon Bedrock di dokumentasi Amazon Bedrock. | Arsitek awan |
Jalankan prompt sampel. | Di taman bermain Amazon Bedrock, jalankan prompt sampel. Untuk petunjuknya, lihat Menghasilkan respons di konsol menggunakan taman bermain di dokumentasi Amazon Bedrock. | Arsitek awan |
Tinjau konfigurasi logging. |
| Arsitek awan |
Tinjau ember Amazon S3. |
| Arsitek awan |
Tinjau grup log. |
| Arsitek awan |
Sumber daya terkait
AWS dokumentasi
Mengakses bucket Amazon S3 (dokumentasi Amazon S3)
Membuat dan mengelola tumpukan (CloudFormation dokumentasi)
Memantau pemanggilan model (dokumentasi Amazon Bedrock)
Bekerja dengan grup log dan aliran log (dokumentasi CloudWatch Log)
AWS posting blog
