Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Contoh: Gunakan Sinyal Aplikasi untuk memecahkan masalah aplikasi AI generatif yang berinteraksi Amazon Bedrock model
Anda dapat menggunakan Sinyal Aplikasi untuk memecahkan masalah aplikasi AI generatif Anda yang berinteraksi dengan Amazon Bedrock model. Sinyal Aplikasi merampingkan proses ini dengan menyediakan data telemetri out-of-the-box, menawarkan wawasan yang lebih dalam tentang interaksi aplikasi Anda dengan model LLM. Ini membantu mengatasi kasus penggunaan utama seperti:
Masalah konfigurasi model
Biaya penggunaan model
Latensi model
Pembuatan respons model menghentikan alasan
Mengaktifkan Sinyal Aplikasi dengan LLM/GenAI Observabilitas memberikan visibilitas real-time ke dalam interaksi aplikasi Anda dengan layanan Amazon Bedrock. Sinyal Aplikasi secara otomatis menghasilkan dan menghubungkan metrik kinerja dan pelacakan untuk panggilan Amazon Bedrock API.
Sinyal Aplikasi saat ini mendukung Model LLM berikut dari Amazon Bedrock.
AI21 Jamba
Amazon Titan
Antropik Claude
Perintah Cohere
Meta Lama
Mistral AI
Nova
Fine-grained metrik dan jejak
Untuk setiap panggilan Amazon Bedrock API, Sinyal Aplikasi menghasilkan metrik kinerja terperinci di tingkat sumber daya, termasuk:
Model ID
ID pagar pembatas
ID Basis Pengetahuan
ID Agen Bedrock
Selain itu, rentang pelacakan yang berkorelasi pada tingkat yang sama membantu memberikan pandangan komprehensif tentang eksekusi permintaan dan dependensi.
OpenTelemetry Dukungan atribut GenAI
Sinyal Aplikasi menghasilkan atribut AI generatif berikut untuk panggilan Amazon Bedrock API dengan konvensi OpenTelemetry semantik. Atribut ini membantu menganalisis penggunaan model, biaya, dan kualitas respons, dan dapat dimanfaatkan melalui Pencarian Transaksi untuk wawasan yang lebih dalam.
gen_ai.system
gen_ai.request.model
gen_ai.request.max_token
gen_ai.request.temperatur
gen_ai.request.top_p
gen_ai.usage.input_token
gen_ai.usage.output_token
gen_ai.response.alasan_akhir
Misalnya, Anda dapat menggunakan kemampuan analitik dari Pencarian Transaksi untuk membandingkan penggunaan token dan biaya di berbagai model LLM untuk prompt yang sama, memungkinkan pemilihan model hemat biaya.
Untuk informasi selengkapnya, lihat Meningkatkan Amazon Bedrock Pengamatan dengan Sin CloudWatch yal
