Memulai dengan AgentCore Observabilitas
Amazon Bedrock Amazon Bedrock AgentCore Observability membantu Anda melacak, men-debug, dan memantau kinerja agen di lingkungan produksi. Panduan ini membantu Anda menerapkan fitur observabilitas dalam aplikasi agen Anda.
Topik
Prasyarat
Sebelum memulai, pastikan Anda memiliki:
-
AWS Akun dengan kredensi dikonfigurasi (
aws configure) dengan akses model diaktifkan ke Model Foundation yang ingin Anda gunakan. -
Python 3.10+ diinstal
-
Aktifkan pencarian transaksi di Amazon CloudWatch. Hanya sekali, pengguna pertama kali harus mengaktifkan Penelusuran CloudWatch Transaksi untuk melihat rentang dan jejak Bedrock Amazon Bedrock AgentCore
-
(hanya Non-runtime agen) Tambahkan OpenTelemetry pustaka — Sertakan
aws-opentelemetry-distro(ADOT) di file requirements.txt Anda. Jika Anda meng-host agen Anda di AWS Lambda, gunakan Lapisan AWS Lambda untuk di AWS Distro untuk OpenTelemetry situsweb sebagai gantinya. OpenTelemetry -
(hanya Non-runtime agen) Pastikan kerangka kerja Anda dikonfigurasi untuk memancarkan jejak (misalnya,
strands-agents[otel]paket). Terkadang Anda mungkin perlu menyertakan instrumentor otomatis kerangka kerja agen Anda (misalnya,).opentelemetry-instrumentation-langchain
Amazon Bedrock AgentCore Observability menawarkan dua cara untuk mengonfigurasi pemantauan agar sesuai dengan kebutuhan infrastruktur yang berbeda:
-
Agen Amazon Bedrock AgentCore Runtime-hosted
-
Non-runtime agen yang dihosting
Sebagai pengaturan satu kali per AWS akun, pengguna pertama kali harus mengaktifkan Pencarian Transaksi di Amazon CloudWatch. Ada dua cara untuk melakukan ini, melalui API dan melalui CloudWatch Konsol.
Langkah 1: Aktifkan pencarian transaksi di CloudWatch
Setelah Anda mengaktifkan Penelusuran Transaksi, dibutuhkan waktu sepuluh menit agar rentang tersedia untuk pencarian dan analisis. Pilih salah satu opsi di bawah ini:
Opsi 1: Aktifkan pencarian transaksi menggunakan API
Untuk mengaktifkan pencarian transaksi menggunakan API
-
Buat kebijakan yang memberikan akses ke rentang konsumsi di Log CloudWatch menggunakan CLI. AWS
Contoh ditunjukkan di bawah ini tentang cara memformat perintah AWS CLI Anda dengan.
PutResourcePolicyaws logs put-resource-policy --policy-name MyResourcePolicy --policy-document '{ "Version": "2012-10-17", "Statement": [ { "Sid": "TransactionSearchXRayAccess", "Effect": "Allow", "Principal": { "Service": "xray.amazonaws.com" }, "Action": "logs:PutLogEvents", "Resource": [ "arn:partition:logs:region:account-id:log-group:aws/spans:*", "arn:partition:logs:region:account-id:log-group:/aws/application-signals/data:*" ], "Condition": { "ArnLike": { "aws:SourceArn": "arn:partition:xray:region:account-id:*" }, "StringEquals": { "aws:SourceAccount": "account-id" } } } ]}' -
Konfigurasikan tujuan segmen jejak.
Contoh ditunjukkan di bawah ini tentang cara memformat perintah AWS CLI Anda dengan.
UpdateTraceSegmentDestinationaws xray update-trace-segment-destination --destination CloudWatchLogs -
Opsional Konfigurasikan jumlah rentang yang akan diindeks.
Konfigurasikan persentase pengambilan sampel yang Anda inginkan dengan
UpdateIndexingRule.aws xray update-indexing-rule --name "Default" --rule '{"Probabilistic": {"DesiredSamplingPercentage": number}}'
Opsi 2: Aktifkan pencarian transaksi di CloudWatch konsol
Untuk mengaktifkan pencarian transaksi di CloudWatch konsol
-
Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/
. -
Di panel navigasi di bawah Pengaturan, pilih Pengaturan.
-
Pilih Akun dan pilih tab X-Ray jejak.
-
Di bagian Pencarian Transaksi, pilih Lihat pengaturan.
-
Pada halaman yang terbuka, pilih Edit.
-
Pilih Aktifkan Pencarian Transaksi.
-
Pilih Untuk X-Ray pengguna dan masukkan persentase jejak untuk diindeks. Anda dapat mengindeks 1% jejak tanpa biaya dan menyesuaikan persentase ini nanti berdasarkan kebutuhan Anda.
-
Pilih Simpan. Tunggu hingga OpenTelemetry rentang Ingest menunjukkan Diaktifkan sebelum mengirim jejak.
Sekarang mari kita lanjutkan untuk mengeksplorasi dua cara untuk mengkonfigurasi observabilitas.
Langkah 2: Aktifkan observabilitas untuk agen yang dihosting Amazon Bedrock AgentCore Runtime
AgentCore Runtime-hosted Agen Amazon Bedrock dikerahkan dan dieksekusi langsung di AgentCore lingkungan Amazon Bedrock, menyediakan instrumentasi otomatis dengan konfigurasi minimal. Saat Anda menerapkan agen menggunakan AgentCore CLI, runtime secara otomatis memberi instrumen kepada agen OpenTelemetry Anda — tidak diperlukan pustaka atau konfigurasi OTEL tambahan.
Untuk contoh lengkap, lihat buku catatan
Buat proyek agen Anda
Buat proyek baru menggunakan AgentCore CLI. Ini mengatur folder proyek, lingkungan virtual, dan dependensi Anda:
npm install -g @aws/agentcore agentcore create --name StrandsClaudeGettingStarted
Di direktori agen proyek, ganti kode agen default dengan logika agen Anda sendiri. Berikut ini adalah contoh menggunakan Strands Agents SDK:
## app/StrandsClaudeGettingStarted/main.py from strands import Agent, tool from strands_tools import calculator from bedrock_agentcore.runtime import BedrockAgentCoreApp from strands.models import BedrockModel app = BedrockAgentCoreApp() @tool def weather(): """Get weather""" return "sunny" model = BedrockModel( model_id="us.anthropic.claude-3-7-sonnet-20250219-v1:0", ) agent = Agent( model=model, tools=[calculator, weather], system_prompt="You're a helpful assistant. You can do simple math calculation, and tell the weather." ) @app.entrypoint def strands_agent_bedrock(payload): """Invoke the agent with a payload""" user_input = payload.get("prompt") response = agent(user_input) return response.message['content'][0]['text'] if __name__ == "__main__": app.run()
Menyebarkan dan memanggil agen Anda
Menyebarkan agen ke AgentCore Runtime. AgentCore CLI menangani pengemasan, penyebaran, dan instrumentasi OTEL otomatis:
cd StrandsClaudeGettingStarted agentcore deploy
Setelah penerapan, agen Anda berjalan pada AgentCore Runtime dan secara otomatis diinstrumentasi menggunakan. OpenTelemetry Panggil agen Anda dan lihat jejak, sesi, dan metrik di dasbor GenAI Observability di Amazon: CloudWatch
agentcore invoke
Atau, Anda dapat memanggil agen Anda secara terprogram menggunakan SDK: AWS
import boto3, json client = boto3.client('bedrock-agentcore') response = client.invoke_agent_runtime( agentRuntimeArn="YOUR_AGENT_RUNTIME_ARN", runtimeSessionId="my-observability-session-001", payload=json.dumps({"prompt": "What is 2 + 2?"}), qualifier="DEFAULT" ) print(json.loads(response['response'].read()))
Langkah 3: Aktifkan observabilitas untuk agen Bedrock non-Amazon AgentCore-hosted
Untuk agen yang berjalan di luar AgentCore runtime Amazon Bedrock, Anda dapat memberikan kemampuan pemantauan yang sama untuk agen yang digunakan di infrastruktur Anda sendiri. Ini memungkinkan pengamatan yang konsisten terlepas dari di mana agen Anda berjalan. Gunakan langkah-langkah berikut untuk mengonfigurasi variabel lingkungan yang diperlukan untuk mengamati agen Anda.
Untuk contoh lengkapnya, lihat contoh Agen di Amazon EKS
Konfigurasi AWS variabel lingkungan
export AWS_ACCOUNT_ID=<account id> export AWS_DEFAULT_REGION=<default region> export AWS_REGION=<region> export AWS_ACCESS_KEY_ID=<access key id> export AWS_SECRET_ACCESS_KEY=<secret key>
Konfigurasikan CloudWatch logging
Buat grup log dan aliran log untuk agen Anda di Amazon CloudWatch yang dapat Anda gunakan untuk mengonfigurasi variabel lingkungan di bawah ini.
Konfigurasikan variabel OpenTelemetry lingkungan
export AGENT_OBSERVABILITY_ENABLED=true # Activates the ADOT pipeline export OTEL_PYTHON_DISTRO=aws_distro # Uses AWS Distro for OpenTelemetry export OTEL_PYTHON_CONFIGURATOR=aws_configurator # Sets AWS configurator for ADOT SDK export OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf # Configures export protocol export OTEL_EXPORTER_OTLP_LOGS_HEADERS=x-aws-log-group=<YOUR-LOG-GROUP>,x-aws-log-stream=<YOUR-LOG-STREAM>,x-aws-metric-namespace=<YOUR-NAMESPACE> # Directs logs to CloudWatch groups export OTEL_EXPORTER_OTLP_TRACES_HEADERS=x-aws-log-group=<YOUR-LOG-GROUP>,x-aws-log-stream=<YOUR-TRACES-LOG-STREAM> # (Optional) Directs spans to your log group instead of the aws/spans log group. Requires ADOT version 0.18.0 or later. export OTEL_RESOURCE_ATTRIBUTES=service.name=<YOUR-AGENT-NAME> # Identifies your agent in observability data export OTEL_AWS_APPLICATION_SIGNALS_ENABLED=false # AWS Lambda Layer for OpenTelemetry only: disables Application Signals export OTEL_LOGS_EXPORTER=otlp # AWS Lambda Layer for OpenTelemetry only: exports logs over OTLP export OTEL_METRICS_EXPORTER=awsemf # AWS Lambda Layer for OpenTelemetry only: exports metrics as CloudWatch EMF
Ganti <YOUR-AGENT-NAME> dengan nama unik untuk mengidentifikasi agen ini di dasbor dan log Observabilitas GenAI.
catatan
Jika Anda mengatur OTEL_EXPORTER_OTLP_TRACES_HEADERS untuk mengirimkan rentang ke grup log Anda sendiri, Anda juga harus menambahkan kebijakan sumber daya Amazon CloudWatch Logs. Kebijakan harus allow X-Ray (xray.amazonaws.com) untuk memanggil logs:PutLogEvents grup log tersebut. Gunakan kebijakan yang sama yang ditunjukkan di Aktifkan penelusuran transaksi menggunakan API, dengan ARN grup log Anda masuk. Resource Tanpa kebijakan ini, tidak X-Ray dapat mengirimkan rentang ke grup log Anda.
Buat agen secara lokal
# Create agent.py - Strands agent that is a weather assistant from strands import Agent from strands_tools import http_request # Define a weather-focused system prompt WEATHER_SYSTEM_PROMPT = """You are a weather assistant with HTTP capabilities. You can: 1. Make HTTP requests to the National Weather Service API 2. Process and display weather forecast data 3. Provide weather information for locations in the United States When retrieving weather information: 1. First get the coordinates or grid information using https://api.weather.gov/points/{latitude},{longitude} or https://api.weather.gov/points/{zipcode} 2. Then use the returned forecast URL to get the actual forecast When displaying responses: - Format weather data in a human-readable way - Highlight important information like temperature, precipitation, and alerts - Handle errors appropriately - Convert technical terms to user-friendly language Always explain the weather conditions clearly and provide context for the forecast. """ # Create an agent with HTTP capabilities weather_agent = Agent( system_prompt=WEATHER_SYSTEM_PROMPT, tools=[http_request], # Explicitly enable http_request tool ) response = weather_agent("What's the weather like in Seattle?") print(response)
Jalankan agen Anda dengan perintah instrumentasi otomatis
Dengan aws-opentelemetry-distro di requirements.txt Anda, opentelemetry-instrument perintah akan:
-
Muat konfigurasi OTEL Anda dari variabel lingkungan Anda
-
Secara otomatis instrumen Strands, panggilan Amazon Bedrock, alat agen dan database, dan permintaan lain yang dibuat oleh agen
-
Kirim jejak ke CloudWatch
-
Memungkinkan Anda memvisualisasikan proses pengambilan keputusan agen di dasbor GenAI Observability
Gunakan perintah berikut untuk menjalankan agen Anda dengan instrumentasi otomatis:
opentelemetry-instrument python agent.py
Jika Anda meng-host agen Anda di AWS Lambda, gunakan Lapisan AWS Lambda untuk di Distro untuk OpenTelemetry situsAWS_LAMBDA_EXEC_WRAPPER lingkungan ke/opt/otel-instrument. Lapisan kemudian mengotomatiskan fungsi Anda. Dengan pendekatan ini, Anda tidak perlu menambahkan aws-opentelemetry-distro paket atau menjalankan opentelemetry-instrument perintah yang dijelaskan sebelumnya.
ADOT Collector tidak didukung untuk observabilitas agen
Kolektor ADOT tidak didukung untuk observabilitas agen. Untuk mengirim telemetri dari agen yang dihosting di luar AgentCore runtime, Anda harus menggunakan ADOT SDK atau Lambda Layer untuk AWS . OpenTelemetry
Untuk mengkorelasikan jejak di beberapa agen yang berjalan, Anda dapat mengaitkan ID sesi dengan data telemetri menggunakan bagasi: OpenTelemetry
from opentelemetry import baggage, context ctx = baggage.set_baggage("session.id", session_id)
Langkah 4: Amati agen Anda dengan observabilitas GenAI di Amazon CloudWatch
Setelah menerapkan observabilitas, Anda dapat melihat data yang dikumpulkan di CloudWatch:
Amati agen Anda
-
Buka Observabilitas GenAI
di konsol CloudWatch -
Anda dapat melihat data yang terkait dengan pemanggilan model dan agen di AgentCore Bedrock Amazon Bedrock di dasbor.
-
Di tab Bedrock Agentcore Anda dapat melihat Tampilan Agen, Tampilan Sesi, dan Tampilan Jejak.
-
Agen Lihat daftar semua Agen Anda yang aktif dan tidak pada runtime, Anda juga dapat memilih agen dan melihat detail lebih lanjut seperti metrik runtime, sesi, dan jejak khusus untuk agen.
-
Di tab Tampilan Sesi, Anda dapat menavigasi semua sesi yang terkait dengan agen.
-
Di tab Trace View, Anda dapat melihat jejak dan informasi rentang untuk agen. Jelajahi juga lintasan jejak dan garis waktu dengan memilih jejak.
Lihat log di CloudWatch
Untuk melihat log di CloudWatch
-
Buka konsol CloudWatch
-
Di panel navigasi kiri, perluas Log dan pilih Grup log
-
Cari grup log agen Anda:
-
Log standar (stdout/stderr) Lokasi:
/aws/bedrock-agentcore/runtimes/<agent_id>-<endpoint_name>/[runtime-logs] <UUID> -
Log terstruktur OTEL:
/aws/bedrock-agentcore/runtimes/<agent_id>-<endpoint_name>/runtime-logs
-
Lihat jejak dan bentang
Untuk melihat jejak dan bentang
-
Buka konsol CloudWatch
-
Pilih Pencarian Transaksi dari navigasi kiri
-
Lokasi: aliran
spanslog di grup log agen (/aws/bedrock-agentcore/runtimes/<agent_id>-<endpoint_name>), atau alirandefaultlog di grupaws/spanslog untuk agen yang menggunakan tujuan rentang bersama -
Filter berdasarkan nama layanan atau kriteria lainnya
-
Pilih jejak untuk melihat grafik eksekusi terperinci
Melihat metrik
Untuk melihat metrik
-
Buka konsol CloudWatch
-
Pilih Metrik dari navigasi kiri
-
Jelajahi ke
bedrock-agentcorenamespace -
Jelajahi metrik yang tersedia
Praktik terbaik
-
Mulai sederhana, lalu perluas - Observabilitas default yang disediakan oleh Amazon Bedrock AgentCore menangkap metrik paling penting secara otomatis, termasuk panggilan model, penggunaan token, dan eksekusi alat.
-
Konfigurasi untuk tahap pengembangan - Sesuaikan konfigurasi observabilitas Anda agar sesuai dengan fase pengembangan Anda saat ini dan sesuaikan secara progresif.
-
Gunakan penamaan yang konsisten - Menetapkan konvensi penamaan untuk layanan, rentang, dan atribut sejak awal
-
Filter data sensitif - Mencegah paparan informasi rahasia dengan memfilter data sensitif dari atribut observabilitas dan muatan.
-
Siapkan peringatan - Konfigurasikan CloudWatch alarm untuk memberi tahu Anda tentang potensi masalah sebelum berdampak pada pengguna