View a markdown version of this page

Profil inferensi aplikasi - Amazon Bedrock
Bagaimana atribusi biaya bekerjaMelihat biaya profilPertimbangan penskalaan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Profil inferensi aplikasi

Profil inferensi aplikasi (AIPs) memungkinkan Anda mengatribusikan biaya Amazon Bedrock berdasarkan aplikasi, tim, atau beban kerja untuk Amazon Bedrock InvokeModeldan Converse APIs pada titik akhir. bedrock-runtime Setiap AIP adalah model khusus dan membawa tag alokasi biaya yang mengalir ke AWS Cost Explorer dan Cost and AWS Usage Reports (CUR 2.0).

Untuk beban kerja menggunakan Respons dan Penyelesaian Obrolan di bedrock-mantle titik akhir, gunakan sebagai gantinya. Proyek

Bagaimana atribusi biaya bekerja

Profil inferensi aplikasi adalah sumber daya yang mereferensikan model Amazon Bedrock tertentu. Anda membuat profil, melampirkan tag alokasi biaya, dan kemudian menggunakan ARN profil sebagai pengganti ID model dalam panggilan API Anda. Tag profil dilampirkan ke catatan penagihan untuk setiap permintaan.

Contoh berikut menunjukkan cara menggunakan ARN profil inferensi aplikasi alih-alih ID model saat memanggil Converse API:

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Untuk informasi selengkapnya tentang membuat profil, lihatBuat profil inferensi aplikasi.

Melihat biaya profil

Setelah membuat dan menandai profil Anda, aktifkan tag sebagai tag alokasi biaya di konsol AWS Billing and Cost Management:

  1. Buka konsol AWS Billing and Cost Management.

  2. Di panel navigasi, pilih Tag alokasi biaya.

  3. Pilih tag yang Anda terapkan ke profil Anda.

  4. Pilih Aktifkan.

Tag dapat memakan waktu hingga 24 jam untuk muncul di Cost Explorer dan CUR setelah aktivasi. Tag alokasi biaya tidak berlaku surut. Hanya biaya yang dikeluarkan setelah aktivasi ditandai. Untuk informasi selengkapnya, lihat Mengaktifkan tag alokasi biaya yang ditentukan pengguna.

Setelah aktivasi tag, Anda dapat menganalisis biaya Amazon Bedrock dengan profil inferensi aplikasi di alat berikut:

  • AWS Cost Explorer — Filter berdasarkan tag profil untuk melihat tren biaya dari waktu ke waktu. Kelompokkan berdasarkan tag untuk membandingkan biaya di seluruh profil.

  • AWS Laporan Biaya dan Penggunaan (CUR 2.0) - Kueri data CUR untuk rincian biaya baris-item berdasarkan tag profil.

Pertimbangan penskalaan

Setiap profil inferensi aplikasi terkait dengan model tertentu. Ini berarti Anda memerlukan profil terpisah untuk setiap kombinasi unik model, tim, dan set tag. Seiring pertumbuhan organisasi, jumlah profil dapat meningkat dengan cepat, terutama ketika versi model baru memerlukan profil baru.

Untuk mengurangi proliferasi profil:

  • Direkomendasikan: Gunakan Proyek untuk fleksibilitas dan kemudahan saat melacak biaya.

  • Tandai di tingkat tim atau pusat biaya daripada per pengguna.

  • Untuk atribusi biaya per pengguna tanpa membuat profil tambahan, gunakan. Atribusi utama IAM Pelacakan utama IAM bekerja bersama profil inferensi aplikasi dan biaya atribut pada tingkat identitas secara otomatis.