Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Jamba 1.5 Besar

AI21 Labs — Jamba 1.5 Besar

Rincian Model

Jamba 1.5 Large adalah SSM-Transformer model hybrid AI21 Labs dengan parameter total 398B dan jendela konteks 256K, dioptimalkan untuk tugas penalaran kompleks di seluruh dokumen panjang. Untuk informasi lebih lanjut tentang pengembangan model dan kinerja, lihat model/service kartu.

Titik akhir dan API didukung

Tabel berikut menunjukkan titik akhir dan API mana yang didukung untuk Jamba 1.5 Large. Untuk informasi selengkapnya, lihat API yang didukung oleh Amazon Bedrock dan Titik akhir didukung oleh Amazon Bedrock.

Dukungan titik akhir

API didukung pada bedrock-runtime titik akhir

API didukung pada bedrock-mantle titik akhir

Kemampuan dan Fitur

Fitur Bedrock

Fitur yang didukung menggunakan bedrock-runtime titik akhir

Harga

Model ini adalah model pihak ketiga yang ditawarkan dan ditagih melalui AWS Marketplace. Biaya muncul di AWS tagihan Anda dan di Pen AWS jelajah Biaya di bawah penyedia model (bukan di bawah Amazon Bedrock). Untuk harga, lihat halaman Harga Amazon Bedrock.

Akses Terprogram

Gunakan ID model dan URL titik akhir berikut untuk mengakses model ini secara terprogram. Untuk informasi selengkapnya tentang API dan titik akhir yang tersedia, lihat API yang didukung dan T itik Akhir didukung.

Misalnya, jika wilayah adalah us-east-1 (Virginia Utara), maka URL endpoint bedrock-runtime akan menjadi "" dan untuk bedrock-mantle adalah https://bedrock-runtime.us-east-1.amazonaws.com "”. https://bedrock-mantle.us-east-1.api.aws/v1

Tingkat Layanan

Amazon Bedrock menawarkan beberapa tingkatan layanan untuk memenuhi persyaratan beban kerja Anda. Standar menyediakan akses bayar per token tanpa komitmen (atur "service_tier": "default" atau hilangkan bidang). Priority memberikan waktu respons tercepat untuk premi harga (set"service_tier": "priority"). Flex menyediakan akses berbiaya lebih rendah untuk beban kerja yang fleksibel dan tidak peka waktu (set). "service_tier": "flex" Reserved menyediakan throughput khusus dengan komitmen jangka untuk beban kerja yang dapat diprediksi; ini ditetapkan pada tingkat akun, bukan per permintaan (hubungi tim akun AWS Anda untuk mengaktifkan). Untuk informasi selengkapnya, lihat tingkatan layanan.

Ketersediaan Wilayah

Sekilas tentang ketersediaan regional

Amazon Bedrock menawarkan tiga opsi inferensi: In-Region menyimpan permintaan dalam satu Wilayah untuk kepatuhan yang ketat, Cross-Region rute Geo melintasi Wilayah dalam geografi (seperti AS, UE, dan APAC) sambil menghormati residensi data, dan Cross-Region rute Global di mana pun di seluruh dunia ketika tidak ada batasan residensi. Lihat Ketersediaan regional berdasarkan model halaman untuk lebih jelasnya.

Ketersediaan berbeda berdasarkan titik akhir.

Ketersediaan menggunakan titik bedrock-runtime akhir

Kuota dan Batas

AWS Akun Anda memiliki kuota default untuk mempertahankan kinerja layanan dan untuk memastikan penggunaan Amazon Bedrock yang tepat. Kuota default yang ditetapkan ke akun mungkin diperbarui tergantung pada faktor regional, riwayat pembayaran, penggunaan penipuan, and/or persetujuan permintaan peningkatan kuota. Untuk informasi selengkapnya, lihat Kuota untuk Amazon Bedrock dokumentasi dan lihat batasan untuk model.

Kode Sampel

Langkah 1 - AWS Akun: Jika Anda sudah memiliki AWS akun, lewati langkah ini. Jika Anda baru mengenal AWS, daftar untuk akun AWS.

Langkah 2 - Kunci API: Buka konsol Amazon Bedrock dan buat kunci API jangka panjang.

Langkah 3 - Dapatkan SDK: Untuk menggunakan panduan memulai ini, Anda harus sudah menginstal Python. Kemudian instal perangkat lunak yang relevan tergantung pada API yang Anda gunakan.

pip install boto3

Langkah 4 - Mengatur variabel lingkungan: Konfigurasikan lingkungan Anda untuk menggunakan kunci API untuk otentikasi.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Langkah 5 - Jalankan permintaan inferensi pertama Anda: Simpan file sebagai bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='ai21.jamba-1-5-large-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='ai21.jamba-1-5-large-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)