Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Instruksi Llama 3.3 70B
##  Meta — Llama 3.3 70B Instruksi
## Detail Model
Llama 3.3 70B Instruct adalah model parameter 70 miliar Meta dengan peningkatan efisiensi, memberikan penalaran yang kuat dan kinerja pengkodean dengan jendela konteks 128K. Untuk informasi lebih lanjut tentang pengembangan dan kinerja model, lihat [model/service kartu](https://www.llama.com/docs/model-cards-and-prompt-formats/llama3_3/).
+ **Tanggal peluncuran model:** 06 Desember 2024
+ **Tanggal model EOL:** Tidak lebih 12/19 cepat dari/2025
+ **Perjanjian Lisensi Pengguna Akhir dan Ketentuan Penggunaan:** [Lihat](https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)
+ **Siklus hidup model**: Aktif
+ **Jendela konteks:** 128K token
+ **Token keluaran maks:** 4K
+ Batas **pengetahuan: Des 2023**
| **Modalitas Masukan** | **Modalitas Keluaran** | **[API didukung](https://docs.aws.amazon.com/bedrock/latest/userguide/apis.html)** | **[Endpoint didukung](https://docs.aws.amazon.com/bedrock/latest/userguide/endpoints.html)** |
| --- | --- | --- | --- |
| Audio | Menyematkan |  Responses |  bedrock-runtime |
| Gambar | Gambar |  Chat Completions |  bedrock-mantle |
| Pidato | Pidato |  Invoke | |
| Teks | Teks |  Converse | |
| Video | Video | | |
## Kemampuan dan Fitur
***Fitur Batuan Dasar***
**Fitur yang didukung menggunakan `bedrock-runtime` endpoint**
| **Didukung** | **Tidak Didukung** |
| --- | --- |
| + [Streaming respons](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)
+ [Pagar pembatas](https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails.html)
+ [Manajemen yang cepat](https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-management.html)
+ [Arus](https://docs.aws.amazon.com/bedrock/latest/userguide/flows.html)
+ [Agen](https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html) | + [Perutean prompt cerdas](https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-routing.html)
+ [Deteksi penyalahgunaan](https://docs.aws.amazon.com/bedrock/latest/userguide/abuse-detection.html)
+ [Optimasi cepat](https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-management-optimize.html)
+ [Hitung token](https://docs.aws.amazon.com/bedrock/latest/userguide/count-tokens.html)
+ [Basis pengetahuan](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html)
+ [Evaluasi model](https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation.html)
+ [Output terstruktur](https://docs.aws.amazon.com/bedrock/latest/userguide/structured-outputs.html) |
## Harga
Untuk harga, silakan merujuk ke halaman [Harga Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/).
## Akses Terprogram
Gunakan ID model dan URL titik akhir berikut untuk mengakses model ini secara terprogram. Untuk informasi selengkapnya tentang API dan titik akhir yang tersedia, lihat [API yang didukung](https://docs.aws.amazon.com/bedrock/latest/userguide/apis.html) dan [Endpoint](https://docs.aws.amazon.com/bedrock/latest/userguide/endpoints.html) didukung.
| **Titik akhir** | **ID Model** | **In-Region URL titik akhir** | **ID inferensi geo** | **ID inferensi global** |
| --- | --- | --- | --- | --- |
| bedrock-runtime | meta.llama3-3-70b-instruct-v1:0 | https://bedrock-runtime.{region}.amazonaws.com | us.meta.llama3-3-70b-instruct-v1:0 | Tidak didukung |
*Misalnya, jika wilayah adalah us-east-1 (Virginia N.), maka URL endpoint batuan dasar runtime akan menjadi "" dan untuk mantel dasar akan menjadi "”. https://bedrock-runtime.us-east-1.amazonaws.com https://bedrock-mantle.us-east-1.api.aws/v1*
## Tingkatan Layanan
Amazon Bedrock menawarkan beberapa tingkatan layanan agar sesuai dengan persyaratan beban kerja Anda. **Standar** menyediakan akses bayar per token tanpa komitmen. **Prioritas** menawarkan throughput yang lebih tinggi dengan komitmen berbasis waktu. **Flex** menyediakan akses berbiaya lebih rendah untuk beban kerja yang fleksibel dan tidak sensitif terhadap waktu. **Reserved** menyediakan throughput khusus dengan komitmen jangka untuk beban kerja yang dapat diprediksi. Untuk informasi selengkapnya, lihat [tingkatan layanan](https://docs.aws.amazon.com/bedrock/latest/userguide/service-tiers-inference.html).
| **Standar** | **Prioritas** | **Flex** | **Dilindungi** |
| --- | --- | --- | --- |
|  |  |  |  |
## Ketersediaan Wilayah
***Sekilas tentang ketersediaan regional***
Bedrock menawarkan tiga opsi inferensi: **In-Region**menyimpan permintaan dalam satu Wilayah untuk kepatuhan yang ketat, Cross-Region rute **Geo** lintas Wilayah dalam geografi (AS, UE, dll.) untuk throughput yang lebih tinggi sambil menghormati residensi data, dan Cross-Region rute **Global** di mana saja di seluruh dunia untuk throughput maksimum ketika tidak ada kendala residensi. Lihat [Ketersediaan regional berdasarkan model](models-region-compatibility.md) halaman untuk lebih jelasnya.
| **Wilayah** | **In-Region** | **Geo** | **Global** |
| --- | --- | --- | --- |
| us-east-1(Virginia Utara) |  |  |  |
| us-east-2(Ohio) |  |  |  |
| us-west-2(Oregon) |  |  |  |
***Detail inferensi geo***
**Geo: AS**
ID Inferensi Geo: `us.meta.llama3-3-70b-instruct-v1:0`
| **Wilayah Sumber** | **Wilayah Tujuan** |
| --- | --- |
| us-east-1 (Virginia Utara) | us-east-1 (Virginia N), us-east-2 (Ohio), us-west-2 (Oregon) |
| us-east-2 (Ohio) | us-east-1 (Virginia N), us-east-2 (Ohio), us-west-2 (Oregon) |
| us-west-2 (Oregon) | us-east-1 (Virginia N), us-east-2 (Ohio), us-west-2 (Oregon) |
## Kuota dan Batas
Akun AWS Anda memiliki kuota default untuk mempertahankan kinerja layanan dan untuk memastikan penggunaan Amazon Bedrock yang tepat. [Kuota default yang ditetapkan ke akun dapat diperbarui tergantung pada faktor regional, riwayat pembayaran, penggunaan penipuan, and/or persetujuan permintaan peningkatan kuota.](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas-increase.html) Untuk lebih jelasnya, silakan merujuk ke [Kuota untuk Amazon Bedrock](quotas.md) dokumentasi dan lihat [batas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) untuk model.
## Kode Sampel
**Langkah 1 - Akun AWS:** Jika Anda sudah memiliki akun AWS, lewati langkah ini. Jika Anda baru mengenal AWS, daftar [akun AWS](https://portal.aws.amazon.com/billing/signup).
**Langkah 2 - Kunci API:** Buka [konsol Amazon Bedrock](https://console.aws.amazon.com/bedrock/home#/api-keys/long-term/create) dan buat kunci API jangka panjang.
**Langkah 3 - Dapatkan SDK:** Untuk menggunakan panduan memulai ini, Anda harus memiliki Python yang sudah diinstal. Kemudian instal perangkat lunak yang relevan tergantung pada API yang Anda gunakan.
```
pip install boto3
```
**Langkah 4 - Tetapkan variabel lingkungan:** Konfigurasikan lingkungan Anda untuk menggunakan kunci API untuk otentikasi.
```
AWS_BEARER_TOKEN_BEDROCK=""
```
**Langkah 5 - Jalankan permintaan inferensi pertama Anda:** Simpan file sebagai `bedrock-first-request.py`
------
#### [ Invoke API ]
```
import json
import boto3
client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
modelId='meta.llama3-3-70b-instruct-v1:0',
body=json.dumps({
'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
'max_tokens': 1024
})
)
print(json.loads(response['body'].read()))
```
------
#### [ Converse API ]
```
import boto3
client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
modelId='meta.llama3-3-70b-instruct-v1:0',
messages=[
{
'role': 'user',
'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
}
]
)
print(response)
```
------