Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menerapkan model khusus untuk inferensi sesuai permintaan
Setelah Anda membuat model kustom dengan pekerjaan penyesuaian model atau mengimpor model kustom yang SageMaker dilatih AI, Anda dapat menyiapkan inferensi sesuai permintaan untuk Amazon Nova model tersebut. Dengan inferensi sesuai permintaan, Anda hanya membayar untuk apa yang Anda gunakan dan Anda tidak perlu menyiapkan sumber daya komputasi yang disediakan.
Untuk menyiapkan inferensi sesuai permintaan untuk model kustom, Anda menerapkannya dengan penerapan model kustom. Setelah menerapkan model kustom, Anda menggunakan Amazon Resource Name (ARN) deployment sebagai `modelId` parameter saat Anda mengirimkan prompt dan menghasilkan respons dengan inferensi model.
Untuk informasi tentang harga inferensi sesuai permintaan, lihat harga [Amazon Bedrock](https://aws.amazon.com/bedrock/pricing). Anda dapat menerapkan model kustom untuk inferensi sesuai permintaan di Wilayah berikut (untuk informasi selengkapnya tentang Wilayah yang didukung di Amazon Bedrock, lihat titik akhir dan kuota [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html)):
+ AS Timur (Virginia Utara)
+ AS Barat (Oregon)
## Prasyarat untuk menerapkan model khusus untuk inferensi sesuai permintaan
Sebelum Anda dapat menerapkan model khusus untuk inferensi sesuai permintaan, pastikan Anda memenuhi persyaratan berikut:
+ Anda harus menggunakan wilayah AS Timur (Virginia N.) atau AS Barat (Oregon).
+ Anda harus menyesuaikan model pada atau setelah 7/16/2025. Untuk model yang didukung, lihat[Model dasar yang didukung](#custom-model-inference-supported-models).
+ Akun Anda harus memiliki izin untuk mengakses model yang Anda gunakan. Untuk informasi selengkapnya tentang akses dan keamanan kustomisasi model, lihat[Akses dan keamanan kustomisasi model](custom-model-job-access-security.md).
+ Jika model dienkripsi dengan AWS KMS kunci, Anda harus memiliki izin untuk menggunakan kunci itu. Untuk informasi selengkapnya, lihat [Enkripsi model khusus](encryption-custom-job.md).
## Model dasar yang didukung
Anda dapat mengatur inferensi sesuai permintaan untuk model dasar berikut:
+ Amazon Nova Lite
+ Amazon Nova Mikro
+ Amazon Nova Pro
+ Instruksi Meta Llama 3.3 70B
## Menerapkan model khusus
Anda dapat menerapkan model kustom dengan konsol Amazon Bedrock, AWS Command Line Interface, atau. AWS SDKs Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat. [Gunakan penerapan untuk inferensi sesuai permintaan](#use-custom-model-on-demand)
------
#### [ Console ]
Anda menerapkan model kustom dari halaman **Model kustom** sebagai berikut. Anda juga dapat menerapkan model dari halaman **sesuai permintaan model Kustom** dengan bidang yang sama. Untuk menemukan halaman ini, di bawah **Infer** di panel navigasi, pilih **Model khusus sesuai permintaan**.
**Untuk menerapkan model kustom**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Dari panel navigasi kiri, pilih **Model khusus** di bawah **Tune**.
1. Di tab **Model**, pilih tombol radio untuk model yang ingin Anda terapkan.
1. Pilih **Siapkan inferensi** dan pilih **Terapkan sesuai permintaan**.
1. Dalam **rincian Deployment**, berikan informasi berikut:
+ **Nama Deployment** (wajib) - Masukkan nama unik untuk penerapan Anda.
+ **Deskripsi** (opsional) — Masukkan deskripsi untuk penyebaran Anda.
+ **Tag** (opsional) - Tambahkan tag untuk alokasi biaya dan manajemen sumber daya.
1. Pilih **Buat**. Saat status penerapan`Active`, model kustom Anda siap untuk inferensi sesuai permintaan. Untuk informasi selengkapnya tentang menggunakan model kustom, lihat[Gunakan penerapan untuk inferensi sesuai permintaan](#use-custom-model-on-demand).
------
#### [ CLI ]
Untuk menerapkan model kustom untuk inferensi sesuai permintaan menggunakan AWS Command Line Interface, gunakan `create-custom-model-deployment` perintah dengan Amazon Resource Name (ARN) model kustom Anda. Perintah ini menggunakan operasi [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API. Tanggapan tersebut termasuk ARN penyebaran. Saat penerapan aktif, Anda menggunakan ARN ini sebagai saat membuat permintaan `modelId` inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat. [Gunakan penerapan untuk inferensi sesuai permintaan](#use-custom-model-on-demand)
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "unique-deployment-token" \
--region region
```
------
#### [ API ]
Untuk menerapkan model kustom untuk inferensi sesuai permintaan, gunakan operasi [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API dengan Amazon Resource Name (ARN) model kustom Anda. Tanggapan tersebut termasuk ARN penyebaran. Saat penerapan aktif, Anda menggunakan ARN ini sebagai saat membuat permintaan `modelId` inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat. [Gunakan penerapan untuk inferensi sesuai permintaan](#use-custom-model-on-demand)
Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menyebarkan model kustom.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
str: The ARN of the new custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="Unique deployment name",
modelArn="Custom Model ARN",
description="Deployment description",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
------
## Gunakan penerapan untuk inferensi sesuai permintaan
Setelah menerapkan model kustom, Anda menggunakan Amazon Resource Name (ARN) deployment sebagai `modelId` parameter saat Anda mengirimkan prompt dan menghasilkan respons dengan inferensi model.
Untuk informasi tentang membuat permintaan inferensi, lihat topik berikut:
+ [Kirim petunjuk dan hasilkan tanggapan dengan inferensi model](inference.md)
+ [Prasyarat untuk menjalankan inferensi model](inference-prereq.md)
+ [Kirim prompt dan hasilkan respons menggunakan API](inference-api.md)
## Menghapus penerapan model kustom
Setelah Anda selesai menggunakan model Anda untuk inferensi sesuai permintaan, Anda dapat menghapus penerapan. Setelah menghapus penerapan, Anda tidak dapat menggunakannya untuk inferensi sesuai permintaan tetapi penghapusan penerapan tidak menghapus model kustom yang mendasarinya.
Anda dapat menghapus penerapan model kustom dengan konsol Amazon Bedrock, AWS Command Line Interface, atau. AWS SDKs
**penting**
Menghapus penerapan model kustom tidak dapat diubah. Pastikan Anda tidak lagi memerlukan penerapan sebelum melanjutkan penghapusan. Jika Anda perlu menggunakan model kustom untuk inferensi sesuai permintaan lagi, Anda harus membuat penerapan baru.
------
#### [ Console ]
**Untuk menghapus penerapan model kustom**
1. Di panel navigasi, di bawah **Infer**, pilih **Model khusus sesuai permintaan**.
1. Pilih penerapan model kustom yang ingin Anda hapus.
1. Pilih **Hapus**.
1. Dalam dialog konfirmasi, masukkan nama penerapan untuk mengonfirmasi penghapusan.
1. Pilih **Hapus** untuk mengonfirmasi penghapusan.
------
#### [ CLI ]
Untuk menghapus penerapan model kustom menggunakan AWS Command Line Interface, gunakan `delete-custom-model-deployment` perintah dengan pengenal penerapan Anda. Perintah ini menggunakan operasi [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region
```
------
#### [ API ]
Untuk menghapus penerapan model kustom secara terprogram, gunakan operasi [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API dengan Nama Sumber Daya Amazon (ARN) atau nama penerapan. Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menghapus penerapan model kustom.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="Deployment identifier"
)
print("Deleting deployment...")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```
------