Acquisto di throughput allocato per un modello personalizzato - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Acquisto di throughput allocato per un modello personalizzato

Per utilizzare un modello personalizzato con capacità di elaborazione dedicata e throughput garantito, è possibile acquistare throughput assegnato. È quindi possibile utilizzare il modello fornito risultante per l’inferenza. Per ulteriori informazioni sull’acquisto di throughput assegnato, consulta Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock.

Console
Come acquistare throughput assegnato per un modello personalizzato

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Nel riquadro di navigazione a sinistra, scegli Modelli personalizzati in Ottimizza.

  3. Nella scheda Modelli, scegli il pulsante di opzione accanto al modello per il quale vuoi acquistare throughput assegnato o seleziona il nome del modello per accedere alla pagina dei dettagli.

  4. Poi seleziona Acquista throughput assegnato.

  5. Per ulteriori dettagli, segui la procedura indicata nella documentazione relativa al throughput assegnato.

  6. Dopo aver acquistato throughput assegnato per il tuo modello personalizzato, segui la procedura indicata nella documentazione sull’utilizzo del throughput assegnato.

Quando esegui un’operazione che supporta l’utilizzo di modelli personalizzati, vedrai il modello personalizzato come opzione nel menu di selezione del modello.

API

Per acquistare Provisioned Throughput per un modello personalizzato, segui i passaggi indicati nella documentazione sul throughput fornito per inviare una richiesta CreateProvisionedModelThroughput(consulta il link per i formati di richiesta e risposta e i dettagli sul campo) con un endpoint del piano di controllo Amazon Bedrock. Usa il nome o l’ARN del tuo modello personalizzato come modelId. La risposta restituisce un provisionedModelArn messaggio che puoi usare come richiesta or. modelId InvokeModelInvokeModelWithResponseStream

Vedi esempi di codice