Acquista un throughput fornito per un modello Amazon Bedrock - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Acquista un throughput fornito per un modello Amazon Bedrock

Amazon Bedrock offre due tipi di throughput fornito: per token e per unità modello. Consulta le seguenti istruzioni per il tipo di Provisioned Throughput che desideri acquistare.

Per ulteriori informazioni sulle differenze tra i due tipi di Provisioned Throughput, consulta. Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock

Quando si acquista un Provisioned Throughput by Model Units per un modello, si specifica il livello di impegno richiesto e il numero di unità del modello () MUs da assegnare. Per le quote MU, consulta gli endpoint e le quote di Amazon Bedrock nel. Riferimenti generali di AWS Prima di acquistare un Provisioned Throughput (con o senza impegno), devi prima visitare il centro di AWS assistenza MUs per richiedere la distribuzione del tuo account tra i Provisioned Throughput. Una volta accolta la richiesta, puoi acquistare un Provisioned Throughput.

Nota

Dopo aver acquistato il Provisioned Throughput, se è associato a un modello personalizzato, puoi modificare il modello specificando una delle seguenti opzioni:

  • Il modello base da cui è stato personalizzato il modello personalizzato

  • Un altro modello personalizzato che è stato personalizzato partendo dallo stesso modello base del modello personalizzato

È possibile modificare solo il modello associato per Provisioned Throughputs associato a un modello personalizzato.

Per sapere come acquistare Provisioned Throughput per un modello, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi:

Console

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Seleziona Throughput assegnato nel riquadro di navigazione a sinistra.

  3. Nella sezione Provisioned Throughput, scegli Purchase Provisioned Throughput.

  4. Per la sezione dei dettagli del Provisioned Throughput, procedi come segue:

    1. Nel campo Provisioned Throughput name, immettere un nome per il Provisioned Throughput.

    2. In Seleziona modello, seleziona un fornitore di modelli base o una categoria di modelli personalizzata. Selezionate quindi il modello per il quale effettuare il provisioning del throughput.

      Nota

      Per visualizzare i modelli base per i quali è possibile acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati.

      Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno.

    3. (Facoltativo) Per associare i tag al tuo Provisioned Throughput, espandi la sezione Tag e scegli Aggiungi nuovo tag. Per ulteriori informazioni, consulta Assegnazione di tag alle risorse Amazon Bedrock.

  5. Per la modalità Provisioning, selezionate By Model Units

  6. Per la sezione Termini di impegno e unità del modello, procedi come segue:

    1. Nella sezione Seleziona la durata dell'impegno, seleziona la quantità di tempo per la quale desideri impegnarti a utilizzare il Provisioned Throughput.

    2. Nel campo Unità del modello, immettete il numero desiderato di unità del modello ()MUs. Se state fornendo un modello con impegno, dovete prima visitare il centro di AWS assistenza per richiedere un aumento del numero di modelli MUs acquistabili.

  7. Scegli Acquista velocità di trasmissione effettiva assegnata.

  8. Controlla la nota che appare e conferma la durata e il prezzo dell'impegno selezionando la casella di controllo. Poi scegli Conferma acquisto.

  9. La console visualizza la pagina di panoramica del Provisioned Throughput. Lo stato del Provisioned Throughput nella tabella Provisioned Throughput diventa Creazione. Al termine della creazione del Provisioned Throughput, lo Status diventa In servizio. Se l'aggiornamento non riesce, lo stato diventa Fallito.

API

Per acquistare un Provisioned Throughput, invia una CreateProvisionedModelThroughputrichiesta con un endpoint del piano di controllo Amazon Bedrock.

Per ulteriori informazioni sul contenuto del corpo della richiesta e sui parametri da fornire per creare un Provisioned Throughput by Model Units, consulta CreateProvisionedModelThroughputAmazon Bedrock API Reference.

Nota

Per vedere i modelli base per i quali puoi acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati.

Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno.

La risposta restituisce un valore provisionedModelArn che è possibile utilizzare come inferenza modelId del modello. Per verificare quando il Provisioned Throughput è pronto per l'uso, invia una GetProvisionedModelThroughputrichiesta e verifica che lo stato sia. InService Se l'aggiornamento fallisce, il relativo stato sarà Failed e la GetProvisionedModelThroughputrisposta conterrà un. failureMessage

Vedi esempi di codice