Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock Il **throughput** si riferisce al numero e alla velocità di input e output che un modello elabora e restituisce. È possibile acquistare **Provisioned Throughput** per fornire un livello più elevato di throughput per un modello a un costo fisso. Se hai personalizzato un modello, devi acquistare Provisioned Throughput per poterlo utilizzare. Ti viene fatturato ogni ora il Provisioned Throughput acquistato. Per informazioni dettagliate sui prezzi, consulta la pagina dei [prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing). Il prezzo orario dipende dai seguenti fattori: 1. Il modello scelto (per i modelli personalizzati, il prezzo è lo stesso del modello base da cui è stato personalizzato). 1. Il numero di unità del modello (MUs) specificato per il Provisioned Throughput. Una MU fornisce un livello di throughput specifico per il modello specificato. Il livello di throughput di una MU specifica quanto segue: + Il numero di token di input che una MU può elaborare su tutte le richieste nell'arco di un minuto. + Il numero di token di output che una MU può generare su tutte le richieste nell'arco di un minuto. **Nota** Per ulteriori informazioni su ciò che specifica una MU, sui prezzi per MU e per richiedere aumenti dei limiti, contatta il tuo responsabile. Account AWS 1. Il periodo di tempo in cui ti impegni a mantenere il Provisioned Throughput. Più lunga è la durata dell'impegno, più scontato diventa il prezzo orario. Puoi scegliere tra i seguenti livelli di impegno: + Nessun impegno: è possibile eliminare il Provisioned Throughput in qualsiasi momento. + 1 mese: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di un mese. + 6 mesi: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di sei mesi. **Nota** La fatturazione continua fino all'eliminazione del Provisioned Throughput. I passaggi seguenti descrivono il processo di configurazione e utilizzo di Provisioned Throughput. 1. Determina il numero di prodotti MUs che desideri acquistare per un Provisioned Throughput e per quanto tempo desideri impegnarti a utilizzare il Provisioned Throughput. 1. Acquista Provisioned Throughput per un modello base o personalizzato. 1. Dopo aver creato il modello fornito, è possibile utilizzarlo per [eseguire](inference.md) l'inferenza del modello. **Topics** + [Regione e modelli supportati per il throughput assegnato](prov-thru-supported.md) + [Prerequisiti per il throughput assegnato](prov-thru-prereq.md) + [Acquista un throughput fornito per un modello Amazon Bedrock](prov-thru-purchase.md) + [Visualizzare informazioni su un throughput fornito](prov-thru-info.md) + [Modificare un throughput assegnato](prov-thru-edit.md) + [Usa un throughput fornito con una risorsa Amazon Bedrock](prov-thru-use.md) + [Eliminare un throughput assegnato o annullare il rinnovo automatico](prov-thru-delete.md) + [Esempi di codice per Provisioned Throughput](prov-thru-code-examples.md) # Regione e modelli supportati per il throughput assegnato Se acquisti Provisioned Throughput tramite l'API Amazon Bedrock, devi specificare una variante contestuale di Amazon Bedrock FMs per l'ID del modello. **Nota** Provisioned Throughput è supportato in AWS GovCloud (Stati Uniti occidentali) solo per i modelli personalizzati con un acquisto senza impegno. Utilizza l’ID di un modello personalizzato quando acquisti il throughput assegnato per il modello stesso. La tabella seguente mostra i modelli per i quali è possibile acquistare Provisioned Throughput, l'ID del modello da utilizzare per l'acquisto di Provisioned Throughput e i modelli Regioni AWS in cui è possibile acquistare Provisioned Throughput per il modello. | Provider | Modello | ID modello | Supporto per modelli a regione singola | | --- | --- | --- | --- | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0:256k | us-east-1 | | Amazon | Nova Canvas | amazzone. nova-canvas-v1:0 | us-east-1 | | Amazon | Nova Lite | amazzone. nova-lite-v1:10:24 k | us-east-1 | | Amazon | Nova Lite | amazzone. nova-lite-v1:0:300 k | us-east-1 | | Amazon | Nova Micro | amazzone. nova-micro-v1:01:28 K | us-east-1 | | Amazon | Nova Micro | amazzone. nova-micro-v1:10:24 k | us-east-1 | | Amazon | Nova Pro | amazzone. nova-pro-v1:10:24 k | us-east-1 | | Amazon | Nova Pro | amazzone. nova-pro-v1:0:300 k | us-east-1 | | Amazon | Titan Embeddings G1 - Text | amazzone. titan-embed-text-v1:2:8k | us-east-1 us-west-2 | | Amazon | Titan Image Generator G1 v2 | amazzone. titan-image-generator-v20:0 | us-east-1 us-west-2 | | Amazon | Titan Multimodal Embeddings G1 | amazzone. titan-embed-image-v1:0 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:100k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:18k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:1:18k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v 2:1:200k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:200k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:48k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:200 k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:28 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:51 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:51 k | us-west-2 | | Anthropic | Claude Instant | antropico. claude-instant-v1:2:100 k | us-east-1 us-west-2 | | Cohere | Embed English | coerenti. embed-english-v3:05:12 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Cohere | Embed Multilingual | coerente. embed-multilingual-v3:05:12 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Meta | Llama 3.1 70B Instruct | b-instruct-vmeta.llama3-1-70 1:0:128 k | us-west-2 | | Meta | Llama 3.1 8B Instruct | meta.llama3-1-8 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 11B Instruct | meta.llama3-2-11 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 1B Instruct | meta.llama3-2-1 1:0:128k b-instruct-v | us-west-2 | | Meta | Llama 3.2 3B Instruct | meta.llama3-2-3 1:0:128k b-instruct-v | us-west-2 | | Meta | Llama 3.2 90B Instruct | meta.llama3-2-90 b-instruct-v 1:0:128k | us-west-2 | **Nota** I seguenti modelli non supportano acquisti senza impegno per il modello base: Titan Image Generator G1 V1 Titan Image Generator G1 V2 # Prerequisiti per il throughput assegnato Prima di poter acquistare e gestire Provisioned Throughput, è necessario soddisfare i seguenti prerequisiti: 1. [Richiedi l'accesso al modello o ai modelli](model-access.md) per i quali desideri acquistare Provisioned Throughput. Dopo aver concesso l'accesso, puoi acquistare Provisioned Throughput per il modello base e tutti i modelli da esso personalizzati. 1. Assicurati che il tuo ruolo IAM abbia accesso alle azioni dell'API Provisioned Throughput. Se al tuo ruolo è [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWSallegata la policy gestita, puoi saltare questo passaggio. In caso contrario, eseguire le seguenti operazioni: 1. Segui i passaggi descritti in [Creazione delle policy IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) e crea la seguente policy, che consente a un ruolo di creare un Provisioned Throughput per tutti i modelli di base e personalizzati. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "PermissionsForProvisionedThroughput", "Effect": "Allow", "Action": [ "bedrock:GetFoundationModel", "bedrock:ListFoundationModels", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource", "bedrock:CreateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:UpdateProvisionedModelThroughput", "bedrock:DeleteProvisionedModelThroughput" ], "Resource": "*" } ] } ``` ------ **Nota** Se utilizzi Provisioned Throughput con inferenza tra regioni, potresti aver bisogno di autorizzazioni aggiuntive. Per ulteriori informazioni, consulta [Aumentare il throughput con l’inferenza tra Regioni](cross-region-inference.md). (Facoltativo) Puoi limitare l’accesso del ruolo nei modi seguenti: + Per limitare le azioni API che il ruolo può eseguire, modifica l’elenco nel campo `Action` in modo che contenga solo le [operazioni API](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) a cui desideri consentire l’accesso. + Dopo aver creato un modello fornito, puoi limitare la capacità del ruolo di eseguire una richiesta API con il modello fornito modificando l'`Resource`elenco in modo che contenga solo i modelli [forniti a cui](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) desideri consentire l'accesso. Per vedere un esempio, consulta [Consenti agli utenti di invocare un modello allocato](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt). + Per limitare la capacità di un ruolo di creare modelli predisposti a partire da modelli di base o personalizzati specifici, modificate l'`Resource`elenco in modo che contenga solo i [modelli di base e personalizzati](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) a cui desiderate consentire l'accesso. 1. Segui i passaggi indicati in [Aggiungere e rimuovere le autorizzazioni di identità IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) per associare la policy a un ruolo e concedere le autorizzazioni al ruolo. 1. Se stai acquistando Provisioned Throughput per un modello personalizzato crittografato con una AWS KMS chiave gestita dal cliente, il tuo ruolo IAM deve disporre delle autorizzazioni per decrittografare la chiave. Puoi utilizzare il modello all'indirizzo. [Come creare una chiave gestita dal cliente e come collegarvi una policy della chiave](encryption-custom-job.md#encryption-key-policy) Per le autorizzazioni minime, è possibile utilizzare solo l'informativa *Permissions for custom model users* sulla politica. # Acquista un throughput fornito per un modello Amazon Bedrock Amazon Bedrock offre due tipi di throughput fornito: per token e per unità modello. Consulta le seguenti istruzioni per il tipo di Provisioned Throughput che desideri acquistare. Per ulteriori informazioni sulle differenze tra i due tipi di Provisioned Throughput, consulta. [Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock](prov-throughput.md) ## Throughput assegnato per unità del modello Quando si acquista un Provisioned Throughput by Model Units per un modello, si specifica il livello di impegno richiesto e il numero di unità del modello () MUs da assegnare. Per le quote MU, consulta gli [endpoint e le quote di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) nel. Riferimenti generali di AWS Prima di acquistare un Provisioned Throughput (con o senza impegno), devi prima visitare il [centro di AWS assistenza](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) MUs per richiedere la distribuzione del tuo account tra i Provisioned Throughput. Una volta accolta la richiesta, puoi acquistare un Provisioned Throughput. **Nota** Dopo aver acquistato il Provisioned Throughput, se è associato a un modello personalizzato, puoi modificare il modello specificando una delle seguenti opzioni: Il modello base da cui è stato personalizzato il modello personalizzato Un altro modello personalizzato che è stato personalizzato partendo dallo stesso modello base del modello personalizzato È possibile modificare solo il modello associato per Provisioned Throughputs associato a un modello personalizzato. Per sapere come acquistare Provisioned Throughput per un modello, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. **Nella sezione **Provisioned Throughput, scegli Purchase Provisioned Throughput**.** 1. Per la sezione dei **dettagli del Provisioned Throughput**, procedi come segue: 1. Nel campo **Provisioned Throughput name, immettere un nome** per il Provisioned Throughput. 1. In **Seleziona modello**, seleziona un fornitore di modelli base o una categoria di modelli personalizzata. Selezionate quindi il modello per il quale effettuare il provisioning del throughput. **Nota** Per visualizzare i modelli base per i quali è possibile acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati. Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno. 1. **(Facoltativo) Per associare i tag al tuo Provisioned Throughput, espandi la sezione **Tag** e scegli Aggiungi nuovo tag.** Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). 1. **Per la **modalità Provisioning**, selezionate By Model Units** 1. Per la sezione **Termini di impegno e unità del modello**, procedi come segue: 1. Nella sezione **Seleziona la durata dell'impegno**, seleziona la quantità di tempo per la quale desideri impegnarti a utilizzare il Provisioned Throughput. 1. Nel campo **Unità del modello**, immettete il numero desiderato di unità del modello ()MUs. Se state fornendo un modello con impegno, dovete prima visitare il [centro di AWS assistenza](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) per richiedere un aumento del numero di modelli MUs acquistabili. 1. Scegli **Acquista velocità di trasmissione effettiva assegnata**. 1. Controlla la nota che appare e conferma la durata e il prezzo dell'impegno selezionando la casella di controllo. Poi scegli **Conferma acquisto**. 1. La console visualizza la pagina di panoramica del **Provisioned Throughput**. **Lo **stato** del Provisioned Throughput nella tabella Provisioned Throughput diventa Creazione.** ****Al termine della creazione del Provisioned Throughput, lo Status diventa In servizio.**** **Se l'aggiornamento non riesce, **lo stato** diventa Fallito.** ------ #### [ API ] Per acquistare un Provisioned Throughput, invia una [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per ulteriori informazioni sul contenuto del corpo della richiesta e sui parametri da fornire per creare un Provisioned Throughput by Model Units, consulta [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)*Amazon Bedrock* API Reference. **Nota** Per vedere i modelli base per i quali puoi acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati. Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno. La risposta restituisce un valore `provisionedModelArn` che è possibile utilizzare come inferenza `modelId` [del modello](inference.md). Per verificare quando il Provisioned Throughput è pronto per l'uso, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e verifica che lo stato sia. `InService` Se l'aggiornamento fallisce, il relativo stato sarà `Failed` e la [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)risposta conterrà un. `failureMessage` [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Visualizzare informazioni su un throughput fornito Per scoprire come visualizzare le informazioni su un Provisioned Throughput acquistato, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi: ------ #### [ Console ] **Per visualizzare informazioni su un Provisioned Throughput** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Provisioned Throughput** dal riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput**, selezionate un Provisioned Throughput. 1. **Visualizza i dettagli del Provisioned Throughput nella sezione **Panoramica del Provisioned Throughput** e i tag associati al Provisioned Throughput nella sezione Tags.** ------ #### [ API ] Per recuperare informazioni su uno specifico Provisioned Throughput, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta con un endpoint del piano di controllo [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Specificare il nome del Provisioned Throughput o il relativo ARN come. `provisionedModelId` Per elencare informazioni su tutti i throughput forniti in un account, invia una [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per controllare il numero di risultati restituiti, puoi specificare i seguenti parametri opzionali: **** | Campo | Breve descrizione | | --- | --- | | maxResults | Il numero massimo di risultati da restituire nella risposta. | | nextToken | Se ci sono più risultati rispetto al numero specificato nel maxResults campo, la risposta restituisce un nextToken valore. Per visualizzare il successivo batch di risultati, invia il nextToken valore in un'altra richiesta. | Per altri parametri opzionali che è possibile specificare per ordinare e filtrare i risultati, vedere [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html). Per elencare tutti i tag per un Provisioned Throughput, invia una [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Modificare un throughput assegnato Gli aspetti di un Provisioned Throughput che è possibile modificare dopo l'acquisto dipendono dalla modalità di provisioning. Per Provisioned Throughputs by Model Units, è possibile modificare solo il nome e i tag del Provisioned Throughput e il modello se si tratta di un modello personalizzato. Con Provisioned Throughputs by Tokens, hai più opzioni, inclusa la modifica del numero di token di input e output al minuto per il tuo Provisioned Throughput. Consulta le sezioni seguenti per ulteriori informazioni sulla modifica del tipo di Provisioned Throughput che desideri modificare. ## Modifica un throughput assegnato per unità del modello È possibile modificare il nome o i tag di un Provisioned Throughput esistente. Le seguenti restrizioni si applicano alla modifica del modello a cui è associato il Provisioned Throughput: + Non è possibile modificare il modello per un Provisioned Throughput associato a un modello base. + Se il Provisioned Throughput è associato a un modello personalizzato, è possibile modificare l'associazione al modello base da cui è personalizzato o a un altro modello personalizzato derivato dallo stesso modello di base. Durante l'aggiornamento di un Provisioned Throughput, è possibile eseguire l'inferenza utilizzando il Provisioned Throughput senza interrompere il traffico in corso proveniente dai clienti finali. Se hai modificato il modello a cui è associato il Provisioned Throughput, potresti ricevere l'output dal vecchio modello fino alla completa implementazione dell'aggiornamento. Per informazioni su come modificare un Provisioned Throughput, scegliete la scheda corrispondente al metodo preferito, quindi seguite i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. Scegli **Modifica**. È possibile modificare i seguenti campi: + **Nome del Provisioned Throughput**: modifica il nome del Provisioned Throughput. + **Seleziona modello**: se il Provisioned Throughput è associato a un modello personalizzato, è possibile modificare il modello associato. 1. **È possibile modificare i tag associati al Provisioned Throughput nella sezione Tag.** Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). 1. Per salvare le modifiche, scegli **Salva** modifiche. 1. La console visualizza la pagina di panoramica del **Provisioned Throughput**. **Lo **stato** del Provisioned Throughput nella tabella Provisioned Throughput diventa Aggiornamento.** ****Al termine dell'aggiornamento del Provisioned Throughput, lo Status diventa In servizio.**** **Se l'aggiornamento non riesce, **lo Status** diventa Fallito.** ------ #### [ API ] Per modificare un Provisioned Throughput, invia una [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per ulteriori informazioni sul corpo della richiesta e sui parametri da fornire, consulta [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)*Amazon Bedrock API Reference*. Se l'azione ha esito positivo, la risposta restituisce una risposta di stato HTTP 200. Per verificare quando il Provisioned Throughput è pronto per l'uso, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e verifica che lo stato sia. `InService` Non è possibile aggiornare o eliminare un Provisioned Throughput mentre il relativo stato è. `Updating` Se l'aggiornamento fallisce, il relativo stato sarà `Failed` e la [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)risposta conterrà un. `failureMessage` Per aggiungere tag a un Provisioned Throughput, invia una [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. Il corpo della richiesta contiene un campo `tags`, che consiste in un oggetto contenente una coppia chiave-valore che hai specificato per ogni tag. Per rimuovere i tag da un Provisioned Throughput, invia una [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. Il parametro di richiesta `tagKeys` è un elenco contenente le chiavi relative ai tag che desideri rimuovere. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Usa un throughput fornito con una risorsa Amazon Bedrock Dopo aver acquistato un Provisioned Throughput, puoi utilizzarlo con le seguenti funzionalità: + **Inferenza del modello**: puoi testare il Provisioned Throughput in un parco giochi per console Amazon Bedrock. Quando sei pronto per implementare il Provisioned Throughput, configura l'applicazione per richiamare il modello provisioned. Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ Console ] **Per utilizzare un Provisioned Throughput nell'area giochi della console Amazon Bedrock** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Dal riquadro di navigazione a sinistra, seleziona **Chat**, **Testo** o **Immagine** in **Playgrounds**, a seconda del caso d'uso. 1. Scegli **Seleziona modello**. 1. Nel **1. Nella colonna Categoria**, seleziona un fornitore o una categoria di modello personalizzato. Quindi, nel **2. Nella colonna Modello**, seleziona il modello a cui è associato il tuo Provisioned Throughput. 1. **Nella 3. Nella colonna Throughput**, seleziona il tuo Provisioned Throughput. 1. Scegli **Applica**. Per informazioni su come utilizzare i parchi giochi Amazon Bedrock, consulta. [Generare risposte nella console utilizzando i playground](playgrounds.md) ------ #### [ API ] Per eseguire l'inferenza utilizzando un Provisioned Throughput, invia un, [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) o una richiesta [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)con un endpoint di runtime [Amazon](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) Bedrock. Specifica l’ARN del modello fornito utilizzando il parametro `modelId`. Per visualizzare i requisiti per il corpo della richiesta per diversi modelli, consulta. [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md) [Vedi esempi di codice](prov-thru-code-examples.md) ------ + **Associare un Provisioned Throughput a un alias di agente**[: è possibile associare un Provisioned Throughput quando si [crea](agents-deploy.md) o si aggiorna un alias di agente.](agents-alias-edit.md) Nella console Amazon Bedrock, scegliere Throughput allocato quando si configura o si modifica l’alias. Nell'API Amazon Bedrock, specifichi `routingConfiguration` quando invii una richiesta [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html)or [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html);. `provisionedThroughput` # Eliminare un throughput assegnato o annullare il rinnovo automatico Il Provisioned Throughput si rinnoverà automaticamente alla fine di ogni periodo di impegno, mantenendo le attuali configurazioni dei token di input e output. Se non desideri mantenere il Provisioned Throughput, puoi eliminarlo o, per Provisioned Throughput by Tokens, annullare il rinnovo automatico per impedirne il rinnovo allo scadere del periodo corrente. ## Eliminazione di un Provisioned Throughput Quando elimini un Provisioned Throughput, non sarai più in grado di richiamare il modello al livello di throughput per cui lo hai acquistato. Se elimini un Provisioned Throughput associato a un modello personalizzato, il modello personalizzato non viene eliminato. Per informazioni su come eliminare un modello personalizzato, consulta. [Eliminazione di un modello personalizzato](model-customization-delete.md) **Nota** Non è possibile eliminare un Provisioned Throughput by Model Units con impegno prima del termine dell'impegno. Per informazioni su come eliminare un Provisioned Throughput, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. **Scegli **Elimina dal menu** a discesa Azioni.** 1. La console visualizza un modulo modale per avvisarti che l'eliminazione è permanente. Scegli **Conferma** per procedere. 1. Il Provisioned Throughput viene immediatamente eliminato. ------ #### [ API ] Per eliminare un Provisioned Throughput, invia una [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Specificare il nome del Provisioned Throughput o il relativo ARN come. `provisionedModelId` Se l'eliminazione ha esito positivo, la risposta restituisce un codice di stato HTTP 200. [Vedi esempi di codice](prov-thru-code-examples.md) ------ ## Annullamento del rinnovo automatico per un throughput assegnato Per Provisioned Throughput by Tokens, puoi annullare il rinnovo automatico in qualsiasi momento prima della scadenza del periodo di impegno per evitare che un Provisioned Throughput si rinnovi automaticamente. Se annulli il rinnovo automatico, il Provisioned Throughput rimarrà in servizio fino alla fine del periodo di impegno. Ti verrà comunque addebitata l'intera tariffa di fornitura per il periodo corrente, indipendentemente dal fatto che tu esegua l'inferenza o meno. Dopo aver annullato il rinnovo automatico di un Provisioned Throughput, non è possibile apportare ulteriori modifiche al Provisioned Throughput per il resto del periodo di impegno. **Nota** Il rinnovo automatico non può essere riattivato una volta annullato. Se hai bisogno di Provisioned Throughput dopo la scadenza del periodo corrente, dovrai acquistare un nuovo Provisioned Throughput. Per sapere come annullare il rinnovo automatico di un Provisioned Throughput by Tokens, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. Scegli **Annulla rinnovo automatico** dal menu a discesa **Azioni**. 1. La console visualizza un modulo modale per avvisarti che questa azione non può essere annullata. Scegli **Conferma** per procedere. 1. Il Provisioned Throughput rimarrà attivo fino alla fine del periodo di impegno corrente, dopodiché verrà automaticamente eliminato. ------ #### [ API ] Per annullare il rinnovo automatico di un Provisioned Throughput, invia una [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) con il parametro impostato su. `disableAutoRenew` `true` Il Provisioned Throughput rimarrà attivo fino alla fine dell'attuale periodo di impegno. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Esempi di codice per Provisioned Throughput I seguenti esempi di codice mostrano come creare un Provisioned Throughput e come gestirlo e richiamarlo utilizzando AWS CLI l'SDK Python. È possibile creare un Provisioned Throughput a partire da un modello base o da un modello già personalizzato. Prima di iniziare, esegui i seguenti prerequisiti: **Prerequisiti** Negli esempi seguenti viene utilizzato il Amazon Nova Lite modello, il cui ID del modello è`amazon.nova-lite-v1:0:24k`. Se non l'hai già fatto, richiedi l'accesso a Amazon Nova Lite seguendo i passaggi riportati in[Gestisci l'accesso ai modelli tramite SDK e CLI](model-access.md#model-access-modify). Se desideri acquistare Provisioned Throughput per un modello di base diverso o per un modello personalizzato, dovrai fare quanto segue: 1. Trova l'ID del modello (per i modelli base), il nome (per i modelli personalizzati) o l'ARN (per entrambi) effettuando una delle seguenti operazioni: + Se stai acquistando un Provisioned Throughput per un modello base, trova l'ID o Amazon Resource Name (ARN) di un modello che supporta il provisioning in uno dei seguenti modi: + Cerca il valore nella tabella. + Invia una [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)richiesta e specifica il `byInferenceType` valore `PROVISIONED` per visualizzare un elenco di modelli che supportano il provisioning. Trova il valore nel `modelArn` campo `modelId` or. + Se stai acquistando un Provisioned Throughput per un modello personalizzato, trova il nome o Amazon Resource Name (ARN) del modello che hai personalizzato in uno dei seguenti modi: + Nella console Amazon Bedrock, scegli **Modelli personalizzati** dal riquadro di navigazione a sinistra. Trova il nome del tuo modello personalizzato nell'elenco dei **modelli** o selezionalo e trova il **modello ARN nei dettagli** del **modello**. + Invia una [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)richiesta e trova il `modelArn` valore `modelName` o il valore del tuo modello personalizzato nella risposta. 1. Modifica il `body` valore della [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)richiesta negli esempi seguenti in modo che corrisponda al formato del corpo del modello trovandolo in[Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md). Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ AWS CLI ] 1. Inviate una [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)richiesta per creare un Provisioned Throughput senza impegno chiamato*MyPT*, eseguendo il seguente comando in un terminale: ``` aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id amazon.nova-lite-v1:0:24k ``` 1. La risposta restituisce un `provisioned-model-arn`. Attendi del tempo per il completamento della creazione. Per verificarne lo stato, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e fornisci il nome o l'ARN del modello fornito come`provisioned-model-id`, eseguendo il comando seguente: ``` aws bedrock get-provisioned-model-throughput \ --provisioned-model-id ${provisioned-model-arn} ``` 1. Esegui l'inferenza con il modello fornito inviando una richiesta. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Fornire l'ARN del modello fornito che è stato restituito nella `CreateProvisionedModelThroughput` risposta, come. `model-id` L'output viene scritto in un file denominato *output.txt* nella cartella corrente. ``` aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{ "messages": [{ "role": "user", "content": [{ "text": "Hello" }] }], "inferenceConfig": { "temperature":0.7 } }' \ --cli-binary-format raw-in-base64-out \ output.txt ``` 1. Inviate una [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)richiesta per eliminare il Provisioned Throughput utilizzando il seguente comando. Non ti verrà più addebitato alcun costo per il Provisioned Throughput. ``` aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT ``` ------ #### [ Python (Boto) ] I seguenti frammenti di codice illustrano la creazione di un Provisioned Throughput, l'acquisizione di informazioni al riguardo e l'utilizzo del Provisioned Throughput. 1. Per creare un Provisioned Throughput chiamato senza impegno *MyPT* e assegnare l'ARN del Provisioned Throughput a una variabile chiamata, invia la seguente richiesta: *provisioned\$1model\$1arn* [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) ``` import boto3 provisioned_model_name = 'MyPT' bedrock = boto3.client(service_name='bedrock') response = bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName=provisioned_model_name, modelId='amazon.nova-lite-v1:0:24k' ) provisioned_model_arn = response['provisionedModelArn'] ``` 1. Attendi del tempo per il completamento della creazione. Puoi verificarne lo stato con il seguente frammento di codice. È possibile fornire il nome del Provisioned Throughput o l'ARN restituito dalla [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)risposta come. `provisionedModelId` ``` bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` 1. Esegui l'inferenza con il tuo modello fornito aggiornato con il seguente comando e utilizzando l'ARN del modello fornito come. `modelId` ``` import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = provisioned-model-arn body = json.dumps({ "inputText": "what isAWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main() ``` 1. Eliminate il Provisioned Throughput con il seguente frammento di codice. Il Provisioned Throughput non ti verrà più addebitato. ``` bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` ------