Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Capacità, limiti e ottimizzazione dei costi Amazon Bedrock offre opzioni di capacità flessibili per soddisfare i requisiti di carico di lavoro e il budget. Comprendere le differenze tra i livelli on-demand (Flex, Priority, Standard), il livello riservato, l'elaborazione in batch e l'inferenza tra regioni aiuta a ottimizzare sia le prestazioni che i costi. # Livelli di servizio per l'ottimizzazione delle prestazioni e dei costi Amazon Bedrock offre quattro livelli di servizio per l'inferenza dei modelli: Reserved, Priority, Standard e Flex. Con i livelli di servizio, puoi ottimizzare la disponibilità, i costi e le prestazioni. ## Livello riservato Il livello riservato offre la possibilità di riservare capacità di elaborazione prioritaria per le applicazioni mission-critical che non possono tollerare alcun downtime. Hai la flessibilità di allocare diverse tokens-per-minute capacità di input e output per soddisfare i requisiti esatti del tuo carico di lavoro e controllare i costi. Quando l'applicazione richiede una tokens-per-minute capacità superiore a quella prenotata, il servizio passa automaticamente al livello Standard, garantendo operazioni ininterrotte. Il livello riservato prevede un uptime del 99,5% per la risposta dei modelli. I clienti possono prenotare la capacità per 1 o 3 mesi. I clienti pagano un prezzo fisso per 1.000 dollari tokens-per-minute e vengono fatturati mensilmente. Per accedere al livello riservato, contatta il team del tuo account AWS. **Nota** La fatturazione continua finché non elimini la prenotazione del livello riservato con l'aiuto del tuo Account AWS manager. ## Livello prioritario Il livello Priority offre i tempi di risposta più rapidi a un prezzo superiore rispetto ai prezzi standard on demand. È la soluzione ideale per applicazioni mission critical con flussi di lavoro aziendali rivolti ai clienti che non garantiscono la prenotazione della capacità 24 ore su 24, 7 giorni su 7. Il livello prioritario non richiede la prenotazione preventiva. Puoi semplicemente impostare il parametro opzionale «service\$1tier» su «priority» per usufruire della prioritizzazione a livello di richiesta. Le richieste di livello prioritario hanno la priorità rispetto alle richieste di livello Standard e Flex. ## Livello Standard Il livello Standard offre prestazioni costanti per le attività di intelligenza artificiale quotidiane come la generazione di contenuti, l'analisi del testo e l'elaborazione di routine dei documenti. Per impostazione predefinita, tutte le richieste di inferenza vengono indirizzate al livello Standard quando manca il parametro «service\$1tier». Puoi anche impostare il parametro opzionale «service\$1tier» su «default» per soddisfare la tua richiesta di inferenza con il livello Standard. ## Flex Tier Per i carichi di lavoro in grado di gestire tempi di elaborazione più lunghi, il livello Flex offre un'elaborazione conveniente a un prezzo scontato. Ciò consente di ottimizzare i costi per carichi di lavoro come la valutazione dei modelli, il riepilogo dei contenuti e i flussi di lavoro agentici. Puoi impostare il parametro opzionale «service\$1tier» su «flex» per far sì che la tua richiesta di inferenza venga soddisfatta con il livello Flex e usufruire dello sconto sui prezzi. ## Utilizzo della funzionalità del livello di servizio Per accedere alla funzionalità del livello di servizio, puoi impostare il parametro opzionale «service\$1tier» su «reserved», «priority», «default» o «flex» mentre chiami l'API di runtime Amazon Bedrock. ``` "service_tier" : "reserved | priority | default | flex" ``` La tua quota su richiesta per un modello è condivisa tra i livelli di servizio «priority», «default» e «flex». La prenotazione della capacità del livello «riservato» è separata dalla quota su richiesta. La configurazione del livello di servizio per una richiesta servita è visibile in API Response e AWS CloudTrail Events. Puoi anche visualizzare i parametri del livello di servizio in Amazon CloudWatch Metrics in ModelId, e ServiceTier ResolvedServiceTier, dove ResolvedServiceTier mostra il livello effettivo che ha soddisfatto le tue richieste. Per ulteriori informazioni sui prezzi, consulta la [pagina sui prezzi](https://aws.amazon.com/bedrock/pricing/). Modelli e regioni supportati dal livello di servizio riservato: | | | | | | --- |--- |--- |--- | | Provider | Modello | Modello IDs | Regioni | | Anthropic | Claude Sonnet 4.6 | global.anthropic.claude-sonnet-4-6us.anthropic.claude-sonnet-4-6eu.anthropic.claude-sonnet-4-6 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | me-south-1 | | ap-southeast-7 | | af-south-1 | | me-central-1 | | ap-southeast-5 | | mx-central-1 | | il-central-1 | | ap-east-2 | | ca-west-1 | | Anthropic | Claude Opus 4.6 | global.anthropic.claude-opus-4-6-v1it.anthropic.claude-opus-4-6-v1eu.anthropic.claude-opus-4-6-v1 | af-south-1 | | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-south-1 | | ap-south-2 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | me-south-1 | | mx-central-1 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Anthropic | Claude Sonnet 4.5 | global.anthropic.claude-sonnet-4-5-20250929-v 1:0it.anthropic.claude-sonnet-4-5-20250929-v 1:0eu.anthropic.claude-sonnet-4-5-20250929-v 1:0us-gov.anthropic.claude-sonnet-4-5-20250929-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | us-gov-west-1 | | Anthropic | Claude Opus 4.5 | global.anthropic.claude-opus-4-5-20251101-v 1:0it.anthropic.claude-opus-4-5-20251101-v 1:0eu.anthropic.claude-opus-4-5-20251101-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Anthropic | Claude Haiku 4.5 | global.anthropic.claude-haiku-4-5-20251001-v 1:0it.anthropic.claude-haiku-4-5-20251001-v 1:0eu.anthropic.claude-haiku-4-5-20251001-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | **Nota** La lunghezza del contesto di 1 m per Sonnet 4.5 non è supportata dal livello Reserved. Modelli e aree supportati dai livelli di servizio Priority e Flex: | | | | | | --- |--- |--- |--- | | Provider | Modello | ID del modello | Regioni | | OpenAI | gpt-oss-120b | apri.gpt-oss-120b-1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | OpenAI | gpt-oss-20b | aprire i.gpt-oss-20b-1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | OpenAI | GPT OSS Safeguard 20B | apri. gpt-oss-safeguard-20 g | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | OpenAI | GPT OSS Safeguard 120 B | apri. gpt-oss-safeguard-120 b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Qwen | Qwen3 235 B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-2 | | Qwen | Istruzioni Qwen3 Coder 480B A35B | qwen.qwen3-coder-480b-a35b-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-north-1 | | eu-west-2 | | Qwen | Qwen3-Coder-30B-A3B-Istruzione | qwen.qwen3-coder-30b-a3b-v1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | Qwen | Qwen3 32B (denso) | qwen.qwen3-32b-v 1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | Qwen | Qwen3 Next 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | DeepSeek | DeepSeek-V 3.1 | deepseek.v3-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-north-1 | | eu-west-2 | | Amazon | Nova Premier | amazzone. nova-premier-v1:0 | us-east-1\$1 | | us-east-2\$1 | | us-west-2\$1 | | Amazon | Nova Pro | amazzone. nova-pro-v1:0 | us-east-1 | | us-east-2\$1 | | Stati Uniti occidentali-1\$1 | | us-west-2\$1 | | ap-est-2\$1 | | ap-nord-est-1\$1 | | ap-nord-est-2\$1 | | ap-south-1\$1 | | ap-sud-est -1\$1 | | ap-southeast-2 | | ap-southeast-3 | | ap-sud-est-4\$1 | | ap-sud-est-5\$1 | | ap-sud-est-7\$1 | | eu-central-1\$1 | | eu-nord-1\$1 | | eu-sud-1\$1 | | eu-sud-2\$1 | | eu-west-1\$1 | | eu-west-2 | | eu-west-3\$1 | | il-central-1\$1 | | me-central-1 | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0 | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Amazon | Anteprima di Nova 2 Pro | amazon.nova-2-pro-preview-20251202-v 1:0 | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Amazon | Nova Lite 2 Omni | amazon.nova-2- 1 lite-omni-v | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Google | Gemma 3 4B | google.gemma-3-4b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Google | Gemma 3 12B | google.gemma-3-12b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Google | Gemma 3 27B | google.gemma-3-27b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Minimax AI | Minimax M2 | minimax.minimax-m2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Magistral Small 1.2 | mistral.magistral-small-2509 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Voxtral Mini 1.0 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Voxtral Small 1.0 | mistral.voxtral-small-24b-2507 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministry 3B 3.0 | mistral.ministral-3-3b-istruisci | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministry 8B 3.0 | mistral.ministral-3-8b-istruisci | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministry 14B 3.0 | mistral.ministral-3-14b-istruisci | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Kimi AI | Il pensiero di Kimi K2 | moonshot.kimi-k2-thinking | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Nvidia | NVIDIA Nemotron Nano 2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Nvidia | NVIDIA Nemotron Nano 2 VL | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | \$1L'inferenza del modello può essere fornita utilizzando più regioni. Per controllare l'accesso ai livelli di servizio, fare riferimento [Controlla l'accesso ai livelli di servizio](security_iam_id-based-policy-examples-agent.md#security_iam_id-based-policy-examples-service-tiers) ## Opzioni di capacità | Tipo di capacità | Caso d'uso | Caratteristiche chiave | | --- | --- | --- | | Su richiesta: Flex | Carichi di lavoro sporadici e a basso volume | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Su richiesta: standard | Carichi di lavoro di produzione regolari | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Su richiesta: priorità | App ad alta priorità e sensibili alla latenza | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Livello riservato | Carichi di lavoro coerenti e ad alto volume | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Archiviazione | Elaborazione su larga scala non-time-sensitive | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Inferenza tra regioni | Alta disponibilità, traffico vertiginoso | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | ## Limiti e quote ### Limiti su richiesta (per livello) | Livello | Intervallo di giri | Intervallo TPM | Rischio di limitazione | | --- | --- | --- | --- | | Flettere | 10-100 | 5K-50K | Elevata | | Standard | 100-500 | 50K-150K | Media | | Priorità | 500-1000 \$1 | 150K-300K\$1 | Bassa | + Capacità burst: disponibile su tutti i livelli per picchi brevi + Limiti flessibili: aumentabili tramite richieste di quote di servizio + Specifico del modello: i limiti effettivi variano in base al modello di base ### Limiti riservati ai livelli + Impegno minimo: 1 unità modello + Unità massime: specifiche per account e regione + Limiti dei token di input/output: in base alle unità acquistate + Nessuna limitazione del numero di giri all'interno della capacità acquistata ### Limiti di elaborazione in batch + Dimensione del lavoro: fino a 10.000 record per batch + Dimensione del file: massimo 200 MB di file di input + Tempo di elaborazione: finestra di completamento di 24 ore + Lavori simultanei: quote specifiche per regione ### Inferenza tra regioni + Eredita i limiti dei livelli on-demand per regione + Nessun sovraccarico di quota aggiuntivo + Routing automatico (nessuna gestione manuale dei limiti) ## Ottimizzazione dei costi ### Quadro decisionale | Scenario | Opzione consigliata | Perché | | --- | --- | --- | | Sviluppo/test | Flettere | Costo più basso, accettabile per la non produzione | | Produzione standard | Standard | Il miglior equilibrio tra costi e prestazioni | | App critiche rivolte agli utenti | Priorità | Affidabilità e prestazioni rispetto ai costi | | Carico costante ad alto volume | Livello riservato | Risparmio del 30-50% con impegno | | Elaborazione di dati in blocco | Archiviazione | 50% di sconto, carichi di lavoro non urgenti | | Operatività fondamentale | Inferenza tra regioni | Disponibilità > costo | ### Strategie di ottimizzazione **Scegli il livello on-demand giusto** + Inizia con Standard per la maggior parte dei carichi di lavoro + Esegui il downgrade a Flex per ambienti dev/test + Esegui l'upgrade a Priority solo quando la limitazione ha un impatto sugli utenti + Monitora le CloudWatch metriche di accelerazione per prendere decisioni informate **Transizione al livello riservato** + Quando il carico costante supera il 40% dei costi on-demand + Calcola il pareggio: (costo mensile su richiesta) vs (impegno riservato) + Utilizza inizialmente un impegno di 1 mese + Il livello riservato può funzionare insieme a qualsiasi livello on-demand **Sfrutta Batch per** + Generazione di dati di formazione + Arretrati relativi alla moderazione dei contenuti + Generazione di report + Pipeline di arricchimento dei dati **Combina approcci** + Livello riservato per il traffico di base + Standard on-demand per raffiche moderate + Priorità su richiesta per i periodi di picco critici + Batch per l'elaborazione offline + Interregione solo per il failover **Monitoraggio dei costi** + Confronta i costi dei livelli: Flex < Standard < Priority + Tieni traccia dei token per richiesta (ottimizza le istruzioni) + Utilizza le CloudWatch metriche per l'utilizzo e la limitazione + Imposta allarmi di fatturazione per picchi imprevisti + Verifica mensilmente l'utilizzo del livello riservato + Valuta gli upgrade di livello solo in caso di limitazione # Elaborazione di più prompt con l’inferenza in batch L’inferenza in batch consente di inviare più richieste e generare risposte in modo asincrono. Puoi formattare i dati di input utilizzando il formato o l'API. `InvokeModel` `Converse` Aiuta inoltre a elaborare con efficienza un gran numero di richieste, inviando una singola richiesta e generando le risposte in un bucket Amazon S3. Dopo aver definito gli input del modello nei file creati, i file verranno caricati in un bucket S3. A questo punto, invia una richiesta di inferenza in batch e specifica il bucket S3. Al termine del processo, puoi recuperare i file di output da S3. Puoi utilizzare l'inferenza in batch per migliorare le prestazioni dell'inferenza del modello su set di dati di grandi dimensioni. **Nota** L’inferenza in batch non è supportata per i modelli con provisioning. Per informazioni generali sull'inferenza in batch, consultate le seguenti risorse: + Per verificare i costi dell’inferenza in batch, consulta [Prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/). + Per visualizzare le quote per l’inferenza in batch, consulta [Endpoint e quote di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) in Riferimenti generali di AWS. + Per ricevere notifiche quando i lavori di inferenza in batch vengono completati o cambiano stato anziché eseguire il polling, consulta. [Monitora le modifiche allo stato dei job di Amazon Bedrock con Amazon EventBridgeMonitora le modifiche agli eventi](monitoring-eventbridge.md) **Topics** + [Regioni e modelli supportati per l’inferenza in batch](batch-inference-supported.md) + [Prerequisiti per l’inferenza in batch](batch-inference-prereq.md) + [Creazione di un processo di inferenza in batch](batch-inference-create.md) + [Monitoraggio dei processi di inferenza in batch](batch-inference-monitor.md) + [Arresto di un processo di inferenza in batch](batch-inference-stop.md) + [Visualizzazione dei risultati di un processo di inferenza in batch](batch-inference-results.md) + [Esempio di codice per inferenza in batch](batch-inference-example.md) + [Invio di una serie di prompt con l’API batch di OpenAI](inference-openai-batch.md) # Regioni e modelli supportati per l’inferenza in batch L’elenco seguente fornisce collegamenti a informazioni generali sul supporto di Regioni e modelli in Amazon Bedrock: + Per un elenco dei codici e degli endpoint delle Regioni supportati in Amazon Bedrock, consulta [Endpoint e quote di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region). + Per un elenco dei modelli Amazon Bedrock da utilizzare IDs per chiamare le operazioni dell'API Amazon Bedrock, consulta. [Modelli di fondazione supportati in Amazon Bedrock](models-supported.md) + Per un elenco dei profili di inferenza di Amazon Bedrock da IDs utilizzare quando si chiamano le operazioni API di Amazon Bedrock, consulta. [Profili di inferenza tra Regioni supportati](inference-profiles-support.md#inference-profiles-support-system) L'inferenza in batch può essere utilizzata con diversi tipi di modelli. L'elenco seguente descrive il supporto per diversi tipi di modelli Amazon Bedrock: + **Supporto per modelli a regione singola**: elenca le regioni che supportano l'invio di richieste di inferenza a un modello base in una regione. AWS Per una tabella completa dei modelli disponibili su Amazon Bedrock, consulta[Modelli di fondazione supportati in Amazon Bedrock](models-supported.md). + **Supporto per profili di inferenza interregionali**: elenca le regioni che supportano l'utilizzo di un profilo di inferenza interregionale, che supporta l'invio di richieste di inferenza a un modello di base in più AWS regioni all'interno di un'area geografica. Un profilo di inferenza ha un prefisso che precede l'ID del modello che ne indica l'area geografica (ad esempio,). `us.` `apac` Per ulteriori informazioni sui profili di inferenza disponibili su Amazon Bedrock, consulta. [Regioni e modelli supportati per i profili di inferenza](inference-profiles-support.md) + **Supporto per modelli personalizzati**: elenca le regioni che supportano l'invio di richieste di inferenza a un modello personalizzato. Per ulteriori informazioni sulla personalizzazione del modello, vedere. [Personalizzazione del modello per migliorarne le prestazioni per il proprio caso d’uso](custom-models.md) La tabella seguente riassume il supporto per l'inferenza in batch: | Provider | Modello | ID modello | Supporto per modelli a regione singola | Supporto per profili di inferenza tra regioni | Supporto per modelli personalizzati | | --- | --- | --- | --- | --- | --- | | Amazon | Incorporamenti multimodali Amazon Nova | amazon.nova-2-1:0 multimodal-embeddings-v | us-east-1 | | N/D | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0 | N/D | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Amazon | Nova Lite | amazzone. nova-lite-v1:0 | me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Amazon | Nova Micro | amazzone. nova-micro-v1:0 | us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-2 | N/D | | Amazon | Nova Premier | amazzone. nova-premier-v1:0 | N/D | us-east-1 us-east-2 us-west-2 | N/D | | Amazon | Nova Pro | amazzone. nova-pro-v1:0 | ap-southeast-3 me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Amazon | Titan Multimodal Embeddings G1 | amazzone. titan-embed-image-v1 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | us-east-1 us-west-2 | | Amazon | Titan Text Embeddings V2 | amazzone. titan-embed-text-v2:0 | ap-northeast-1 ap-northeast-2 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-2 sa-east-1 us-east-1 us-west-2 | | N/D | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ca-central-1 eu-central-1 eu-central-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | N/D | N/D | | Anthropic | Claude 3 Opus | anthropic.claude-3-opus-20240229-v 1:0 | us-west-2 | us-east-1 | N/D | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0 | ap-northeast-2 ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/D | | Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | us-east-1 | N/D | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-northeast-2 ap-southeast-1 eu-central-1 us-east-1 us-east-2 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/D | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | us-west-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 us-east-1 us-east-2 us-west-2 | N/D | | Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | N/D | ap-northeast-1 ap-northeast-2 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 eu-central-1 eu-north-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | N/D | | Anthropic | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | N/D | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Anthropic | Claude Opus 4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | N/D | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Anthropic | Claude Opus 4.6 | anthropic.claude-opus-4-6-v1 | N/D | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | N/D | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Anthropic | Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | N/D | af-south-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-gov-east-1 us-gov-west-1 us-west-1 us-west-2 | N/D | | Anthropic | Claude Sonnet 4.6 | antropico.claude-sonnet-4-6 | eu-west-2 | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | DeepSeek | DeepSeek V 3.2 | deepseek.v3.2 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | DeepSeek | DeepSeek-V 3.1 | deepseek.v3-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | | N/D | | Google | Gemma 3 12B IT | google.gemma-3-12b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Google | Gemma 3 27B PT | google.gemma-3-27b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Google | Gemma 3 4B IT | google.gemma-3-4b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Meta | Llama 3.1 405B Instruct | meta.llama3-1-405 1:0 b-instruct-v | us-west-2 | | N/D | | Meta | Llama 3.1 70B Instruct | b-instruct-vmeta.llama3-1-70 1:0 | us-west-2 | us-east-1 us-west-2 | N/D | | Meta | Llama 3.1 8B Instruct | b-instruct-vmeta.llama3-1-8 1:0 | us-west-2 | us-east-1 us-west-2 | N/D | | Meta | Llama 3.2 11B Instruct | meta.llama3-2-11 1:0 b-instruct-v | | us-east-1 us-west-2 | N/D | | Meta | Llama 3.2 1B Instruct | meta.llama3-2-1 1:0 b-instruct-v | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/D | | Meta | Llama 3.2 3B Instruct | meta.llama3-2-3 1:0 b-instruct-v | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/D | | Meta | Llama 3.2 90B Instruct | meta.llama3-2-90 1:0 b-instruct-v | | us-east-1 us-west-2 | N/D | | Meta | Llama 3.3 70B Instruct | meta.llama3-3-70 1:0 b-instruct-v | us-east-2 | us-east-1 us-east-2 us-west-2 | N/D | | Meta | Llama 4 Maverick 17B Instruct | b-instruct-vmeta.llama4-maverick-17:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | Meta | Llama 4 Scout 17B Instruct | b-instruct-vmeta.llama4-scout-17:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | N/D | | MiniMax | MiniMax M2 | minimax.minimax-m2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | MiniMax | MiniMax M 2,1 | minimax.minimax-m2.1 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Devstral 2 123B | mistral.devstral-2-123b | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Magistral Small 2509 | mistral.magistral-small-2509 | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Ministeral 14B 3.0 | mistral.ministral-3-14b-istruisci | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Ministry 3 8B | mistral.ministral-3-8b-istruisci | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Ministeriale 3B | mistral.ministal-3-3b-istruisci | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Mistral Large (24.07) | mistral.mistral-large-2407-v1:0 | us-west-2 | N/D | N/D | | Mistral AI | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Mistral Small (24.02) | mistral.mistral-small-2402-v1:0 | us-east-1 | N/D | N/D | | Mistral AI | Voxtral Mini 3B 2507 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Mistral AI | Voxtral Small 24B 2507 | mistral.voxtral-small-24b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Moonshot AI | Il pensiero di Kimi K2 | moonshot.kimi-k2-thinking | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Moonshot AI | Kimi K2.5 | moonshotai.kimi-k2.5 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | NVIDIA | NVIDIA Nemotron Nano 12B v2 VL BF16 | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | NVIDIA | NVIDIA Nemotron Nano 9B v2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | NVIDIA | Nemotron Nano 3 30B | nvidia.nemotron-nano-3-30b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | OpenAI | GPT OSS Safeguard 120 GB | apri. gpt-oss-safeguard-120 b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | OpenAI | GPT OSS Safeguard 20B | apri. gpt-oss-safeguard-20 g | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | OpenAI | gpt-oss-120b | apri.gpt-oss-120b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | N/D | N/D | | OpenAI | gpt-oss-20b | aprire i.gpt-oss-20b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | N/D | N/D | | Qwen | Qwen3 235 B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-2 us-east-2 us-west-2 | N/D | N/D | | Qwen | Qwen3 32B (denso) | qwen.qwen3-32b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Qwen | Istruzioni Qwen3 Coder 480B A35B | qwen.qwen3-coder-480b-a35b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | N/D | N/D | | Qwen | Qwen3 Coder Avanti | qwen.qwen3-coder-next | ap-southeast-2 eu-west-2 us-east-1 | N/D | N/D | | Qwen | Qwen3 Next 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Qwen | Qwen3-Coder-30B-A3B-Istruzione | qwen.qwen3-coder-30b-a3b-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Z.AI | GLM 4.7 | zai.glm-4.7 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | | Z.AI | GLM 4.7 Flash | zai.glm-4.7-flash | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/D | N/D | # Prerequisiti per l’inferenza in batch Per eseguire l’inferenza in batch, è necessario soddisfare i seguenti prerequisiti: 1. Prepara un set di dati e caricalo in un bucket Amazon S3. 1. Crea un bucket S3 per i dati di output. 1. Imposta le autorizzazioni relative all’inferenza in batch per le identità IAM pertinenti. 1. (Facoltativo) Configura un VPC per proteggere i dati nel bucket S3 mentre esegui l’inferenza in batch. Se non hai bisogno di utilizzare un VPC, puoi saltare questo passaggio. Per informazioni su come soddisfare questi prerequisiti, consulta i seguenti argomenti: **Topics** + [Formattazione e caricamento dei propri dati di inferenza in batch](batch-inference-data.md) + [Autorizzazioni richieste per l’inferenza in batch](batch-inference-permissions.md) + [Protezione dei processi di inferenza in batch con un VPC](batch-vpc.md) # Formattazione e caricamento dei propri dati di inferenza in batch I dati per l’inferenza in batch devono essere aggiunti a una posizione S3 da scegliere o specificare quando invii un processo di invocazione del modello. La posizione S3 deve contenere i seguenti elementi: + Almeno un file JSONL che definisce gli input del modello. Un JSONL contiene righe di oggetti JSON. Il file JSONL deve terminare con l’estensione .jsonl ed avere il seguente formato: ``` { "recordId" : "alphanumeric string", "modelInput" : {JSON body} } ... ``` Ogni riga contiene un oggetto JSON con un `recordId` campo e un `modelInput` campo. Il formato dell'oggetto `modelInput` JSON dipende dal tipo di invocazione del modello scelto quando si [crea il](batch-inference-create.md) processo di inferenza in batch. Se si utilizza il `InvokeModel` tipo (impostazione predefinita), il formato deve corrispondere al `body` campo per il modello utilizzato nella `InvokeModel` richiesta (vedere). [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md) Se utilizzi il `Converse` tipo, il formato deve corrispondere al corpo della richiesta dell'API [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html). **Nota** Se ometti il campo `recordId`, Amazon Bedrock lo aggiunge nell’output. Non è garantito che l’ordine dei record nel file JSONL di output corrisponda all’ordine dei record nel file JSONL di input. È necessario specificare il modello che si desidera utilizzare quando si crea il [processo di inferenza in batch](batch-inference-create.md). + (Se il contenuto di input contiene una posizione Amazon S3) Alcuni modelli consentono di definire il contenuto dell'input come una posizione S3. Per informazioni, consulta [Esempio di input video per Amazon Nova](#batch-inference-data-ex-s3). **avvertimento** Quando usi S3 URIs nei prompt, tutte le risorse devono trovarsi nello stesso bucket e nella stessa cartella S3. Il `InputDataConfig` parametro deve specificare il percorso della cartella contenente tutte le risorse collegate (come video o immagini), non solo un singolo file. `.jsonl` Tieni presente che i percorsi S3 fanno distinzione tra maiuscole e minuscole, quindi assicurati che la struttura delle URIs cartelle corrisponda esattamente. Assicurati che i tuoi input siano conformi alle quote di inferenza in batch. Puoi cercare le seguenti quote in [Quote di servizio di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock): + **Numero minimo di record per processo di inferenza in batch**: il numero minimo di record (oggetti JSON) tra i file JSONL del processo. + **Record per file di input per processo di inferenza in batch**: il numero massimo di record (oggetti JSON) in un singolo file JSONL del processo. + **Record per processo di inferenza in batch**: il numero massimo di record (oggetti JSON) tra i file JSONL del processo. + **Dimensione del file di input per inferenza in batch**: la dimensione massima di un singolo file del processo. + **Dimensione del processo di inferenza in batch**: la dimensione massima cumulativa di tutti i file di input. Per chiarimenti su come configurare gli input per l’inferenza in batch, consulta gli esempi riportati di seguito. ## Esempio di input di testo per Anthropic Claude 3 Haiku Se prevedi di eseguire l’inferenza in batch utilizzando il formato [API Messages](model-parameters-anthropic-claude-messages.md) per il modello Anthropic Claude 3 Haiku, potresti fornire un file JSONL contenente il seguente oggetto JSON come una delle righe: ``` { "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ``` ## Esempio di input video per Amazon Nova Se intendi eseguire l’inferenza in batch sugli input video utilizzando i modelli Amazon Nova Pro o Amazon Nova Lite, hai la possibilità di definire il video in byte o come posizione S3 nel file JSONL. Ad esempio, potresti avere un bucket S3 il cui percorso è `s3://batch-inference-input-bucket` e che contiene i seguenti file: ``` s3://batch-inference-input-bucket/ ├── videos/ │ ├── video1.mp4 │ ├── video2.mp4 │ ├── ... │ └── video50.mp4 └── input.jsonl ``` Un esempio di record del file `input.jsonl` potrebbe essere il seguente: ``` { "recordId": "RECORD01", "modelInput": { "messages": [ { "role": "user", "content": [ { "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..." }, { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://batch-inference-input-bucket/videos/video1.mp4", "bucketOwner": "111122223333" } } } } ] } ] } } ``` Quando crei il processo di inferenza in batch, devi specificare il percorso `s3://batch-inference-input-bucket` della cartella nel parametro. `InputDataConfig` L'inferenza in batch elaborerà il `input.jsonl` file in questa posizione, insieme a tutte le risorse di riferimento (come i file video nella `videos` sottocartella). Le seguenti risorse forniscono ulteriori informazioni sull’invio di input video per l’inferenza in batch: + Per informazioni su come convalidare Amazon URIs S3 in una richiesta di input, consulta il blog [Amazon S3 URL Parsing](https://aws.amazon.com/blogs/devops/s3-uri-parsing-is-now-available-in-aws-sdk-for-java-2-x/). + [Per ulteriori informazioni su come configurare i record di invocazione per la comprensione dei video con Nova, consulta le linee guida per i suggerimenti visivi. Amazon Nova](https://docs.aws.amazon.com/nova/latest/userguide/prompting-vision-prompting.html) ## Esempio di input Converse Se imposti il tipo di invocazione del modello su `Converse` quando crei il processo di inferenza in batch, il `modelInput` campo deve utilizzare il formato di richiesta dell'API Converse. L'esempio seguente mostra un record JSONL per un processo di inferenza in batch di Converse: ``` { "recordId": "CALL0000001", "modelInput": { "messages": [ { "role": "user", "content": [ { "text": "Summarize the following call transcript: ..." } ] } ], "inferenceConfig": { "maxTokens": 1024 } } } ``` [Per l'elenco completo dei campi supportati nel corpo della richiesta Converse, consulta Converse nel riferimento all'API.](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) L’argomento seguente descrive come configurare le autorizzazioni di accesso S3 e inferenza in batch per un’identità in modo da poter eseguire l’inferenza in batch. # Autorizzazioni richieste per l’inferenza in batch Per eseguire l’inferenza in batch, è necessario configurare le autorizzazioni per le seguenti identità IAM: + L’identità IAM che creerà e gestirà i lavori di inferenza in batch. + Il [ruolo del servizio](security-iam-sr.md) per l’inferenza in batch assunto da Amazon Bedrock per eseguire azioni per tuo conto. Per informazioni su come configurare le autorizzazioni per ogni identità, consulta i seguenti argomenti: **Topics** + [Autorizzazioni necessarie a un’identità IAM per inviare e gestire processi di inferenza in batch](#batch-inference-permissions-user) + [Autorizzazioni necessarie a un ruolo di servizio per eseguire l’inferenza in batch](#batch-inference-permissions-service) ## Autorizzazioni necessarie a un’identità IAM per inviare e gestire processi di inferenza in batch Per consentire a un’identità IAM di utilizzare questa funzionalità, è necessario configurarla con le autorizzazioni necessarie. Per farlo, procedi in uno dei seguenti modi: + Per consentire a un'identità di eseguire tutte le azioni di Amazon Bedrock, allega la [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)policy all'identità. Se la policy è già collegata, puoi ignorare questo argomento. Questa opzione è meno sicura. + Come best practice per la sicurezza, dovresti consentire a un’identità di eseguire solo le azioni necessarie. Questo argomento descrive le autorizzazioni richieste per questa funzionalità. Per limitare le autorizzazioni alle sole operazioni utilizzate per l’inferenza in batch, collega a un’identità IAM la seguente policy basata sull’identità: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BatchInference", "Effect": "Allow", "Action": [ "bedrock:ListFoundationModels", "bedrock:GetFoundationModel", "bedrock:ListInferenceProfiles", "bedrock:GetInferenceProfile", "bedrock:ListCustomModels", "bedrock:GetCustomModel", "bedrock:TagResource", "bedrock:UntagResource", "bedrock:ListTagsForResource", "bedrock:CreateModelInvocationJob", "bedrock:GetModelInvocationJob", "bedrock:ListModelInvocationJobs", "bedrock:StopModelInvocationJob" ], "Resource": "*" } ] } ``` ------ Per limitare ulteriormente le autorizzazioni, è possibile omettere azioni o specificare risorse e chiavi di condizione con cui filtrare le autorizzazioni. Per ulteriori informazioni su azioni, risorse e chiavi di condizione, consultare i seguenti argomenti nella *documentazione di riferimento per l’autorizzazione al servizio*: + [Azioni definite da Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions): scopri le azioni, i tipi di risorsa a cui è possibile limitarle nel campo `Resource` e le chiavi di condizione in base alle quali puoi filtrare le autorizzazioni nel campo `Condition`. + [Tipi di risorsa definiti da Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies): scopri i tipi di risorsa in Amazon Bedrock. + [Chiavi di condizione per Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys): informazioni sulle chiavi di condizione in Amazon Bedrock. La seguente policy è un esempio che riduce le autorizzazioni per l’inferenza in batch e consente solo a un utente con l’ID account `123456789012` di creare lavori di inferenza in batch nella Regione `us-west-2` utilizzando il modello Anthropic Claude 3 Haiku: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "CreateBatchInferenceJob", "Effect": "Allow", "Action": [ "bedrock:CreateModelInvocationJob" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0", "arn:aws:bedrock:us-west-2:123456789012:model-invocation-job/*" ] } ] } ``` ------ ## Autorizzazioni necessarie a un ruolo di servizio per eseguire l’inferenza in batch L’inferenza in batch viene eseguita da un [ruolo di servizio](security-iam-sr.md) che assume la tua identità per eseguire azioni per tuo conto. Per creare un ruolo di servizio, puoi procedere nei seguenti modi: + Consenti ad Amazon Bedrock di creare automaticamente un ruolo di servizio con le autorizzazioni necessarie utilizzando la Console di gestione AWS. Puoi selezionare questa opzione quando crei un processo di inferenza in batch. + Crea un ruolo di servizio personalizzato per Amazon Bedrock utilizzando AWS Identity and Access Management e allegando le autorizzazioni necessarie. Quando invii il processo di inferenza in batch, specifichi questo ruolo. Per ulteriori informazioni sulla creazione di un ruolo di servizio personalizzato per l’inferenza in batch, consulta [Creazione di un ruolo di servizio per l’inferenza in batch](batch-iam-sr.md). Per ulteriori informazioni sulla creazione di ruoli di servizio, consulta [Creazione di un ruolo per delegare le autorizzazioni a un Servizio AWS](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html) nella Guida per l’utente di IAM. **Importante** Se il bucket S3 in cui hai [caricato i dati per l'inferenza in batch](batch-inference-data.md) si trova in un altroAccount AWS, devi configurare una policy del bucket S3 per consentire al ruolo di servizio l'accesso ai dati. La policy deve essere configurata manualmente anche se utilizzi la console per creare un ruolo di servizio in modo automatico. Per informazioni su come configurare una policy di bucket S3 per le risorse Amazon Bedrock, consulta [Collegare una policy di bucket a un bucket Amazon S3 per consentire a un altro account di accedervi](s3-bucket-access.md#s3-bucket-access-cross-account). I modelli Foundation in Amazon Bedrock sono risorse AWS gestite che non possono essere utilizzate con condizioni di policy IAM che richiedono la proprietà del cliente. Questi modelli sono di proprietà e gestiti daAWS, e non possono essere di proprietà di singoli clienti. Qualsiasi condizione delle policy IAM che verifichi la presenza di risorse di proprietà del cliente (ad esempio condizioni che utilizzano tag di risorsa, ID dell'organizzazione o altri attributi di proprietà) fallirà se applicata ai modelli di base, bloccando potenzialmente l'accesso legittimo a questi servizi. Ad esempio, se la tua policy include una `aws:ResourceOrgID` condizione come questa: ``` { "Condition": { "StringEqualsIgnoreCase": { "aws:ResourceOrgID": ["o-xxxxxxxx"] } } } ``` Il processo di inferenza in batch fallirà con`AccessDeniedException`. Rimuovi la `aws:ResourceOrgID` condizione o crea dichiarazioni politiche separate per i modelli di base. # Protezione dei processi di inferenza in batch con un VPC Quando viene eseguito, un processo di inferenza in batch, questo accede al bucket Amazon S3 per scaricare i dati di input e scrivere i dati di output. Per controllare l’accesso ai dati, consigliamo di creare un cloud privato virtuale (VPC) con [Amazon VPC](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html). Per proteggere ulteriormente i dati, configura il VPC in modo che non sia disponibile su Internet e crea invece un endpoint di interfaccia VPC con [AWS PrivateLink](https://docs.aws.amazon.com/vpc/latest/privatelink/what-is-privatelink.html) per stabilire una connessione privata ai dati. Per ulteriori informazioni su come Amazon VPC si AWS PrivateLink integra con Amazon Bedrock, consulta. [Protezione dei dati con Amazon VPC e AWS PrivateLink](usingVPC.md) Esegui la procedura sotto riportata per configurare e utilizzare un VPC per i prompt di input e le risposte del modello di output per i tuoi processi di inferenza in batch. **Topics** + [Configurazione di VPC per proteggere i dati durante l’inferenza in batch](#batch-vpc-setup) + [Collegamento di autorizzazioni VPC a un ruolo di inferenza in batch](#batch-vpc-role) + [Aggiunta della configurazione VPC durante l’invio di un processo di inferenza in batch](#batch-vpc-config) ## Configurazione di VPC per proteggere i dati durante l’inferenza in batch Per configurare un VPC, segui le fasi indicate in [Configurazione di un VPC](usingVPC.md#create-vpc). Per proteggere ulteriormente il VPC, configura un endpoint VPC S3 e utilizza policy IAM basate sulle risorse per limitare l’accesso al bucket S3 contenente i dati per l’inferenza in batch seguendo la procedura descritta in [(Esempio) Limitazione dell’accesso ai dati di Amazon S3 utilizzando VPC](vpc-s3.md). ## Collegamento di autorizzazioni VPC a un ruolo di inferenza in batch Dopo aver completato la configurazione del VPC, collega le seguenti autorizzazioni al [ruolo di servizio di inferenza in batch](batch-iam-sr.md) per consentirgli di accedere al VPC. Modifica questa policy per consentire l’accesso solo alle risorse VPC necessarie per il processo. Sostituisci *subnet-ids* e *security-group-id* con i valori del tuo VPC. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "1", "Effect": "Allow", "Action": [ "ec2:DescribeNetworkInterfaces", "ec2:DescribeVpcs", "ec2:DescribeDhcpOptions", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups" ], "Resource": [ "*" ] }, { "Sid": "2", "Effect": "Allow", "Action": [ "ec2:CreateNetworkInterface" ], "Resource": [ "arn:aws:ec2:us-east-1:123456789012:network-interface/*", "arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}", "arn:aws:ec2:us-east-1:123456789012:security-group/${{security-group-id}}" ], "Condition": { "StringEquals": { "aws:RequestTag/BedrockManaged": [ "true" ] }, "ArnEquals": { "aws:RequestTag/BedrockModelInvocationJobArn": [ "arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*" ] } } }, { "Sid": "3", "Effect": "Allow", "Action": [ "ec2:CreateNetworkInterfacePermission", "ec2:DeleteNetworkInterface", "ec2:DeleteNetworkInterfacePermission" ], "Resource": [ "*" ], "Condition": { "StringEquals": { "ec2:Subnet": [ "arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}" ] }, "ArnEquals": { "ec2:ResourceTag/BedrockModelInvocationJobArn": [ "arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*" ] } } }, { "Sid": "4", "Effect": "Allow", "Action": [ "ec2:CreateTags" ], "Resource": "arn:aws:ec2:us-east-1:123456789012:network-interface/*", "Condition": { "StringEquals": { "ec2:CreateAction": [ "CreateNetworkInterface" ] }, "ForAllValues:StringEquals": { "aws:TagKeys": [ "BedrockManaged", "BedrockModelInvocationJobArn" ] } } } ] } ``` ------ ## Aggiunta della configurazione VPC durante l’invio di un processo di inferenza in batch Dopo aver configurato il VPC, nonché le autorizzazioni e i ruoli richiesti e descritti nelle sezioni precedenti, puoi creare un processo di inferenza in batch che utilizza questo VPC. **Nota** Attualmente, quando si crea un processo di inferenza in batch, è possibile utilizzare solo un VPC tramite l’API. Quando specifichi le sottoreti VPC e i gruppi di sicurezza per un job, Amazon Bedrock crea *interfacce di rete elastiche* (ENIs) associate ai tuoi gruppi di sicurezza in una delle sottoreti. ENIs consenti al job Amazon Bedrock di connettersi alle risorse nel tuo VPC. Per informazioni su ENIs, consulta [Elastic Network Interfaces](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_ElasticNetworkInterfaces.html) nella *Amazon VPC* User Guide. Tag Amazon Bedrock con ENIs cui crea `BedrockManaged` e `BedrockModelInvocationJobArn` tag. Si consiglia di fornire almeno una sottorete in ogni zona di disponibilità. È possibile utilizzare i gruppi di sicurezza per stabilire delle regole per controllare l’accesso di Amazon Bedrock alle risorse VPC. Quando invii una [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)richiesta, puoi includere un parametro `VpcConfig` come richiesta per specificare le sottoreti VPC e i gruppi di sicurezza da utilizzare, come nell'esempio seguente. ``` "vpcConfig": { "securityGroupIds": [ "sg-0123456789abcdef0" ], "subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ] } ``` # Creazione di un processo di inferenza in batch Dopo aver configurato un bucket Amazon S3 con file per l’esecuzione dell’inferenza del modello, puoi creare un processo di inferenza in batch. Prima di iniziare, verifica di aver configurato i file in conformità con le istruzioni fornite in [Formattazione e caricamento dei propri dati di inferenza in batch](batch-inference-data.md). **Nota** Per inviare un processo di inferenza in batch utilizzando un VPC, è necessario utilizzare l’API. Seleziona la scheda API per scoprire come includere la configurazione VPC. Per scoprire come creare un processo di inferenza in batch, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi sotto indicati. ------ #### [ Console ] **Per creare un processo di inferenza in batch** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Inferenza in batch** nel riquadro di navigazione a sinistra. 1. Nella sezione **Processi di inferenza in batch**, scegli **Crea processo**. 1. Nella sezione **Dettagli del processo**, assegna al processo di inferenza in batch un **Nome del processo** e seleziona un modello da utilizzare per il processo di inferenza in batch scegliendo **Seleziona modello**. 1. Nella sezione **Tipo di invocazione del modello**, scegli il formato API per i dati di input. Scegli **InvokeModel**se i dati di input utilizzano formati di richiesta specifici del modello o scegli **Converse** se i dati di input utilizzano il formato API Converse. Il valore predefinito è **InvokeModel**. 1. Nella sezione **Dati di input**, scegli **Sfoglia S3** e seleziona una posizione S3 per il tuo processo di inferenza in batch. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL. **Nota** Se i dati di input si trovano in un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto. 1. Nella sezione **Dati di output**, scegli **Browse S3 e seleziona una posizione S3** in cui archiviare i file di output dal tuo processo di inferenza in batch. Per impostazione predefinita, i dati di output verranno crittografati da un. Chiave gestita da AWS Per scegliere una chiave KMS personalizzata, seleziona **Personalizza impostazioni di crittografia (avanzate)** e scegli la chiave desiderata. Per ulteriori informazioni sulla crittografia delle risorse Amazon Bedrock e sulla configurazione di una chiave KMS personalizzata, consulta [Crittografia dei dati](data-encryption.md). **Nota** Se prevedi di scrivere i dati di output su un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto. 1. Nella sezione **Accesso al servizio**, seleziona una delle seguenti opzioni: + **Usa un ruolo di servizio esistente**: seleziona un ruolo di servizio nell’elenco a discesa. Per ulteriori informazioni sulla configurazione di un ruolo personalizzato con le autorizzazioni appropriate, consulta [Autorizzazioni richieste per l’inferenza in batch](batch-inference-permissions.md). + **Crea e utilizza un nuovo ruolo di servizio**: inserisci un nome per il ruolo di servizio. 1. (Facoltativo) Per associare i tag al processo di inferenza in batch, espandi la sezione **Tag** e aggiungi una chiave e un valore opzionale per ogni tag. Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). 1. Scegliere **Create batch inference job (Crea attività di inferenza batch)**. ------ #### [ API ] Per creare un processo di inferenza in batch, invia una [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)richiesta con un endpoint del [piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). I seguenti campi sono obbligatori: **** | Campo | Caso d’uso | | --- | --- | | jobName | Specificare un nome per il processo. | | roleArn | Specificare il nome della risorsa Amazon (ARN) del ruolo di servizio con le autorizzazioni per creare e gestire il processo. Per ulteriori informazioni, consulta [Creazione di un ruolo di servizio per l’inferenza in batch](batch-iam-sr.md). | | modelId | Specificare l’ID o l’ARN del modello da utilizzare nell’inferenza. | | inputDataConfig | Specificare la posizione S3 che contiene i dati di input. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL. Per ulteriori informazioni, consulta [Formattazione e caricamento dei propri dati di inferenza in batch](batch-inference-data.md). | | outputDataConfig | Specificare la posizione S3 in cui scrivere le risposte del modello. | I seguenti campi sono facoltativi: **** | Campo | Caso d’uso | | --- | --- | | modelInvocationType | Per specificare il formato API dei dati di input. Imposta Converse per utilizzare il formato API Converse o InvokeModel (impostazione predefinita) per utilizzare formati di richiesta specifici del modello. [Per ulteriori informazioni sul formato di richiesta Converse, consulta Converse.](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) | | timeoutDurationInOre | Specificare la durata in ore al termine della quale il processo scadrà. | | tag | Specificare eventuali tag da associare al processo. Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). | | vpcConfig | Specificare la configurazione VPC da utilizzare per proteggere i dati durante il processo. Per ulteriori informazioni, consulta [Protezione dei processi di inferenza in batch con un VPC](batch-vpc.md). | | clientRequestToken | Per garantire che la richiesta API venga completata solo una volta. Per ulteriori informazioni, consulta [Garanzia di idempotenza](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). | La risposta restituisce un `jobArn` che è possibile utilizzare per altre chiamate API relative all’inferenza in batch. ------ # Monitoraggio dei processi di inferenza in batch Oltre a impostare le configurazioni per un processo di inferenza in batch, è possibile anche monitorarne l’avanzamento visualizzandone lo stato. Per ulteriori informazioni sui possibili stati di un lavoro, vedere il `status` campo in [ModelInvocationJobSummary](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ModelInvocationJobSummary.html). Puoi tenere traccia dello stato di un processo anche confrontando il numero totale di record e il numero di record che sono già stati elaborati. Questi numeri sono disponibili nel file `manifest.json.out` del bucket Amazon S3 che contiene i file di output. Per ulteriori informazioni, consulta [Visualizzazione dei risultati di un processo di inferenza in batch](batch-inference-results.md). Per informazioni su come scaricare un oggetto S3, consulta [Download di oggetti](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html). **Suggerimento** Invece di controllare lo stato del lavoro, puoi utilizzare Amazon per EventBridge ricevere notifiche automatiche quando un processo di inferenza in batch viene completato o cambia lo stato. Per ulteriori informazioni, consulta [Monitora le modifiche allo stato dei job di Amazon Bedrock con Amazon EventBridgeMonitora le modifiche agli eventi](monitoring-eventbridge.md). Per scoprire come visualizzare i dettagli dei processi di inferenza in batch, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi sotto indicati. ------ #### [ Console ] **Per visualizzare informazioni sui processi di inferenza in batch** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Inferenza in batch** nel riquadro di navigazione a sinistra. 1. Nella sezione **Processi di inferenza in batch**, scegli un processo. 1. Nella pagina dei dettagli del processo, è possibile visualizzare le informazioni sulla relativa configurazione e monitorarne l’avanzamento visualizzandone lo **stato**. ------ #### [ API ] Per ottenere informazioni su un processo di inferenza in batch, invia una [GetModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetModelInvocationJob.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e fornisci l'ID o l'ARN del lavoro sul campo. `jobIdentifier` Per elencare informazioni su più processi di inferenza in batch, invia una [ListModelInvocationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListModelInvocationJobs.html)richiesta con un endpoint del [piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). È inoltre possibile specificare i parametri opzionali seguenti: La risposta per `GetModelInvocationJob` e `ListModelInvocationJobs` include un `modelInvocationType` campo che indica se il processo utilizza il formato `InvokeModel` o `Converse` API. **** | Campo | Breve descrizione | | --- | --- | | maxResults | Il numero massimo di risultati da restituire nella risposta. | | nextToken | Se i risultati sono superiori al numero specificato nel campo maxResults, la risposta restituisce un valore nextToken. Per visualizzare il batch di risultati successivo, invia il valore nextToken in un’altra richiesta. | Per elencare tutti i tag di un lavoro, invia una [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del lavoro. ------ # Arresto di un processo di inferenza in batch Per scoprire come arrestare un processo di inferenza in batch in corso, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi sotto indicati. ------ #### [ Console ] **Per arrestare un processo di inferenza in batch** 1. Accedi alla Console di gestione AWS con un’identità IAM che disponga delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all’indirizzo [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Seleziona **Inferenza in batch** nel riquadro di navigazione a sinistra. 1. Seleziona un processo per accedere alla relativa pagina dei dettagli o il pulsante di opzione accanto a un processo. 1. Seleziona **Arresta processo**. 1. Esamina il messaggio e scegli **Arresta processo** per confermare. **Nota** Ti vengono addebitati i token già elaborati. ------ #### [ API ] Per arrestare un processo di inferenza in batch, invia una richiesta [StopModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_StopModelInvocationJob.html) con un [endpoint del piano di controllo (control-plane) Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e fornisci l’ID o l’ARN del processo nel campo `jobIdentifier`. Se il processo è stato arrestato correttamente, riceverai una risposta HTTP 200. ------ # Visualizzazione dei risultati di un processo di inferenza in batch Quando il processo di inferenza in batch è `Completed`, puoi estrarre i risultati dai file nel bucket Amazon S3 che hai specificato durante la creazione del processo. Per informazioni su come scaricare un oggetto S3, consulta [Download di oggetti](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html). Il bucket S3 contiene i seguenti file: 1. Amazon Bedrock genera un file JSONL di output per ogni file JSONL di input. I file di output contengono gli output del modello per ogni input nel seguente formato. Un oggetto `error` sostituisce il campo `modelOutput` in qualsiasi riga in cui si è verificato un errore di inferenza. Il formato dell'oggetto `modelOutput` JSON dipende dal tipo di invocazione del modello. Per i `InvokeModel` lavori, il formato corrisponde al `body` campo nella `InvokeModel` risposta (vedi). [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md) Per i `Converse` lavori, il formato corrisponde al corpo della risposta dell'API [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html). ``` { "recordId" : "string", "modelInput": {JSON body}, "modelOutput": {JSON body} } ``` Il seguente esempio di output mostra un possibile file di output. ``` { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {"inputTextTokenCount": 8, "results": [{"tokenCount": 3, "outputText": "blue\n", "completionReason": "FINISH"}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }} ``` 1. Un file `manifest.json.out` contenente un riepilogo del processo di inferenza in batch. ``` { "totalRecordCount" : number, "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTokenCount": number, "outputTokenCount" : number } ``` I campi sono descritti di seguito. + totalRecordCount — Il numero totale di record inviati al processo di inferenza in batch. + processedRecordCount — Il numero di record elaborati nel processo di inferenza in batch. + successRecordCount — Il numero di record elaborati con successo dal processo di inferenza in batch. + errorRecordCount — Il numero di record nel processo di inferenza in batch che hanno causato errori. + inputTokenCount — Il numero totale di token di input inviati al processo di inferenza in batch. + outputTokenCount — Il numero totale di token di output generati dal processo di inferenza in batch. # Esempio di codice per inferenza in batch L’esempio di codice fornito in questo capitolo mostra come creare un processo di inferenza in batch, visualizzare le relative informazioni e arrestarlo. Questo esempio utilizza il formato `InvokeModel` API. Per informazioni sull'utilizzo del formato `Converse` API, vedere[Formattazione e caricamento dei propri dati di inferenza in batch](batch-inference-data.md). Seleziona un linguaggio per visualizzarne un esempio di codice: ------ #### [ Python ] Crea un file JSONL denominato *abc.jsonl* e includi un oggetto JSON per ogni record che contiene almeno il numero minimo di record (vedi Numero minimo di record per processo **di inferenza in batch per**). *\$1Model\$1* [Quote per Amazon Bedrock](quotas.md) In questo esempio, utilizzerai il modello Anthropic Claude 3 Haiku. L’esempio seguente mostra il primo JSON di input nel file: ``` { "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ... # Add records until you hit the minimum ``` Crea un bucket S3 chiamato *amzn-s3-demo-bucket-input* e carica il file su di esso. Quindi crea un bucket S3 chiamato su cui *amzn-s3-demo-bucket-output* scrivere i file di output. Esegui il seguente frammento di codice per inviare un lavoro e ottenere la risposta dalla *jobArn* risposta: ``` import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn') ``` Restituisci lo `status` del processo. ``` bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status'] ``` Elenca i lavori di inferenza in batch che. *Failed* ``` bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" ) ``` Arresta il processo che hai iniziato. ``` bedrock.stop_model_invocation_job(jobIdentifier=jobArn) ``` ------ # Invio di una serie di prompt con l’API batch di OpenAI Puoi eseguire un processo di inferenza in batch utilizzando l’[API Create batch di OpenAI](https://platform.openai.com/docs/api-reference/batch) con modelli Amazon Bedrock OpenAI. Puoi chiamare l’API Create batch di OpenAI nei modi seguenti: + Effettuare una richiesta HTTP con un endpoint di runtime Amazon Bedrock. + Utilizzare una richiesta OpenAI SDK con un endpoint di runtime Amazon Bedrock. Per ulteriori informazioni, scegli un argomento: **Topics** + [Regioni e modelli supportati per l’API batch di OpenAI](#inference-openai-batch-supported) + [Prerequisiti di utilizzo dell’API batch di OpenAI.](#inference-openai-batch-prereq) + [Creazione di un processo in batch di OpenAI](#inference-openai-batch-create) + [Recupera un processo in batch di OpenAI](#inference-openai-batch-retrieve) + [Elenco dei processi in batch di OpenAI](#inference-openai-batch-list) + [Annullamento di un processo in batch di OpenAI](#inference-openai-batch-cancel) ## Regioni e modelli supportati per l’API batch di OpenAI Puoi utilizzare l'API OpenAI Create batch con tutti i OpenAI modelli supportati in Amazon Bedrock e nelle AWS regioni che supportano questi modelli. Per ulteriori informazioni sulle Regioni e i modelli supportati, consulta [Modelli di fondazione supportati in Amazon Bedrock](models-supported.md). ## Prerequisiti di utilizzo dell’API batch di OpenAI. Per visualizzare i prerequisiti per l’utilizzo delle operazioni dell’API batch di OpenAI, scegli la scheda corrispondente al metodo preferito, quindi segui le fasi: ------ #### [ OpenAI SDK ] + **Autenticazione**: OpenAI SDK supporta solo l’autenticazione con una chiave API Amazon Bedrock. Genera una chiave API Amazon Bedrock per autenticare la tua richiesta. Per informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consulta la sezione Chiavi API nel capitolo Build. + **Endpoint**: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli [endpoint e nelle quote di Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client. + **Accesso al modello**: richiedi l’accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta [Gestisci l'accesso ai modelli tramite SDK e CLI](model-access.md#model-access-modify). + **Installa OpenAI SDK**: per ulteriori informazioni, consulta [Librerie](https://platform.openai.com/docs/libraries) nella documentazione OpenAI. + **File batch JSONL caricato su S3**: segui le fasi in [Preparazione del file batch](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) nella documentazione OpenAI per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3. + **Autorizzazioni IAM**: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate: + Un’identità IAM con cui esegui l’autenticazione può effettuare operazioni API relative all’inferenza in batch. Per ulteriori informazioni, consulta [Autorizzazioni necessarie a un’identità IAM per inviare e gestire processi di inferenza in batch](batch-inference-permissions.md). + Il ruolo di servizio di inferenza in batch che utilizzi può assumere la tua identità, invocare il modello di OpenAI che utilizzi e avere accesso al tuo file batch JSONL in S3. Per ulteriori informazioni, consulta [Ruoli di servizio](security-iam-sr.md). ------ #### [ HTTP request ] + **Autenticazione**: puoi autenticarti con AWS le tue credenziali o con una chiave API Amazon Bedrock. Configura AWS le tue credenziali o genera una chiave API Amazon Bedrock per autenticare la tua richiesta. + Per ulteriori informazioni sulla configurazione delle AWS credenziali, consulta Accesso [programmatico](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds-programmatic-access.html) con credenziali di sicurezza. AWS + Per informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consulta la sezione Chiavi API nel capitolo Build. + **Endpoint**: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli [endpoint e nelle quote di Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client. + **Accesso al modello**: richiedi l’accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta [Gestisci l'accesso ai modelli tramite SDK e CLI](model-access.md#model-access-modify). + **File batch JSONL caricato su S3**: segui le fasi in [Preparazione del file batch](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) nella documentazione OpenAI per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3. + **Autorizzazioni IAM**: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate: + Un’identità IAM con cui esegui l’autenticazione può effettuare operazioni API relative all’inferenza in batch. Per ulteriori informazioni, consulta [Autorizzazioni necessarie a un’identità IAM per inviare e gestire processi di inferenza in batch](batch-inference-permissions.md). + Il ruolo di servizio di inferenza in batch che utilizzi può assumere la tua identità, invocare il modello di OpenAI che utilizzi e avere accesso al tuo file batch JSONL in S3. Per ulteriori informazioni, consulta [Ruoli di servizio](security-iam-sr.md). ------ ## Creazione di un processo in batch di OpenAI Per i dettagli sull’API Create batch di OpenAI, consulta le seguenti risorse nella documentazione OpenAI: + [Crea batch](https://platform.openai.com/docs/api-reference/batch/create): descrive in dettaglio sia la richiesta che la risposta. + [L’oggetto di output della richiesta](https://platform.openai.com/docs/api-reference/batch/request-output): descrive in dettaglio i campi dell’output generato dal processo in batch. Per interpretare i risultati nel bucket S3, consulta questa documentazione. **Avanzamento della richiesta** Durante la creazione della richiesta di inferenza in batch, prendi nota dei seguenti campi e valori specifici di Amazon Bedrock: **Intestazioni della richiesta** + X-Amzn-Bedrock-RoleArn (obbligatorio) — L'Amazon Resource Name (ARN) del ruolo del servizio di inferenza in batch. Per ulteriori informazioni, consulta [Creazione di un ruolo di servizio per l’inferenza in batch](batch-iam-sr.md) + X-Amzn-Bedrock-ModelId (obbligatorio) — L'ID del modello di base da utilizzare nell'inferenza. Per ulteriori informazioni, consulta [Modelli di fondazione supportati in Amazon Bedrock](models-supported.md). + X-Amzn-Bedrock-OutputEncryptionKeyId (opzionale) — L'ID di una chiave KMS che si desidera utilizzare per crittografare i file S3 di output. Per ulteriori informazioni, consulta [Specificare la crittografia lato server con (SSE-KMS). AWS KMS](https://docs.aws.amazon.com/AmazonS3/latest/userguide/specifying-kms-encryption.html) + X-Amzn-Bedrock-Tags (opzionale) — Un dizionario di chiavi e valori che indica i tag da allegare all'output. Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). **Parametri del corpo della richiesta:** + endpoint: deve essere `v1/chat/completions`. + input\$1file\$1id: specifica l’URI S3 del file batch JSONL. **Trova i risultati generati** La risposta alla creazione include un ID batch. I risultati e la registrazione di log degli errori del processo di inferenza in batch vengono scritti nella cartella S3 contenente il file di input. I risultati si troveranno in una cartella con lo stesso nome dell’ID batch, come nella seguente struttura di cartelle: ``` ---- {batch_input_folder} |---- {batch_input}.jsonl |---- {batch_id} |---- {batch_input}.jsonl.out |---- {batch_input}.jsonl.err ``` Per vedere esempi di utilizzo dell’API Create batch di OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui le fasi: ------ #### [ OpenAI SDK (Python) ] Per creare un processo in batch con OpenAI SDK, procedi come segue: 1. Importa il componente SDK OpenAI e configura il client con i seguenti campi: + `base_url`: anteponi l’endpoint di runtime Amazon Bedrock a `/openai/v1`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key`: specifica una chiave API Amazon Bedrock. + `default_headers`: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in `extra_headers` quando effettui una chiamata API specifica. 1. Utilizza il metodo [batches.create()](https://platform.openai.com/docs/api-reference/batch/create) con il client. Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi: + api\$1key — Sostituisci *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. + X-Amzn-BedrockRoleArn — Sostituisci *arn:aws:iam::123456789012:role/BatchServiceRole* con l'effettivo ruolo del servizio di inferenza in batch che hai impostato. + input\$1file\$1id — Sostituisci *s3://amzn-s3-demo-bucket/openai-input.jsonl* con l'URI S3 effettivo in cui hai caricato il file JSONL batch. L’esempio chiama l’API del processo Create batch di OpenAI in `us-west-2` e include una parte di metadati. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key default_headers={ "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN } ) job = client.batches.create( input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI endpoint="/v1/chat/completions", completion_window="24h", metadata={ "description": "test input" }, extra_headers={ "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0", } ) print(job) ``` ------ #### [ HTTP request ] Per creare un completamento della chat con una richiesta HTTP diretta, procedi come segue: 1. Utilizza il metodo POST e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a `/openai/v1/batches`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches ``` 1. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'`Authorization`intestazione. Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi: + Autorizzazione: sostituiscila *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. + X-Amzn-BedrockRoleArn — Sostituisci *arn:aws:iam::123456789012:role/BatchServiceRole* con l'effettivo ruolo del servizio di inferenza in batch che hai impostato. + input\$1file\$1id — Sostituisci *s3://amzn-s3-demo-bucket/openai-input.jsonl* con l'URI S3 effettivo in cui hai caricato il file JSONL batch. L’esempio seguente chiama l’API Create chat completion in `us-west-2` e include un insieme di metadati: ``` curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ -H 'Content-Type: application/json' \ -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \ -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \ -d '{ "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl", "endpoint": "/v1/chat/completions", "completion_window": "24h", "metadata": {"description": "test input"} }' ``` ------ ## Recupera un processo in batch di OpenAI Per informazioni dettagliate sulla richiesta e sulla risposta dell’API Retrieve batch di OpenAI, consulta [Recupero in batch](https://platform.openai.com/docs/api-reference/batch/retrieve). Quando effettui la richiesta, specifica l’ID del processo in batch per il quale ottenere le informazioni. La risposta restituisce informazioni su un processo in batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3. Per vedere esempi di utilizzo dell’API Retrieve batch OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi: ------ #### [ OpenAI SDK (Python) ] Per recuperare un processo in batch con OpenAI SDK, procedi come segue: 1. Importa il componente SDK OpenAI e configura il client con i seguenti campi: + `base_url`: anteponi l’endpoint di runtime Amazon Bedrock a `/openai/v1`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key`: specifica una chiave API Amazon Bedrock. + `default_headers`: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in `extra_headers` quando effettui una chiamata API specifica. 1. Utilizza il metodo [batches.retrieve()](https://platform.openai.com/docs/api-reference/batch/create) con il client e specifica l’ID del batch per il quale recuperare le informazioni. Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi: + api\$1key — Sostituisci con la tua chiave API effettiva. *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* + batch\$1id — Sostituisci *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. L'esempio richiama l'API OpenAI Retrieve batch job `us-west-2` su un processo batch il cui ID è. *batch\$1abc123* ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Per recuperare un processo in batch con una richiesta HTTP diretta, procedi come segue: 1. Utilizza il metodo GET e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a `/openai/v1/batches/${batch_id}`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123 ``` 1. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'`Authorization`intestazione. Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi: + Autorizzazione: sostituiscila *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. + batch\$1abc123: nel percorso, sostituisci questo valore con l’ID effettivo del processo in batch. L'esempio seguente richiama l'API OpenAI Retrieve batch `us-west-2` su un processo batch il cui ID è*batch\$1abc123*. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------ ## Elenco dei processi in batch di OpenAI Per informazioni dettagliate sulla richiesta e sulla risposta dell’API List batch di OpenAI, consulta [Elenco in batch](https://platform.openai.com/docs/api-reference/batch/list). La risposta restituisce un array di informazioni sui processi in batch. Quando effettui la richiesta, puoi includere parametri di query per filtrare i risultati. La risposta restituisce informazioni su un processo in batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3. Per vedere esempi di utilizzo dell’API List batch di OpenAI con metodi diversi, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi: ------ #### [ OpenAI SDK (Python) ] Per elencare i processi in batch con OpenAI SDK, procedi come segue: 1. Importa il componente SDK OpenAI e configura il client con i seguenti campi: + `base_url`: anteponi l’endpoint di runtime Amazon Bedrock a `/openai/v1`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key`: specifica una chiave API Amazon Bedrock. + `default_headers`: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in `extra_headers` quando effettui una chiamata API specifica. 1. Utilizza il metodo [batches.list()](https://platform.openai.com/docs/api-reference/batch/list) con il client. Puoi includere uno qualsiasi dei parametri opzionali. Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi: + api\$1key — Sostituisci *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. L’esempio chiama l’API del processo List batch di OpenAI in `us-west-2` e specifica un limite di due risultati da restituire. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.list(limit=2) print(job) ``` ------ #### [ HTTP request ] Per elencare processi in batch con una richiesta HTTP diretta, procedi come segue: 1. Utilizza il metodo GET e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a `/openai/v1/batches`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches ``` Puoi includere uno qualsiasi dei parametri di query opzionali. 1. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'`Authorization`intestazione. Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi: + Autorizzazione: sostituiscila *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. L’esempio seguente chiama l’API List batch di OpenAI in `us-west-2` e specifica un limite di due risultati da restituire. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ ``` ------ ## Annullamento di un processo in batch di OpenAI Per informazioni dettagliate sulla richiesta e sulla risposta dell’API Cancel batch di OpenAI, consulta [Annullamento in batch](https://platform.openai.com/docs/api-reference/batch/cancel). La risposta restituisce informazioni sul processo in batch annullato. Quando effettui la richiesta, specifichi l’ID del processo in batch che desideri annullare. Per vedere esempi di utilizzo dell’API Cancel batch di OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi: ------ #### [ OpenAI SDK (Python) ] Per annullare un processo in batch con OpenAI SDK, procedi come segue: 1. Importa OpenAI SDK e configura il client con i seguenti campi: + `base_url`: anteponi l’endpoint di runtime Amazon Bedrock a `/openai/v1`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key`: specifica una chiave API Amazon Bedrock. + `default_headers`: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in `extra_headers` quando effettui una chiamata API specifica. 1. Utilizza il metodo [batches.cancel()](https://platform.openai.com/docs/api-reference/batch/cancel) con il client e specifica l’ID del batch per il quale recuperare le informazioni. Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi: + api\$1key — Sostituisci *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. + batch\$1id — Sostituisci *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. L'esempio richiama l'API OpenAI Cancel batch job `us-west-2` su un processo batch il cui ID è. *batch\$1abc123* ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Per annullare un processo in batch con una richiesta HTTP diretta, procedi come segue: 1. Utilizza il metodo POST e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a `/openai/v1/batches/${batch_id}/cancel`, come nel seguente formato: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel ``` 1. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'`Authorization`intestazione. Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi: + Autorizzazione: sostituiscila *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* con la tua chiave API effettiva. + batch\$1abc123: nel percorso, sostituisci questo valore con l’ID effettivo del processo in batch. L'esempio seguente richiama l'API OpenAI Cancel batch `us-west-2` su un processo batch il cui ID è*batch\$1abc123*. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------ # Aumentare il throughput con l’inferenza tra Regioni L’inferenza tra Regioni consente di scegliere un profilo di inferenza tra Regioni legato a un’area geografica specifica (come Stati Uniti o UE) oppure un profilo di inferenza globale. Quando scegli un profilo di inferenza legato a un'area geografica specifica, Amazon Bedrock seleziona automaticamente la pubblicità ottimale Regione AWS all'interno di tale area geografica per elaborare la tua richiesta di inferenza. Con i profili di inferenza globali, Amazon Bedrock seleziona automaticamente la Regione AWS commerciale migliore per elaborare la richiesta, ottimizzando le risorse disponibili e aumentando il throughput del modello. Entrambi i tipi di inferenza interregionale funzionano attraverso [profili](inference-profiles.md) di inferenza, che definiscono un modello di base (FM) e il quale le richieste possono essere indirizzate. Regioni AWS Quando si esegui l’inferenza del modello in modalità on demand, le richieste potrebbero essere limitate dalle quote di servizio o durante i periodi di picco di utilizzo. L'inferenza interregionale consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione tra diversi sistemi. Regioni AWS Per aumentare il throughput per un modello, è possibile acquistare [Throughput allocato](prov-throughput.md). I profili di inferenza attualmente non supportano throughput allocato. Per visualizzare le Regioni e i modelli con cui è possibile utilizzare i profili di inferenza per eseguire l’inferenza tra Regioni, consulta [Regioni e modelli supportati per i profili di inferenza](inference-profiles-support.md). **Topics** + [Scelta tra inferenza geografica e globale tra regioni](#cross-region-inference-comparison) + [Considerazioni generali](#cross-region-inference-general-considerations) + [Inferenza geografica interregionale](geographic-cross-region-inference.md) + [Inferenza globale tra regioni](global-cross-region-inference.md) ## Scelta tra inferenza geografica e globale tra regioni Amazon Bedrock offre due tipi di profili di inferenza interregionali, ciascuno progettato per diversi casi d'uso e requisiti di conformità: | Funzionalità | Inferenza geografica tra regioni | Inferenza globale tra regioni | Raccomandazione | | --- | --- | --- | --- | | Residenza dei dati | Entro i confini geografici (Stati Uniti, UE, APAC, ecc.) | Qualsiasi regione AWS commerciale supportata in tutto il mondo | Scegli Geographic per i requisiti di conformità | | Throughput | Superiore a quello di una singola regione | Il più alto disponibile | Scegli Global per le massime prestazioni | | Costo | Prezzi standard | Risparmio di circa il 10% | Scegli Global per l'ottimizzazione dei costi | | Requisiti SCP | Consenti tutte le regioni di destinazione nel profilo | Consenti "aws:RequestedRegion": "unspecified" | Configura in base alle tue politiche organizzative | | Ideale per | Organizzazioni con normative sulla residenza dei dati | Organizzazioni che danno priorità a costi e prestazioni | Valuta le tue esigenze di conformità e prestazioni | Scegli l'inferenza geografica tra regioni quando hai requisiti di residenza dei dati e devi garantire che l'elaborazione dei dati rimanga entro limiti geografici specifici. Scegli l'inferenza globale tra regioni se desideri la massima produttività e risparmi sui costi senza restrizioni geografiche. ## Considerazioni generali Tieni in considerazione i seguenti concetti chiave durante l’inferenza tra Regioni: + L’utilizzo dell’inferenza tra Regioni non prevede costi aggiuntivi. Il prezzo viene calcolato in base alla Regione da cui si chiama il profilo. Per informazioni sui prezzi, consulta [Prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/). + L'inferenza interregionale può indirizzare richieste Regioni AWS che non sono abilitate manualmente nel tuo. Account AWS L'abilitazione manuale delle regioni non è necessaria per il funzionamento dell'inferenza tra regioni. + Tutti i dati trasmessi durante le operazioni interregionali rimangono sulla AWS rete e non attraversano la rete Internet pubblica. I dati vengono crittografati durante il transito tra. Regioni AWS + Tutte le richieste di inferenza tra regioni vengono registrate CloudTrail nella regione di origine. Cerca il `additionalEventData.inferenceRegion` campo per identificare dove sono state elaborate le richieste. + AWS Anche i servizi forniti da Amazon Bedrock possono utilizzare CRIS. Per ulteriori informazioni, consulta la documentazione per il servizio specifico. # Inferenza geografica interregionale L'inferenza geografica interregionale mantiene l'elaborazione dei dati entro limiti geografici specifici (Stati Uniti, UE, APAC, ecc.), fornendo al contempo un throughput più elevato rispetto all'inferenza a regione singola. Questa opzione è ideale per le organizzazioni con requisiti di residenza dei dati e normative di conformità. ## Considerazioni sull'inferenza geografica interregionale Tieni presente le seguenti informazioni sull'inferenza geografica tra regioni: + Le richieste di inferenza interregionale relative a un profilo di inferenza legato a un'area geografica (ad esempio Stati Uniti, UE e APAC) vengono conservate all'interno della parte geografica in Regioni AWS cui risiedono originariamente i dati. Ad esempio, una richiesta effettuata negli Stati Uniti viene conservata negli Stati Uniti. Regioni AWS Sebbene i dati rimangano archiviati solo nella Regione di origine, durante l’inferenza tra Regioni i prompt di input e i risultati di output potrebbero spostarsi al di fuori della Regione di origine. Tutti i dati verranno trasmessi crittografati attraverso la rete sicura di Amazon. + Per visualizzare le quote predefinite per il throughput tra Regioni quando si utilizzano profili di inferenza legati a un’area geografica (ad esempio Stati Uniti, UE e APAC), consulta i valori in **Richieste di inferenza del modello tra Regioni al minuto per \$1\$1Model\$1** e **Token di inferenza del modello tra Regioni al minuto per \$1\$1Model\$1** in [Quote di servizio di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) in *Riferimenti generali AWS *. ## Requisiti delle policy IAM per l'inferenza geografica tra regioni Per consentire a un utente o un ruolo IAM di richiamare un profilo di inferenza geografico interregionale, devi consentire l'accesso alle seguenti risorse: 1. Il profilo di inferenza interregionale specifico per ogni area geografica (questi profili hanno prefissi geografici come,,) `us` `eu` `apac` 1. Il modello di base nella regione di origine 1. Il modello di base in tutte le regioni di destinazione elencate nel profilo geografico La seguente politica di esempio concede le autorizzazioni necessarie per utilizzare il modello di base Claude Sonnet 4.5 con un profilo di inferenza geografica interregionale per gli Stati Uniti, dove si trova la regione di origine e le regioni di destinazione, `us-east-1` e: `us-east-1` `us-east-2` `us-west-2` ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] } ``` La prima istruzione concede all'`bedrock:InvokeModel`API l'accesso al profilo di inferenza geografica interregionale per le richieste provenienti dalla regione richiedente. La seconda istruzione concede all'`bedrock:InvokeModel`API l'accesso al modello di base sia nella regione richiedente che in tutte le regioni di destinazione elencate nel profilo di inferenza. ## Requisiti della policy di controllo dei servizi per l'inferenza geografica tra regioni Molte organizzazioni implementano controlli di accesso regionali tramite Service Control Policies in AWS Organizations for security and compliance. Se la politica di sicurezza dell'organizzazione prevede il blocco delle regioni non utilizzate, è necessario assicurarsi che le condizioni SCP specifiche della regione consentano l'accesso a tutte le regioni di destinazione elencate nel profilo di inferenza geografica interregionale per la regione di origine. SCPs Per l'inferenza geografica interregionale, devi comprendere la relazione tra la tua regione di origine (dove effettui la chiamata API) e le regioni di destinazione (dove possono essere instradate le richieste). Consulta la documentazione del profilo di inferenza per identificare tutte le regioni di destinazione per la regione di origine, quindi assicurati di SCPs consentire l'accesso a tutte quelle regioni di destinazione. Ad esempio, se chiami da us-east-1 (regione di origine) utilizzando il profilo geografico US Anthropic Claude Sonnet 4.5, le richieste possono essere indirizzate a us-east-1, us-east-2 e us-west-2 (regioni di destinazione). Se un SCP limita l'accesso solo a us-east-1, l'inferenza tra regioni fallirà quando si tenta di effettuare il routing verso us-east-2 o us-west-2. Pertanto, è necessario consentire l'accesso a tutte e tre le regioni di destinazione nel proprio SCP, indipendentemente dalla regione da cui si sta chiamando. Quando SCPs configuri l'esclusione tra regioni, ricorda che il blocco di qualsiasi regione di destinazione nel profilo di inferenza impedirà il corretto funzionamento dell'inferenza tra regioni, anche se la regione di origine rimane accessibile. Per i requisiti SCP per l'inferenza globale tra regioni, vedi. [Requisiti della politica di controllo dei servizi per l'inferenza globale tra regioni](global-cross-region-inference.md#global-cris-scp-setup) Per migliorare la sicurezza, prendi in considerazione l'utilizzo della `bedrock:InferenceProfileArn` condizione per limitare l'accesso a profili di inferenza specifici. Ciò consente di concedere l'accesso alle regioni richieste limitando al contempo i profili di inferenza che è possibile utilizzare. ## Usa l'inferenza geografica tra regioni Per utilizzare l'inferenza geografica interregionale, è necessario includere un [profilo di inferenza quando si esegue l'inferenza del](inference-profiles.md) modello nei seguenti modi: + **Inferenza del modello su richiesta**[: specifica l'ID del profilo di inferenza da utilizzare `modelId` quando si invia una,, Converse o una [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)richiesta. [InvokeModelWithResponseStream[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) Un profilo di inferenza definisce una o più Regioni verso le quali può instradare le richieste di inferenza provenienti dalla Regione di origine. L’uso dell’inferenza tra Regioni aumenta il throughput e le prestazioni instradando dinamicamente le richieste di invocazione del modello tra le Regioni definite nel profilo di inferenza. Fattori di routing nel traffico degli utenti, nella domanda e nell’utilizzo delle risorse. Per ulteriori informazioni, consulta [Invio di prompt e generazione di risposte con l’inferenza del modello](inference.md) + **Inferenza in batch**: invia le richieste in modo asincrono con inferenza batch specificando l'ID del profilo di inferenza come quando si invia una richiesta. `modelId` [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) L’uso di un profilo di inferenza consente di utilizzare il calcolo su più Regioni AWS e di ottenere tempi di elaborazione più rapidi per i processi batch. Al termine del processo, puoi recuperare i file di output dal bucket Amazon S3 nella Regione di origine. + **Agenti**: specifica l’ID del profilo di inferenza nel campo `foundationModel` di una richiesta [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html). Per ulteriori informazioni, consulta [Creazione e configurazione manuale dell’agente](agents-create.md). + **Generazione di risposte della knowledge base**: è possibile utilizzare l’inferenza tra Regioni per generare una risposta dopo aver eseguito una query su una knowledge base. Per ulteriori informazioni, consulta [Test della knowledge base con query e risposte](knowledge-base-test.md). + **Valutazione del modello**: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un processo di valutazione del modello. Per ulteriori informazioni, consulta [Valutare le prestazioni delle risorse Amazon Bedrock](evaluation.md). + **Gestione prompt**: è possibile utilizzare un profilo di inferenza per generare una risposta a un prompt creato in Gestione prompt. Per ulteriori informazioni, consulta [Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock](prompt-management.md). + **Flussi di prompt**: è possibile utilizzare un profilo di inferenza quando si genera una risposta per un prompt definito in linea in un nodo prompt in un flusso di prompt. Per ulteriori informazioni, consulta [Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows](flows.md). Per informazioni su come utilizzare un profilo di inferenza per inviare richieste di invocazione del modello tra Regioni, consulta [Utilizzare un profilo di inferenza nell’invocazione del modello](inference-profiles-use.md). Per ulteriori informazioni sull’inferenza tra Regioni, consulta [Introduzione all’inferenza tra Regioni in Amazon Bedrock](https://aws.amazon.com/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/). Per informazioni dettagliate sull'inferenza globale tra regioni, inclusa la configurazione IAM e la gestione delle quote di servizio, vedere. [Inferenza globale tra regioni](global-cross-region-inference.md) # Inferenza globale tra regioni L'inferenza globale tra regioni estende l'inferenza interregionale oltre i confini geografici, abilitando l'instradamento delle richieste di inferenza verso le aziende commerciali supportate in tutto il Regioni AWS mondo, ottimizzando le risorse disponibili e garantendo una maggiore produttività del modello. ## Vantaggi dell'inferenza globale tra regioni L'inferenza globale interregionale per Claude Sonnet 4.5 di Anthropic offre molteplici vantaggi rispetto ai tradizionali profili di inferenza geografica interregionale: + **Produttività migliorata durante i picchi di domanda**: l'inferenza globale tra regioni offre una maggiore resilienza durante i periodi di picco della domanda indirizzando automaticamente le richieste verso la capacità disponibile. Regioni AWS Questo routing dinamico avviene senza problemi senza configurazioni o interventi aggiuntivi da parte degli sviluppatori. A differenza degli approcci tradizionali che potrebbero richiedere un complesso bilanciamento del carico sul lato client Regioni AWS, l'inferenza globale interregionale gestisce automaticamente i picchi di traffico. Ciò è particolarmente importante per le applicazioni aziendali critiche in cui i tempi di inattività o il peggioramento delle prestazioni possono avere impatti finanziari o reputazionali significativi. + **Efficienza in termini di costi: l'**inferenza globale interregionale per Claude Sonnet 4.5 di Anthropic offre un risparmio di circa il 10% sui prezzi dei token di input e output rispetto all'inferenza geografica interregionale. Il prezzo viene calcolato in base alla fonte Regione AWS da cui viene effettuata la richiesta (fonte). Regione AWS Ciò significa che le organizzazioni possono trarre vantaggio da una maggiore resilienza con costi ancora inferiori. Questo modello di prezzo rende l'inferenza globale interregionale una soluzione conveniente per le organizzazioni che desiderano ottimizzare le proprie implementazioni di intelligenza artificiale generativa. Migliorando l'utilizzo delle risorse e permettendo un throughput più elevato senza costi aggiuntivi, aiuta le organizzazioni a massimizzare il valore del loro investimento in Amazon Bedrock. + **Monitoraggio semplificato**: quando si utilizza l'inferenza globale tra regioni, si CloudTrail continua a registrare le voci di registro nella fonte, semplificando l'osservabilità CloudWatch e la gestione. Regione AWS Anche se le vostre richieste vengono elaborate in tutto Regioni AWS il mondo, mantenete una visione centralizzata delle prestazioni e dei modelli di utilizzo dell'applicazione attraverso i vostri strumenti di monitoraggio familiari. AWS + **Flessibilità delle quote su richiesta**: con l'inferenza globale tra regioni, i carichi di lavoro non sono più limitati dalla capacità regionale individuale. Invece di limitarsi alla capacità disponibile in uno specifico ambito Regione AWS, le richieste possono essere instradate dinamicamente attraverso l'infrastruttura globale. AWS Ciò fornisce l'accesso a un pool di risorse molto più ampio, rendendo meno complicata la gestione di carichi di lavoro ad alto volume e picchi di traffico improvvisi. ## Considerazioni sull'inferenza globale tra regioni Notate le seguenti informazioni sull'inferenza globale tra regioni: + I profili di inferenza globali tra Regioni offrono un throughput più elevato rispetto a un profilo di inferenza legato a una particolare area geografica. Un profilo di inferenza legato a una particolare area geografica offrono un throughput più elevato rispetto a un’inferenza a Regione singola. + Per visualizzare le quote predefinite per il throughput tra Regioni quando si utilizzano profili di inferenza globali, consulta i valori in **Richieste di inferenza del modello tra Regioni al minuto per \$1\$1Model\$1** e **Token di inferenza del modello tra Regioni al minuto per \$1\$1Model\$1** in [Quote di servizio di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) in *Riferimenti generali AWS *. **È possibile richiedere, visualizzare e gestire le quote per il Global Cross-Region Inference Profile dalla console [Service Quotas o](https://console.aws.amazon.com/servicequotas/home/services/bedrock/quotas) utilizzando i comandi AWS CLI nella regione di origine.** ## Requisiti delle policy IAM per l'inferenza globale tra regioni Per abilitare l'inferenza globale tra regioni per i tuoi utenti, devi applicare una policy IAM in tre parti al ruolo. Di seguito è riportato un esempio di policy IAM per fornire un controllo granulare. È possibile sostituire `` la politica di esempio con quella in Regione AWS cui si opera. ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGlobalCrisInferenceProfileRegionAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::inference-profile/global." ], "Condition": { "StringEquals": { "aws:RequestedRegion": "" } } }, { "Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } }, { "Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } } ] } ``` La prima parte della politica consente l'accesso al profilo di inferenza regionale nella richiesta. Regione AWS La seconda parte fornisce l'accesso alla risorsa FM regionale. La terza parte consente l'accesso alla risorsa FM globale, che abilita la funzionalità di routing interregionale. Quando implementi queste politiche, assicurati che tutte e tre le risorse Amazon Resource Names (ARNs) siano incluse nelle tue istruzioni IAM: + Il profilo di inferenza regionale ARN segue lo schema. `arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAME` Viene utilizzato per dare accesso al profilo di inferenza globale nell'origine. Regione AWS + Il Regional FM utilizza`arn:aws:bedrock:REGION::foundation-model/MODEL-NAME`. Viene utilizzato per dare accesso alla FM nella sorgente Regione AWS. + La FM globale richiede`arn:aws:bedrock:::foundation-model/MODEL-NAME`. Viene utilizzato per consentire l'accesso alla FM in diverse aree globali Regioni AWS. L'ARN FM globale non ha alcun Regione AWS account specificato, il che è intenzionale e richiesto per la funzionalità Cross-region. ### Disabilita l'inferenza globale tra regioni Puoi scegliere tra due approcci principali per implementare le politiche di negazione in CRIS globale per ruoli IAM specifici, ciascuno con casi d'uso e implicazioni diversi: + **Rimuovere una policy IAM**: il primo metodo prevede la rimozione di una o più delle tre policy IAM richieste dalle autorizzazioni degli utenti. Poiché CRIS globale richiede che tutte e tre le politiche funzionino, la rimozione di una politica comporterà il rifiuto dell'accesso. + **Implementazione di una politica di negazione** — Il secondo approccio consiste nell'implementare una politica di negazione esplicita che si rivolga specificamente ai profili di inferenza CRIS globali. Questo metodo fornisce una documentazione chiara dell'intento di sicurezza e assicura che, anche se qualcuno aggiungesse accidentalmente le politiche di autorizzazione richieste in un secondo momento, la negazione esplicita abbia la precedenza. La politica di negazione deve utilizzare una condizione corrispondente allo schema. `StringEquals` `"aws:RequestedRegion": "unspecified"` Questo modello si rivolge specificamente ai profili di inferenza con il `global` prefisso. Quando si implementano politiche di negazione, è fondamentale comprendere che il CRIS globale modifica il comportamento del campo. `aws:RequestedRegion` Le politiche di rifiuto Regione AWS tradizionali che utilizzano `StringEquals` condizioni con Regione AWS nomi specifici, ad esempio non `"aws:RequestedRegion": "us-west-2"` funzioneranno come previsto con CRIS globale, perché il servizio imposta questo campo sulla destinazione effettiva `global` anziché sulla destinazione effettiva. Regione AWS Tuttavia, come accennato in precedenza, `"aws:RequestedRegion": "unspecified"` produrrà l'effetto negazione. ## Requisiti della politica di controllo dei servizi per l'inferenza globale tra regioni Per l'inferenza globale tra regioni, se la politica di sicurezza dell'organizzazione prevede il blocco delle regioni non utilizzate, è necessario aggiornare le condizioni SCP specifiche della regione per consentire l'accesso con. SCPs `"aws:RequestedRegion": "unspecified"` Questa condizione è specifica dell'inferenza interregionale di Amazon Bedrock Global e garantisce che le richieste possano essere instradate verso tutte le regioni commerciali supportate. AWS L'esempio seguente SCP blocca tutte le chiamate AWS API al di fuori delle regioni approvate, consentendo al contempo le chiamate di inferenza interregionali di Amazon Bedrock che vengono utilizzate `"unspecified"` come regione per il routing globale: ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "DenyAllOutsideApprovedRegions", "Effect": "Deny", "Action": "*", "Resource": "*", "Condition": { "StringNotEquals": { "aws:RequestedRegion": [ "us-east-1", "us-east-2", "us-west-2", "unspecified" ] } } } ] } ``` ### Disattiva l'inferenza globale tra regioni Le organizzazioni con requisiti di residenza o conformità dei dati devono valutare se l'inferenza globale interregionale si adatta al proprio framework di conformità, poiché le richieste possono essere elaborate in altre aree commerciali supportate AWS . Per disabilitare in modo esplicito l'inferenza globale tra regioni, implementa la seguente politica SCP: ``` { "Effect": "Deny", "Action": "bedrock:*", "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" }, "ArnLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*" } } } ``` Questo SCP nega esplicitamente l'inferenza globale tra regioni perché `"aws:RequestedRegion"` is `"unspecified"` e the `"ArnLike"` condition hanno come target i profili di inferenza con il prefisso nell'ARN. `global` ### AWS Implementazione Control Tower La modifica manuale SCPs gestita da AWS Control Tower è fortemente sconsigliata in quanto può causare deviazioni. Utilizza invece i meccanismi forniti da Control Tower per gestire queste eccezioni. I principi fondamentali prevedono l'estensione dei controlli regionali esistenti o l'abilitazione delle regioni e quindi l'applicazione di una politica di blocco condizionale personalizzata. Per step-by-step indicazioni dettagliate sull'implementazione dell'inferenza interregionale con Control Tower, consulta il post del blog Enable [Amazon Bedrock Cross-region inference in ambienti multi-account](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/). Ciò include l'estensione delle aree Region Deny esistenti SCPs, l'abilitazione delle aree negate con funzionalità personalizzate SCPs e l'utilizzo di Customizations for AWS Control Tower (cFCT) per implementare come infrastruttura personalizzata SCPs come codice. ## Aumenta il limite di richiesta per l'inferenza globale tra regioni Quando si utilizzano profili di inferenza CRIS globali, è possibile utilizzare CRIS globali da oltre 20 fonti supportate. Regioni AWS Poiché si tratterà di un limite globale, le richieste di visualizzazione, gestione o aumento delle quote per i profili di inferenza globali interregionali devono essere effettuate tramite la console Service Quotas o l'interfaccia a AWS riga di comando (AWS CLI) nell'origine richiesta. Regione AWS Completa i seguenti passaggi per richiedere un aumento del limite: 1. Accedi alla console Service Quotas del tuo AWS account. 1. Nel pannello di navigazione, scegliere **servizi AWS **. 1. Dall'elenco dei servizi, trova e scegli **Amazon Bedrock**. 1. Nell'elenco delle quote per Amazon Bedrock, utilizza il filtro di ricerca per trovare le quote CRIS globali specifiche. Esempio: + Token di inferenza del modello globale interregionale al minuto per Anthropic Claude Sonnet 4.5 V1 1. Seleziona la quota che desideri aumentare. 1. Scegli **Richiedi un aumento a livello di account**. 1. Inserisci il nuovo valore di quota desiderato. 1. Scegli **Richiesta** per inviare la richiesta. Nel calcolare l'aumento di quota richiesto, ricordati di tenere conto del burndown rate, definito come la velocità con cui i token di input e output vengono convertiti in utilizzo della quota di token per il sistema di throttling. I seguenti modelli hanno un **burn-down rate pari a 5x per i token di output (1 token di output consuma 5 token delle quote**): + Claude Anthropic Opus 4 + Claude Sonnet antropico 4.5 + Claude Sonnet antropico 4 + Sonetto antropico di Claude 3.7 Per tutti gli altri modelli, il tasso di consumo è di **1:1** (1 token di output consuma 1 token della quota). Per i token di input, il rapporto tra token e quota è 1:1. Il calcolo del numero totale di token per richiesta è il seguente: `Input token count + Cache write input tokens + (Output token count x Burndown rate)` ## Usa l'inferenza globale tra regioni Per utilizzare l'inferenza globale tra regioni con Claude Sonnet 4.5 di Anthropic, gli sviluppatori devono completare i seguenti passaggi chiave: + **Usa l'ID del profilo di inferenza globale**: quando effettui chiamate API ad Amazon Bedrock, specifica l'ID del profilo di inferenza Claude Sonnet 4.5 globale di Anthropic (`global.anthropic.claude-sonnet-4-5-20250929-v1:0`) anziché un ID modello specifico. Regione AWS + **Configura le autorizzazioni IAM: concedi le autorizzazioni** IAM appropriate per accedere al profilo di inferenza e nella potenziale destinazione. FMs Regioni AWS L'inferenza globale tra regioni è supportata per: + Inferenza del modello su richiesta + Inferenza in batch + Agents (Agenti) + Valutazione del modello + gestione dei prompt + Flussi rapidi **Nota** Il profilo di inferenza globale è supportato per l’inferenza del modello on demand, l’inferenza in batch, gli agenti, la valutazione del modello, la gestione dei prompt e i flussi di prompt. ## Implementa l'inferenza globale tra regioni L'implementazione dell'inferenza globale tra regioni con Claude Sonnet 4.5 di Anthropic è semplice e richiede solo poche modifiche al codice dell'applicazione esistente. Di seguito è riportato un esempio di come aggiornare il codice in Python: ``` import boto3 import json bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0" response = bedrock.converse( messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}], modelId=model_id, ) print("Response:", response['output']['message']['content'][0]['text']) print("Token usage:", response['usage']) print("Total tokens:", response['usage']['totalTokens']) ``` # Configurare una risorsa di invocazione del modello utilizzando i profili di inferenza Un *profilo di inferenza* è una risorsa di Amazon Bedrock che definisce un modello e una o più Regioni a cui il profilo di inferenza può instradare le richieste di invocazione del modello. I profili di inferenza possono essere utilizzati per le attività seguenti: + **Tieni traccia delle metriche di utilizzo**: configura CloudWatch i log e invia le richieste di invocazione del modello con un profilo di inferenza dell'applicazione per raccogliere le metriche di utilizzo per la chiamata del modello. Questi parametri possono essere esaminati quando si visualizzano le informazioni sul profilo di inferenza e utilizzati per prendere decisioni informate. Per ulteriori informazioni su come configurare i log, consulta. CloudWatch [Monitora la chiamata del modello utilizzando CloudWatch Logs e Amazon S3](model-invocation-logging.md) + **Utilizzo dei tag per monitorare i costi**: collega i tag a un profilo di inferenza dell’applicazione per tenere traccia dei costi quando si inviano richieste di invocazione del modello on demand. Per ulteriori informazioni su come utilizzare i tag per l'allocazione dei costi, vedere [Organizzazione e monitoraggio dei costi utilizzando AWS i tag di allocazione dei costi](https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html) nella guida per l' AWS Billing utente. + **Uso dell’inferenza tra Regioni**: aumenta il throughput utilizzando un profilo di inferenza che includa più Regioni AWS. Il profilo di inferenza distribuirà le richieste di invocazione del modello in tali Regioni per aumentare il throughput e le prestazioni. Per ulteriori informazioni sull’inferenza tra Regioni, consulta [Aumentare il throughput con l’inferenza tra Regioni](cross-region-inference.md). In Amazon Bedrock sono disponibili i tipi di profili di inferenza seguenti: + **Profili di inferenza tra Regioni (definiti dal sistema)**: profili di inferenza predefiniti in Amazon Bedrock che includono più Regioni a cui è possibile instradare le richieste di un modello. + **Profili di inferenza dell’applicazione**: profili di inferenza che un utente crea per tenere traccia dei costi e dell’utilizzo del modello. È possibile creare un profilo di inferenza che instradi le richieste di invocazione del modello a una o più Regioni: + Per creare un profilo di inferenza che tenga traccia dei costi e dell’utilizzo di un modello in una Regione, specifica il modello di fondazione nella Regione verso cui desideri che il profilo di inferenza instradi le richieste. + Per creare un profilo di inferenza che tenga traccia dei costi e dell’utilizzo di un modello in più Regioni, specifica il profilo di inferenza tra Regioni (definito dal sistema) che definisce il modello e le Regioni verso cui desideri che il profilo di inferenza instradi le richieste. È possibile utilizzare i profili di inferenza con le seguenti funzionalità per instradare le richieste a più Regioni e tenere traccia dell’utilizzo e dei costi delle richieste di invocazione effettuate con tali funzionalità: + [Inferenza del modello: usa un profilo di inferenza quando esegui l'invocazione del modello scegliendo un profilo di inferenza in un playground nella console Amazon Bedrock o specificando l'ARN del profilo di inferenza quando chiami,, Converse e le operazioni. [InvokeModel[InvokeModelWithResponseStream[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) Per ulteriori informazioni, consulta [Invio di prompt e generazione di risposte con l’inferenza del modello](inference.md). + Embedding vettoriale della knowledge base e generazione di risposte: usa un profilo di inferenza quando si genera una risposta dopo aver eseguito una query su una knowledge base o durante l’analisi di informazioni non testuali in un’origine dati. Per ulteriori informazioni, consultare [Test della knowledge base con query e risposte](knowledge-base-test.md) e [Opzioni di analisi per l’origine dati](kb-advanced-parsing.md). + Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un processo di valutazione del modello. Per ulteriori informazioni, consulta [Valutare le prestazioni delle risorse Amazon Bedrock](evaluation.md). + Gestione dei prompt: è possibile utilizzare un profilo di inferenza per generare una risposta a un prompt creato in Gestione prompt. Per ulteriori informazioni, consulta [Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock](prompt-management.md) + Flussi: è possibile utilizzare un profilo di inferenza quando si genera una risposta per un prompt definito in linea in un nodo prompt in un flusso. Per ulteriori informazioni, consulta [Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows](flows.md). Il prezzo per l’utilizzo di un profilo di inferenza viene calcolato in base al prezzo del modello nella Regione da cui si chiama il profilo stesso. Per informazioni sui prezzi, consulta [Prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/). Per ulteriori informazioni sul throughput offerto da un profilo di inferenza tra Regioni, consulta [Aumentare il throughput con l’inferenza tra Regioni](cross-region-inference.md). **Topics** + [Regioni e modelli supportati per i profili di inferenza](inference-profiles-support.md) + [Prerequisiti per i profili di inferenza](inference-profiles-prereq.md) + [Creare un profilo di inferenza dell’applicazione](inference-profiles-create.md) + [Modificare i tag per un profilo di inferenza dell’applicazione](inference-profiles-modify.md) + [Visualizzazione delle informazioni relative a un profilo di inferenza](inference-profiles-view.md) + [Utilizzare un profilo di inferenza nell’invocazione del modello](inference-profiles-use.md) + [Eliminare un profilo di inferenza dell’applicazione](inference-profiles-delete.md) # Regioni e modelli supportati per i profili di inferenza Per un elenco dei codici e degli endpoint delle Regioni supportati in Amazon Bedrock, consulta [Endpoint e quote Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region). Questo argomento descrive i profili di inferenza predefiniti che puoi utilizzare e le Regioni e i modelli che supportano i profili di inferenza delle applicazioni. **Topics** + [Profili di inferenza tra Regioni supportati](#inference-profiles-support-system) + [Regioni e modelli supportati per i profili di inferenza delle applicazioni](#inference-profiles-support-user) ## Profili di inferenza tra Regioni supportati Puoi eseguire l’[inferenza tra Regioni](cross-region-inference.md) con profili di inferenza (definita dal sistema) multi-Regione. L'inferenza interregionale ti consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione su diverse aree. Regioni AWS Con l’inferenza tra Regioni puoi distribuire il traffico tra più Regioni AWS. I profili di inferenza tra Regioni (definiti dal sistema) prendono il nome dal modello che supportano e sono definiti dalle Regioni che supportano. Per informazioni sul modo in cui un profilo di inferenza tra Regioni gestisce le richieste, leggi le definizioni seguenti: + **Regione di origine**: Regione da cui effettui la richiesta API che specifica il profilo di inferenza. + **Regione di destinazione**: Regione in cui il servizio Amazon Bedrock può instradare la richiesta dalla Regione di origine. Quando invochi un profilo di inferenza tra Regioni in Amazon Bedrock, la richiesta proviene da una Regione di origine e viene automaticamente instradata a una delle Regioni di destinazione definite nel profilo, ottimizzando le prestazioni. Le Regioni di destinazione per i profili di inferenza tra Regioni globali includono tutte le Regioni commerciali. **Nota** Le regioni di destinazione in un profilo di inferenza interregionale possono includere regioni *opzionali, ovvero regioni che è necessario abilitare esplicitamente* a livello di organizzazione. Account AWS Per ulteriori informazioni, consulta [Abilita o disabilita Regioni AWS](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html) nel tuo account. Quando utilizzi un profilo di inferenza tra Regioni, la richiesta di inferenza può essere instradata a una qualsiasi delle Regioni di destinazione nel profilo, anche se non hai aderito a tali Regioni nell’account. Le politiche di controllo dei servizi (SCPs) e AWS Identity and Access Management (IAM) collaborano per controllare dove è consentita l'inferenza tra regioni. In questo modo puoi controllare quali regioni Amazon Bedrock può utilizzare per l'inferenza e, utilizzando le policy IAM, puoi definire quali utenti o ruoli sono autorizzati a eseguire l'inferenza. SCPs Se una regione di destinazione in un profilo di inferenza interregionale è bloccata nel tuo SCPs, la richiesta avrà esito negativo anche se le altre regioni rimangono consentite. Per garantire un funzionamento efficiente con l'inferenza tra regioni, puoi aggiornare le tue policy SCPs e IAM per consentire tutte le azioni di inferenza Amazon Bedrock richieste (ad esempio, `bedrock:InvokeModel*` o`bedrock:CreateModelInvocationJob`) in tutte le regioni di destinazione incluse nel profilo di inferenza scelto. Per ulteriori informazioni, consulta [Enabling Amazon Bedrock cross-Region inference in multi-account environments](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/). **Nota** Alcuni profili di inferenza vengono instradati verso Regioni di destinazione diverse, a seconda della Regione di origine da cui vengono chiamati. Ad esempio, se effettui la chiamata da `us.anthropic.claude-3-haiku-20240307-v1:0` da Stati Uniti orientali (Ohio), le richieste possono essere instradate verso `us-east-1`, `us-east-2` o `us-west-2`, mentre per una chiamata effettuata da Stati Uniti occidentali (Oregon), le richieste possono essere instradate solo verso `us-east-1` e `us-west-2`. Per controllare le Regioni di origine e di destinazione di un profilo di inferenza, puoi effettuare una delle operazioni seguenti: + Espandi la sezione corrispondente nell’[elenco dei profili di inferenza tra Regioni supportati](#inference-profiles-support). + Invia una [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) da una regione di origine e specifica l'Amazon Resource Name (ARN) o l'ID del profilo di inferenza nel campo. `inferenceProfileIdentifier` Il `models` campo nella risposta corrisponde a un elenco di modelli ARNs, in cui è possibile identificare ogni regione di destinazione. **Nota** Il profilo di inferenza globale interregionale per un modello specifico può cambiare nel tempo man mano che vengono AWS aggiunte altre regioni commerciali in cui è possibile elaborare le richieste. Tuttavia, se un profilo di inferenza è legato a un'area geografica (come Stati Uniti, UE o APAC), l'elenco delle regioni di destinazione non cambierà mai. AWS potrebbe creare nuovi profili di inferenza che incorporano nuove regioni. È possibile aggiornare i sistemi per utilizzare questi profili di inferenza modificando la IDs configurazione con quelli nuovi. Il profilo di inferenza tra Regioni globale è attualmente supportato solo nel modello Anthropic Claude Sonnet 4 per queste Regioni di origine: Stati Uniti occidentali (Oregon), Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Europa (Irlanda) e Asia Pacifico (Tokyo). Le Regioni di destinazione per il profilo di inferenza globale includono tutte le Regioni AWS commerciali. Espandi una delle sezioni seguenti per visualizzare informazioni su un profilo di inferenza tra Regioni, sulle Regioni di origine da cui può essere chiamato e sulle Regioni di destinazione verso le quali può instradare le richieste. ### Amazon Nova 2 Lite GLOBALE Per chiamare il profilo di inferenza GLOBAL Amazon Nova 2 Lite, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` global.amazon.nova-2-lite-v1:0 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### CLAUDE OPUS 4.5 ANTROPICO GLOBALE Per chiamare il profilo di inferenza GLOBAL Anthropic Claude Opus 4.5, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` global.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-claude.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### GLOBAL TwelveLabs Pegasus v1.2 Per chiamare il profilo di inferenza GLOBAL TwelveLabs Pegasus v1.2, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` global.twelvelabs.pegasus-1-2-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-pegasus.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Anthropic Claude Haiku 4.5 Per chiamare il profilo di inferenza Global Anthropic Claude Haiku 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` global.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Claude Opus 4.6 antropico globale Per chiamare il profilo di inferenza di Global Anthropic Claude Opus 4.6, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` global.anthropic.claude-opus-4-6-v1 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Claude Sonnet antropico globale 4.6 Per richiamare il profilo di inferenza di Global Anthropic Claude Sonnet 4.6, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` global.anthropic.claude-sonnet-4-6 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Claude Sonnet 4 Per chiamare il profilo di inferenza Global Claude Sonnet 4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` global.anthropic.claude-sonnet-4-20250514-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Claude Sonnet 4.5 Per chiamare il profilo di inferenza Global Claude Sonnet 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` global.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Cohere Embed v4 Per chiamare il profilo di inferenza Global Cohere Embed v4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` global.cohere.embed-v4:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-embed.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Amazon Nova 2 Lite (Stati Uniti) Per chiamare il profilo di inferenza Amazon Nova 2 Lite degli Stati Uniti, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.amazon.nova-2-lite-v1:0 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3 Haiku Per chiamare il profilo di inferenza US Anthropic Claude 3 Haiku, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-haiku-20240307-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3 Opus Per chiamare il profilo di inferenza US Anthropic Claude 3 Opus, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-opus-20240229-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3 Sonnet Per chiamare il profilo di inferenza US Anthropic Claude 3 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-sonnet-20240229-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3.5 Haiku Per chiamare il profilo di inferenza US Anthropic Claude 3.5 Haiku, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-5-haiku-20241022-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3.5 Sonnet Per chiamare il profilo di inferenza US Anthropic Claude 3.5 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3.5 Sonnet v2 Per chiamare il profilo di inferenza US Anthropic Claude 3.5 Sonnet v2, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-5-sonnet-20241022-v2:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3.7 Sonnet Per chiamare il profilo di inferenza US Anthropic Claude 3.7 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude Haiku 4.5 Per chiamare il profilo di inferenza US Anthropic Claude Haiku 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Claude Opus 4.5 antropico statunitense Per richiamare il profilo di inferenza di Claude Opus 4.5 di US Anthropic, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-claude.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Claude Opus 4.6 antropico statunitense Per richiamare il profilo di inferenza di Claude Opus 4.6 di US Anthropic, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.anthropic.claude-opus-4-6-v1 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude Sonnet 4.5 Per chiamare il profilo di inferenza US Anthropic Claude Sonnet 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Claude Sonnet antropico statunitense 4.6 Per richiamare il profilo di inferenza di Claude Sonnet 4.6 di US Anthropic, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.anthropic.claude-sonnet-4-6 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Opus 4 Per chiamare il profilo di inferenza US Claude Opus 4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-opus-4-20250514-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Opus 4.1 Per chiamare il profilo di inferenza US Claude Opus 4.1, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-opus-4-1-20250805-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Sonnet 4 Per chiamare il profilo di inferenza US Claude Sonnet 4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.anthropic.claude-sonnet-4-20250514-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Cohere Embed v4 Per chiamare il profilo di inferenza US Cohere Embed v4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.cohere.embed-v4:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-embed.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US DeepSeek -R1 Per richiamare il profilo di inferenza US DeepSeek -R1, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.deepseek.r1-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](https://www.deepseek.com/) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Llama 4 Maverick 17B Instruct Per chiamare il profilo di inferenza US Llama 4 Maverick 17B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama4-maverick-17b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Llama 4 Scout 17B Instruct Per chiamare il profilo di inferenza US Llama 4 Scout 17B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama4-scout-17b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 70B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.1 70B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-1-70b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 8B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.1 8B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-1-8b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 Instruct 405B Per chiamare il profilo di inferenza US Meta Llama 3.1 Instruct 405B, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-1-405b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.2 11B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.2 11B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-2-11b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 1B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.2 1B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-2-1b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 3B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.2 3B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-2-3b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 90B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.2 90B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-2-90b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.3 70B Instruct Per chiamare il profilo di inferenza US Meta Llama 3.3 70B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.meta.llama3-3-70b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Mistral Pixtral Large 25.02 Per chiamare il profilo di inferenza US Mistral Pixtral Large 25.02, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.mistral.pixtral-large-2502-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-mistral.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Nova Lite Per chiamare il profilo di inferenza US Nova Lite, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.amazon.nova-lite-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### EU Nova Micro Per chiamare il profilo di inferenza EU Nova Micro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.amazon.nova-micro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Nova Premier Per chiamare il profilo di inferenza US Nova Premier, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.amazon.nova-premier-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Nova Pro Per chiamare il profilo di inferenza US Nova Pro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.amazon.nova-pro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Pegasus v1.2 Per richiamare il profilo di inferenza US Pegasus v1.2, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.twelvelabs.pegasus-1-2-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-pegasus.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Immagine stabile degli Stati Uniti Conservative Upscale Per richiamare il profilo di inferenza US Stable Image Conservative Upscale, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.stability.stable-conservative-upscale-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](stable-image-services.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Control Sketch Per chiamare il profilo di inferenza US Stable Image Control Sketch, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-control-sketch-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Control Sketch Per chiamare il profilo di inferenza US Stable Image Control Sketch, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-control-structure-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Creative Upscale Per richiamare il profilo di inferenza US Stable Image Creative Upscale, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.stability.stable-creative-upscale-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedete Link.](stable-image-services.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Erase Object Per chiamare il profilo di inferenza US Stable Image Erase Object, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-erase-object-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Immagine stabile negli Stati Uniti Fast Upscale Per richiamare il profilo di inferenza US Stable Image Fast Upscale, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.stability.stable-fast-upscale-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](stable-image-services.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Inpaint Per chiamare il profilo di inferenza US Stable Image Inpaint, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-inpaint-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### U.S. Stable Image Outpaint Per richiamare il profilo di inferenza US Stable Image Outpaint, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.stability.stable-outpaint-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](stable-image-services.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Remove Background Per chiamare il profilo di inferenza US Stable Image Remove Background, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-remove-background-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Search and Recolor Per chiamare il profilo di inferenza US Stable Image Search and Recolor, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-search-recolor-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Search and Replace Per chiamare il profilo di inferenza US Stable Image Search and Replace, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-search-replace-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Style Guide Per chiamare il profilo di inferenza US Stable Image Style Guide, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-image-style-guide-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Style Transfer Per chiamare il profilo di inferenza US Stable Image Style Transfer, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us.stability.stable-style-transfer-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-stability-diffusion.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US TwelveLabs Marengo Embed 3.0 Per chiamare il profilo di inferenza US TwelveLabs Marengo Embed 3.0, specificare il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.twelvelabs.marengo-embed-3-0-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-marengo.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | ### US TwelveLabs Marengo Embed v2.7 Per richiamare il profilo di inferenza US TwelveLabs Marengo Embed v2.7, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.twelvelabs.marengo-embed-2-7-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-marengo.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 | ### La scrittrice statunitense Palmyra X4 Per chiamare il profilo di inferenza di US Writer Palmyra X4, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.writer.palmyra-x4-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-writer-palmyra.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### La scrittrice statunitense Palmyra X5 Per richiamare il profilo di inferenza di US Writer Palmyra X5, specificate il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us.writer.palmyra-x5-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-writer-palmyra.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US-GOV Claude 3 Haiku Per chiamare il profilo di inferenza US-GOV Claude 3 Haiku, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us-gov.anthropic.claude-3-haiku-20240307-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### US-GOV Claude 3.5 Sonnet Per chiamare il profilo di inferenza US-GOV Claude 3.5 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us-gov.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### US-GOV Claude 3.7 Sonnet Per chiamare il profilo di inferenza US-GOV Claude 3.7 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` us-gov.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### Il governo degli Stati Uniti Claude Sonnet 4.5 Per chiamare il profilo di inferenza US-GOV Claude Sonnet 4.5, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` us-gov.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-claude.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | us-gov-east-1 | us-gov-west-1 | | us-gov-west-1 | us-gov-west-1 | ### APAC Anthropic Claude 3 Haiku Per chiamare il profilo di inferenza APAC Anthropic Claude 3 Haiku, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-3-haiku-20240307-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3 Sonnet Per chiamare il profilo di inferenza APAC Anthropic Claude 3 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-3-sonnet-20240229-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.5 Sonnet Per chiamare il profilo di inferenza APAC Anthropic Claude 3.5 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.5 Sonnet v2 Per chiamare il profilo di inferenza APAC Anthropic Claude 3.5 Sonnet v2, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-3-5-sonnet-20241022-v2:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.7 Sonnet Per chiamare il profilo di inferenza APAC Anthropic Claude 3.7 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | ### APAC Claude Sonnet 4 Per chiamare il profilo di inferenza APAC Claude Sonnet 4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.anthropic.claude-sonnet-4-20250514-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Lite Per chiamare il profilo di inferenza APAC Nova Lite, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.amazon.nova-lite-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Micro Per chiamare il profilo di inferenza APAC Nova Micro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.amazon.nova-micro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Pro Per chiamare il profilo di inferenza APAC Nova Pro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.amazon.nova-pro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Pegasus v1.2 Per chiamare il profilo di inferenza APAC Pegasus v1.2, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` apac.twelvelabs.pegasus-1-2-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-pegasus.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | ### APAC TwelveLabs Marengo Embed v2.7 Per chiamare il profilo di inferenza APAC TwelveLabs Marengo Embed v2.7, specificare il seguente ID del profilo di inferenza in una delle regioni di origine: ``` apac.twelvelabs.marengo-embed-2-7-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-marengo.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | ### AU AU Anthropic Claude Sonnet 4.5 Per chiamare il profilo di inferenza AU AU Anthropic Claude Sonnet 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` au.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Haiku 4.5 Per chiamare il profilo di inferenza AU Anthropic Claude Haiku 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` au.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Opus 4.6 Per chiamare il profilo di inferenza di AU Anthropic Claude Opus 4.6, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` au.anthropic.claude-opus-4-6-v1 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Sonnet 4.6 Per chiamare il profilo di inferenza di AU Anthropic Claude Sonnet 4.6, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` au.anthropic.claude-sonnet-4-6 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### CA Nova Lite Per chiamare il profilo di inferenza CA Nova Lite, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` ca.amazon.nova-lite-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ca-central-1 | ca-central-1 ca-west-1 | | ca-west-1 | ca-central-1 ca-west-1 | ### Amazon Nova 2 Lite UE Per richiamare il profilo di inferenza Amazon Nova 2 Lite dell'UE, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.amazon.nova-2-lite-v1:0 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3 Haiku Per chiamare il profilo di inferenza EU Anthropic Claude 3 Haiku, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-3-haiku-20240307-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3 Sonnet Per chiamare il profilo di inferenza EU Anthropic Claude 3 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-3-sonnet-20240229-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3.5 Sonnet Per chiamare il profilo di inferenza EU Anthropic Claude 3.5 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3.7 Sonnet Per chiamare il profilo di inferenza EU Anthropic Claude 3.7 Sonnet, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude Haiku 4.5 Per chiamare il profilo di inferenza EU Anthropic Claude Haiku 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### Claude Opus 4.5 antropico dell'UE Per richiamare il profilo di inferenza di Claude Opus 4.5 di EU Anthropic, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-claude.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### Claude Opus 4.6 antropico dell'UE Per richiamare il profilo di inferenza di Claude Opus 4.6 di EU Anthropic, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.anthropic.claude-opus-4-6-v1 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Anthropic Claude Sonnet 4.5 Per chiamare il profilo di inferenza EU Anthropic Claude Sonnet 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### Claude Sonnet antropico dell'UE 4.6 Per richiamare il profilo di inferenza di Claude Sonnet 4.6 di EU Anthropic, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.anthropic.claude-sonnet-4-6 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Claude Sonnet 4 Per chiamare il profilo di inferenza EU Claude Sonnet 4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.anthropic.claude-sonnet-4-20250514-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 | ### EU Cohere Embed v4 Per chiamare il profilo di inferenza EU Cohere Embed v4, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.cohere.embed-v4:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-embed.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Meta Llama 3.2 1B Instruct Per chiamare il profilo di inferenza EU Meta Llama 3.2 1B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.meta.llama3-2-1b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Meta Llama 3.2 3B Instruct Per chiamare il profilo di inferenza EU Meta Llama 3.2 3B Instruct, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.meta.llama3-2-3b-instruct-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-meta.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Mistral Pixtral Large 25.02 Per chiamare il profilo di inferenza EU Mistral Pixtral Large 25.02, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.mistral.pixtral-large-2502-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-mistral.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | ### EU Nova Lite Per chiamare il profilo di inferenza EU Nova Lite, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.amazon.nova-lite-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU Nova Micro Per chiamare il profilo di inferenza EU Nova Micro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.amazon.nova-micro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU Nova Pro Per chiamare il profilo di inferenza EU Nova Pro, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` eu.amazon.nova-pro-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU TwelveLabs Marengo Embed 3.0 Per richiamare il profilo di inferenza EU TwelveLabs Marengo Embed 3.0, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.twelvelabs.marengo-embed-3-0-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-marengo.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU TwelveLabs Marengo Embed v2.7 Per richiamare il profilo di inferenza EU TwelveLabs Marengo Embed v2.7, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.twelvelabs.marengo-embed-2-7-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-marengo.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU TwelveLabs Pegasus v1.2 Per richiamare il profilo di inferenza EU TwelveLabs Pegasus v1.2, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` eu.twelvelabs.pegasus-1-2-v1:0 ``` [Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere Link.](model-parameters-pegasus.md) La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### JP Amazon Nova 2 Lite Per chiamare il profilo di inferenza JP Amazon Nova 2 Lite, specifica il seguente ID del profilo di inferenza in una delle regioni di origine: ``` jp.amazon.nova-2-lite-v1:0 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Haiku 4.5 Per chiamare il profilo di inferenza JP Anthropic Claude Haiku 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` jp.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Sonnet 4.5 Per chiamare il profilo di inferenza JP Anthropic Claude Sonnet 4.5, specifica l’ID profilo di inferenza seguente in una delle Regioni di origine: ``` jp.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Per ulteriori informazioni sui parametri di inferenza per questo modello, vedere [Link](model-parameters-claude.md). La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Sonnet 4.6 Per chiamare il profilo di inferenza di JP Anthropic Claude Sonnet 4.6, specificare il seguente ID del profilo di inferenza in una delle regioni di origine: ``` jp.anthropic.claude-sonnet-4-6 ``` La tabella seguente mostra le Regioni di origine da cui puoi chiamare il profilo di inferenza e le Regioni di destinazione verso le quali possono essere instradate le richieste: | Regioni di origine | Regioni di destinazione | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ## Regioni e modelli supportati per i profili di inferenza delle applicazioni I profili di inferenza delle applicazioni possono essere creati per tutti i modelli nei seguenti modi: Regioni AWS + ap-northeast-1 + ap-northeast-2 + ap-south-1 + ap-southeast-1 + ap-southeast-2 + ca-central-1 + eu-central-1 + eu-west-1 + eu-west-2 + eu-west-3 + sa-east-1 + us-east-1 + us-east-2 + us-gov-east-1 + us-west-2 I profili di inferenza delle applicazioni possono essere creati da tutti i modelli e profili di inferenza supportati in Amazon Bedrock. Per ulteriori informazioni sui modelli supportati da Amazon Bedrock, consulta [Modelli di fondazione supportati in Amazon Bedrock](models-supported.md). # Prerequisiti per i profili di inferenza Prima di utilizzare un profilo di inferenza, verifica di soddisfare i seguenti prerequisiti: + Il tuo ruolo ha accesso alle azioni dell’API del profilo di inferenza. Se al tuo ruolo è [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWSallegata la policy gestita, puoi saltare questo passaggio. In caso contrario, eseguire le seguenti operazioni: 1. Segui i passaggi descritti in [Creazione di policy IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) e crea la policy seguente, che consente a un ruolo di eseguire azioni relative al profilo di inferenza e di eseguire l’inferenza del modello utilizzando tutti i modelli di fondazione e tutti i profili di inferenza. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*", "bedrock:CreateInferenceProfile" ], "Resource": [ "arn:aws:bedrock:*::foundation-model/*", "arn:aws:bedrock:*:*:inference-profile/*", "arn:aws:bedrock:*:*:application-inference-profile/*" ] }, { "Effect": "Allow", "Action": [ "bedrock:GetInferenceProfile", "bedrock:ListInferenceProfiles", "bedrock:DeleteInferenceProfile", "bedrock:TagResource", "bedrock:UntagResource", "bedrock:ListTagsForResource" ], "Resource": [ "arn:aws:bedrock:*:*:inference-profile/*", "arn:aws:bedrock:*:*:application-inference-profile/*" ] } ] } ``` ------ (Facoltativo) Puoi limitare l’accesso del ruolo nei modi seguenti: + Per limitare le azioni API che il ruolo può eseguire, modifica l’elenco nel campo `Action` in modo che contenga solo le [operazioni API](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) a cui desideri consentire l’accesso. + Per limitare l’accesso del ruolo a profili di inferenza specifici, modifica l’elenco `Resource` in modo che contenga solo i [profili di inferenza](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) e modelli di fondazione a cui desideri consentire l’accesso. I profili di inferenza definiti dal sistema iniziano con `inference-profile`, mentre quelli di inferenza delle applicazioni iniziano con `application-inference-profile`. **Importante** Quando si specifica un profilo di inferenza nel campo `Resource` della prima istruzione, è necessario specificare anche il modello di fondazione in ogni Regione associata. + Per limitare l’accesso degli utenti in modo che possano invocare un modello di fondazione solo tramite un profilo di inferenza, aggiungi un campo `Condition` e usa la [chiave di condizione](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys) `aws:InferenceProfileArn`. Specifica il profilo di inferenza in base al quale filtrare l’accesso. Questa condizione può essere inclusa in un’istruzione che si riferisce alle risorse `foundation-model`. + Ad esempio, puoi allegare la seguente politica a un ruolo per consentirgli di richiamare il Anthropic Claude 3 Haiku modello solo tramite il profilo di Anthropic Claude 3 Haiku inferenza statunitense nell'account in *111122223333* us-west-2: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" ] }, { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0" ], "Condition": { "StringLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" } } } ] } ``` ------ + Ad esempio, è possibile collegare la policy seguente a un ruolo per consentirgli di invocare il modello Anthropic Claude Sonnet 4 solo tramite il profilo di inferenza Claude Sonnet 4 globale nell’account 111122223333 in us-east-2, Stati Uniti orientali (Ohio). ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0" ] }, { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0", "arn:aws:bedrock:::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0" ], "Condition": { "StringLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0" } } } ] } ``` ------ + È inoltre possibile limitare l’uso del profilo di inferenza Claude Sonnet 4 globale aggiungendo un’opzione Deny esplicita con una condizione `StringEquals` che verifichi che il valore della chiave di contesto della richiesta `aws:RequestedRegion` sia “unspecified”. Poiché il valore corrisponde`StringEquals`, l’opzione sovrascrive qualsiasi opzione Allow e blocca il routing globale delle richieste di inferenza. ``` { "Effect": "Deny", "Action": [ "bedrock:InvokeModel*" ], "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" } } }, ``` 1. Segui i passaggi indicati in [Aggiunta e rimozione delle autorizzazioni di identità IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) per collegare la policy a un ruolo e concedere al ruolo le autorizzazioni per visualizzare e utilizzare tutti i profili di inferenza. + Hai richiesto l’accesso al modello definito nel profilo di inferenza che desideri utilizzare nella Regione da cui desideri chiamare il profilo di inferenza stesso. # Creare un profilo di inferenza dell’applicazione È possibile creare un profilo di inferenza dell’applicazione con una o più Regioni per tenere traccia dell’utilizzo e dei costi quando si invoca un modello. + Per creare un profilo di inferenza dell’applicazione per una Regione, è necessario specificare un modello di fondazione. Vengono monitorati l’utilizzo e i costi per le richieste effettuate alla Regione indicata con il modello specifico. + Per creare un profilo di inferenza dell’applicazione per più Regioni, specificare un profilo di inferenza tra Regioni (definito dal sistema). Il profilo di inferenza indirizzerà le richieste alle Regioni definite nel profilo di inferenza tra Regioni (definito dal sistema) scelto. Vengono monitorati l’utilizzo e i costi per le richieste effettuate alle Regioni nel profilo di inferenza. Attualmente, è possibile creare un profilo di inferenza solo utilizzando l’API Amazon Bedrock. Per creare un profilo di inferenza, invia una [CreateInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateInferenceProfile.html)richiesta con un endpoint del [piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). I seguenti campi sono obbligatori: **** | Campo | Caso d’uso | | --- | --- | | inferenceProfileName | Specificare un nome per il profilo di inferenza. | | modelSource | Specificare il modello di fondazione o il profilo di inferenza tra Regioni (definito dal sistema) che definisca il modello e le Regioni per cui si desidera tenere traccia dei costi e dell’utilizzo. | I seguenti campi sono facoltativi: **** | Campo | Caso d’uso | | --- | --- | | description | Fornire una descrizione per il profilo di inferenza. | | tag | Collegare tag al profilo di inferenza. Per ulteriori informazioni, consulta [Organizzazione [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md) e monitoraggio dei costi utilizzando AWS i tag di allocazione dei costi](https://docs.aws.amazon.com//awsaccountbilling/latest/aboutv2/cost-alloc-tags.html). | | clientRequestToken | Garantire che la richiesta API venga completata solo una volta. Per ulteriori informazioni, consulta [Garanzia di idempotenza](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). | La risposta restituisce un elemento `inferenceProfileArn` che può essere utilizzato in altre azioni relative al profilo di inferenza e con l’invocazione del modello e le risorse Amazon Bedrock. # Modificare i tag per un profilo di inferenza dell’applicazione Dopo aver creato un profilo di inferenza dell’applicazione, è possibile comunque gestire i tag tramite l’API Amazon Bedrock inviando una richiesta [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html) o [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html) con un [endpoint del piano di controllo (control-plane) Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e specificando l’ARN del profilo di inferenza dell’applicazione nel campo `resourceArn`. Per ulteriori informazioni sul tagging, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). # Visualizzazione delle informazioni relative a un profilo di inferenza È possibile visualizzare informazioni sui profili di inferenza tra Regioni o sui profili di inferenza delle applicazioni creati. Per informazioni sulla visualizzazione delle informazioni su un profilo di inferenza, scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ Console ] **Come visualizzare informazioni su un profilo di inferenza tra Regioni (definito dal sistema)** 1. Accedi alla Console di gestione AWS con un’identità IAM che disponga delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all’indirizzo [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Seleziona **Inferenza tra Regioni** nel riquadro di navigazione a sinistra. Nella sezione **Inferenza tra Regioni** scegli un profilo di inferenza. 1. Visualizza i dettagli del profilo di inferenza nella sezione **Dettagli del profilo di inferenza** e le Regioni che comprende nella sezione **Modelli**. **Nota** Non puoi visualizzare i profili di inferenza delle applicazioni nella console Amazon Bedrock. ------ #### [ API ] Per ottenere informazioni su un profilo di inferenza, invia una richiesta [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html) con un [endpoint del piano di controllo (control-plane) Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e specifica il nome della risorsa Amazon (ARN) o l’ID del profilo di inferenza nel campo `inferenceProfileIdentifier`. Per elencare informazioni sui profili di inferenza che puoi utilizzare, invia una richiesta [ListInferenceProfiles](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListInferenceProfiles.html) con un [endpoint del piano di controllo (control-plane) Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). È inoltre possibile specificare i parametri opzionali seguenti: **** | Campo | Breve descrizione | | --- | --- | | maxResults | Il numero massimo di risultati da restituire nella risposta. | | nextToken | Se i risultati sono superiori al numero specificato nel campo maxResults, la risposta restituisce un valore nextToken. Per visualizzare il batch di risultati successivo, invia il valore nextToken in un’altra richiesta. | ------ # Utilizzare un profilo di inferenza nell’invocazione del modello È possibile utilizzare un profilo di inferenza tra Regioni anziché un modello di fondazione per instradare le richieste a più Regioni. Per tenere traccia dei costi e dell’utilizzo di un modello in una o più Regioni, è possibile utilizzare un profilo di inferenza dell’applicazione. Per informazioni sull’utilizzo di un profilo di inferenza quando si esegue l’inferenza del modello, scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ Console ] Per utilizzare un profilo di inferenza con una funzionalità che lo supporti, esegui queste operazioni: 1. Accedi alla Console di gestione AWS con un’identità IAM che disponga delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all’indirizzo [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Vai alla pagina della funzionalità per cui desideri utilizzare un profilo di inferenza. Ad esempio, seleziona **Spazio di sviluppo per chat/testo** nel riquadro di navigazione a sinistra. 1. Scegli **Seleziona modello**, quindi scegli il modello. Ad esempio, scegli **Amazon**, quindi **Nova Premier**. 1. In **Inferenza**, seleziona **Profili di inferenza** nel menu a discesa. 1. Seleziona il profilo di inferenza da utilizzare, ad esempio **US Nova Premier**, quindi scegli **Applica**. ------ #### [ API ] È possibile utilizzare un profilo di inferenza quando si esegue l’inferenza da qualsiasi Regione inclusa nel profilo stesso con le seguenti operazioni API: + [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) o [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html): per utilizzare un profilo di inferenza nell’invocazione del modello, segui i passaggi indicati in [Invia una sola richiesta con InvokeModel](inference-invoke.md) e specifica il nome della risorsa Amazon (ARN) del profilo di inferenza nel campo `modelId`. Per un esempio, consulta [Utilizzare un profilo di inferenza nell’invocazione del modello](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html#API_runtime_InvokeModel_Example_5). + [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) o [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html): per utilizzare un profilo di inferenza nell’invocazione del modello con l’API Converse, segui i passaggi indicati in [Avvio di una conversazione con le operazioni dell’API Converse](conversation-inference.md) e specifica l’ARN del profilo di inferenza nel campo `modelId`. Per un esempio, consulta [Utilizzare un profilo di inferenza in una conversazione](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html#API_runtime_Converse_Example_5). + [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html): per utilizzare un profilo di inferenza durante la generazione di risposte dai risultati di query a una knowledge base, segui i passaggi indicati nella scheda API in [Test della knowledge base con query e risposte](knowledge-base-test.md) e specifica l’ARN del profilo di inferenza nel campo `modelArn`. Per ulteriori informazioni, consulta [Utilizzare un profilo di inferenza per generare una risposta](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html#API_agent-runtime_RetrieveAndGenerate_Example_3). + [CreateEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateEvaluationJob.html): per inviare un profilo di inferenza per la valutazione del modello, segui i passaggi indicati nella scheda API in [Avvio di un processo di valutazione automatica del modello in Amazon Bedrock](model-evaluation-jobs-management-create.md) e specifica l’ARN del profilo di inferenza nel campo `modelIdentifier`. + [CreatePrompt](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreatePrompt.html): per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt creato in Gestione prompt, segui i passaggi indicati nella scheda API in [Creare un prompt utilizzando Gestione prompt](prompt-management-create.md) e specifica l’ARN del profilo di inferenza nel campo `modelId`. + [CreateFlow](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateFlow.html): per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt in linea definito in un nodo prompt in un flusso, segui i passaggi indicati nella scheda API in [Creare e progettare un flusso in Amazon Bedrock](flows-create.md). Nella definizione del [nodo prompt](flows-nodes.md#flows-nodes-prompt), specifica l’ARN del profilo di inferenza nel campo `modelId`. + [CreateDataSource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html): per utilizzare un profilo di inferenza durante l’analisi di informazioni non di testo in un’origine dati, segui i passaggi indicati nella sezione API in [Opzioni di analisi per l’origine dati](kb-advanced-parsing.md) e specifica l’ARN del profilo di inferenza nel campo `modelArn`. **Nota** Se si utilizza un profilo di inferenza tra Regioni (definito dal sistema), è possibile utilizzare l’ARN o l’ID del profilo di inferenza stesso. ------ # Eliminare un profilo di inferenza dell’applicazione Se un profilo di inferenza dell’applicazione non è più necessario, è possibile eliminarlo. I profili di inferenza possono essere eliminati solo tramite l’API Amazon Bedrock. Per eliminare un profilo di inferenza, invia una richiesta [DeleteInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteInferenceProfiles.html) con un [endpoint del piano di controllo (control-plane) Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) specifica il nome della risorsa Amazon (ARN) o l’ID del profilo di inferenza nel campo `inferenceProflieIdentifier`. # Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock Il **throughput** si riferisce al numero e alla velocità di input e output che un modello elabora e restituisce. È possibile acquistare **Provisioned Throughput** per fornire un livello più elevato di throughput per un modello a un costo fisso. Se hai personalizzato un modello, devi acquistare Provisioned Throughput per poterlo utilizzare. Ti viene fatturato ogni ora il Provisioned Throughput acquistato. Per informazioni dettagliate sui prezzi, consulta la pagina dei [prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing). Il prezzo orario dipende dai seguenti fattori: 1. Il modello scelto (per i modelli personalizzati, il prezzo è lo stesso del modello base da cui è stato personalizzato). 1. Il numero di unità del modello (MUs) specificato per il Provisioned Throughput. Una MU fornisce un livello di throughput specifico per il modello specificato. Il livello di throughput di una MU specifica quanto segue: + Il numero di token di input che una MU può elaborare su tutte le richieste nell'arco di un minuto. + Il numero di token di output che una MU può generare su tutte le richieste nell'arco di un minuto. **Nota** Per ulteriori informazioni su ciò che specifica una MU, sui prezzi per MU e per richiedere aumenti dei limiti, contatta il tuo responsabile. Account AWS 1. Il periodo di tempo in cui ti impegni a mantenere il Provisioned Throughput. Più lunga è la durata dell'impegno, più scontato diventa il prezzo orario. Puoi scegliere tra i seguenti livelli di impegno: + Nessun impegno: è possibile eliminare il Provisioned Throughput in qualsiasi momento. + 1 mese: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di un mese. + 6 mesi: non è possibile eliminare il Provisioned Throughput fino al termine del periodo di impegno di sei mesi. **Nota** La fatturazione continua fino all'eliminazione del Provisioned Throughput. I passaggi seguenti descrivono il processo di configurazione e utilizzo di Provisioned Throughput. 1. Determina il numero di prodotti MUs che desideri acquistare per un Provisioned Throughput e per quanto tempo desideri impegnarti a utilizzare il Provisioned Throughput. 1. Acquista Provisioned Throughput per un modello base o personalizzato. 1. Dopo aver creato il modello fornito, è possibile utilizzarlo per [eseguire](inference.md) l'inferenza del modello. **Topics** + [Regione e modelli supportati per il throughput assegnato](prov-thru-supported.md) + [Prerequisiti per il throughput assegnato](prov-thru-prereq.md) + [Acquista un throughput fornito per un modello Amazon Bedrock](prov-thru-purchase.md) + [Visualizzare informazioni su un throughput fornito](prov-thru-info.md) + [Modificare un throughput assegnato](prov-thru-edit.md) + [Usa un throughput fornito con una risorsa Amazon Bedrock](prov-thru-use.md) + [Eliminare un throughput assegnato o annullare il rinnovo automatico](prov-thru-delete.md) + [Esempi di codice per Provisioned Throughput](prov-thru-code-examples.md) # Regione e modelli supportati per il throughput assegnato Se acquisti Provisioned Throughput tramite l'API Amazon Bedrock, devi specificare una variante contestuale di Amazon Bedrock FMs per l'ID del modello. **Nota** Provisioned Throughput è supportato in AWS GovCloud (Stati Uniti occidentali) solo per i modelli personalizzati con un acquisto senza impegno. Utilizza l’ID di un modello personalizzato quando acquisti il throughput assegnato per il modello stesso. La tabella seguente mostra i modelli per i quali è possibile acquistare Provisioned Throughput, l'ID del modello da utilizzare per l'acquisto di Provisioned Throughput e i modelli Regioni AWS in cui è possibile acquistare Provisioned Throughput per il modello. | Provider | Modello | ID modello | Supporto per modelli a regione singola | | --- | --- | --- | --- | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0:256k | us-east-1 | | Amazon | Nova Canvas | amazzone. nova-canvas-v1:0 | us-east-1 | | Amazon | Nova Lite | amazzone. nova-lite-v1:10:24 k | us-east-1 | | Amazon | Nova Lite | amazzone. nova-lite-v1:0:300 k | us-east-1 | | Amazon | Nova Micro | amazzone. nova-micro-v1:01:28 K | us-east-1 | | Amazon | Nova Micro | amazzone. nova-micro-v1:10:24 k | us-east-1 | | Amazon | Nova Pro | amazzone. nova-pro-v1:10:24 k | us-east-1 | | Amazon | Nova Pro | amazzone. nova-pro-v1:0:300 k | us-east-1 | | Amazon | Titan Embeddings G1 - Text | amazzone. titan-embed-text-v1:2:8k | us-east-1 us-west-2 | | Amazon | Titan Image Generator G1 v2 | amazzone. titan-image-generator-v20:0 | us-east-1 us-west-2 | | Amazon | Titan Multimodal Embeddings G1 | amazzone. titan-embed-image-v1:0 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:100k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:18k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:1:18k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v 2:1:200k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:200k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:48k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:200 k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:28 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonetto | anthropic.claude-3-5-sonnet-20240620-v 1:0:51 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:51 k | us-west-2 | | Anthropic | Claude Instant | antropico. claude-instant-v1:2:100 k | us-east-1 us-west-2 | | Cohere | Embed English | coerenti. embed-english-v3:05:12 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Cohere | Embed Multilingual | coerente. embed-multilingual-v3:05:12 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Meta | Llama 3.1 70B Instruct | b-instruct-vmeta.llama3-1-70 1:0:128 k | us-west-2 | | Meta | Llama 3.1 8B Instruct | meta.llama3-1-8 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 11B Instruct | meta.llama3-2-11 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 1B Instruct | meta.llama3-2-1 1:0:128k b-instruct-v | us-west-2 | | Meta | Llama 3.2 3B Instruct | meta.llama3-2-3 1:0:128k b-instruct-v | us-west-2 | | Meta | Llama 3.2 90B Instruct | meta.llama3-2-90 b-instruct-v 1:0:128k | us-west-2 | **Nota** I seguenti modelli non supportano acquisti senza impegno per il modello base: Titan Image Generator G1 V1 Titan Image Generator G1 V2 # Prerequisiti per il throughput assegnato Prima di poter acquistare e gestire Provisioned Throughput, è necessario soddisfare i seguenti prerequisiti: 1. [Richiedi l'accesso al modello o ai modelli](model-access.md) per i quali desideri acquistare Provisioned Throughput. Dopo aver concesso l'accesso, puoi acquistare Provisioned Throughput per il modello base e tutti i modelli da esso personalizzati. 1. Assicurati che il tuo ruolo IAM abbia accesso alle azioni dell'API Provisioned Throughput. Se al tuo ruolo è [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWSallegata la policy gestita, puoi saltare questo passaggio. In caso contrario, eseguire le seguenti operazioni: 1. Segui i passaggi descritti in [Creazione delle policy IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) e crea la seguente policy, che consente a un ruolo di creare un Provisioned Throughput per tutti i modelli di base e personalizzati. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "PermissionsForProvisionedThroughput", "Effect": "Allow", "Action": [ "bedrock:GetFoundationModel", "bedrock:ListFoundationModels", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource", "bedrock:CreateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:UpdateProvisionedModelThroughput", "bedrock:DeleteProvisionedModelThroughput" ], "Resource": "*" } ] } ``` ------ **Nota** Se utilizzi Provisioned Throughput con inferenza tra regioni, potresti aver bisogno di autorizzazioni aggiuntive. Per ulteriori informazioni, consulta [Aumentare il throughput con l’inferenza tra Regioni](cross-region-inference.md). (Facoltativo) Puoi limitare l’accesso del ruolo nei modi seguenti: + Per limitare le azioni API che il ruolo può eseguire, modifica l’elenco nel campo `Action` in modo che contenga solo le [operazioni API](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) a cui desideri consentire l’accesso. + Dopo aver creato un modello fornito, puoi limitare la capacità del ruolo di eseguire una richiesta API con il modello fornito modificando l'`Resource`elenco in modo che contenga solo i modelli [forniti a cui](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) desideri consentire l'accesso. Per vedere un esempio, consulta [Consenti agli utenti di invocare un modello allocato](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt). + Per limitare la capacità di un ruolo di creare modelli predisposti a partire da modelli di base o personalizzati specifici, modificate l'`Resource`elenco in modo che contenga solo i [modelli di base e personalizzati](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) a cui desiderate consentire l'accesso. 1. Segui i passaggi indicati in [Aggiungere e rimuovere le autorizzazioni di identità IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) per associare la policy a un ruolo e concedere le autorizzazioni al ruolo. 1. Se stai acquistando Provisioned Throughput per un modello personalizzato crittografato con una AWS KMS chiave gestita dal cliente, il tuo ruolo IAM deve disporre delle autorizzazioni per decrittografare la chiave. Puoi utilizzare il modello all'indirizzo. [Come creare una chiave gestita dal cliente e come collegarvi una policy della chiave](encryption-custom-job.md#encryption-key-policy) Per le autorizzazioni minime, è possibile utilizzare solo l'informativa *Permissions for custom model users* sulla politica. # Acquista un throughput fornito per un modello Amazon Bedrock Amazon Bedrock offre due tipi di throughput fornito: per token e per unità modello. Consulta le seguenti istruzioni per il tipo di Provisioned Throughput che desideri acquistare. Per ulteriori informazioni sulle differenze tra i due tipi di Provisioned Throughput, consulta. [Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock](prov-throughput.md) ## Throughput assegnato per unità del modello Quando si acquista un Provisioned Throughput by Model Units per un modello, si specifica il livello di impegno richiesto e il numero di unità del modello () MUs da assegnare. Per le quote MU, consulta gli [endpoint e le quote di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) nel. Riferimenti generali di AWS Prima di acquistare un Provisioned Throughput (con o senza impegno), devi prima visitare il [centro di AWS assistenza](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) MUs per richiedere la distribuzione del tuo account tra i Provisioned Throughput. Una volta accolta la richiesta, puoi acquistare un Provisioned Throughput. **Nota** Dopo aver acquistato il Provisioned Throughput, se è associato a un modello personalizzato, puoi modificare il modello specificando una delle seguenti opzioni: Il modello base da cui è stato personalizzato il modello personalizzato Un altro modello personalizzato che è stato personalizzato partendo dallo stesso modello base del modello personalizzato È possibile modificare solo il modello associato per Provisioned Throughputs associato a un modello personalizzato. Per sapere come acquistare Provisioned Throughput per un modello, scegli la scheda corrispondente al tuo metodo preferito, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. **Nella sezione **Provisioned Throughput, scegli Purchase Provisioned Throughput**.** 1. Per la sezione dei **dettagli del Provisioned Throughput**, procedi come segue: 1. Nel campo **Provisioned Throughput name, immettere un nome** per il Provisioned Throughput. 1. In **Seleziona modello**, seleziona un fornitore di modelli base o una categoria di modelli personalizzata. Selezionate quindi il modello per il quale effettuare il provisioning del throughput. **Nota** Per visualizzare i modelli base per i quali è possibile acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati. Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno. 1. **(Facoltativo) Per associare i tag al tuo Provisioned Throughput, espandi la sezione **Tag** e scegli Aggiungi nuovo tag.** Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). 1. **Per la **modalità Provisioning**, selezionate By Model Units** 1. Per la sezione **Termini di impegno e unità del modello**, procedi come segue: 1. Nella sezione **Seleziona la durata dell'impegno**, seleziona la quantità di tempo per la quale desideri impegnarti a utilizzare il Provisioned Throughput. 1. Nel campo **Unità del modello**, immettete il numero desiderato di unità del modello ()MUs. Se state fornendo un modello con impegno, dovete prima visitare il [centro di AWS assistenza](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) per richiedere un aumento del numero di modelli MUs acquistabili. 1. Scegli **Acquista velocità di trasmissione effettiva assegnata**. 1. Controlla la nota che appare e conferma la durata e il prezzo dell'impegno selezionando la casella di controllo. Poi scegli **Conferma acquisto**. 1. La console visualizza la pagina di panoramica del **Provisioned Throughput**. **Lo **stato** del Provisioned Throughput nella tabella Provisioned Throughput diventa Creazione.** ****Al termine della creazione del Provisioned Throughput, lo Status diventa In servizio.**** **Se l'aggiornamento non riesce, **lo stato** diventa Fallito.** ------ #### [ API ] Per acquistare un Provisioned Throughput, invia una [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per ulteriori informazioni sul contenuto del corpo della richiesta e sui parametri da fornire per creare un Provisioned Throughput by Model Units, consulta [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)*Amazon Bedrock* API Reference. **Nota** Per vedere i modelli base per i quali puoi acquistare Provisioned Throughput senza impegno, consulta la documentazione dei modelli supportati. Nella AWS GovCloud (US) regione, puoi acquistare Provisioned Throughput solo per modelli personalizzati senza impegno. La risposta restituisce un valore `provisionedModelArn` che è possibile utilizzare come inferenza `modelId` [del modello](inference.md). Per verificare quando il Provisioned Throughput è pronto per l'uso, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e verifica che lo stato sia. `InService` Se l'aggiornamento fallisce, il relativo stato sarà `Failed` e la [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)risposta conterrà un. `failureMessage` [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Visualizzare informazioni su un throughput fornito Per scoprire come visualizzare le informazioni su un Provisioned Throughput acquistato, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi: ------ #### [ Console ] **Per visualizzare informazioni su un Provisioned Throughput** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Provisioned Throughput** dal riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput**, selezionate un Provisioned Throughput. 1. **Visualizza i dettagli del Provisioned Throughput nella sezione **Panoramica del Provisioned Throughput** e i tag associati al Provisioned Throughput nella sezione Tags.** ------ #### [ API ] Per recuperare informazioni su uno specifico Provisioned Throughput, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta con un endpoint del piano di controllo [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Specificare il nome del Provisioned Throughput o il relativo ARN come. `provisionedModelId` Per elencare informazioni su tutti i throughput forniti in un account, invia una [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per controllare il numero di risultati restituiti, puoi specificare i seguenti parametri opzionali: **** | Campo | Breve descrizione | | --- | --- | | maxResults | Il numero massimo di risultati da restituire nella risposta. | | nextToken | Se ci sono più risultati rispetto al numero specificato nel maxResults campo, la risposta restituisce un nextToken valore. Per visualizzare il successivo batch di risultati, invia il nextToken valore in un'altra richiesta. | Per altri parametri opzionali che è possibile specificare per ordinare e filtrare i risultati, vedere [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html). Per elencare tutti i tag per un Provisioned Throughput, invia una [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Modificare un throughput assegnato Gli aspetti di un Provisioned Throughput che è possibile modificare dopo l'acquisto dipendono dalla modalità di provisioning. Per Provisioned Throughputs by Model Units, è possibile modificare solo il nome e i tag del Provisioned Throughput e il modello se si tratta di un modello personalizzato. Con Provisioned Throughputs by Tokens, hai più opzioni, inclusa la modifica del numero di token di input e output al minuto per il tuo Provisioned Throughput. Consulta le sezioni seguenti per ulteriori informazioni sulla modifica del tipo di Provisioned Throughput che desideri modificare. ## Modifica un throughput assegnato per unità del modello È possibile modificare il nome o i tag di un Provisioned Throughput esistente. Le seguenti restrizioni si applicano alla modifica del modello a cui è associato il Provisioned Throughput: + Non è possibile modificare il modello per un Provisioned Throughput associato a un modello base. + Se il Provisioned Throughput è associato a un modello personalizzato, è possibile modificare l'associazione al modello base da cui è personalizzato o a un altro modello personalizzato derivato dallo stesso modello di base. Durante l'aggiornamento di un Provisioned Throughput, è possibile eseguire l'inferenza utilizzando il Provisioned Throughput senza interrompere il traffico in corso proveniente dai clienti finali. Se hai modificato il modello a cui è associato il Provisioned Throughput, potresti ricevere l'output dal vecchio modello fino alla completa implementazione dell'aggiornamento. Per informazioni su come modificare un Provisioned Throughput, scegliete la scheda corrispondente al metodo preferito, quindi seguite i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. Scegli **Modifica**. È possibile modificare i seguenti campi: + **Nome del Provisioned Throughput**: modifica il nome del Provisioned Throughput. + **Seleziona modello**: se il Provisioned Throughput è associato a un modello personalizzato, è possibile modificare il modello associato. 1. **È possibile modificare i tag associati al Provisioned Throughput nella sezione Tag.** Per ulteriori informazioni, consulta [Assegnazione di tag alle risorse Amazon Bedrock](tagging.md). 1. Per salvare le modifiche, scegli **Salva** modifiche. 1. La console visualizza la pagina di panoramica del **Provisioned Throughput**. **Lo **stato** del Provisioned Throughput nella tabella Provisioned Throughput diventa Aggiornamento.** ****Al termine dell'aggiornamento del Provisioned Throughput, lo Status diventa In servizio.**** **Se l'aggiornamento non riesce, **lo Status** diventa Fallito.** ------ #### [ API ] Per modificare un Provisioned Throughput, invia una [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Per ulteriori informazioni sul corpo della richiesta e sui parametri da fornire, consulta [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)*Amazon Bedrock API Reference*. Se l'azione ha esito positivo, la risposta restituisce una risposta di stato HTTP 200. Per verificare quando il Provisioned Throughput è pronto per l'uso, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e verifica che lo stato sia. `InService` Non è possibile aggiornare o eliminare un Provisioned Throughput mentre il relativo stato è. `Updating` Se l'aggiornamento fallisce, il relativo stato sarà `Failed` e la [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)risposta conterrà un. `failureMessage` Per aggiungere tag a un Provisioned Throughput, invia una [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. Il corpo della richiesta contiene un campo `tags`, che consiste in un oggetto contenente una coppia chiave-valore che hai specificato per ogni tag. Per rimuovere i tag da un Provisioned Throughput, invia una [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) e includi l'Amazon Resource Name (ARN) del Provisioned Throughput. Il parametro di richiesta `tagKeys` è un elenco contenente le chiavi relative ai tag che desideri rimuovere. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Usa un throughput fornito con una risorsa Amazon Bedrock Dopo aver acquistato un Provisioned Throughput, puoi utilizzarlo con le seguenti funzionalità: + **Inferenza del modello**: puoi testare il Provisioned Throughput in un parco giochi per console Amazon Bedrock. Quando sei pronto per implementare il Provisioned Throughput, configura l'applicazione per richiamare il modello provisioned. Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ Console ] **Per utilizzare un Provisioned Throughput nell'area giochi della console Amazon Bedrock** 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Dal riquadro di navigazione a sinistra, seleziona **Chat**, **Testo** o **Immagine** in **Playgrounds**, a seconda del caso d'uso. 1. Scegli **Seleziona modello**. 1. Nel **1. Nella colonna Categoria**, seleziona un fornitore o una categoria di modello personalizzato. Quindi, nel **2. Nella colonna Modello**, seleziona il modello a cui è associato il tuo Provisioned Throughput. 1. **Nella 3. Nella colonna Throughput**, seleziona il tuo Provisioned Throughput. 1. Scegli **Applica**. Per informazioni su come utilizzare i parchi giochi Amazon Bedrock, consulta. [Generare risposte nella console utilizzando i playground](playgrounds.md) ------ #### [ API ] Per eseguire l'inferenza utilizzando un Provisioned Throughput, invia un, [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) o una richiesta [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)con un endpoint di runtime [Amazon](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) Bedrock. Specifica l’ARN del modello fornito utilizzando il parametro `modelId`. Per visualizzare i requisiti per il corpo della richiesta per diversi modelli, consulta. [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md) [Vedi esempi di codice](prov-thru-code-examples.md) ------ + **Associare un Provisioned Throughput a un alias di agente**[: è possibile associare un Provisioned Throughput quando si [crea](agents-deploy.md) o si aggiorna un alias di agente.](agents-alias-edit.md) Nella console Amazon Bedrock, scegliere Throughput allocato quando si configura o si modifica l’alias. Nell'API Amazon Bedrock, specifichi `routingConfiguration` quando invii una richiesta [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html)or [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html);. `provisionedThroughput` # Eliminare un throughput assegnato o annullare il rinnovo automatico Il Provisioned Throughput si rinnoverà automaticamente alla fine di ogni periodo di impegno, mantenendo le attuali configurazioni dei token di input e output. Se non desideri mantenere il Provisioned Throughput, puoi eliminarlo o, per Provisioned Throughput by Tokens, annullare il rinnovo automatico per impedirne il rinnovo allo scadere del periodo corrente. ## Eliminazione di un Provisioned Throughput Quando elimini un Provisioned Throughput, non sarai più in grado di richiamare il modello al livello di throughput per cui lo hai acquistato. Se elimini un Provisioned Throughput associato a un modello personalizzato, il modello personalizzato non viene eliminato. Per informazioni su come eliminare un modello personalizzato, consulta. [Eliminazione di un modello personalizzato](model-customization-delete.md) **Nota** Non è possibile eliminare un Provisioned Throughput by Model Units con impegno prima del termine dell'impegno. Per informazioni su come eliminare un Provisioned Throughput, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. **Scegli **Elimina dal menu** a discesa Azioni.** 1. La console visualizza un modulo modale per avvisarti che l'eliminazione è permanente. Scegli **Conferma** per procedere. 1. Il Provisioned Throughput viene immediatamente eliminato. ------ #### [ API ] Per eliminare un Provisioned Throughput, invia una [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)richiesta con un endpoint del piano di [controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Specificare il nome del Provisioned Throughput o il relativo ARN come. `provisionedModelId` Se l'eliminazione ha esito positivo, la risposta restituisce un codice di stato HTTP 200. [Vedi esempi di codice](prov-thru-code-examples.md) ------ ## Annullamento del rinnovo automatico per un throughput assegnato Per Provisioned Throughput by Tokens, puoi annullare il rinnovo automatico in qualsiasi momento prima della scadenza del periodo di impegno per evitare che un Provisioned Throughput si rinnovi automaticamente. Se annulli il rinnovo automatico, il Provisioned Throughput rimarrà in servizio fino alla fine del periodo di impegno. Ti verrà comunque addebitata l'intera tariffa di fornitura per il periodo corrente, indipendentemente dal fatto che tu esegua l'inferenza o meno. Dopo aver annullato il rinnovo automatico di un Provisioned Throughput, non è possibile apportare ulteriori modifiche al Provisioned Throughput per il resto del periodo di impegno. **Nota** Il rinnovo automatico non può essere riattivato una volta annullato. Se hai bisogno di Provisioned Throughput dopo la scadenza del periodo corrente, dovrai acquistare un nuovo Provisioned Throughput. Per sapere come annullare il rinnovo automatico di un Provisioned Throughput by Tokens, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi: ------ #### [ Console ] 1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock) 1. Seleziona **Throughput assegnato** nel riquadro di navigazione a sinistra. 1. Nella sezione **Provisioned Throughput, seleziona un Provisioned Throughput**. 1. Scegli **Annulla rinnovo automatico** dal menu a discesa **Azioni**. 1. La console visualizza un modulo modale per avvisarti che questa azione non può essere annullata. Scegli **Conferma** per procedere. 1. Il Provisioned Throughput rimarrà attivo fino alla fine del periodo di impegno corrente, dopodiché verrà automaticamente eliminato. ------ #### [ API ] Per annullare il rinnovo automatico di un Provisioned Throughput, invia una [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)richiesta con un [endpoint del piano di controllo Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) con il parametro impostato su. `disableAutoRenew` `true` Il Provisioned Throughput rimarrà attivo fino alla fine dell'attuale periodo di impegno. [Vedi esempi di codice](prov-thru-code-examples.md) ------ # Esempi di codice per Provisioned Throughput I seguenti esempi di codice mostrano come creare un Provisioned Throughput e come gestirlo e richiamarlo utilizzando AWS CLI l'SDK Python. È possibile creare un Provisioned Throughput a partire da un modello base o da un modello già personalizzato. Prima di iniziare, esegui i seguenti prerequisiti: **Prerequisiti** Negli esempi seguenti viene utilizzato il Amazon Nova Lite modello, il cui ID del modello è`amazon.nova-lite-v1:0:24k`. Se non l'hai già fatto, richiedi l'accesso a Amazon Nova Lite seguendo i passaggi riportati in[Gestisci l'accesso ai modelli tramite SDK e CLI](model-access.md#model-access-modify). Se desideri acquistare Provisioned Throughput per un modello di base diverso o per un modello personalizzato, dovrai fare quanto segue: 1. Trova l'ID del modello (per i modelli base), il nome (per i modelli personalizzati) o l'ARN (per entrambi) effettuando una delle seguenti operazioni: + Se stai acquistando un Provisioned Throughput per un modello base, trova l'ID o Amazon Resource Name (ARN) di un modello che supporta il provisioning in uno dei seguenti modi: + Cerca il valore nella tabella. + Invia una [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)richiesta e specifica il `byInferenceType` valore `PROVISIONED` per visualizzare un elenco di modelli che supportano il provisioning. Trova il valore nel `modelArn` campo `modelId` or. + Se stai acquistando un Provisioned Throughput per un modello personalizzato, trova il nome o Amazon Resource Name (ARN) del modello che hai personalizzato in uno dei seguenti modi: + Nella console Amazon Bedrock, scegli **Modelli personalizzati** dal riquadro di navigazione a sinistra. Trova il nome del tuo modello personalizzato nell'elenco dei **modelli** o selezionalo e trova il **modello ARN nei dettagli** del **modello**. + Invia una [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)richiesta e trova il `modelArn` valore `modelName` o il valore del tuo modello personalizzato nella risposta. 1. Modifica il `body` valore della [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)richiesta negli esempi seguenti in modo che corrisponda al formato del corpo del modello trovandolo in[Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md). Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura: ------ #### [ AWS CLI ] 1. Inviate una [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)richiesta per creare un Provisioned Throughput senza impegno chiamato*MyPT*, eseguendo il seguente comando in un terminale: ``` aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id amazon.nova-lite-v1:0:24k ``` 1. La risposta restituisce un `provisioned-model-arn`. Attendi del tempo per il completamento della creazione. Per verificarne lo stato, invia una [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)richiesta e fornisci il nome o l'ARN del modello fornito come`provisioned-model-id`, eseguendo il comando seguente: ``` aws bedrock get-provisioned-model-throughput \ --provisioned-model-id ${provisioned-model-arn} ``` 1. Esegui l'inferenza con il modello fornito inviando una richiesta. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Fornire l'ARN del modello fornito che è stato restituito nella `CreateProvisionedModelThroughput` risposta, come. `model-id` L'output viene scritto in un file denominato *output.txt* nella cartella corrente. ``` aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{ "messages": [{ "role": "user", "content": [{ "text": "Hello" }] }], "inferenceConfig": { "temperature":0.7 } }' \ --cli-binary-format raw-in-base64-out \ output.txt ``` 1. Inviate una [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)richiesta per eliminare il Provisioned Throughput utilizzando il seguente comando. Non ti verrà più addebitato alcun costo per il Provisioned Throughput. ``` aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT ``` ------ #### [ Python (Boto) ] I seguenti frammenti di codice illustrano la creazione di un Provisioned Throughput, l'acquisizione di informazioni al riguardo e l'utilizzo del Provisioned Throughput. 1. Per creare un Provisioned Throughput chiamato senza impegno *MyPT* e assegnare l'ARN del Provisioned Throughput a una variabile chiamata, invia la seguente richiesta: *provisioned\$1model\$1arn* [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) ``` import boto3 provisioned_model_name = 'MyPT' bedrock = boto3.client(service_name='bedrock') response = bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName=provisioned_model_name, modelId='amazon.nova-lite-v1:0:24k' ) provisioned_model_arn = response['provisionedModelArn'] ``` 1. Attendi del tempo per il completamento della creazione. Puoi verificarne lo stato con il seguente frammento di codice. È possibile fornire il nome del Provisioned Throughput o l'ARN restituito dalla [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)risposta come. `provisionedModelId` ``` bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` 1. Esegui l'inferenza con il tuo modello fornito aggiornato con il seguente comando e utilizzando l'ARN del modello fornito come. `modelId` ``` import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = provisioned-model-arn body = json.dumps({ "inputText": "what isAWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main() ``` 1. Eliminate il Provisioned Throughput con il seguente frammento di codice. Il Provisioned Throughput non ti verrà più addebitato. ``` bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` ------ # Quote per Amazon Bedrock Hai Account AWS delle quote predefinite, precedentemente denominate limiti, per Amazon Bedrock. Per visualizzare le quote di servizio per Amazon Bedrock, effettua una delle seguenti operazioni: + Segui i passaggi indicati in [Visualizzazione delle quote di servizio](https://docs.aws.amazon.com/servicequotas/latest/userguide/gs-request-quota.html) e seleziona **Amazon Bedrock** come servizio. + Fai riferimento alle [quote di servizio di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) in Riferimenti generali di AWS. L’inferenza del modello in Amazon Bedrock è controllata da quote sull’utilizzo dei token. Alcuni modelli utilizzano i token a una frequenza più elevata. Per ulteriori informazioni su tale frequenza e su come ottimizzare l’utilizzo dei token, consulta [Come vengono conteggiati i token in Amazon Bedrock](quotas-token-burndown.md). Per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock, le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, cronologia dei pagamenti, utilizzo fraudolento, and/or approvazione di una [richiesta di aumento delle quote](quotas-increase.md). **Topics** + [Come vengono conteggiati i token in Amazon Bedrock](quotas-token-burndown.md) + [Monitoraggio dell’utilizzo dei token contando i token prima di eseguire l’inferenza](count-tokens.md) + [Richiesta di un aumento delle quote di Amazon Bedrock](quotas-increase.md) # Come vengono conteggiati i token in Amazon Bedrock Quando viene eseguita l’inferenza del modello, sono previste quote sul numero di token elaborabili in base al modello Amazon Bedrock in uso. Rivedere la seguente terminologia relativa alle quote dei token: **** | Termine | Definizione | | --- | --- | | InputTokenCount | La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token in una richiesta fornita come input al modello. | | OutputTokenCount | La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token generati dal modello in risposta a una richiesta. | | CacheReadInputTokens | La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token di input che sono stati recuperati con successo da una cache anziché essere rielaborati dal modello. Questo valore è 0 se non si utilizza il [caching dei prompt](prompt-caching.md). | | CacheWriteInputTokens | La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token di input che sono stati scritti correttamente nella cache. Questo valore è 0 se non si utilizza il [caching dei prompt](prompt-caching.md). | | Token al minuto (TPM) | Una quota stabilita AWS a livello di modello sul numero di token (inclusi input e output) che puoi utilizzare in un minuto. | | Token al giorno (TPD) | Una quota stabilita AWS a livello di modello sul numero di token (inclusi input e output) che è possibile utilizzare in un giorno. Per impostazione predefinita, questo valore è TPM x 24 x 60. Tuttavia, i nuovi Account AWS hanno quote ridotte. | | Richieste al minuto (RPM) | Una quota stabilita AWS a livello di modello sul numero di richieste che è possibile inviare in un minuto. | | max\$1tokens | Un parametro fornito nella richiesta per impostare la quantità massima di token di output che il modello può generare. | | Tasso di consumo | Il tasso con cui i token di input e output vengono convertiti in utilizzo di quote di token per il sistema di limitazione della larghezza di banda della rete. | La frequenza di esaurimento per i modelli Anthropic Claude versione 3.7 e successive è di **5 volte superiore per i token di output (1 token** di output consuma 5 token delle quote): Per tutti gli altri modelli, il tasso di consumo è di **1:1** (1 token di output consuma 1 token della quota). **Topics** + [Comprendere la gestione delle quote di token](#quotas-token-burndown-management) + [Comprendere l’impatto del parametro max\$1tokens](#quotas-token-burndown-max-tokens) + [Ottimizzazione del parametro max\$1tokens](#quotas-token-burndown-max-tokens-optimize) ## Comprendere la gestione delle quote di token Quando viene effettuata una richiesta, i token vengono detratti dalle quote TPM e TPD. I calcoli vengono effettuati nelle seguenti fasi: + **All’inizio della richiesta**: supponendo che non sia stata superata la quota RPM, dalle quote viene detratta la seguente somma. La richiesta viene limitata se si supera una quota. ``` Total input tokens + max_tokens ``` + **Durante l’elaborazione**: la quota consumata dalla richiesta viene periodicamente adeguata per tenere conto del numero effettivo di token di output generati. + **Al termine della richiesta**: il numero totale di token consumati dalla richiesta verrà calcolato come segue e tutti i token non utilizzati verranno reintegrati nella quota dell’utente: ``` InputTokenCount + CacheWriteInputTokens + (OutputTokenCount x burndown rate) ``` Se non si utilizza il [caching dei prompt](prompt-caching.md), `CacheWriteInputTokens` è 0. `CacheReadInputTokens` non contribuiscono a questo calcolo. **Nota** Viene addebitato solo l’utilizzo effettivo del token. Ad esempio, se viene utilizzato Anthropic Claude Sonnet 4 e viene inviata una richiesta contenente 1.000 token di input che genera una risposta equivalente a 100 token: **1.500 token** (1.000 \$1 100 x 5) verranno dedotti dalle quote TPM e TPD. Verranno fatturati solo **1.100 token.** ## Comprendere l’impatto del parametro max\$1tokens Il valore `max_tokens` viene detratto dalla quota all’inizio di ogni richiesta. Se il limite delle quote TPM viene raggiunto prima del previsto, provare a ridurle `max_tokens` per approssimare meglio la dimensione dei completamenti. Gli scenari seguenti forniscono esempi di come avrebbe funzionato la detrazione delle quote in base alle richieste completate utilizzando un modello con un tasso di consumo 5x per i token di output: ### Scenario 1: valore max\$1tokens elevato Assumere i seguenti parametri: + **InputTokenCount: 3.000** + **CacheReadInputTokens: 4.000** + **CacheWriteInputTokens: 1.000** + **OutputTokenCount:** 1.000 + **max\$1tokens:** 32.000 Vengono effettuate le seguenti detrazioni di quote: + **Detrazione iniziale quando viene effettuata la richiesta:** 40.000 (= 3.000 \$1 4.000 \$1 1.000 \$1 32.000) + **Detrazione rettificata finale dopo che viene generata la risposta:** 9.000 (= 3.000 \$1 1.000 \$1 1.000 x 5) In questo scenario, è possibile effettuare meno richieste simultanee perché il parametro `max_tokens` è impostato su un valore troppo elevato. Di conseguenza vengono ridotti la concomitanza delle richieste, lo throughput e l’utilizzo delle quote, poiché la capacità della quota TPM verrebbe raggiunta rapidamente. ### Scenario 2: valore max\$1tokens ottimizzato Assumere i seguenti parametri: + **InputTokenCount:** 3.000 + **CacheReadInputTokens: 4.000** + **CacheWriteInputTokens: 1.000** + **OutputTokenCount:** 1.000 + **max\$1tokens:** 1.250 Vengono effettuate le seguenti detrazioni di quote: + **Detrazione iniziale quando viene effettuata la richiesta:** 9.250 (= 3.000 \$1 4.000 \$1 1.000 \$1 1.250) + **Detrazione rettificata finale dopo che viene generata la risposta:** 9.000 (= 3.000 \$1 1.000 \$1 1.000 x 5) In questo scenario, il parametro `max_tokens` è stato ottimizzato, poiché la detrazione iniziale è solo leggermente superiore alla detrazione rettificata finale. Di conseguenza sono aumentati la concomitanza delle richieste, lo throughput e l’utilizzo delle quote. ## Ottimizzazione del parametro max\$1tokens L’ottimizzazione del parametro `max_tokens` consente di utilizzare in modo efficiente la capacità di quote allocata. Per aiutarti a prendere decisioni su questo parametro, puoi utilizzare Amazon CloudWatch, che raccoglie automaticamente le metriche dai AWS servizi, inclusi i dati sull'utilizzo dei token in Amazon Bedrock. I token vengono registrati nelle metriche di runtime `InputTokenCount` e `OutputTokenCount`. Per ulteriori metriche, consultare [Metriche di runtime Amazon Bedrock](monitoring.md#runtime-cloudwatch-metrics). Per utilizzare il CloudWatch monitoraggio per prendere decisioni in merito al `max_tokens` parametro, procedi come segue in: Console di gestione AWS 1. Accedi alla CloudWatch console Amazon all'indirizzo [https://console.aws.amazon.com/cloudwatch.](https://console.aws.amazon.com/cloudwatch) 1. Nel riquadro di navigazione a sinistra seleziona **Pannelli di controllo**. 1. Seleziona la scheda **Pannelli di controllo automatici**. 1. Seleziona **Bedrock**. 1. Nella dashboard **Conteggio dei token per modello**, seleziona l’icona di espansione. 1. Seleziona un intervallo di tempo e i parametri dell’intervallo per le metriche in modo da tenere conto dei picchi di utilizzo. 1. Dal menu a discesa **Somma**, puoi scegliere diverse metriche per osservare l’utilizzo del token. Esamina queste metriche per orientare la tua decisione in merito all’impostazione del valore `max_tokens`. # Monitoraggio dell’utilizzo dei token contando i token prima di eseguire l’inferenza Quando esegui l’inferenza del modello, il numero di token inviati nell’input contribuisce al costo della richiesta e alla quota di token che puoi utilizzare al minuto e al giorno. L'[CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API consente di stimare l'utilizzo dei token prima di inviare richieste ai modelli di base restituendo il conteggio dei token che verrebbe utilizzato se lo stesso input fosse inviato al modello in una richiesta di inferenza. **Nota** L'utilizzo dell'[CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API non comporta costi. Il conteggio dei token è specifico per ogni modello, poiché modelli diversi utilizzano strategie di tokenizzazione diverse. Il conteggio dei token restituito da questa operazione corrisponderà al conteggio dei token che verrebbe addebitato se lo stesso input fosse inviato al modello per eseguire l’inferenza. Puoi usare l’API `CountTokens` per effettuare quanto segue: + Stimare i costi prima di inviare richieste di inferenza. + Ottimizzare i prompt per adattarli ai limiti dei token. + Pianificare l’utilizzo dei token nelle applicazioni. **Topics** + [Modelli e Regioni supportati per il conteggio dei token](#count-tokens-supported) + [Conteggio dei token in una richiesta](#count-tokens-use) + [Provare un esempio](#count-tokens-example) ## Modelli e Regioni supportati per il conteggio dei token La tabella seguente mostra il supporto del modello di base per il conteggio dei token: | Provider | Modello | ID modello | Supporto per modelli a regione singola | | --- | --- | --- | --- | | Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | | Anthropic | Claude 3.5 Sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-southeast-1 eu-central-1 eu-central-2 us-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | ap-southeast-2 us-west-2 | | Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | eu-west-2 | | Anthropic | Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | | | Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | | ## Conteggio dei token in una richiesta Per contare il numero di token di input in una richiesta di inferenza, invia una [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)richiesta con un [endpoint di runtime Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt), specifica il modello nell'intestazione e l'input per cui contare i token nel campo. `body` [Il valore del `body` campo dipende dal fatto che tu stia contando i token di input per una richiesta o Converse: [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) + Per una richiesta `InvokeModel`, il formato di `body` è una stringa che rappresenta un oggetto JSON il cui formato dipende dal modello specificato. + Per una richiesta `Converse`, il formato di `body` è un oggetto JSON che specifica i prompt `messages` e `system` inclusi nella conversazione. ## Provare un esempio Gli esempi in questa sezione consentono di contare i token per una richiesta `InvokeModel` e `Converse` con Anthropic Claude 3 Haiku. **Prerequisiti** + Hai scaricato AWS SDK per Python (Boto3) e la configurazione è configurata in modo tale che le tue credenziali e la AWS regione predefinita vengano riconosciute automaticamente. + L’identità IAM dispone delle autorizzazioni per le seguenti azioni (per ulteriori informazioni, consulta [Azioni, risorse e chiavi di condizione per Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html)): + bedrock: CountTokens — Consente l'utilizzo di. `CountTokens` + bedrock: InvokeModel — Consente l'utilizzo di `InvokeModel` e. `Converse` Dovrebbe essere limitato a*arn:\$1\$1Partition\$1:bedrock:\$1\$1Region\$1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0*, come minimo. Per provare a contare i token per una [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)richiesta, esegui il seguente codice Python: ``` import boto3 import json bedrock_runtime = boto3.client("bedrock-runtime") input_to_count = json.dumps({ "anthropic_version": "bedrock-2023-05-31", "max_tokens": 500, "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }) response = bedrock_runtime.count_tokens( modelId="anthropic.claude-3-5-haiku-20241022-v1:0", input={ "invokeModel": { "body": input_to_count } } ) print(response["inputTokens"]) ``` Per provare a contare i token per una richiesta [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), esegui il seguente codice Python: ``` import boto3 import json bedrock_runtime = boto3.client("bedrock-runtime") input_to_count = { "messages": [ { "role": "user", "content": [ { "text": "What is the capital of France?" } ] }, { "role": "assistant", "content": [ { "text": "The capital of France is Paris." } ] }, { "role": "user", "content": [ { "text": "What is its population?" } ] } ], "system": [ { "text": "You're an expert in geography." } ] } response = bedrock_runtime.count_tokens( modelId="anthropic.claude-3-5-haiku-20241022-v1:0", input={ "converse": input_to_count } ) print(response["inputTokens"]) ``` # Richiesta di un aumento delle quote di Amazon Bedrock La procedura da seguire per richiedere un aumento delle quote per il tuo account dipende dal valore nella colonna **Regolabile** nella tabella delle quote in [Quote di servizio di Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock): + Se una quota è contrassegnata con **Sì**, puoi modificarla seguendo la procedura riportata nella sezione [Richiesta di aumento delle quote](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) nella Guida per l’utente di Service Quotas. + Per qualsiasi modello, puoi richiedere un aumento per le quote seguenti: + Token InvokeModel multi-Regione al minuto per *\$1\$1model\$1* + Richieste InvokeModel multi-Regione al minuto per *\$1\$1model\$1* + Token InvokeModel on demand al minuto per *\$1\$1model\$1* + Richieste InvokeModel on demand al minuto per *\$1\$1model\$1* + Numero massimo di token di invocazione del modello al giorno per *\$1\$1model\$1* Per richiedere un aumento per una qualsiasi combinazione di queste quote, richiedi un aumento per la quota **Token InvokeModel multi-Regione al minuto per *\$1\$1model\$1*** seguendo la procedura riportata in [Richiesta di aumento delle quote](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) nella Guida per l’utente di Service Quotas. Al termine dell’operazione, il team di supporto ti contatterà e ti offrirà la possibilità di aumentare anche le altre quattro quote. **Nota** A causa dell’enorme domanda, verrà data priorità ai clienti che generano traffico che utilizza la loro assegnazione di quote esistenti. La tua richiesta potrebbe essere rifiutata se non soddisfi questa condizione. # Caching dei prompt per un’inferenza del modello più rapida Il caching dei prompt è una funzionalità facoltativa che si può utilizzare con i modelli supportati in Amazon Bedrock per ridurre la latenza di risposta all’inferenza e i costi dei token di input. Aggiungendo parti del contesto a una cache, il modello può sfruttarla per evitare il ricalcolo degli input, permettendo a Bedrock di condividere i risparmi in termini di calcolo e di ridurre le latenze di risposta. Il caching dei prompt può essere utile quando sono presenti carichi di lavoro con contesti lunghi e ripetuti spesso riutilizzati per più query. Ad esempio, se si dispone di un chatbot in cui gli utenti possono caricare documenti e successivamente porre domande sui documenti stessi, il modello può richiedere molto tempo per elaborare il documento ogni volta che l’utente fornisce un input. Con il caching dei prompt, è possibile memorizzare nella cache il documento in modo che le future query contenenti il documento non debbano elaborarlo nuovamente. Quando si utilizza il caching dei prompt, viene addebitata una tariffa ridotta per i token letti dalla cache. In base al modello, i token scritti nella cache possono essere addebitati a una tariffa superiore a quella dei token di input non memorizzati nella cache. Tutti i token non letti da o scritti nella cache vengono addebitati alla tariffa standard dei token di input per il modello specifico. Per ulteriori informazioni, consulta la pagina [Prezzi di Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/). ## Come funziona Se si sceglie di utilizzare il caching dei prompt, Amazon Bedrock creare una cache composta di *punti di controllo della cache*. Si tratta di indicatori che definiscono la sottosezione contigua del prompt da memorizzare nella cache (spesso denominata prefisso del prompt). Tali prefissi devono essere statici tra le richieste e le modifiche al prefisso del prompt nelle richieste successive comportano errori nella cache. I punti di controllo della cache hanno un numero minimo e massimo di token, in base al modello specifico in uso. Si può creare un punto di controllo della cache solo se il prefisso totale del prompt soddisfa il numero minimo di token. Ad esempio, il modello Anthropic Claude 3.7 Sonnet richiede almeno 1.024 token per punto di controllo della cache. Ciò significa che il primo punto di controllo della cache può essere definito dopo 1.024 token, mentre il secondo può essere definito dopo 2.048 token. Se si prova ad aggiungere un punto di controllo della cache prima di raggiungere il numero minimo di token, l’inferenza ha comunque esito positivo, ma il prefisso non viene memorizzato nella cache. La cache ha un Time To Live (TTL), che si ripristina a ogni accesso riuscito alla cache. Durante questo periodo, il contesto nella cache viene mantenuto. Se non si verificano accessi alla cache nell’intervallo TTL, la cache scade. La maggior parte dei modelli supporta un TTL di 5 minuti, mentre il formato Claude Opus 4.5Claude Haiku 4.5, e supporta Claude Sonnet 4.5 anche un'opzione TTL estesa di 1 ora. È possibile utilizzare il caching dei prompt ogni volta che si ottiene l’inferenza del modello in Amazon Bedrock per i modelli supportati. Il caching dei prompt è supportato dalle seguenti funzionalità di Amazon Bedrock: **Converse e ConverseStream APIs** È possibile continuare una conversazione con un modello in cui si specificano i punti di controllo della cache nei prompt. **InvokeModel e InvokeModelWithResponseStream APIs** È possibile inviare richieste di prompt singole in cui si può abilitare il caching dei prompt e specificare i punti di controllo della cache. **Caching dei prompt con inferenza tra Regioni** Il caching dei prompt può essere utilizzato con l’inferenza tra Regioni. L'inferenza interregionale seleziona automaticamente la AWS regione ottimale all'interno dell'area geografica per soddisfare la richiesta di inferenza, massimizzando così le risorse disponibili e la disponibilità del modello. Nei momenti di maggiore richiesta, tali ottimizzazioni possono comportare un aumento delle scritture nella cache. **Gestione prompt di Amazon Bedrock** Quando si [crea](prompt-management-create.md) o si [modifica](prompt-management-modify.md) un prompt, è possibile scegliere di abilitare il caching dei prompt. In base al modello, è possibile memorizzare nella cache i prompt e le istruzioni di sistema e i messaggi (di utente e assistente). È inoltre possibile scegliere di disattivare il caching dei prompt. APIs Forniscono la massima flessibilità e il controllo granulare sulla cache dei prompt. È possibile impostare un punto di controllo della cache individuale all’interno dei prompt nonché aggiungere punti di controllo alla cache creandone altri, fino al numero massimo di punti di controllo consentito per il modello specifico. Per ulteriori informazioni, consulta [Modelli supportati, Regioni e limiti](#prompt-caching-models). ## Modelli supportati, Regioni e limiti Nella tabella seguente sono elencati i modelli supportati, i token minimi e il numero massimo di punti di controllo della cache relativi e i campi che consentono questi ultimi. | Nome modello | ID modello | Tipi di rilascio | Numero minimo di token per punto di controllo della cache | Numero massimo di punti di controllo della cache per richiesta | TTL supportato | Campi che accettano punti di controllo per il caching dei prompt | | --- | --- | --- | --- | --- | --- | --- | | Claude Opus4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | Disponibilità generale | 4,096 | 4 | 5 minuti, 1 ora | `system`, `messages` e `tools` | | Claude Opus4.1 | anthropic.claude-opus-4-1-20250805-v1:0 | Disponibilità generale | 1,024 | 4 | 5 minuti | `system`, `messages` e `tools` | | Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | Disponibilità generale | 1,024 | 4 | 5 minuti | `system`, `messages` e `tools` | | Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | Disponibilità generale | 1,024 | 4 | 5 minuti, 1 ora | `system`, `messages` e `tools` | | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | Disponibilità generale | 4,096 | 4 | 5 minuti, 1 ora | `system`, `messages` e `tools` | | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | Disponibilità generale | 1,024 | 4 | 5 minuti | `system`, `messages` e `tools` | | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | Disponibilità generale | 1,024 | 4 | 5 minuti | `system`, `messages` e `tools` | | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | Disponibilità generale | 2.048 | 4 | 5 minuti | `system`, `messages` e `tools` | | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | Anteprima | 1,024 | 4 | 5 minuti | `system`, `messages` e `tools` | | Amazon Nova Micro | Amazon. nova-micro-v1:0 | Disponibilità generale | 1.0001 | 4 | 5 minuti | `system` e `messages` | | Amazon Nova Lite | amazzone. nova-lite-v1:0 | Disponibilità generale | 1.0001 | 4 | 5 minuti | `system` e `messages`2 | | Amazon Nova Pro | amazzone. nova-pro-v1:0 | Disponibilità generale | 1.0001 | 4 | 5 minuti | `system` e `messages`2 | | Amazon Nova Premier | amazzone. nova-premier-v1:0 | Disponibilità generale | 1.0001 | 4 | 5 minuti | `system` e `messages`2 | | Amazon Nova 2 Lite | amazon.nova-2-lite-v1:0 | Disponibilità generale | 1.0001 | 4 | 5 minuti | `system` e `messages`2 | 1: i modelli Amazon Nova supportano un numero massimo di 20.000 token per il caching dei prompt. 2: il caching dei prompt è principalmente destinato ai prompt di testo. Per utilizzare l'opzione TTL di 1 ora con i modelli supportati (Claude Opus4.5, e)Claude Haiku 4.5, specifica il campo nel checkpoint della cache. Claude Sonnet 4.5 `ttl` Nell'API Converse, aggiungi `"ttl": "1h"` al tuo oggetto. `cachePoint` Nell' InvokeModel API per i modelli Claude, aggiungi `"ttl": "1h"` al tuo `cache_control` oggetto. Se non viene fornito alcun `ttl` valore, si applica il comportamento predefinito di memorizzazione nella cache di 5 minuti. Il TTL di 1 ora è utile per sessioni di lunga durata o scenari di elaborazione in batch in cui si desidera mantenere la cache per periodi prolungati. In Amazon Nova è disponibile il caching dei prompt automatico per tutti prompt di testo, inclusi i messaggi `User` e `System`. Questo meccanismo può offrire vantaggi in termini di latenza quando i prompt iniziano con parti ripetitive, anche senza una configurazione esplicita. Per ottenere risparmi sui costi e garantire vantaggi più costanti in termini di prestazioni, si consiglia di scegliere **Caching dei prompt esplicito**. ## Gestione semplificata della cache per i modelli Claude Per i modelli Claude, Amazon Bedrock offre un approccio semplificato alla gestione della cache che riduce la complessità del posizionamento manuale dei punti di controllo della cache. Anziché richiedere di specificare le posizioni esatte dei punti di controllo della cache, è possibile utilizzare la gestione automatica della cache con un singolo punto di interruzione al termine del contenuto statico. Quando si abilita la gestione semplificata della cache, il sistema verifica automaticamente gli accessi alla cache in base ai limiti dei blocchi di contenuto precedenti, analizzando fino a circa 20 blocchi di contenuto dal punto di interruzione specificato. Ciò consente al modello di trovare il prefisso corrispondente più lungo nella cache senza la necessità di prevedere le posizioni ottimali dei punti di controllo. A tale scopo, posizionare un singolo punto di controllo della cache al termine del contenuto statico, prima di qualsiasi contenuto dinamico o variabile. Il sistema trova automaticamente la migliore corrispondenza nella cache. Per un controllo più granulare, è comunque possibile utilizzare più punti di controllo della cache (fino a 4 per i modelli Claude) per specificare i limiti esatti della cache. È necessario utilizzare più punti di controllo della se si memorizzano nella cache sezioni che cambiano con frequenze diverse o se si desidera un maggiore controllo su ciò che viene esattamente memorizzato nella cache. **Importante** Il controllo automatico del prefisso analizza solo circa 20 blocchi di contenuto dal punto di controllo della cache. Se il contenuto statico si estende oltre questo intervallo, prendere in considerazione l’utilizzo di più punti di controllo della cache o la nuova creazione di del prompt per inserire i contenuti riutilizzati più frequentemente all’interno dell’intervallo. ## Come utilizzare efficacemente il prompt caching Se hai prompt che vengono utilizzati a cadenza regolare (ad esempio, prompt di sistema che vengono utilizzati più frequentemente di ogni 5 minuti), continua a utilizzare la cache da 5 minuti, poiché questa continuerà ad essere aggiornata senza costi aggiuntivi. La cache da 1 ora viene utilizzata al meglio nei seguenti scenari: + Quando vengono visualizzati prompt che probabilmente vengono utilizzati meno frequentemente di 5 minuti, ma più frequentemente di ogni ora. Ad esempio, quando un agente secondario agentico impiega più di 5 minuti o quando memorizza una lunga conversazione in chat con un utente e generalmente ti aspetti che quell'utente non risponda nei prossimi 5 minuti. + Quando la latenza è importante e le richieste di follow-up possono essere inviate per più di 5 minuti. + Quando si desidera migliorare l'utilizzo del limite di frequenza, poiché gli accessi alla cache non vengono detratti dal limite di frequenza. È possibile utilizzare i controlli della cache da 1 ora e da 5 minuti nella stessa richiesta, ma con un vincolo importante: le voci della cache con TTL più lungo devono apparire prima delle voci di cache più corte TTLs (ad esempio, una voce della cache di 1 ora deve apparire prima di qualsiasi voce della cache di 5 minuti). ## Nozioni di base Le sezioni seguenti mostrano una breve panoramica su come utilizzare la funzionalità di caching dei prompt per ogni metodo di interazione con i modelli tramite Amazon Bedrock. ### API Converse L’API [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) offre opzioni avanzate e flessibili per implementare il caching dei prompt conversazioni a più turni. Per ulteriori informazioni sui requisiti dei prompt per ogni modello, consulta la sezione [Modelli supportati, Regioni e limiti](#prompt-caching-models) precedente. **Richiesta di esempio** Gli esempi seguenti mostrano un punto di controllo della cache impostato nel campo `messages`, `system` o `tools` di una richiesta all’API Converse. È possibile posizionare punti di controllo in una qualsiasi di queste posizioni per una determinata richiesta. Ad esempio, se si invia una richiesta al modello Claude 3.5 Sonnet v2, è possibile inserire due punti di controllo della cache in`messages`, uno in `system` e uno in `tools`. Per ulteriori informazioni e per esempi di strutturazione e invio di richieste API Converse, consulta [Avvio di una conversazione con le operazioni dell’API Converse](conversation-inference.md). Specificate il valore ttl desiderato come di seguito, quando il valore ttl non è specificato, si applica il comportamento predefinito di 5 minuti di memorizzazione nella cache. ``` "cachePoint" : { "type": "default", "ttl" : "5m | 1h" } ``` ------ #### [ messages checkpoints ] In questo esempio, il primo campo `image` fornisce un’immagine al modello e il secondo campo `text` chiede al modello di analizzare l’immagine. Fino a quando il numero di token che precedono `cachePoint` nell’oggetto `content` soddisfa il numero di token minimo per il modello, viene creato un punto di controllo della cache. ``` ... "messages": [ { "role": "user", "content": [ { "image": { "bytes": "asfb14tscve..." } }, { "text": "What's in this image?" }, { "cachePoint": { "type": "default" } } ] } ] ... ``` ------ #### [ system checkpoints ] In questo esempio, il prompt di sistema viene fornito nel campo `text`. Si può anche aggiungere un campo `cachePoint` per memorizzare nella cache il prompt di sistema. ``` ... "system": [ { "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. " }, { "cachePoint": { "type": "default" } } ], ... ``` ------ #### [ tools checkpoints ] In questo esempio, la definizione dello strumento viene fornita nel campo `toolSpec`. In alternativa, è possibile chiamare uno strumento definito in precedenza. Per ulteriori informazioni, consulta [Utilizzo di uno strumento per completare una risposta al modello Amazon Bedrock](tool-use.md). Successivamente, è possibile aggiungere un campo `cachePoint` per memorizzare lo strumento nella cache. ``` ... toolConfig={ "tools": [ { "toolSpec": { "name": "top_song", "description": "Get the most popular song played on a radio station.", "inputSchema": { "json": { "type": "object", "properties": { "sign": { "type": "string", "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP." } }, "required": [ "sign" ] } } } }, { "cachePoint": { "type": "default" } } ] } ... ``` ------ Il modello di risposta dell'ConverseAPI include tre nuovi campi specifici per il prompt caching. I valori `CacheReadInputTokens` e `CacheWriteInputTokens` indicano quanti token sono stati letti e scritti dalla e nella cache a causa della richiesta precedente. I `CacheDetails` valori indicano il ttl usato per il numero di token scritti nella cache. Si tratta dei valori che vengono addebitati da Amazon Bedrock, a una tariffa inferiore al costo dell’inferenza del modello completa. ### InvokeModel API Il prompt caching è abilitato per impostazione predefinita quando si chiama l'[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)API. È possibile impostare i punti di controllo della cache in qualsiasi punto del corpo della richiesta, in modo analogo all’esempio precedente per l’API Converse. ------ #### [ Anthropic Claude ] L'esempio seguente mostra come strutturare il corpo della InvokeModel richiesta per il modello Anthropic Claude 3.5 Sonnet v2. Nota che il formato e i campi esatti del corpo delle InvokeModel richieste possono variare a seconda del modello scelto. Per visualizzare il formato e il contenuto dei corpi di richiesta e risposta per modelli diversi, consulta [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md). Specificate il valore ttl desiderato come di seguito, quando il valore ttl non è specificato, si applica il comportamento predefinito di 5 minuti di memorizzazione nella cache. ``` "cache_control" : { "type": "ephemeral", "ttl" : "5m | 1h" } ``` ``` body={ "anthropic_version": "bedrock-2023-05-31", "system":"Reply concisely", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe the best way to learn programming." }, { "type": "text", "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.", "cache_control": { "type": "ephemeral" } } ] } ], "max_tokens": 2048, "temperature": 0.5, "top_p": 0.8, "stop_sequences": [ "stop" ], "top_k": 250 } ``` ------ #### [ Amazon Nova ] L'esempio seguente mostra come strutturare il corpo della InvokeModel richiesta per il modello. Amazon Nova Nota che il formato e i campi esatti del corpo InvokeModel delle richieste possono variare a seconda del modello scelto. Per visualizzare il formato e il contenuto dei corpi di richiesta e risposta per modelli diversi, consulta [Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione](model-parameters.md). ``` { "system": [{ "text": "Reply Concisely" }], "messages": [{ "role": "user", "content": [{ "text": "Describe the best way to learn programming" }, { "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.", "cachePoint": { "type": "default" } }] }], "inferenceConfig": { "maxTokens": 300, "topP": 0.1, "topK": 20, "temperature": 0.3 } } ``` ------ Per ulteriori informazioni sull'invio di una InvokeModel richiesta, vedere[Invia una sola richiesta con InvokeModel](inference-invoke.md). ### Playground In un playground di chat nella console Amazon Bedrock, è possibile attivare l’opzione di caching dei prompt in modo che Amazon Bedrock crei automaticamente i punti di controllo della cache. Per iniziare a utilizzare prompt in un playground Amazon Bedrock, segui le istruzioni presenti in [Generare risposte nella console utilizzando i playground](playgrounds.md). Per i modelli supportati, il caching dei prompt viene attivato automaticamente nel playground. In caso contrario, segui questa procedura per attivare il caching dei prompt: 1. Nel pannello laterale sinistro, apri il menu **Configurazioni**. 1. Attiva l’interruttore **Caching dei prompt**. 1. Esegui i prompt. Dopo che le risposte combinate di input e del modello hanno raggiunto il numero minimo richiesto di token per un punto di controllo (che varia in base al modello), Amazon Bedrock crea automaticamente il primo punto di controllo della cache. Man mano che continui a chattare, ogni volta che si raggiunge il numero minimo di token viene creato un nuovo punto di controllo, fino al numero massimo di punti di controllo consentito per il modello. Per visualizzare i punti di controllo della cache, in qualsiasi momento seleziona **Visualizza i punti di controllo della cache** accanto all’interruttore **Caching dei prompt**, come mostrato nella schermata seguente. ![\[Interruttore dell’interfaccia utente per il caching dei prompt in un playground di testo in Amazon Bedrock.\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-ui-toggle.png) Per visualizzare il numero di token letti e scritti dalla e nella cache a causa di ogni interazione con il modello, apri la finestra popup **Parametri di caching** (![\[The metrics icon shown in model responses when prompt caching is enabled.\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics-icon.png)) nelle risposte del playground. ![\[Casella dei parametri di caching che mostra il numero di token letti e scritti dalla e nella cache.\]](http://docs.aws.amazon.com/it_it/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics.png) Se disattivi l’interruttore di caching dei prompt durante una conversazione, puoi continuare a chattare con il modello.