Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Inferenza globale interregionale
L'inferenza interregionale globale estende l'inferenza interregionale oltre i confini geografici, consentendo l'indirizzamento delle richieste di inferenza alle aziende commerciali supportate in tutto il mondo. Regioni AWS
Vantaggi dell'inferenza globale interregionale
Con l'inferenza interregionale globale per il modello Anthropic Claude Sonnet 4.5, ottieni i seguenti vantaggi rispetto a un profilo di inferenza geografico interregionale:
-
Cost-efficiency— Risparmi circa il 10% sui prezzi dei token di input e output rispetto all'inferenza geografica interregionale. Amazon Bedrock calcola il prezzo in base alla fonte Regione AWS da cui si effettua la richiesta (la fonte). Regione AWS
-
Monitoraggio semplificato: quando si utilizza l'inferenza globale interregionale, si CloudTrail continuano a registrare le voci di registro nella fonte Regione AWS, semplificando l'osservabilità CloudWatch e la gestione. Anche se le richieste vengono elaborate in tutto Regioni AWS il mondo, è possibile mantenere una visione centralizzata delle prestazioni e dei modelli di utilizzo dell'applicazione tramite i familiari strumenti di monitoraggio. AWS
-
Routing delle richieste in tutto il mondo: grazie all'inferenza globale interregionale, le richieste possono essere elaborate mediante calcolo presso le aziende commerciali supportate in tutto Regioni AWS il mondo anziché all'interno di una singola area geografica.
Considerazioni sull'inferenza globale interregionale
Nota le seguenti informazioni sull'inferenza globale tra regioni:
-
Per le quote di throughput interregionali predefinite quando utilizzi i profili di inferenza globali, consulta le quote di inferenza del Cross-region modello globale al minuto per $ {Model} e i token di inferenza del Cross-region modello globale al minuto per i valori $ {Model} nelle quote dei servizi Amazon Bedrock nella Guida generale. AWS
Puoi richiedere, visualizzare e gestire le quote per il Global Cross-Region Inference Profile dalla console Service Quotas o utilizzando i comandi CLI nella tua regione di origine.
AWS
Requisiti delle policy IAM per l'inferenza globale tra regioni
Per abilitare l'inferenza globale interregionale per i tuoi utenti, devi applicare una policy IAM in tre parti al ruolo. Di seguito è riportato un esempio di policy IAM per fornire un controllo granulare. Puoi sostituire <REQUESTING REGION> nell'esempio la policy con quella in cui Regione AWS stai operando.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "GrantGlobalCrisInferenceProfileRegionAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "<REQUESTING REGION>" } } }, { "Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:<REQUESTING REGION>::foundation-model/<MODEL NAME>" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "<REQUESTING REGION>", "bedrock:InferenceProfileArn": "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>" } } }, { "Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/<MODEL NAME>" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified", "bedrock:InferenceProfileArn": "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>" } } } ] }
La prima parte della politica consente l'accesso al profilo di inferenza regionale contenuto nella richiesta. Regione AWS La seconda parte fornisce l'accesso alla risorsa FM regionale. La terza parte consente l'accesso alla risorsa FM globale, che abilita la funzionalità di routing interregionale.
Quando implementi queste politiche, includi tutte e tre le risorse Amazon Resource Names (ARN) nelle tue dichiarazioni IAM:
-
Il profilo di inferenza regionale ARN segue lo schema.
arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAMEUtilizzate questo ARN per concedere l'accesso al profilo di inferenza globale nella sorgente. Regione AWS -
Il Regional FM utilizza.
arn:aws:bedrock:REGION::foundation-model/MODEL-NAMEUsa questo ARN per concedere l'accesso all'FM nella sorgente Regione AWS. -
L'FM globale richiede
arn:aws:bedrock:::foundation-model/MODEL-NAME. Usa questo ARN per concedere l'accesso all'FM in diversi globali Regioni AWS.
Nell'ARN FM globale non è specificato Regione AWS alcun account, il che è intenzionale e necessario per la funzionalità interregionale.
Disabilita l'inferenza globale interregionale
È possibile scegliere tra due approcci principali per implementare politiche di negazione al CRIS globale per ruoli IAM specifici, ciascuno con casi d'uso e implicazioni diversi:
-
Rimuovere una policy IAM: il primo metodo prevede la rimozione di una o più delle tre politiche IAM richieste dalle autorizzazioni utente. Poiché il CRIS globale richiede il funzionamento di tutte e tre le policy, la rimozione di una policy comporterà l'accesso negato.
-
Implementazione di una politica di rifiuto: il secondo approccio consiste nell'implementare una politica di rifiuto esplicita che si rivolga specificamente ai profili di inferenza CRIS globali. Questo metodo fornisce una documentazione chiara dell'intento di sicurezza e assicura che, anche se qualcuno aggiunge accidentalmente le politiche di autorizzazione richieste in un secondo momento, il rifiuto esplicito avrà la precedenza. La politica di rifiuto deve utilizzare una condizione corrispondente allo schema.
StringEquals"aws:RequestedRegion": "unspecified"Questo modello si rivolge specificamente ai profili di inferenza con ilglobalprefisso.
Quando si implementano politiche di negazione, è fondamentale capire che il CRIS globale cambia il comportamento del campo. aws:RequestedRegion Le politiche di rifiuto Regione AWS basate su criteri tradizionali che utilizzano StringEquals condizioni con Regione AWS nomi specifici, ad esempio non "aws:RequestedRegion":
"us-west-2" funzioneranno come previsto con il CRIS globale. Il servizio imposta questo campo global anziché la destinazione effettiva. Regione AWS Tuttavia, come detto in precedenza, "aws:RequestedRegion": "unspecified" produrrà l'effetto di rifiuto.
Requisiti della politica di controllo dei servizi per l'inferenza globale tra regioni
Per l'inferenza globale tra regioni, se la politica di sicurezza della tua organizzazione utilizza SCP per bloccare le regioni inutilizzate, devi aggiornare le condizioni SCP specifiche della regione per consentire l'accesso con. "aws:RequestedRegion": "unspecified" Questa condizione è specifica dell'inferenza globale interregionale di Amazon Bedrock e garantisce che le richieste possano essere indirizzate a tutte le regioni commerciali supportate. AWS
L'esempio seguente SCP blocca tutte le chiamate AWS API al di fuori delle regioni approvate, consentendo al contempo le chiamate di inferenza interregionali di Amazon Bedrock Global che vengono utilizzate come regione per il routing globale: "unspecified"
{ "Version": "2012-10-17", "Statement": [ { "Sid": "DenyAllOutsideApprovedRegions", "Effect": "Deny", "Action": "*", "Resource": "*", "Condition": { "StringNotEquals": { "aws:RequestedRegion": [ "us-east-1", "us-east-2", "us-west-2", "unspecified" ] } } } ] }
Disattiva l'inferenza globale tra regioni
Le organizzazioni con requisiti di residenza o conformità dei dati dovrebbero valutare se l'inferenza globale interregionale si adatta al loro framework di conformità, poiché le richieste possono essere elaborate in altre regioni commerciali supportate. AWS Per disabilitare esplicitamente l'inferenza globale interregionale, implementa la seguente politica SCP:
{ "Effect": "Deny", "Action": "bedrock:*", "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" }, "ArnLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*" } } }
Questo SCP nega esplicitamente l'inferenza globale tra regioni perché l'"aws:RequestedRegion"is "unspecified" e la "ArnLike" condizione hanno come target i profili di inferenza con il prefisso nell'ARN. global
AWS implementazione della Control Tower
La modifica manuale degli SCP gestiti da AWS Control Tower è fortemente sconsigliata in quanto può causare deviazioni. Utilizza invece i meccanismi forniti da Control Tower per gestire queste eccezioni. I principi fondamentali prevedono l'estensione dei controlli esistenti in materia di negazione delle regioni o l'abilitazione delle regioni e quindi l'applicazione di una politica di blocco condizionale personalizzata.
Per una guida dettagliata e dettagliata sull'implementazione dell'inferenza interregionale con Control Tower, consulta il post sul blog Abilita l'inferenza interregionale di Amazon Bedrock in ambienti con più account. https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/
Aumenti del limite di richiesta per l'inferenza globale tra regioni
Quando si utilizzano i profili di inferenza CRIS globali, è possibile utilizzare il CRIS globale da oltre 20 fonti supportate. Regioni AWS Si tratta di un limite globale. Per visualizzare, gestire o aumentare le quote per i profili di inferenza globali interregionali, utilizza la console Service Quotas o la AWS CLI nella fonte richiesta. Regione AWS
Completa i passaggi seguenti per richiedere un aumento del limite:
-
Accedi alla console Service Quotas nel tuo AWS account.
-
Nel pannello di navigazione, scegliere servizi AWS .
-
Dall'elenco dei servizi, trova e scegli Amazon Bedrock.
-
Nell'elenco delle quote per Amazon Bedrock, utilizza il filtro di ricerca per trovare le quote CRIS globali specifiche. Ad esempio:
-
Token di inferenza di modelli globali interregionali al minuto per Anthropic Claude Sonnet 4.5 V1
-
-
Seleziona la quota che desideri aumentare.
-
Scegli Richiedi un aumento a livello di account.
-
Inserisci il nuovo valore della quota desiderato.
-
Scegli Richiesta per inviare la richiesta.
Nel calcolare l'aumento della quota richiesto, tieni conto del tasso di esaurimento. Il burndown rate è la velocità con cui i token di input e output vengono convertiti in utilizzo della quota di token per il sistema di limitazione. I seguenti modelli hanno una velocità di esaurimento dei token di output pari a 5 volte (1 token di output consuma 5 token delle quote):
-
Claude Opus 4 antropico
-
Sonetto antropico di Claude 4.5
-
Sonetto antropico Claude 4
-
Sonetto antropico Claude 3.7
Per tutti gli altri modelli, il tasso di consumo è di 1:1 (1 token di output consuma 1 token della quota). Per i token di input, il rapporto tra token e quota è 1:1. Il calcolo del numero totale di token per richiesta è il seguente:
Input token count + Cache write input tokens + (Output token count x
Burndown rate)
Usa l'inferenza globale interregionale
Per utilizzare l'inferenza globale interregionale con Claude Sonnet 4.5 di Anthropic, gli sviluppatori devono completare i seguenti passaggi chiave:
-
Usa l'ID del profilo di inferenza globale: quando effettui chiamate API ad Amazon Bedrock, specifica l'ID del profilo di inferenza globale Claude Sonnet 4.5 di Anthropic () invece di un ID del modello specifico.
global.anthropic.claude-sonnet-4-5-20250929-v1:0Regione AWS -
Configura le autorizzazioni IAM: concedi le autorizzazioni IAM appropriate per accedere al profilo di inferenza e agli FM nella potenziale destinazione. Regioni AWS
L'inferenza globale interregionale è supportata per:
-
On-demand inferenza del modello
-
Inferenza in batch
-
Agents (Agenti)
-
valutazione del modello
-
gestione dei prompt
-
Flussi rapidi
Nota
Il profilo di inferenza globale è supportato per l'inferenza On-demand del modello, l'inferenza batch, gli agenti, la valutazione del modello, la gestione dei prompt e i flussi rapidi.
Implementa l'inferenza globale interregionale
L'implementazione dell'inferenza globale interregionale con Claude Sonnet 4.5 di Anthropic è semplice e richiede solo poche modifiche al codice dell'applicazione esistente. Quello che segue è un esempio di come aggiornare il codice in Python:
import boto3 import json bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0" response = bedrock.converse( messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}], modelId=model_id, ) print("Response:", response['output']['message']['content'][0]['text']) print("Token usage:", response['usage']) print("Total tokens:", response['usage']['totalTokens'])