Aumentare il throughput con l’inferenza tra Regioni - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Aumentare il throughput con l’inferenza tra Regioni

L’inferenza tra Regioni consente di scegliere un profilo di inferenza tra Regioni legato a un’area geografica specifica (come Stati Uniti o UE) oppure un profilo di inferenza globale. Quando scegli un profilo di inferenza legato a un'area geografica specifica, Amazon Bedrock seleziona automaticamente la pubblicità ottimale Regione AWS all'interno di tale area geografica per elaborare la tua richiesta di inferenza. Con i profili di inferenza globali, Amazon Bedrock seleziona automaticamente la Regione AWS commerciale migliore per elaborare la richiesta, ottimizzando le risorse disponibili e aumentando il throughput del modello.

Entrambi i tipi di inferenza interregionale funzionano attraverso profili di inferenza, che definiscono un modello di base (FM) e il quale le richieste possono essere indirizzate. Regioni AWS Quando si esegui l’inferenza del modello in modalità on demand, le richieste potrebbero essere limitate dalle quote di servizio o durante i periodi di picco di utilizzo. L'inferenza interregionale consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione tra diversi sistemi. Regioni AWS

Per aumentare il throughput per un modello, è possibile acquistare Throughput allocato. I profili di inferenza attualmente non supportano throughput allocato.

Per visualizzare le Regioni e i modelli con cui è possibile utilizzare i profili di inferenza per eseguire l’inferenza tra Regioni, consulta Regioni e modelli supportati per i profili di inferenza.

Scelta tra inferenza geografica e globale tra regioni

Amazon Bedrock offre due tipi di profili di inferenza interregionali, ciascuno progettato per diversi casi d'uso e requisiti di conformità:

Funzionalità Inferenza geografica tra regioni Inferenza globale tra regioni Raccomandazione
Residenza dei dati Entro i confini geografici (Stati Uniti, UE, APAC, ecc.) Qualsiasi regione AWS commerciale supportata in tutto il mondo Scegli Geographic per i requisiti di conformità
Throughput Superiore a quello di una singola regione Il più alto disponibile Scegli Global per le massime prestazioni
Costo Prezzi standard Risparmio di circa il 10% Scegli Global per l'ottimizzazione dei costi
Requisiti SCP Consenti tutte le regioni di destinazione nel profilo Consenti "aws:RequestedRegion": "unspecified" Configura in base alle tue politiche organizzative
Ideale per Organizzazioni con normative sulla residenza dei dati Organizzazioni che danno priorità a costi e prestazioni Valuta le tue esigenze di conformità e prestazioni

Scegli l'inferenza geografica tra regioni quando hai requisiti di residenza dei dati e devi garantire che l'elaborazione dei dati rimanga entro limiti geografici specifici. Scegli l'inferenza globale tra regioni se desideri la massima produttività e risparmi sui costi senza restrizioni geografiche.

Considerazioni generali

Tieni in considerazione i seguenti concetti chiave durante l’inferenza tra Regioni:

  • L’utilizzo dell’inferenza tra Regioni non prevede costi aggiuntivi. Il prezzo viene calcolato in base alla Regione da cui si chiama il profilo. Per informazioni sui prezzi, consulta Prezzi di Amazon Bedrock.

  • L'inferenza interregionale può indirizzare richieste Regioni AWS che non sono abilitate manualmente nel tuo. Account AWS L'abilitazione manuale delle regioni non è necessaria per il funzionamento dell'inferenza tra regioni.

  • Tutti i dati trasmessi durante le operazioni interregionali rimangono sulla AWS rete e non attraversano la rete Internet pubblica. I dati vengono crittografati durante il transito tra. Regioni AWS

  • Tutte le richieste di inferenza tra regioni vengono registrate CloudTrail nella regione di origine. Cerca il additionalEventData.inferenceRegion campo per identificare dove sono state elaborate le richieste.

  • AWS Anche i servizi forniti da Amazon Bedrock possono utilizzare CRIS. Per ulteriori informazioni, consulta la documentazione per il servizio specifico.