Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Aumenta la produttività con l'inferenza tra regioni
L'inferenza interregionale seleziona automaticamente quella ottimale Regione AWS all'interno dell'area geografica per elaborare la richiesta di inferenza. Ciò migliora l'esperienza del cliente massimizzando le risorse disponibili e la disponibilità dei modelli.
Quando si esegue l'inferenza del modello in modalità on demand, le richieste potrebbero essere limitate dalle quote di servizio o durante i periodi di picco di utilizzo. L'inferenza tra regioni consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione tra diverse regioni. Regioni AWS Con l'inferenza interregionale, puoi distribuire il traffico su più regioni, garantendo un throughput più elevato. Regioni AWS
Puoi anche aumentare la velocità effettiva di un modello acquistando Provisioned Throughput. I profili di inferenza attualmente non supportano Provisioned Throughput.
Per visualizzare le regioni e i modelli con cui è possibile utilizzare i profili di inferenza per eseguire l'inferenza tra regioni, fare riferimento a. Regioni e modelli supportati per i profili di inferenza
I profili di inferenza interregionali (definiti dal sistema) prendono il nome dal modello che supportano e definiti dalle regioni che supportano. Per capire come un profilo di inferenza interregionale gestisce le tue richieste, consulta le seguenti definizioni:
-
Regione di origine: la regione da cui si effettua la richiesta API che specifica il profilo di inferenza.
-
Regione di destinazione: una regione verso la quale il servizio Amazon Bedrock può indirizzare la richiesta dalla regione di origine.
Invochi un profilo di inferenza interregionale da una regione di origine e il servizio Amazon Bedrock indirizza la richiesta verso una qualsiasi delle regioni di destinazione definite nel profilo di inferenza.
Nota
Alcuni profili di inferenza indirizzano verso diverse regioni di destinazione a seconda della regione di origine da cui la richiami. Ad esempio, se chiami us.anthropic.claude-3-haiku-20240307-v1:0 dagli Stati Uniti orientali (Ohio), può instradare le richieste versous-east-1, oppure us-east-2us-west-2, ma se la chiami dagli Stati Uniti occidentali (Oregon), può instradare le richieste solo verso e. us-east-1 us-west-2
Per verificare le regioni di origine e di destinazione per un profilo di inferenza, puoi effettuare una delle seguenti operazioni:
-
Espandi la sezione corrispondente nell'elenco dei profili di inferenza interregionali supportati.
-
Invia una GetInferenceProfilerichiesta con un endpoint del piano di controllo Amazon Bedrock da una regione di origine e specifica l'Amazon Resource Name (ARN) o l'ID del profilo di inferenza nel campo.
inferenceProfileIdentifierIlmodelscampo nella risposta corrisponde a un elenco di modelli ARNs, in cui è possibile identificare ogni regione di destinazione.
Nota
I profili di inferenza sono immutabili, il che significa che non aggiungiamo nuove regioni a un profilo di inferenza esistente. Tuttavia, potremmo creare nuovi profili di inferenza che incorporino nuove regioni. Puoi aggiornare i tuoi sistemi per utilizzare questi profili di inferenza modificando la IDs configurazione con quelli nuovi.
Notate le seguenti informazioni sull'inferenza tra regioni:
-
Non sono previsti costi di routing aggiuntivi per l'utilizzo dell'inferenza tra regioni. Il prezzo viene calcolato in base alla regione da cui si richiama un profilo di inferenza. Per informazioni sui prezzi, consulta i prezzi di Amazon Bedrock
. -
Quando si utilizza l'inferenza tra regioni, la velocità effettiva è maggiore rispetto alla chiamata di un modello in una singola regione. Per visualizzare le quote predefinite per il throughput interregionale, consulta i valori delle InvokeModel richieste al minuto del modello interregionale e dei InvokeModel token interregionali al minuto nelle quote di servizio Amazon Bedrock nel. Riferimenti generali di AWS
-
Le richieste di inferenza interregionale vengono conservate all'interno dei gruppi che fanno parte della geografia in cui risiedono originariamente Regione AWS i dati. Ad esempio, una richiesta effettuata negli Stati Uniti viene conservata all'interno degli Stati Uniti Regione AWS. Sebbene i dati rimangano archiviati solo nella regione di origine, le istruzioni di input e i risultati di output potrebbero spostarsi al di fuori della regione di origine durante l'inferenza tra regioni. Tutti i dati verranno trasmessi crittografati attraverso la rete sicura di Amazon.
Utilizza un profilo di inferenza interregionale (definito dal sistema)
Per utilizzare l'inferenza tra regioni, è necessario includere un profilo di inferenza quando si esegue l'inferenza del modello nei seguenti modi:
-
Inferenza del modello su richiesta: specifica l'ID del profilo di inferenza da utilizzare
modelIdquando si invia una,, Converse o una InvokeModelrichiesta. InvokeModelWithResponseStreamConverseStream Un profilo di inferenza definisce una o più regioni verso le quali può indirizzare le richieste di inferenza provenienti dalla regione di origine. L'uso dell'inferenza interregionale aumenta la velocità effettiva e le prestazioni instradando dinamicamente le richieste di invocazione del modello tra le regioni definite nel profilo di inferenza. Fattori di routing nel traffico degli utenti, nella domanda e nell'utilizzo delle risorse. Per ulteriori informazioni, consulta Invia richieste e genera risposte con l'inferenza del modello -
Inferenza in batch: invia le richieste in modo asincrono con inferenza batch specificando l'ID del profilo di inferenza come quando si invia una richiesta.
modelIdCreateModelInvocationJob L'utilizzo di un profilo di inferenza consente di utilizzare il calcolo su più livelli e di ottenere tempi di elaborazione più rapidi per i processi in batch Regioni AWS . Una volta completato il processo, puoi recuperare i file di output dal bucket Amazon S3 nella regione di origine. -
Agenti: specifica l'ID del profilo di inferenza nel
foundationModelcampo di una richiesta. CreateAgent Per ulteriori informazioni, consulta Crea e configura l'agente manualmente. -
Generazione di risposte nella Knowledge Base: è possibile utilizzare l'inferenza interregionale per generare una risposta dopo aver interrogato una knowledge base. Per ulteriori informazioni, consulta Metti alla prova la tua base di conoscenze con domande e risposte.
-
Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un lavoro di valutazione del modello. Per ulteriori informazioni, consulta Valuta le prestazioni delle risorse Amazon Bedrock.
-
Gestione dei prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt creato in Prompt management. Per ulteriori informazioni, consulta Crea e archivia richieste riutilizzabili con la gestione tempestiva in Amazon Bedrock
-
Flussi di prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt definito in linea in un nodo di prompt in un flusso di prompt. Per ulteriori informazioni, consulta Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows.
Per informazioni su come utilizzare un profilo di inferenza per inviare richieste di invocazione del modello tra le regioni, vedere. Usa un profilo di inferenza nell'invocazione del modello
Per ulteriori informazioni sull'inferenza tra regioni, consulta Guida introduttiva all'inferenza interregionale in Amazon Bedrock
