Distribuire l’inferenza del guardrail nelle Regioni AWS

È possibile abilitare l’inferenza interregionale con Guardrail per Amazon Bedrock, che indirizza automaticamente le richieste di inferenza durante la valutazione delle policy di guardrail verso la Regione AWS ottimale all’interno dell’area geografica. Per ulteriori informazioni su come funziona, consultare Aumentare il throughput con l’inferenza tra Regioni. La distribuzione delle richieste di inferenza nelle Regioni AWS ottimizza le risorse di calcolo disponibili e la disponibilità dei modelli, contribuendo a mantenere le prestazioni e l’affidabilità del guardrail quando la domanda aumenta. Non sono previsti costi aggiuntivi per l’utilizzo dell’inferenza interregionale.

Le richieste di inferenza interregionale vengono conservate all’interno delle Regioni che fanno parte dell’area geografica in cui risiedono originariamente i dati. Ad esempio, una richiesta effettuata negli Stati Uniti viene conservata nelle Regioni degli Stati Uniti. Anche se la configurazione del guardrail rimane archiviata solo nella Regione principale, quando si utilizza l’inferenza interregionale, i prompt di input e i risultati di output potrebbero essere trasferiti al di fuori della Regione principale. Tutti i dati vengono trasmessi crittografati nella rete sicura di Amazon.

Come configurare l’inferenza interregionale del guardrail

L’inferenza interregionale del guardrail viene gestita tramite un profilo del guardrail, una risorsa definita dal sistema che è possibile specificare durante la creazione o la modifica di un guardrail in uno dei seguenti modi:

Sono necessarie autorizzazioni specifiche per utilizzare l’inferenza interregionale del guardrail. Per ulteriori informazioni, consulta Autorizzazioni per l’utilizzo dell’inferenza multiregionale con Guardrail per Amazon Bedrock.