Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Impostazioni LLM avanzate
Durante l'utilizzo di Amazon Bedrock, puoi configurare alcune impostazioni avanzate per i tuoi modelli come Amazon Bedrock Guardrails, Provisioned Throughput for Amazon Bedrock e parametri di modello aggiuntivi.
Amazon Bedrock Guardrails
Amazon Bedrock Guardrails è una funzionalità di Amazon Bedrock che valuta gli input e le risposte LLM degli utenti in base a policy configurate dall'utente e fornisce un ulteriore livello di protezione, indipendentemente dal LLM sottostante selezionato dall'utente per un caso d'uso. Un Guardrail è composto da 2 politiche per evitare che i contenuti rientrino in categorie indesiderate o dannose:
-
Argomenti negati per definire una serie di argomenti indesiderati nel contesto dell'applicazione dell'utente, ad esempio, la consulenza in materia di investimenti in un'applicazione finanziaria e,
-
Filtri sui contenuti**** che consentono di filtrare i prompt di input degli utenti o le risposte dei modelli contenenti contenuti dannosi.
Per l'utilizzo nella soluzione Generative AI Application Builder, è necessario configurare un Guardrail nella console Amazon Bedrock utilizzando la procedura guidata Create guardrail. Una volta creato, puoi aggiungere questo Guardrail al caso d'uso della chat creato tramite la procedura guidata della soluzione Generative AI Application Builder nelle Impostazioni aggiuntive nella fase di selezione del modello fornendo la tua versione Guardrail Identifier e Guardrail.
Descrive la procedura guidata di distribuzione, che abilita Amazon Bedrock Guardrails
Throughput assegnato per Amazon Bedrock
Ogni modello Amazon Bedrock on-demand segue il limite di quota di account specifico della regione per l'inferenza del modello. Ad esempio, Anthropic Claude 2.x su Bedrock attualmente consente l'elaborazione di 500 richieste e 500.000 token al minuto nelle regioni us-east-1 e us-west-2. Potresti anche voler utilizzare la soluzione con i tuoi modelli pre-addestrati perfezionati o continui. In questi casi, Amazon Bedrock consente un throughput assegnato che consente di eseguire carichi di lavoro di inferenza di grandi dimensioni e coerenti per modelli preaddestrati di base, ottimizzati o continui da utilizzare in applicazioni di produzione.
Una volta acquistato Provisioned Throughput all'interno della console Amazon Bedrock, viene generato un modello ARN per l'utilizzo. Ora puoi fornire questo Model ARN nella procedura guidata Generative AI Application Builder nella fase di selezione del modello. A tale scopo, seleziona Bedrock come fornitore del modello e il nome del modello di base utilizzato per generare questo Model ARN fornito nella console Amazon Bedrock. Quindi, seleziona «Modello fornito» quando scegli tra modelli on demand e provisioned e fornisci il tuo Model ARN.
Descrive la procedura guidata di distribuzione: abilitazione del throughput fornito per Amazon Bedrock
Nota
Il guardrail e il throughput assegnato devono trovarsi nella stessa regione del Deployment Dashboard e degli use case stack distribuiti.
Parametri del modello
LLMs spesso accetta un'ampia gamma di parametri specifici per la sua implementazione. I fornitori di modelli forniscono spesso la documentazione che descrive l'insieme dei parametri supportati e i relativi utilizzi.
La soluzione passa i parametri del modello direttamente al modello sottostante, pertanto è importante assicurarsi che i parametri siano impostati correttamente. Consultate la documentazione del fornitore del modello per le informazioni più recenti sui parametri supportati.
