Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa la soluzione
Accesso all'interfaccia utente
Durante il processo di distribuzione dello stack (sia per la dashboard di distribuzione che per i casi d'uso) viene inviata un'e-mail all'indirizzo e-mail configurato. L'e-mail contiene le credenziali temporanee dell'utente che può utilizzare per registrarsi e accedere all'interfaccia web.
Nota
L' DevOps utente con accesso alla Console di gestione AWS deve fornire all'utente amministratore l' CloudFront URL dell'interfaccia utente del dashboard di distribuzione al termine dello stack.
Per i casi d'uso, l'utente amministratore con accesso all'interfaccia utente del dashboard di distribuzione deve fornire all'utente aziendale l' CloudFront URL dell'interfaccia utente dello use case al termine della distribuzione.
Una volta effettuato l'accesso, l'utente può interagire con la soluzione UIs, utilizzando la dashboard di Deployment nel caso degli amministratori o lo use case nel caso degli utenti aziendali.
Come aggiornare una distribuzione
Nella home page del dashboard di distribuzione (o nella pagina dei dettagli di una distribuzione) è possibile modificare la configurazione utilizzata da una distribuzione. È possibile modificare solo le distribuzioni che si trovano negli stati CREATE_COMPLETE o UPDATE_COMPLETE.
Ad eccezione del nome del caso d'uso, tutte le altre opzioni sono modificabili per una distribuzione. Basta modificare i valori che si desidera modificare e ridistribuire.
A seconda dell'ambito delle modifiche apportate, il tempo di ridistribuzione varierà. Potrebbero essere necessari alcuni secondi se sono state modificate impostazioni semplici (ad esempio, i parametri del modello), a più di 30 minuti se sono state modificate le opzioni relative all'infrastruttura più grandi (ad esempio, richiesta di creazione dell'indice Amazon Kendra per il Text use case RAG).
Una volta completata con successo la modifica, lo stato dell'applicazione riporterà lo stato UPDATE_COMPLETE. Al momento, puoi accedere all'interfaccia utente distribuita tramite l' CloudFront URL e interagire con la distribuzione modificata.
Nota
Potrebbe essere più semplice eseguire più distribuzioni side-by-side se desideri confrontare impostazioni diverse o. LLMs Utilizza la funzionalità Clone per utilizzare rapidamente una configurazione esistente per avviare una nuova distribuzione.
Come clonare una distribuzione
Nella home page del dashboard Deployments (o nella pagina dei dettagli di una distribuzione) è possibile clonare la configurazione utilizzata da una distribuzione. La clonazione di una distribuzione avvia la procedura guidata Deploy new use case, ma con la maggior parte dei campi precompilati con gli stessi valori.
Si tratta di un'operazione comoda che consente di duplicare rapidamente le distribuzioni con impostazioni modificate, ripristinare una distribuzione eliminata o confrontarne più di una in distribuzioni altrimenti identiche. LLMs
Come eliminare una distribuzione
Nella home page del dashboard di Deployments (o nella pagina dei dettagli di una distribuzione), puoi eliminarla quando non è più necessaria la distribuzione. L'eliminazione di una distribuzione richiama un'operazione di eliminazione CloudFormation dello stack e predispone le risorse per la distribuzione.
Per impostazione predefinita, una distribuzione eliminata rimane ancora nella dashboard per abilitare la funzionalità di clonazione. Per rimuovere completamente una distribuzione dalla dashboard in modo che non venga più tracciata nell'interfaccia utente, scegli Elimina definitivamente nella finestra di conferma dell'eliminazione.
Importante
Alcune risorse vengono lasciate indietro durante l'eliminazione dello stack e devono essere eliminate manualmente. Consulta la sezione Disinstallazione manuale per informazioni dettagliate su quali risorse vengono conservate e su come ripulirle.
Utilizzo di Amazon SageMaker AI come provider LLM
A partire dalla versione 1.3.0, Amazon SageMaker AI
Importante
La soluzione non gestisce il ciclo di vita degli endpoint SageMaker AI. Sei responsabile dell'eliminazione degli endpoint SageMaker AI una volta che non sono più necessari per evitare di incorrere in costi aggiuntivi.
Creazione di un endpoint AI SageMaker
Puoi utilizzare Amazon SageMaker AI JumpStart
Puoi anche utilizzare un endpoint SageMaker AI basato sulla generazione di testo e distribuirlo utilizzando il servizio AI di base. SageMaker Fai riferimento alla JumpStart documentazione sull'SageMaker intelligenza artificiale per una guida dettagliata su come implementare un modello per l'inferenza.
Nota
models/LLMs Le basi sono in genere piuttosto grandi e spesso possono richiedere l'uso di istanze di calcolo accelerate di grandi dimensioni. Molte di queste istanze più grandi potrebbero non essere disponibili per impostazione predefinita nel tuo account AWS. Fai riferimento alle quote SageMaker AI predefinite e assicurati di richiedere un aumento della quota prima della distribuzione per evitare errori di distribuzione comuni.
Usa un endpoint SageMaker AI per creare un'implementazione di casi d'uso in formato testo
Per implementare un nuovo use case di testo utilizzando un endpoint SageMaker AI per l'inferenza:
-
Crea un nuovo caso d'uso tramite la procedura guidata del dashboard di distribuzione e completa i moduli fino a raggiungere la pagina di selezione dei modelli.
-
Nella pagina Modelli, seleziona SageMaker AI come fornitore del modello. Questo genererà un modulo personalizzato che richiederà tre input chiave da parte dell'utente:
-
Il nome dell'endpoint SageMaker AI che desideri utilizzare. DevOps gli utenti possono ottenerlo dalla console AWS. Tieni presente che l'endpoint deve trovarsi nello stesso account e nella stessa regione in cui è distribuita la soluzione.
Posizione del nome dell'endpoint sulla console AWS
-
Lo schema del payload di input previsto dall'endpoint. Per supportare il più ampio set di endpoint, gli utenti amministratori devono indicare alla soluzione in che modo l'endpoint prevede che l'input venga formattato. Nella procedura guidata di selezione del modello, fornite lo schema JSON per la soluzione da inviare all'endpoint. Puoi aggiungere segnaposto per inserire valori statici e dinamici nel payload della richiesta. Le opzioni disponibili sono:
-
Segnaposto obbligatori:\ <\ <prompt\ >\ > verranno sostituiti dinamicamente con l'input completo (ad esempio, cronologia, contesto e input dell'utente secondo il modello di prompt) da inviare all'endpoint AI in fase di esecuzione. SageMaker
-
Segnaposto opzionali:\ <\ <temperature\ >\ > *,\ * e tutti i parametri definiti nei parametri del modello avanzato possono essere forniti all'endpoint. Qualsiasi stringa contenente un segnaposto racchiuso in\ <\ < and\ >\ > (ad esempio,\ <\ <max_new_tokens\ >\ >) verrà sostituita dal valore del parametro del modello avanzato con lo stesso nome.
Schema di input di esempio: impostazione di campi obbligatori, prompt e temperatura, insieme a un parametro avanzato personalizzato, max_new_tokens. Il percorso di output deve essere fornito come stringa valida JSONPath
-
-
-
La posizione della risposta alla stringa LLMs generata all'interno del payload di output. Deve essere fornita come JSONPath espressione per indicare dove è previsto l'accesso alla risposta testuale finale mostrata agli utenti dall'interno dell'oggetto e della risposta di ritorno dell'endpoint.
Esempio di aggiunta di parametri del modello Advanced da utilizzare all'interno dello schema di input SageMaker AI (vedere la Figura 2 per le opzioni/impostazioni precedenti)
Nota
SageMaker L'intelligenza artificiale ora supporta l'hosting di più modelli sullo stesso endpoint e questa è la configurazione predefinita quando si implementa un endpoint nella versione corrente di SageMaker AI Studio (non Studio Classic).
Se il tuo endpoint è configurato in questo modo, ti verrà richiesto di aggiungerlo InferenceComponentNamealla sezione dei parametri del modello avanzato, con un valore corrispondente al nome del modello che desideri utilizzare.
