Scelta di un servizio di intelligenza artificiale generativa

Amazon Q Business può rispondere a domande, fornire riepiloghi, generare contenuti e completare in modo sicuro attività in base ai dati presenti nei sistemi aziendali. Supporta il caso d'uso generale dell'intelligenza artificiale generativa per iniziare a sfruttare al meglio le informazioni della tua azienda. Con Amazon Q Business, puoi fare English-language domande su tali informazioni. Fornisce risposte in modo adeguato alle esigenze del tuo team. Inoltre, puoi creare app Amazon Q leggere e su misura all'interno del tuo abbonamento Amazon Q Business Pro.

Con Amazon Q Developer, puoi comprendere, creare, estendere e utilizzare AWS applicazioni. I casi d'uso supportati includono attività che vanno dalla codifica, al test e all'aggiornamento delle applicazioni, alla diagnosi degli errori, all'esecuzione di scansioni e correzioni di sicurezza e all'ottimizzazione delle risorse. AWS Le funzionalità avanzate di pianificazione e ragionamento in più fasi di Amazon Q Developer mirano a ridurre il lavoro richiesto dalle attività comuni (come l'esecuzione di aggiornamenti della versione Java). Queste funzionalità possono anche aiutare a implementare nuove funzionalità generate dalle richieste degli sviluppatori. 

Le funzionalità di Amazon Q Developer sono disponibili come parte dei tuoi flussi di lavoro in altre applicazioni Servizi AWS, tra cui Amazon Q Developer nelle applicazioni di chat, Amazon CodeCatalyst, Amazon EC2 e VPC AWS Glue Reachability Analyzer.

Chatta con Amazon Q Developer per interrogare ed esplorare la tua AWS infrastruttura direttamente da Console di gestione AWS. Utilizzando istruzioni in linguaggio naturale per interagire con le tue Account AWS, puoi ottenere dettagli specifici sulle risorse e chiedere informazioni sulle relazioni tra le risorse.

Amazon Q in Quick mira a soddisfare le esigenze di un caso d'uso specifico: ottenere informazioni utili dai dati collegando Amazon Q al servizio di business intelligence (BI) Amazon Q Quick. Puoi usarlo per creare visualizzazioni dei tuoi dati, riepilogare approfondimenti, rispondere a domande sui dati e creare storie di dati utilizzando il linguaggio naturale.

Amazon Q in Connect è in grado di rilevare automaticamente i problemi dei clienti. Fornisce agli agenti del servizio clienti informazioni contestuali sui clienti insieme a risposte e azioni suggerite per una risoluzione più rapida dei problemi. Combina le funzionalità del servizio di contact center cloud Amazon Connect con Amazon Q. Amazon Q in Connect può utilizzare le conversazioni in tempo reale con i clienti, insieme ai contenuti aziendali pertinenti, per consigliare cosa dire o quali azioni un agente dovrebbe intraprendere per assistere i clienti.

La personalizzazione del modello può offrire esperienze utente differenziate e personalizzate. Per personalizzare i modelli per attività specifiche, puoi perfezionare le FM privatamente utilizzando i tuoi set di dati con etichetta. I modelli personalizzati includono funzionalità come la messa a punto e la formazione preliminare continua utilizzando set di dati senza etichetta. L'elenco di FM per cui Amazon Bedrock supporta la messa a punto include Amazon Nova Micro, Lite e Pro, Anthropic Claude 3 Haiku, Cohere Command, Meta Llama 2, Amazon Titan Text Lite and Express, Amazon Titan Multimodal Embeddings e Amazon Titan Image Generator. L'elenco dei FM supportati viene aggiornato su base continuativa.

Inoltre, puoi utilizzare Amazon Bedrock Custom Model Import per importare i tuoi modelli personalizzati e utilizzarli all'interno di Amazon Bedrock.

Amazon Bedrock Knowledge Bases è una funzionalità completamente gestita che puoi utilizzare per implementare l'intero flusso di lavoro Retrieval Augmented Generation (RAG), dall'inserimento al recupero e all'aumento immediato, senza dover creare integrazioni personalizzate con le fonti di dati e gestire i flussi di dati. La gestione del contesto delle sessioni è integrata, quindi l'applicazione può supportare conversazioni a più turni. È possibile utilizzare l'API Retrieve per recuperare i risultati pertinenti per una query utente dalle knowledge base.

Con RAG, puoi fornire un modello con nuove conoscenze o informazioni aggiornate da più fonti, inclusi archivi di documenti, database e API. Ad esempio, il modello potrebbe utilizzare RAG per recuperare i risultati di ricerca da Amazon OpenSearch Service o i documenti da Amazon Simple Storage Service. Amazon Bedrock Knowledge Bases gestisce completamente questa esperienza connettendosi alle tue fonti di dati private, tra cui Amazon Aurora, Amazon Serverless, MongoDB, Pinecone e Redis Enterprise Cloud. OpenSearch Questo elenco include connettori per Salesforce, Confluence e SharePoint (in anteprima), in modo da poter accedere a più dati aziendali per personalizzare i modelli in base alle tue esigenze specifiche.

Amazon Bedrock Agents ti aiuta a pianificare e creare attività in più fasi utilizzando sistemi e fonti di dati aziendali, dalla risposta alle domande dei clienti sulla disponibilità dei prodotti all'evasione degli ordini. Puoi creare un agente selezionando prima un FM e poi fornendogli l'accesso ai sistemi, alle knowledge base e AWS Lambda alle funzioni aziendali per eseguire le tue API in modo sicuro. Un agente analizza la richiesta dell'utente e una funzione Lambda o l'applicazione può richiamare automaticamente le API e le fonti di dati necessarie per soddisfare la richiesta.

Gli agenti possono conservare la memoria durante più interazioni per ricordare dove si era interrotto l'ultima volta e fornire consigli migliori in base alle interazioni precedenti. Gli agenti possono anche interpretare il codice per affrontare casi d'uso complessi basati sui dati, come l'analisi dei dati, la visualizzazione dei dati, l'elaborazione del testo, la risoluzione di equazioni e i problemi di ottimizzazione.

Amazon Bedrock Guardrails valuta gli input degli utenti e le risposte FM in base a policy specifiche dei casi d'uso e fornisce un ulteriore livello di protezione, indipendentemente dalla FM sottostante. Utilizzando una breve descrizione in linguaggio naturale, puoi utilizzare Amazon Bedrock Guardrails per definire una serie di argomenti da evitare nel contesto della tua applicazione. Guardrails rileva e blocca gli input degli utenti e le risposte FM che rientrano negli argomenti riservati.

Guardrails supporta i controlli di base contestuali, per rilevare allucinazioni nelle risposte dei modelli per applicazioni che utilizzano Retrieval Augmented Generation (RAG) e applicazioni di riepilogo. I controlli di base contestuali si aggiungono alla protezione di sicurezza di Guardrails per garantire che la risposta LLM sia basata sui dati di origine aziendali corretti e valutano la risposta LLM per confermare che sia pertinente alla domanda o all'istruzione dell'utente. I controlli di base contestuali possono rilevare e filtrare oltre il 75% delle risposte allucinate per i carichi di lavoro RAG e di riepilogo.

Usa l'API Amazon Bedrock Converse per creare applicazioni conversazionali che inviano e ricevono messaggi da e verso un modello Amazon Bedrock. Ad esempio, puoi creare un chatbot che mantiene una conversazione a più turni e utilizza una personalizzazione del personaggio o del tono adatta alle tue esigenze, ad esempio un utile assistente di supporto tecnico.

L'uso degli strumenti (chiamata di funzioni) consente a un modello di accedere a strumenti che possono aiutarlo a generare risposte ai messaggi inviati al modello. Ad esempio, un’applicazione di chat potrebbe consentire agli utenti di scoprire la canzone più popolare trasmessa da una stazione radio. Per rispondere a una richiesta per la canzone più popolare, un modello ha bisogno di uno strumento in grado di fare query e restituire le informazioni sul brano.

Usa Amazon Bedrock IDE, un'esperienza di sviluppo in Amazon SageMaker Unified Studio (in anteprima), che ti consente di scoprire i modelli di Amazon Bedrock e creare app di intelligenza artificiale generativa che utilizzano modelli e funzionalità di Amazon Bedrock. Ad esempio, puoi utilizzare una chat playground per provare un prompt con un modello Anthropic Claude senza dover scrivere alcun codice. Successivamente, puoi utilizzare Amazon Bedrock IDE per creare un'app di intelligenza artificiale generativa che utilizzi un modello e funzionalità di Amazon Bedrock, come una knowledge base o un guardrail, sempre senza dover scrivere alcun codice.

Usa Amazon Bedrock per creare e salvare i tuoi prompt utilizzando la gestione dei prompt, in modo da risparmiare tempo applicando lo stesso prompt a flussi di lavoro diversi. Quando crei un prompt, puoi selezionare un modello su cui eseguire l’inferenza e modificare i parametri di inferenza da utilizzare. Puoi includere variabili nel prompt, così da poter adattare il prompt a casi d’uso differenti.

Prompt flows for Amazon Bedrock ti offre la possibilità di utilizzare FM supportate per creare flussi di lavoro collegando prompt, modelli di base e altro per creare soluzioni complete. Servizi AWS

Con i flussi rapidi, puoi creare rapidamente flussi di lavoro di intelligenza artificiale generativa complessi utilizzando un visual builder. Puoi integrarti con offerte Amazon Bedrock come FM, knowledge base e altre, ad Servizi AWS esempio AWS Lambda trasferendo dati tra di esse. Puoi anche implementare flussi di lavoro immutabili per passare dal test alla produzione in pochi clic.

Amazon SageMaker JumpStart è un hub ML che fornisce l'accesso a modelli di base disponibili pubblicamente. Questi modelli includono Mistral, Llama 3 e Falcon 2. CodeLlama Possono essere personalizzati con tecniche avanzate di messa a punto e implementazione come Parameter Efficient Fine-Tuning (PEFT) e Adaptation (LoRa). Low-Rank

La schermata seguente mostra alcuni dei modelli disponibili in Amazon SageMaker JumpStart all' Console di gestione AWS interno di.

Amazon SageMaker Clarify affronta la decisione fondamentale di quale modello di base utilizzare. Usa Amazon SageMaker Clarify per creare lavori di valutazione dei modelli. Un lavoro di valutazione dei modelli valuta e confronta le metriche di qualità e responsabilità dei modelli di base basati su testo di. JumpStart I lavori di valutazione dei modelli supportano anche l'uso di JumpStart modelli che sono già stati implementati su un endpoint.

Con Amazon SageMaker Canvas, puoi utilizzare l'apprendimento automatico per generare previsioni senza scrivere alcun codice. Puoi anche utilizzare Amazon SageMaker Canvas in collaborazione con Amazon Bedrock per perfezionare e distribuire modelli linguistici.

Questo post descrive come utilizzarli per ottimizzare l'interazione con i clienti utilizzando i propri set di dati (ad esempio le domande frequenti sui prodotti) in Amazon Bedrock e Amazon SageMaker JumpStart Il diagramma seguente, tratto da questo post di blog, dimostra come Amazon Canvas SageMaker e Amazon Bedrock possono essere usati insieme per ottimizzare e distribuire modelli linguistici.

Amazon SageMaker Studio è un'esperienza basata sul Web per l'esecuzione di flussi di lavoro ML. Studio offre una suite di ambienti di sviluppo integrato (IDE). Questi includono Code Editor, basato su Code-OSS Visual Studio Code - Open Source, una nuova JupyterLab applicazione, RStudio e Amazon SageMaker Studio Classic. Per ulteriori informazioni, consulta Applicazioni supportate in Amazon SageMaker Studio.

L'interfaccia utente basata sul Web di Studio fornisce l'accesso a tutte le risorse di SageMaker intelligenza artificiale, inclusi job ed endpoint, in un'unica interfaccia. I professionisti di ML possono anche scegliere il loro IDE preferito per accelerare lo sviluppo di ML. Un data scientist può utilizzarli JupyterLab per esplorare i dati e ottimizzare i modelli. Inoltre, un Machine Learning Operations (MLOps) engineer può utilizzare l’Editor di codice con lo strumento Pipelines di Studio per distribuire e monitorare i modelli in produzione.

Amazon SageMaker Studio include assistenza generativa per l'intelligenza artificiale, fornita da Amazon Q Developer direttamente all'interno del tuo ambiente di sviluppo JupyterLab integrato (IDE). Con Q Developer, puoi accedere alla guida di esperti sulle funzionalità di SageMaker intelligenza artificiale, sulla generazione di codice e sulla risoluzione dei problemi.

Identifica l'uso cases/modality

Cos'è: la modalità si riferisce al tipo di dati elaborati dal modello: testo, immagini (visione) o incorporamenti.

Perché è importante: la scelta della modalità deve essere in linea con i dati con cui stai lavorando. Ad esempio, se il progetto prevede l'elaborazione del linguaggio naturale, è adatto un modello basato su testo come Claude, Llama 3.1 o Titan Text G1. Se desideri creare incorporamenti, puoi utilizzare un modello come Titan Embeddings G1. Allo stesso modo, per le attività relative alle immagini, sono più appropriati modelli come Stable Diffusion XL e Titan Image Generator v2. Il tuo caso d'uso potrebbe anche comportare la considerazione della tua fonte di dati e il supporto per i connettori di origine dati, come quelli forniti in Amazon Q Business.

Dimensioni del modello

Cos'è: questo criterio si riferisce al numero di parametri in un modello. Un parametro è una variabile di configurazione interna al modello. I suoi valori possono essere stimati (addestrati) durante la fase di addestramento sulla base dei dati di allenamento forniti. I parametri sono fondamentali in quanto definiscono direttamente la capacità del modello di apprendere dai dati. I modelli di grandi dimensioni hanno spesso più di 50 miliardi di parametri.

Perché è importante: il numero di parametri è un indicatore chiave della complessità del modello. Un numero maggiore di parametri significa che il modello è in grado di acquisire modelli e sfumature più complessi nei dati, il che in genere porta a prestazioni migliori. Tuttavia, questi modelli non sono solo costosi da addestrare, ma richiedono anche più risorse computazionali per funzionare.

Latenza di inferenza

Cos'è: la velocità di inferenza, o latenza, è il tempo impiegato da un modello per elaborare l'input (spesso misurato in token) e restituire un output. Questo tempo di elaborazione è fondamentale quando le risposte del modello fanno parte di un sistema interattivo, come un Amazon Q Developer nelle applicazioni di chat.

Perché è importante: i tempi di risposta rapidi sono essenziali per applicazioni in tempo reale come chatbot interattivi o servizi di traduzione istantanea. Queste applicazioni dipendono dalla capacità del modello di elaborare e rispondere rapidamente alle richieste per mantenere un'esperienza utente fluida. Sebbene le FM più grandi offrano in genere risposte più dettagliate e accurate, le loro architetture complesse possono portare a velocità di inferenza più lente. Questa elaborazione più lenta potrebbe frustrare gli utenti che si aspettano un'interazione immediata.

Per affrontare questa sfida, puoi scegliere modelli ottimizzati per risposte più rapide, anche se ciò significa compromettere in qualche modo la profondità o la precisione delle risposte.

Ottimizzazione della finestra contestuale

Cos'è: la finestra contestuale di un modello linguistico di grandi dimensioni è la quantità di testo (in token) che il modello può considerare in qualsiasi momento durante la generazione delle risposte.

Perché è importante: finestre contestuali più ampie consentono al modello di ricordare ed elaborare più informazioni in un'unica esecuzione. Questa capacità è particolarmente utile in attività complesse come la comprensione di documenti lunghi, la partecipazione a conversazioni dettagliate o la generazione di testo contestualmente accurato su intervalli più ampi.

Ad esempio, in una conversazione, un modello con una finestra contestuale più ampia può ricordare meglio il dialogo precedente e fornire risposte più pertinenti all'intera conversazione. Ciò porta a un'esperienza utente più naturale e soddisfacente, in quanto il modello può mantenere il filo della discussione senza perdere il contesto.

Considerazioni sui prezzi

Cos'è: il costo di utilizzo di un FM è influenzato dalla complessità del modello e dalla struttura dei prezzi del fornitore del modello.

Perché è importante: l'implementazione di modelli ad alte prestazioni spesso comporta costi elevati a causa delle maggiori esigenze di calcolo. Sebbene questi modelli offrano funzionalità avanzate, le loro spese operative possono essere elevate, in particolare per le startup o i progetti più piccoli con budget limitati.

I modelli più piccoli e meno dispendiosi in termini di risorse offrono un'opzione più economica senza compromettere in modo significativo le prestazioni. Valuta il costo del modello rispetto ai suoi vantaggi per assicurarti che rispetti i vincoli finanziari del tuo progetto e offra il massimo valore per il tuo investimento.

Fine-tuning e capacità di pre-formazione continua

Cos'è: Fine-tuning è un processo di formazione specializzato in cui un modello pre-addestrato che è stato addestrato su un set di dati generico di grandi dimensioni viene ulteriormente addestrato (o perfezionato) su un set di dati più piccolo e specifico. Questo processo adatta il modello alle particolarità dei nuovi dati, migliorandone le prestazioni nelle attività correlate. La formazione preliminare continua, invece, prevede l'estensione della fase di pre-formazione iniziale con una formazione aggiuntiva su nuovi dati emergenti che non facevano parte del set di formazione originale, aiutando il modello a rimanere pertinente man mano che i dati evolvono. È inoltre possibile utilizzare Retrieval Augmented Generation (RAG) per recuperare dati dall'esterno di un FM e aumentare le richieste aggiungendo i dati recuperati pertinenti nel contesto.

Perché è importante: con la messa a punto, è possibile aumentare la precisione del modello fornendo un set di dati di addestramento etichettato per attività specifiche e specializzare ulteriormente i FM. Grazie alla formazione preliminare continua, è possibile addestrare i modelli utilizzando i propri dati non etichettati in un ambiente sicuro e gestito. La formazione preliminare continua aiuta i modelli a diventare più specifici del dominio accumulando conoscenze e adattabilità più solide oltre alla formazione originale.

Qualità dei dati

La qualità dei dati è un fattore critico per il successo di un'applicazione di intelligenza artificiale generativa. Considerate i seguenti fattori di qualità:

Quantità di dati

Quantità e qualità vanno di pari passo. Considerate i seguenti fattori quantitativi:

È inoltre importante monitorare e aggiornare continuamente il set di dati man mano che le applicazioni di intelligenza artificiale generativa si evolvono e man mano che nuovi dati diventano disponibili.

Qualità della risposta

Cos'è: il criterio più importante è la qualità della risposta. È qui che si valuta l'output di un modello sulla base di diverse metriche di qualità, tra cui precisione, pertinenza, tossicità, equità e robustezza contro gli attacchi avversari.

Perché è importante: l'affidabilità e la sicurezza degli output del modello sono fondamentali, specialmente nelle applicazioni che interagiscono direttamente con gli utenti o prendono decisioni automatizzate che possono influire sulla vita delle persone. High-qualityle risposte garantiscono la fiducia e la soddisfazione degli utenti, riducendo il rischio di problemi di comunicazione e migliorando l'esperienza utente complessiva, guadagnandosi così la fiducia dei clienti.