Panoramica dell’architettura

Dashboard di distribuzione: la dashboard di distribuzione è un'interfaccia Web che funge da console di gestione per consentire agli utenti amministratori di visualizzare, gestire e creare i propri casi d'uso. Questa dashboard consente ai clienti di sperimentare, iterare e produrre rapidamente vari AI/ML carichi di lavoro sfruttando i vantaggi. LLMs

Caso d'uso testuale: lo use case Text consente agli utenti di sperimentare un'interfaccia in linguaggio naturale utilizzando l'intelligenza artificiale generativa. Questo caso d'uso può essere integrato in applicazioni nuove o esistenti ed è implementabile tramite la dashboard di distribuzione o indipendentemente tramite un URL fornito.

Caso d'uso di Bedrock Agent: lo use case Bedrock Agent consente l'uso di agenti Bedrock esistenti per completare attività o automatizzare flussi di lavoro ripetuti.

Server MCP: lo use case MCP Server consente l'implementazione e la gestione di server Model Context Protocol che forniscono un accesso standardizzato a strumenti e risorse alle applicazioni AI. Supporta sia i metodi gateway per il wrapping delle funzioni Lambda esistenti, sia i server MCP esterni APIs, sia i metodi di runtime per l'implementazione di server MCP containerizzati personalizzati.

Agent Builder: Agent Builder consente la creazione e l'implementazione di agenti AI pronti per la produzione su Amazon Bedrock AgentCore con controllo completo della configurazione, integrazione del server MCP e funzionalità di gestione della memoria.

Workflow Builder - Workflow Builder consente la creazione di agenti supervisori che orchestrano più agenti Agent Builder utilizzando il modello di delega Agents as Tools per flussi di lavoro complessi con più agenti.

Gli utenti amministratori accedono all'interfaccia utente (UI) di Deployment Dashboard.

Amazon CloudFront offre l'interfaccia utente Web, ospitata in un bucket Amazon Simple Storage Service (Amazon S3).

AWS WAF li protegge APIs dagli attacchi. Questa soluzione configura una serie di regole denominate Web Access Control List (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.

L'interfaccia utente Web sfrutta un set di REST APIs che vengono esposti utilizzando Amazon API Gateway.

Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente CloudFront Web che l'API Gateway.

AWS Lambda fornisce la logica di business per gli endpoint REST. Questa funzione Lambda di supporto gestisce e crea le risorse necessarie per eseguire implementazioni di use case utilizzando AWS. CloudFormation

Amazon DynamoDB archivia l'elenco delle distribuzioni.

Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Lambda di backup avvia CloudFormation un evento di creazione dello stack per il caso d'uso richiesto.

Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di distribuzione vengono salvate in DynamoDB. La distribuzione utilizza questa tabella DynamoDB per configurare l'LLM in fase di esecuzione.

Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare dashboard personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.

Gli utenti amministratori distribuiscono lo use case utilizzando il Deployment Dashboard. Gli utenti aziendali accedono all'interfaccia utente dello use case.

CloudFront fornisce l'interfaccia utente Web ospitata in un bucket S3.

L'interfaccia utente Web sfrutta un' WebSocket integrazione creata utilizzando API Gateway. L'API Gateway è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata basata sul gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy è archiviata in DynamoDB.

Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente CloudFront Web che l'API Gateway.

Le richieste in arrivo dall'utente aziendale vengono passate da API Gateway a una coda Amazon SQS e quindi a Orchestrator. LangChain L'LangChain Orchestrator è una raccolta di funzioni e livelli Lambda che forniscono la logica aziendale per soddisfare le richieste provenienti dall'utente aziendale. La coda consente il funzionamento asincrono dell'integrazione tra API Gateway e Lambda. La coda passa le informazioni di connessione alle funzioni Lambda che invieranno quindi i risultati direttamente alla connessione websocket API Gateway per supportare chiamate di inferenza a lunga durata.

L'LangChain Orchestrator utilizza Amazon DynamoDB per ottenere le opzioni LLM configurate e le informazioni necessarie sulla sessione (come la cronologia chat).

Se la distribuzione ha una knowledge base abilitata, LangChain Orchestrator sfrutta Amazon Kendra o Knowledge Bases for Amazon Bedrock per eseguire una query di ricerca per recuperare estratti di documenti.

Utilizzando la cronologia della chat, la query e il contesto della knowledge base, LangChain Orchestrator crea il prompt finale e invia la richiesta al LLM ospitato su Amazon Bedrock o Amazon AI. SageMaker

Quando la risposta ritorna dal LLM, l'LangChain Orchestrator trasmette la risposta attraverso l'API Gateway WebSocket per essere utilizzata dall'applicazione client.

Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare dashboard personalizzati che consentono di monitorare le prestazioni e lo stato operativo della distribuzione.

Se la raccolta di feedback è abilitata, viene reso disponibile un endpoint API REST che sfrutta Amazon API Gateway per la raccolta del feedback degli utenti.

Il feedback a supporto di lambda, amplia il feedback inviato con metadati aggiuntivi specifici del caso d'uso (ad esempio il modello utilizzato) e archivia i dati in Amazon S3 per analisi e report successivi da parte degli utenti. DevOps

Gli utenti amministratori distribuiscono lo use case utilizzando il Deployment Dashboard. Gli utenti aziendali accedono all'interfaccia utente dello use case.

CloudFront fornisce l'interfaccia utente Web ospitata in un bucket S3.

L'interfaccia utente Web sfrutta un' WebSocket integrazione creata utilizzando API Gateway. L'API Gateway è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata basata sul gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy è archiviata in DynamoDB.

Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente CloudFront Web che l'API Gateway.

Le richieste in arrivo dall'utente aziendale vengono passate da API Gateway a una coda Amazon SQS e quindi alla funzione AWS Lambda. La coda consente il funzionamento asincrono dell'integrazione tra API Gateway e Lambda. La coda passa le informazioni di connessione alla funzione Lambda che invierà quindi i risultati direttamente alla connessione websocket API Gateway per supportare chiamate di inferenza a lunga durata.

La funzione AWS Lambda utilizza Amazon DynamoDB per ottenere le configurazioni dei casi d'uso in base alle esigenze.

Utilizzando l'input dell'utente e tutte le configurazioni dei casi d'uso pertinenti, la funzione AWS Lambda crea e invia un payload di richiesta all'agente Amazon Bedrock configurato per soddisfare l'intento dell'utente.

Quando la risposta arriva dall'Amazon Bedrock Agent, la funzione Lambda trasmette la risposta attraverso l'API WebSocket Gateway per essere utilizzata dall'applicazione client.

Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare dashboard personalizzati che consentono di monitorare le prestazioni e lo stato operativo della distribuzione.

Se la raccolta di feedback è abilitata, viene reso disponibile un endpoint API REST che sfrutta Amazon API Gateway per la raccolta del feedback degli utenti.

Il feedback a supporto di lambda, amplia il feedback inviato con metadati aggiuntivi specifici dei casi d'uso e archivia i dati in Amazon S3 per analisi e report successivi da parte degli utenti. DevOps

Gli utenti amministratori distribuiscono lo use case MCP Server utilizzando il Deployment Dashboard, selezionando il metodo di distribuzione Gateway o Runtime.

Questa azione è autenticata con Amazon Cognito.

Per l'implementazione del Gateway, la soluzione crea un Amazon Bedrock AgentCore Gateway che trasforma le funzioni Lambda esistenti o i server MCP esterni in strumenti conformi a MCP. APIs Per la distribuzione Runtime, la soluzione distribuisce server MCP containerizzati su Amazon Bedrock AgentCore Runtime utilizzando immagini ECR fornite.

Le implementazioni gateway recuperano gli API/Lambda/Smithy schemi necessari dalla posizione di caricamento in Amazon S3 o si connettono direttamente agli endpoint URL del server MCP.

Le distribuzioni di runtime recuperano il server MCP containerizzato fornito dall'utente da Amazon Elastic Container Registry (ECR)

Il server MCP è dotato di un client Amazon Bedrock Identity AgentCore OAuth

Il server MCP rende disponibili gli strumenti associati sull'endpoint /mcp affinché gli agenti possano scoprirli.

Amazon CloudWatch raccoglie parametri e log operativi dalle implementazioni di server MCP per il monitoraggio e la risoluzione dei problemi.

Gli utenti amministratori distribuiscono lo use case utilizzando il Deployment Dashboard. Gli utenti aziendali accedono all'interfaccia utente dello use case.

CloudFront fornisce l'interfaccia utente Web ospitata in un bucket S3.

L'interfaccia utente Web sfrutta un' WebSocket integrazione creata utilizzando API Gateway. L'API Gateway è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata basata sul gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy è archiviata in DynamoDB.

Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente CloudFront Web che l'API Gateway.

Le richieste in arrivo dall'utente aziendale vengono passate da API Gateway a una coda Amazon SQS e quindi alla funzione AWS Lambda. La coda consente il funzionamento asincrono dell'integrazione tra API Gateway e Lambda. La coda passa le informazioni di connessione alla funzione Lambda che invierà quindi i risultati direttamente alla connessione websocket API Gateway per supportare chiamate di inferenza a lunga durata.

La funzione AWS Lambda recupera la configurazione dell'agente da DynamoDB.

Utilizzando l'input dell'utente e tutte le configurazioni dei casi d'uso pertinenti, la funzione AWS Lambda crea e invia un payload di richiesta all'agente, in esecuzione su Amazon Bedrock Runtime. AgentCore

L'agente si connette ai server MCP associati e registra gli strumenti nell'istanza dell'agente strands. L'agente quindi seleziona ed esegue autonomamente le azioni in base alle descrizioni degli strumenti e ai requisiti delle attività.

Quando la risposta ritorna dal AgentCore runtime di Amazon Bedrock, la funzione Lambda trasmette la risposta attraverso l'API WebSocket Gateway per essere utilizzata dall'applicazione client.

Gli utenti amministratori distribuiscono il flusso di lavoro utilizzando il Deployment Dashboard, selezionando gli agenti di Agent Builder da includere come agenti specializzati.

CloudFront fornisce l'interfaccia utente Web ospitata in un bucket S3.

L'interfaccia utente Web sfrutta un' WebSocket integrazione creata utilizzando API Gateway. L'API Gateway è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata basata sul gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy è archiviata in DynamoDB.

Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente CloudFront Web che l'API Gateway.

Le richieste in arrivo dall'utente aziendale vengono passate da API Gateway a una coda Amazon SQS e quindi alla funzione AWS Lambda. La coda consente il funzionamento asincrono dell'integrazione tra API Gateway e Lambda.

La funzione AWS Lambda recupera la configurazione del flusso di lavoro da DynamoDB, incluso l'elenco degli agenti Agent Builder specializzati.

Utilizzando l'input dell'utente e la configurazione del flusso di lavoro, Lambda invia le richieste ad Amazon Bedrock AgentCore Runtime che ospita l'agente supervisore.

L'agente supervisore crea istanze locali di tutti gli agenti Agent Builder specializzati all'interno dell'ambiente Runtime. AgentCore Questi agenti specializzati vengono registrati come strumenti utilizzando il pattern Agents as Tools. Il supervisore seleziona e delega quindi autonomamente il lavoro ad agenti specializzati in base alle descrizioni degli agenti e ai requisiti delle attività.

L'agente supervisore aggrega i risultati degli agenti specializzati e formula la risposta finale, restituendola alla Lambda per essere ritrasmessa all'applicazione client tramite l'API Gateway Websocket.