Übersicht über die Architektur

Bereitstellungs-Dashboard — Das Bereitstellungs-Dashboard ist eine Weboberfläche, die als Verwaltungskonsole für Administratorbenutzer dient, um ihre Anwendungsfälle anzusehen, zu verwalten und zu erstellen. Dieses Dashboard ermöglicht es Kunden, verschiedene AI/ML Workloads schnell zu testen, zu iterieren und in der Produktion zu nutzen. LLMs

Text-Anwendungsfall — Der Text-Anwendungsfall ermöglicht es Benutzern, eine Benutzeroberfläche in natürlicher Sprache mithilfe generativer KI zu erleben. Dieser Anwendungsfall kann in neue oder bestehende Anwendungen integriert werden und kann über das Deployment-Dashboard oder unabhängig über eine bereitgestellte URL bereitgestellt werden.

Anwendungsfall Bedrock Agent — Der Bedrock Agent-Anwendungsfall ermöglicht die Verwendung vorhandener Bedrock Agents, um Aufgaben zu erledigen oder sich wiederholende Workflows zu automatisieren.

MCP Server — Der MCP Server-Anwendungsfall ermöglicht die Bereitstellung und Verwaltung von Model Context Protocol-Servern, die einen standardisierten Tool- und Ressourcenzugriff für KI-Anwendungen bieten. Unterstützt sowohl Gateway-Methoden zum Umschließen vorhandener Lambda-Funktionen und externer MCP-Server als auch Laufzeitmethoden für die Bereitstellung von benutzerdefinierten containerisierten MCP-Servern. APIs

Agent Builder — Der Agent Builder ermöglicht die Erstellung und Bereitstellung von produktionsbereiten KI-Agenten auf Amazon Bedrock AgentCore mit vollständiger Konfigurationskontrolle, MCP-Serverintegration und Speicherverwaltungsfunktionen.

Workflow Builder — Der Workflow Builder ermöglicht die Erstellung von Supervisor-Agenten, die mehrere Agent Builder-Agenten mithilfe des Delegationsmusters Agents as Tools für komplexe Workflows mit mehreren Agenten orchestrieren.

Admin-Benutzer melden sich bei der Benutzeroberfläche (UI) des Deployment Dashboards an.

Amazon CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3) -Bucket gehostet wird.

AWS WAF schützt sie vor APIs Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web Access Control List (Web ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.

Die Weboberfläche nutzt eine Reihe von REST APIs , die über Amazon API Gateway verfügbar gemacht werden.

Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront Web-Benutzeroberfläche als auch das API Gateway.

AWS Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfallbereitstellungen mit AWS. CloudFormation

Amazon DynamoDB speichert die Liste der Bereitstellungen.

Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation Stack-Erstellungsereignis für den angeforderten Anwendungsfall.

Alle vom Admin-Benutzer im Einrichtungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in DynamoDB gespeichert. Die Bereitstellung verwendet diese DynamoDB-Tabelle, um das LLM zur Laufzeit zu konfigurieren.

Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Diensten, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.

Admin-Benutzer stellen den Anwendungsfall mithilfe des Deployment Dashboards bereit. Geschäftsbenutzer melden sich bei der Benutzeroberfläche für Anwendungsfälle an.

CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.

Die Weboberfläche nutzt eine WebSocket Integration, die mit API Gateway erstellt wurde. Das API Gateway wird von einer benutzerdefinierten Lambda-Autorisierungsfunktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM) -Richtlinie zurückgibt, die auf der Amazon Cognito Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört. Die Richtlinie ist in DynamoDB gespeichert.

Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront Web-Benutzeroberfläche als auch das API Gateway.

Eingehende Anfragen des Geschäftsbenutzers werden vom API Gateway an eine Amazon SQS SQS-Warteschlange und dann an den LangChain Orchestrator weitergeleitet. Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Ebenen, die die Geschäftslogik für die Erfüllung von Anfragen von Geschäftsbenutzern bereitstellen. Die Warteschlange ermöglicht den asynchronen Betrieb der API-Gateway-Lambda-Integration. Die Warteschlange leitet Verbindungsinformationen an die Lambda-Funktionen weiter, die dann die Ergebnisse direkt an die API Gateway Gateway-Websocket-Verbindung zurücksenden, um lang andauernde Inferenzrufe zu unterstützen.

Der LangChain Orchestrator verwendet Amazon DynamoDB, um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen (wie den Chat-Verlauf) abzurufen.

Wenn für die Bereitstellung eine Wissensdatenbank aktiviert ist, nutzt der LangChain Orchestrator Amazon Kendra oder Knowledge Bases for Amazon Bedrock, um eine Suchabfrage zum Abrufen von Dokumentauszügen auszuführen.

Mithilfe des Chat-Verlaufs, der Abfrage und des Kontextes aus der Wissensdatenbank erstellt der LangChain Orchestrator die endgültige Aufforderung und sendet die Anfrage an das LLM, das auf Amazon Bedrock oder Amazon AI gehostet wird. SageMaker

Wenn die Antwort vom LLM zurückkommt, streamt der LangChain Orchestrator die Antwort zurück über das API Gateway, WebSocket damit sie von der Client-Anwendung verarbeitet wird.

Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Diensten, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.

Wenn die Erfassung von Feedback aktiviert ist, wird ein REST-API-Endpunkt, der Amazon API Gateway nutzt, für die Erfassung von Benutzerfeedback zur Verfügung gestellt.

Das Feedback, das Lambda unterstützt, erweitert das übermittelte Feedback um zusätzliche anwendungsfallspezifische Metadaten (z. B. das verwendete Modell) und speichert die Daten in Amazon S3 für spätere Analysen und Berichte durch die DevOps Benutzer.

Admin-Benutzer stellen den Anwendungsfall mithilfe des Deployment Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche für Anwendungsfälle an.

CloudFront stellt die Webbenutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.

Die Weboberfläche nutzt eine WebSocket Integration, die mit API Gateway erstellt wurde. Das API Gateway wird von einer benutzerdefinierten Lambda-Autorisierungsfunktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM) -Richtlinie zurückgibt, die auf der Amazon Cognito Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört. Die Richtlinie ist in DynamoDB gespeichert.

Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront Web-Benutzeroberfläche als auch das API Gateway.

Eingehende Anfragen des Geschäftsbenutzers werden von API Gateway an eine Amazon SQS SQS-Warteschlange und dann an die AWS Lambda Lambda-Funktion weitergeleitet. Die Warteschlange ermöglicht den asynchronen Betrieb der API-Gateway-Lambda-Integration. Die Warteschlange leitet Verbindungsinformationen an die Lambda-Funktion weiter, die dann die Ergebnisse direkt an die API Gateway Gateway-Websocket-Verbindung zurücksendet, um lang andauernde Inferenzrufe zu unterstützen.

Die AWS Lambda Lambda-Funktion verwendet Amazon DynamoDB, um die Anwendungsfallkonfigurationen nach Bedarf abzurufen.

Unter Verwendung der Benutzereingabe und aller relevanten Anwendungsfallkonfigurationen erstellt die AWS Lambda Lambda-Funktion eine Anforderungs-Payload und sendet sie an den konfigurierten Amazon Bedrock Agent, um die Benutzerabsicht zu erfüllen.

Wenn die Antwort vom Amazon Bedrock Agent zurückkommt, streamt die Lambda-Funktion die Antwort zurück über das API Gateway, WebSocket damit sie von der Client-Anwendung verarbeitet wird.

Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Diensten, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.

Wenn die Erfassung von Feedback aktiviert ist, wird ein REST-API-Endpunkt, der Amazon API Gateway nutzt, für die Erfassung von Benutzerfeedback zur Verfügung gestellt.

Das Feedback, das Lambda unterstützt, erweitert das übermittelte Feedback um zusätzliche anwendungsfallspezifische Metadaten und speichert die Daten in Amazon S3 für spätere Analysen und Berichte durch die DevOps Benutzer.

Admin-Benutzer stellen den MCP-Server-Anwendungsfall mithilfe des Deployment Dashboards bereit und wählen entweder die Gateway- oder Runtime-Bereitstellungsmethode aus.

Diese Aktion ist mit Amazon Cognito authentifiziert.

Für die Gateway-Bereitstellung erstellt die Lösung ein Amazon Bedrock AgentCore Gateway, das bestehende Lambda-Funktionen oder externe MCP-Server in MCP-konforme Tools umwandelt. APIs Für die Runtime-Bereitstellung stellt die Lösung containerisierte MCP-Server auf Amazon Bedrock AgentCore Runtime mithilfe der bereitgestellten ECR-Images bereit.

Gateway-Bereitstellungen rufen die erforderlichen API/Lambda/Smithy Schemas von ihrem hochgeladenen Speicherort in Amazon S3 ab oder stellen eine direkte Verbindung zu MCP-Server-URL-Endpunkten her.

Runtime-Bereitstellungen rufen den vom Benutzer bereitgestellten containerisierten MCP-Server aus der Amazon Elastic Container Registry (ECR) ab

Der MCP-Server ist mit einem Amazon AgentCore Bedrock Identity-Client ausgestattet OAuth

Der MCP-Server stellt die zugehörigen Tools am /mcp-Endpunkt zur Verfügung, damit Agenten sie entdecken können.

Amazon CloudWatch sammelt Betriebsmetriken und Protokolle von MCP-Serverbereitstellungen zur Überwachung und Fehlerbehebung.

Admin-Benutzer stellen den Anwendungsfall mithilfe des Deployment Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche für Anwendungsfälle an.

CloudFront stellt die Webbenutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.

Die Weboberfläche nutzt eine WebSocket Integration, die mit API Gateway erstellt wurde. Das API Gateway wird von einer benutzerdefinierten Lambda-Autorisierungsfunktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM) -Richtlinie zurückgibt, die auf der Amazon Cognito Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört. Die Richtlinie ist in DynamoDB gespeichert.

Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront Web-Benutzeroberfläche als auch das API Gateway.

Eingehende Anfragen des Geschäftsbenutzers werden von API Gateway an eine Amazon SQS SQS-Warteschlange und dann an die AWS Lambda Lambda-Funktion weitergeleitet. Die Warteschlange ermöglicht den asynchronen Betrieb der API-Gateway-Lambda-Integration. Die Warteschlange leitet Verbindungsinformationen an die Lambda-Funktion weiter, die dann die Ergebnisse direkt an die API Gateway Gateway-Websocket-Verbindung zurücksendet, um lang andauernde Inferenzrufe zu unterstützen.

Die AWS Lambda Lambda-Funktion ruft die Agentenkonfiguration von DynamoDB ab.

Unter Verwendung der Benutzereingaben und aller relevanten Anwendungsfallkonfigurationen erstellt die AWS Lambda Lambda-Funktion eine Anforderungs-Payload und sendet sie an den Agenten, der auf Amazon AgentCore Bedrock Runtime ausgeführt wird.

Der Agent stellt eine Verbindung zu den zugehörigen MCP-Servern her und registriert die Tools auf der Strings-Agenten-Instance. Der Agent wählt dann selbstständig Aktionen auf der Grundlage von Toolbeschreibungen und Aufgabenanforderungen aus und führt sie aus.

Wenn die Antwort von der Amazon AgentCore Bedrock-Laufzeit zurückkommt, streamt die Lambda-Funktion die Antwort zurück über das API Gateway, WebSocket damit sie von der Client-Anwendung verarbeitet wird.

Admin-Benutzer stellen den Workflow mithilfe des Deployment Dashboards bereit und wählen Agent Builder-Agenten aus, die als spezialisierte Agenten aufgenommen werden sollen.

CloudFront stellt die Weboberfläche bereit, die in einem S3-Bucket gehostet wird.

Die Weboberfläche nutzt eine WebSocket Integration, die mit API Gateway erstellt wurde. Das API Gateway wird von einer benutzerdefinierten Lambda-Autorisierungsfunktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM) -Richtlinie zurückgibt, die auf der Amazon Cognito Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört. Die Richtlinie ist in DynamoDB gespeichert.

Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront Web-Benutzeroberfläche als auch das API Gateway.

Eingehende Anfragen des Geschäftsbenutzers werden von API Gateway an eine Amazon SQS SQS-Warteschlange und dann an die AWS Lambda Lambda-Funktion weitergeleitet. Die Warteschlange ermöglicht den asynchronen Betrieb der API-Gateway-Lambda-Integration.

Die AWS Lambda Lambda-Funktion ruft die Workflow-Konfiguration von DynamoDB ab, einschließlich der Liste der spezialisierten Agent Builder-Agenten.

Mithilfe der Benutzereingabe und der Workflow-Konfiguration sendet Lambda Anfragen an die Amazon Bedrock AgentCore Runtime, die den Supervisor Agent hostet.

Der Supervisor-Agent erstellt lokale Instanzen aller spezialisierten Agent Builder-Agenten innerhalb der AgentCore Runtime-Umgebung. Diese spezialisierten Agenten werden mithilfe des Patterns Agents as Tools als Tools als Tools registriert. Der Supervisor wählt dann selbstständig die Arbeit aus und delegiert sie auf der Grundlage der Agentenbeschreibungen und Aufgabenanforderungen an spezialisierte Agenten.

Der Supervisor-Agent aggregiert die Ergebnisse spezialisierter Agenten und formuliert die endgültige Antwort. Er gibt sie an Lambda zurück, damit sie über den API-Gateway-Websocket zurück an die Client-Anwendung gestreamt wird.