Guide d'intégration

Créez une nouvelle pile TextUseCase CDK, qui déploie l'application de chat configurée avec votre fournisseur LLM personnalisé :

Créez et attachez une couche Lambda contenant la bibliothèque Python du fournisseur de modèles à ajouter. Pour une application de chat utilisant Amazon Bedrock, la bibliothèque langchain-aws Python contient les connecteurs personnalisés situés au-dessus LangChain du package pour se connecter aux fournisseurs de modèles AWS (Amazon Bedrock et SageMaker AI), aux bases de connaissances (Amazon Kendra et Amazon Bedrock Knowledge Bases) et aux types de mémoire (tels que DynamoDB). De même, les autres fournisseurs de modèles disposent de leurs propres connecteurs. Cette couche vous permet d'associer la bibliothèque Python de ce fournisseur de modèles afin que vous puissiez utiliser ces connecteurs dans la couche Lambda du chat, qui invoque le LLM (étape 3). Dans cette solution, un bundler d'actifs personnalisé est utilisé pour créer des couches Lambda, qui sont attachées à l'aide des aspects CDK. Pour créer une nouvelle couche pour la bibliothèque de fournisseurs de modèles personnalisés, procédez comme suit :

Étendez la fonction chat Lambda pour implémenter un générateur, un client et un gestionnaire pour le nouveau fournisseur.

source/lambda/chatIl contient les LangChain connexions pour les différentes classes LLMs ainsi que les classes de support pour les créer LLMs. Ces classes de support suivent les modèles de conception orientés Builder et Object pour créer le LLM.

Chaque gestionnaire (par exemplebedrock_handler.py) crée d'abord un client, vérifie les variables d'environnement requises dans l'environnement, puis appelle une get_model méthode pour obtenir la classe LangChain LLM. La méthode generate est ensuite appelée pour invoquer le LLM et obtenir sa réponse. LangChain prend actuellement en charge la fonctionnalité de streaming pour Amazon Bedrock, mais pas l' SageMaker IA. Sur la base d'une fonctionnalité de streaming ou non, le WebSocket gestionnaire approprié (WebsocketStreamingCallbackHandlerouWebsocketHandler) est appelé pour renvoyer la réponse à la WebSocket connexion à l'aide de la post_to_connection méthode.

Le clients/builder dossier contient les classes qui aident à créer un générateur LLM à l'aide du modèle Builder. Tout d'abord, a use_case_config est extrait d'un magasin de configurations DynamoDB, qui contient les informations relatives au type de base de connaissances, de mémoire de conversation et de modèle à construire. Il contient également les détails pertinents du modèle, tels que les paramètres du modèle et les instructions. Le générateur aide ensuite à suivre les étapes de création d'une base de connaissances, de création d'une mémoire de conversation pour maintenir le contexte de conversation pour le LLM, de définition des LangChain rappels appropriés pour les cas de streaming et de non-streaming, et de création d'un modèle LLM basé sur les configurations de modèle fournies. La configuration DynamoDB est stockée au moment de la création des cas d'utilisation lorsque vous déployez un cas d'utilisation à partir du tableau de bord de déploiement (ou lorsqu'il est fourni par les utilisateurs dans le cadre de déploiements de pile de cas d'utilisation autonomes sans le tableau de bord de déploiement).

Le clients/factories sous-dossier permet de définir la mémoire de conversation et la classe de base de connaissances appropriées, en fonction de la configuration LLM. Cela permet une extension facile à toute autre base de connaissances ou à tout autre type de mémoire que vous souhaitez que votre implémentation prenne en charge.

Le shared sous-dossier contient des implémentations spécifiques de la base de connaissances et de la mémoire de conversation qui sont instanciées dans les usines par le constructeur. Il contient également des récupérateurs de la base de connaissances Amazon Kendra et Amazon Bedrock appelés pour récupérer des documents relatifs LangChain aux cas d'utilisation du RAG, ainsi que des rappels, utilisés par le modèle LLM. LangChain

Les LangChain implémentations utilisent le langage LangChain d'expression (LCEL) pour composer ensemble des chaînes de conversation. RunnableWithMessageHistoryLa classe est utilisée pour conserver l'historique des conversations avec des chaînes LCEL personnalisées, permettant des fonctionnalités telles que le renvoi de documents sources et l'utilisation de la question reformulée (ou désambiguïsée) envoyée à la base de connaissances pour être également envoyée au LLM.

Pour créer votre propre implémentation d'un fournisseur personnalisé, vous pouvez :

Accédez au AWS Systems Manager Parameter Store dans votre compte AWS.

Localisez le paramètre : /gaab/<stack-name>/strands-tools

Ajoutez la configuration de votre outil à la fin de la liste existante à l'aide de la structure JSON suivante :

{
  "name": "Bedrock KB Retrieve",
  "description": "Retrieve information from Bedrock Knowledge Base",
  "value": "retrieve",
  "category": "AI",
  "isDefault": false
}

Accédez à la console IAM dans votre compte AWS.

Localisez le rôle AgentCore d'exécution Runtime pour votre agent.

Ajoutez l'autorisation suivante :

{
  "Effect": "Allow",
  "Action": "bedrock:Retrieve",
  "Resource": "arn:aws:bedrock:region:account-id:knowledge-base/knowledge-base-id"
}

Vous pouvez utiliser le –0—/stage-assets.sh script pour transférer manuellement tous les actifs générés vers le bucket intermédiaire de votre compte.

Utilisez la commande suivante pour déployer ou mettre à jour la plateforme :

cdk deploy DeploymentPlatformStack --parameters AdminUserEmail='admin-email@amazon.com'

Tous CloudFormation les paramètres AWS supplémentaires doivent également être fournis avec le AdminUserEmailparamètre.