Guia de integração

Crie uma nova pilha de TextUseCase CDK, que implanta o aplicativo de bate-papo configurado com seu provedor LLM personalizado:

Crie e anexe uma camada Lambda contendo a biblioteca Python do provedor de modelo a ser adicionada. Para um aplicativo de bate-papo de casos de uso do Amazon Bedrock, a biblioteca langchain-aws Python contém os conectores personalizados na parte superior do pacote para se conectar aos provedores de LangChain modelos da AWS (Amazon Bedrock SageMaker e AI), às bases de conhecimento (Amazon Kendra e Amazon Bedrock Knowledge Bases) e aos tipos de memória (como o DynamoDB). Da mesma forma, outros fornecedores de modelos têm seus próprios conectores. Essa camada ajuda você a anexar a biblioteca Python desse provedor de modelos para que você possa usar esses conectores na camada Lambda de bate-papo, que invoca o LLM (etapa 3). Nessa solução, um agrupador de ativos personalizado é usado para criar camadas Lambda, que são anexadas usando aspectos do CDK. Para criar uma nova camada para a biblioteca do provedor de modelos personalizados:

Estenda a função chat Lambda para implementar um construtor, cliente e manipulador para o novo provedor.

O source/lambda/chat contém as LangChain conexões de diferentes classes, LLMs juntamente com as classes de suporte para construí-las LLMs. Essas classes de suporte seguem os padrões de design Builder e Object Oriented para criar o LLM.

Cada manipulador (por exemplo,bedrock_handler.py) primeiro cria um cliente, verifica o ambiente em busca das variáveis de ambiente necessárias e, em seguida, chama um get_model método para obter a classe LangChain LLM. O método generate é então chamado para invocar o LLM e obter sua resposta. LangChain atualmente oferece suporte à funcionalidade de streaming para o Amazon Bedrock, mas não para SageMaker IA. Com base na funcionalidade de streaming ou não streaming, o WebSocket manipulador apropriado (WebsocketStreamingCallbackHandlerouWebsocketHandler) é chamado para enviar a resposta de volta à WebSocket conexão usando o post_to_connection método.

A clients/builder pasta contém as classes que ajudam a criar um LLM Builder usando o padrão Builder. Primeiro, a use_case_config é recuperado de um armazenamento de configurações do DynamoDB, que armazena os detalhes sobre o tipo de base de conhecimento, memória de conversação e modelo a ser construído. Ele também contém detalhes relevantes do modelo, como parâmetros e avisos do modelo. Em seguida, o Builder ajuda a seguir as etapas para criar uma base de conhecimento, criar uma memória de conversação para manter o contexto da conversa para o LLM, definir os retornos de LangChain chamada apropriados para casos de streaming e não streaming e criar um modelo LLM com base nas configurações de modelo fornecidas. A configuração do DynamoDB é armazenada no momento da criação do caso de uso, quando você implanta um caso de uso a partir do painel de implantação (ou quando é fornecida pelos usuários em implantações autônomas de pilha de casos de uso sem o painel de implantação).

A clients/factories subpasta ajuda a definir a memória de conversação e a classe da base de conhecimento apropriadas, com base na configuração do LLM. Isso permite uma fácil extensão para qualquer outra base de conhecimento ou tipo de memória que você queira que sua implementação ofereça suporte.

A shared subpasta contém implementações específicas da base de conhecimento e da memória de conversação que são instanciadas dentro das fábricas pelo construtor. Ele também contém recuperadores do Amazon Kendra e do Amazon Bedrock Knowledge Base LangChain chamados para recuperar documentos para os casos de uso do RAG, além de retornos de chamada, que são usados pelo modelo LLM. LangChain

As LangChain implementações usam a Linguagem de LangChain Expressão (LCEL) para compor cadeias de conversação. RunnableWithMessageHistoryA classe é usada para manter o histórico de conversas com cadeias de LCEL personalizadas, permitindo que funcionalidades como retornar documentos de origem e usar a pergunta reformulada (ou desambiguada) enviada à base de conhecimento também sejam enviadas ao LLM.

Para criar sua própria implementação de um provedor personalizado, você pode:

Navegue até o AWS Systems Manager Parameter Store em sua conta da AWS.

Localize o parâmetro: /gaab/<stack-name>/strands-tools

Adicione a configuração da ferramenta ao final da lista existente usando a seguinte estrutura JSON:

{
  "name": "Bedrock KB Retrieve",
  "description": "Retrieve information from Bedrock Knowledge Base",
  "value": "retrieve",
  "category": "AI",
  "isDefault": false
}

Navegue até o console do IAM em sua conta da AWS.

Localize a função AgentCore de execução do Runtime para seu agente.

Adicione a seguinte permissão:

{
  "Effect": "Allow",
  "Action": "bedrock:Retrieve",
  "Resource": "arn:aws:bedrock:region:account-id:knowledge-base/knowledge-base-id"
}

Você pode usar o –0—/stage-assets.sh script para colocar manualmente todos os ativos gerados no intervalo de preparação da sua conta.

Use o comando a seguir para implantar ou atualizar a plataforma:

cdk deploy DeploymentPlatformStack --parameters AdminUserEmail='admin-email@amazon.com'

Quaisquer CloudFormation parâmetros adicionais da AWS também devem ser fornecidos junto com o AdminUserEmailparâmetro.