Guida all'integrazione

Crea un nuovo stack TextUseCase CDK, che distribuisce l'applicazione di chat configurata con il tuo provider LLM personalizzato:

Crea e collega un layer Lambda contenente la libreria Python del provider di modelli da aggiungere. Per un'applicazione di chat per casi d'uso di Amazon Bedrock, la libreria langchain-aws Python contiene i connettori personalizzati nella parte superiore LangChain del pacchetto per connettersi ai provider di modelli AWS (Amazon Bedrock SageMaker e AI), alle knowledge base (Amazon Kendra e Amazon Bedrock Knowledge Bases) e ai tipi di memoria (come DynamoDB). Analogamente, altri fornitori di modelli dispongono di connettori propri. Questo livello consente di collegare la libreria Python di questo fornitore di modelli in modo da poter utilizzare questi connettori nel livello di chat Lambda, che richiama l'LLM (passaggio 3). In questa soluzione, viene utilizzato un bundler di asset personalizzato per creare livelli Lambda, collegati utilizzando aspetti CDK. Per creare un nuovo livello per la libreria Custom Model Provider:

Estendi la funzione chat Lambda per implementare un builder, un client e un gestore per il nuovo provider.

source/lambda/chatContiene le LangChain connessioni per diverse classi LLMs insieme alle classi di supporto per crearle. LLMs Queste classi di supporto seguono i modelli di progettazione Builder e Object Oriented per creare l'LLM.

Ogni gestore (ad esempiobedrock_handler.py) crea prima un client, controlla l'ambiente per le variabili di ambiente richieste e quindi chiama un get_model metodo per ottenere la LangChain classe LLM. Il metodo generate viene quindi chiamato per richiamare l'LLM e ottenere la sua risposta. LangChain attualmente supporta la funzionalità di streaming per Amazon Bedrock, ma non l' SageMaker intelligenza artificiale. In base alla funzionalità di streaming o non streaming, viene chiamato il WebSocket gestore (WebsocketStreamingCallbackHandleroWebsocketHandler) appropriato per inviare la risposta alla WebSocket connessione utilizzando il metodo. post_to_connection

La clients/builder cartella contiene le classi che aiutano a creare un LLM Builder utilizzando il pattern Builder. Innanzitutto, a use_case_config viene recuperato da un archivio di configurazioni DynamoDB, che memorizza i dettagli sul tipo di knowledge base, memoria di conversazione e modello da costruire. Contiene anche dettagli rilevanti del modello, come i parametri e i prompt del modello. Il Builder aiuta quindi a seguire i passaggi per la creazione di una knowledge base, la creazione di una memoria di conversazione per mantenere il contesto di conversazione per LLM, l'impostazione dei LangChain callback appropriati per i casi di streaming e non streaming e la creazione di un modello LLM basato sulle configurazioni del modello fornite. La configurazione di DynamoDB viene archiviata al momento della creazione del caso d'uso quando si distribuisce un caso d'uso dalla dashboard di distribuzione (o quando viene fornito dagli utenti nelle distribuzioni standalone dello stack di use case senza il dashboard di distribuzione).

La clients/factories sottocartella consente di impostare la memoria di conversazione e la classe di knowledge base appropriate, in base alla configurazione LLM. Ciò consente una facile estensione a qualsiasi altra knowledge base o tipo di memoria che si desidera supportare dall'implementazione.

La shared sottocartella contiene implementazioni specifiche della knowledge base e della memoria di conversazione, che vengono istanziate all'interno delle factory dal builder. Contiene anche i retriever Amazon Kendra e Amazon Bedrock Knowledge Base LangChain chiamati all'interno per recuperare i documenti per i casi d'uso RAG, insieme ai callback, utilizzati dal modello LLM. LangChain

Le LangChain implementazioni utilizzano LangChain Expression Language (LCEL) per comporre insieme catene di conversazioni. RunnableWithMessageHistoryla classe viene utilizzata per mantenere la cronologia delle conversazioni con catene LCEL personalizzate, abilitando funzionalità come la restituzione di documenti sorgente e l'utilizzo della domanda riformulata (o disambigua) inviata alla knowledge base per essere inviata anche al LLM.

Per creare la propria implementazione di un provider personalizzato, è possibile:

Accedi all'AWS Systems Manager Parameter Store nel tuo account AWS.

Individua il parametro: /gaab/<stack-name>/strands-tools

Aggiungete la configurazione dello strumento alla fine dell'elenco esistente utilizzando la seguente struttura JSON:

{
  "name": "Bedrock KB Retrieve",
  "description": "Retrieve information from Bedrock Knowledge Base",
  "value": "retrieve",
  "category": "AI",
  "isDefault": false
}

Accedi alla console IAM nel tuo account AWS.

Individua il ruolo AgentCore di esecuzione in Runtime per il tuo agente.

Aggiungi la seguente autorizzazione:

{
  "Effect": "Allow",
  "Action": "bedrock:Retrieve",
  "Resource": "arn:aws:bedrock:region:account-id:knowledge-base/knowledge-base-id"
}

Puoi utilizzare lo –0—/stage-assets.sh script per inserire manualmente le risorse generate nello staging bucket del tuo account.

Utilizzate il seguente comando per distribuire o aggiornare la piattaforma:

cdk deploy DeploymentPlatformStack --parameters AdminUserEmail='admin-email@amazon.com'

Insieme al AdminUserEmailparametro devono essere forniti anche eventuali CloudFormation parametri AWS aggiuntivi.