統合ガイド

カスタム LLM プロバイダーで設定されたチャットアプリケーションをデプロイする新しい TextUseCase CDK スタックを作成します。

追加するモデルプロバイダーの Python ライブラリを含む Lambda レイヤーを構築してアタッチします。Amazon Bedrock ユースケースのチャットアプリケーションの場合、langchain-aws の Python ライブラリには、LangChain パッケージの上に構築されたカスタムコネクタが含まれており、AWS モデルプロバイダー (Amazon Bedrock および SageMaker AI)、ナレッジベース (Amazon Kendra および Amazon Bedrock ナレッジベース)、メモリタイプ (DynamoDB など) との接続に使用されます。同様に、他のモデルプロバイダーにも独自のコネクタがあります。このレイヤーは、このモデルプロバイダーの Python ライブラリをアタッチすることを目的としており、これにより、LLM を呼び出すチャット Lambda レイヤーでこれらのコネクタを使用できるようになります (ステップ 3)。このソリューションでは、カスタムアセットバンドラーを使用して Lambda レイヤーを構築し、CDK のアスペクトを使用してアタッチします。カスタムモデルプロバイダーライブラリの新しいレイヤーを作成するには:

chat Lambda 関数を拡張して、新しいプロバイダーのビルダー、クライアント、ハンドラーを実装します。

source/lambda/chat には、さまざまな LLM の LangChain 接続と、これらの LLM を構築するためのサポートクラスが含まれています。これらのサポートクラスは、ビルダーとオブジェクト指向の設計パターンに従って LLM を作成します。

各ハンドラー (bedrock_handler.py など) は、まず client を作成し、必要な環境変数について環境をチェックしてから、get_model メソッドを呼び出して LangChain LLM クラスを取得します。その後、生成メソッドが呼び出されて LLM が起動し、その応答を取得します。LangChain は現在 Amazon Bedrock のストリーミング機能をサポートしていますが、SageMaker AI はサポートしていません。ストリーミング機能または非ストリーミング機能に基づいて、適切な WebSocket ハンドラー (WebsocketStreamingCallbackHandler または WebsocketHandler) が呼び出され、 post_to_connection メソッドを使用して応答が WebSocket 接続に送り返されます。

clients/builder フォルダには、ビルダーパターンを使用して LLM ビルダーを構築するのに役立つクラスが含まれています。まず、DynamoDB の設定ストアから use_case_config が取得されます。このストアには、構築するナレッジベース、会話メモリ、モデルのタイプに関する詳細が格納されています。また、モデルパラメータやプロンプトなど、関連するモデルの詳細も含まれています。ビルダーは、ナレッジベースの作成、会話コンテキストを維持するための LLM 用会話メモリの作成、ストリーミングケースと非ストリーミングケースに応じた LangChain コールバックの設定、提供されたモデル設定に基づく LLM モデルの作成の手順を支援します。この DynamoDB 設定は、デプロイダッシュボードからユースケースをデプロイするとき (またはデプロイダッシュボードなしでスタンドアロンのユースケーススタックデプロイでユーザーによって提供されるとき) に、ユースケースの作成時に保存されます。

clients/factories サブフォルダには、LLM の設定に基づいて適切な会話メモリとナレッジベースクラスを設定するのに役立ちます。これにより、実装でサポートする他のナレッジベースやメモリタイプへの拡張が容易になります。

shared サブフォルダには、ビルダーがファクトリー内でインスタンス化するナレッジベースと会話メモリの具体的な実装が含まれています。また、RAG ユースケースでのドキュメント取得のために、LangChain 内で呼び出される Amazon Kendra および Amazon Bedrock ナレッジベース用のリトリーバーのほか、LangChain LLM モデルで使用されるコールバックも含まれています。

LangChain の実装では、会話チェーンを構成するために LangChain 式言語 (LCEL) を使用してします。RunnableWithMessageHistory クラスは、カスタム LCEL チェーンを使用して会話履歴を維持するために使われます。これにより、例えばソースドキュメントを返したり、ナレッジベースに送信されたリフレーズされた (または曖昧性の解消された) 質問を LLM も送信したりできます。

カスタムプロバイダーの独自の実装を作成するには、次の方法があります。

AWS アカウントの AWS Systems Manager Parameter Store に移動します。

/gaab/<stack-name>/strands-tools パラメータを見つけます。

次の JSON 構造を使用して、ツール設定を既存のリストの末尾に追加します。

{
  "name": "Bedrock KB Retrieve",
  "description": "Retrieve information from Bedrock Knowledge Base",
  "value": "retrieve",
  "category": "AI",
  "isDefault": false
}

使用中の AWS アカウントで IAM コンソールに移動します。

エージェントの AgentCore Runtime 実行ロールを見つけます。

以下のアクセス許可を追加します。

{
  "Effect": "Allow",
  "Action": "bedrock:Retrieve",
  "Resource": "arn:aws:bedrock:region:account-id:knowledge-base/knowledge-base-id"
}

–0—/stage-assets.sh スクリプトを使用すると、生成されたアセットをアカウントのステージングバケットに手動でステージングできます。

次のコマンドを使用して、プラットフォームをデプロイまたは更新します。

cdk deploy DeploymentPlatformStack --parameters AdminUserEmail='admin-email@amazon.com'

追加の AWS CloudFormation パラメータも AdminUserEmail パラメータとともに指定する必要があります。