ストリーミングデータベクトル化ブループリントを展開する - Amazon Managed Streaming for Apache Kafka
ページ設定を作成する

ストリーミングデータベクトル化ブループリントを展開する

このトピックでは、ストリーミングデータベクトル化ブループリントをデプロイする方法について説明します。

ストリーミングデータベクトル化ブループリントを展開する

  1. 次のリソースが正しく設定されていることを確認します。

    1. プロビジョニング済みまたはサーバーレスの MSK クラスターで、データを含む 1 つ以上のトピックが存在する。

  2. Bedrock セットアップ: 目的の Bedrock モデルへのアクセス。現在サポートされている Bedrock モデルは次のとおりです。

    • Amazon Titan Embeddings G1 - Text

    • Amazon Titan Text Embeddings V2

    • Amazon Titan Multimodal Embeddings G1

    • Cohere Embed English

    • Cohere Embed Multilingual

  3. AWS OpenSearch コレクション:

    • プロビジョニングされた OpenSearch Service コレクションまたは Serverless OpenSearch Service コレクションを使用できます。

    • OpenSearch Service コレクションには少なくとも 1 つのインデックスが必要です。

    • OpenSearch Serverless コレクションを使用する場合は、必ずベクトル検索コレクションを作成してください。ベクトルインデックスの設定方法の詳細については、「ナレッジベースの独自のベクトルストアの前提条件」を参照してください。ベクトル化の詳細については、「Amazon OpenSearch Service のベクトルデータベース機能の説明」を参照してください。

      注記

      ベクトルインデックスを作成するときは、ベクトルフィールド名{ph1}を使用する必要がありますembedded_data。

    • OpenSearch Provisioned コレクションを使用する場合は、ブループリントによって作成された MSF アプリケーションロール (Opensearch アクセスポリシーを含む) を、マスターユーザーとして OpenSearch コレクションに追加する必要があります。また、OpenSearch のアクセスポリシーが「許可」アクションに設定されていることを確認します。これは、きめ細かなアクセスコントロールを有効にするために必要です。

    • オプションで、OpenSearch ダッシュボードへのアクセスを有効にして結果を表示できます。きめ細かなアクセスコントロールを有効にします。

  4. aws:CreateStack アクセス許可を許可するロールを使用してログインします。

  5. MSF コンソールダッシュボードに移動し、ストリーミングアプリケーションの作成を選択します。

  6. 「メソッドを選択してストリーム処理アプリケーションを設定する」で「設計図を使用する」を選択します。

  7. ブループリントドロップダウンメニューから リアルタイム AI アプリケーションブループリント を選択します。

  8. 必要な設定を指定します。「ページ設定を作成する」を参照してください。

  9. デプロイブループリントを選択して CloudFormation デプロイを開始します。

  10. CloudFormation のデプロイが完了したら、デプロイされた Flink アプリケーションに移動します。アプリケーションのランタイムプロパティを確認します。

  11. ランタイムプロパティをアプリケーションに変更/追加することを選択できます。これらのプロパティの設定の詳細については、ランタイムプロパティの設定 を参照してください。

    注記

    注記:

    OpenSearch プロビジョニングを使用している場合は、きめ細かなアクセスコントロールが有効になっていることを確認してください。

    プロビジョニングされたクラスターがプライベートの場合は、OpenSearch Provisioned VPC エンドポイント URL に https:// を追加し、sink.os.endpoint をこのエンドポイントを指すように変更します。

    プロビジョニングされたクラスターがパブリックの場合は、MSF アプリケーションがインターネットにアクセスできることを確認します。詳細については、「>>>>>> express-brokers-publication-merge type="documentation" url="managed-flank/latest/java/vpc-internet.html" >「VPC に接続された Managed Service for Apache Flink アプリケーションのインターネットおよびサービスアクセス」を参照してください。

  12. すべての設定に満足したら、Run を選択します。アプリケーションの実行が開始されます。

  13. MSK クラスターにメッセージを送信します。

  14. Opensearch クラスターに移動し、OpenSearch ダッシュボードに移動します。

  15. ダッシュボードで、左側のメニューで検出を選択します。永続化されたドキュメントとそのベクトル埋め込みが表示されます。

  16. ベクトル検索コレクションの使用 を参照してください。

ページ設定を作成する

このトピックでは、リアルタイム AI アプリケーションブループリントの設定を指定するときに参照する作成ページの設定について説明します。

アプリケーション名

MSF の既存のフィールドで、アプリケーションに任意の名前を付けます。

MSK クラスター

ドロップダウンリストから、セットアップ中に作成した MSK クラスターを選択します。

トピック

セットアップで作成したトピックの名前を追加してください。

入力ストリームのデータ型

MSK ストリームに文字列入力を指定する場合は、文字列を選択します。

MSK ストリームの入力が JSON の場合は、JSON を選択します。埋め込み JSON キーで、埋め込みを生成するために Bedrock に送信する値を持つ入力 JSON のフィールドの名前を書き込みます。

Bedrock 埋め込みモデル

リストから 1 つ選択します。選択したモデルのモデルアクセス権があることを確認してください。そうしないと、スタックが失敗する可能性があります。Amazon Bedrock 基盤モデルへのアクセス権の追加または削除 を参照してください。

OpenSearch クラスター

ドロップダウンから作成したクラスターを選択します。

OpenSearch ベクトルインデックス名

上記のステップで作成したベクトルインデックスを選択します。