Implementar um esquema de vetorização de dados de streaming

Implementar um esquema de vetorização de dados de streaming

1. Certifique-se de que os seguintes recursos estejam configurados corretamente:

   1. Você deve ter um cluster sem servidor do MSK configurado com um ou mais tópicos contendo dados.

2. Configuração do Bedrock: acesso ao modelo desejado do Bedrock. Os modelos do Bedrock atualmente compatíveis são:

   • Amazon Titan Embeddings G1 - Text

   • Incorporador de Texto do Amazon Titan v2

   • Amazon Titan Multimodal Embeddings G1

   • Cohere Embed English

   • Cohere Embed Multilíngue

3. AWS OpenSearch coleção:

   • Você pode usar uma coleção de serviços provisionados ou sem servidor OpenSearch .

   • A coleção OpenSearch de serviços deve ter pelo menos um índice.

   • Se você planeja usar uma coleção OpenSearch sem servidor, certifique-se de criar uma coleção de pesquisa vetorial. Para obter detalhes sobre como configurar um índice vetorial, consulte Pré-requisitos para seu próprio armazenamento de vetores para uma base de conhecimento. Para saber mais sobre vetorização, consulte a explicação dos recursos do banco de dados vetoriais do Amazon OpenSearch Service.

     nota

     Ao criar um índice vetorial, você deve usar o nome de embedded_data do campo vetorial.

   • Se você planeja usar uma coleção OpenSearch provisionada, você precisa adicionar a função do aplicativo MSF (que contém a política de acesso do Opensearch) que foi criada pelo blueprint, como usuário principal à sua coleção. OpenSearch Além disso, confirme se a política de acesso em OpenSearch está definida como “Permitir” ações. Isso é necessário para permitir um controle de acesso refinado.

   • Opcionalmente, você pode ativar o acesso ao OpenSearch painel para visualizar os resultados. Consulte habilitar o controle de acesso refinado.

4. Faça login usando uma função que permite aws: CreateStack permissões.

5. Acesse o painel do console do MSF e selecione Criar aplicação de streaming.

6. Em Escolha um método para configurar a aplicação de processamento de stream, selecione Usar um esquema.

7. Selecione Esquema de aplicação de IA em tempo real no menu suspenso Esquemas.

8. Forneça as configurações desejadas. Consulte Criar configurações de página.

9. Selecione Implantar Blueprint para iniciar uma CloudFormation implantação.

10. Quando a CloudFormation implantação estiver concluída, acesse o aplicativo Flink implantado. Verifique as propriedades Runtime da aplicação.

11. Você pode escolher as propriedades change/add de execução do seu aplicativo. Consulte Configuração de propriedades Runtime para obter detalhes.

    nota

    Nota:

    Se você estiver usando OpenSearch provisioned, certifique-se de habilitar o controle de acesso refinado.

    Se seu cluster provisionado for privado, adicione-o https:// à URL do endpoint da VPC OpenSearch provisionada e altere sink.os.endpoint para apontar para esse endpoint.

    Se seu cluster provisionado for público, certifique-se de que sua aplicação MSF possa acessar a Internet. Para obter mais informações, consulte >>>>>> express-brokers-publication-merge type="documentation” url="managed- flink/latest/java/vpc -internet.html ">Acesso à Internet e aos serviços de um serviço gerenciado conectado à VPC para o aplicativo Apache Flink.

12. Quando todas as configurações estiverem adequadas, selecione Run. A aplicação começará a ser executada.

13. Envie mensagens em seu cluster do MSK.

14. Navegue até o cluster do Opensearch e acesse o OpenSearch painel.

15. No painel, selecione Descobrir no menu à esquerda. Você deve ver documentos persistentes junto com suas incorporações vetoriais.

16. Consulte Trabalhando com coletas de pesquisa vetorial para ver como você pode usar os vetores armazenados no índice.