Usando a otimização automática no console - OpenSearch Serviço Amazon
Pré-requisitosCriação de um trabalho de ingestão de vetoresMonitorando trabalhos de otimizaçãoVisualizar detalhes do trabalhoVisualizando e entendendo os resultadosCriando um índice a partir de recomendações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando a otimização automática no console

Você pode usar o console do Amazon OpenSearch Service para criar trabalhos de ingestão de vetores, monitorar seu progresso, visualizar recomendações de otimização e criar índices com base nessas recomendações.

Pré-requisitos

Antes de usar a otimização automática no console, você deve ter o seguinte:

  • Uma AWS conta ativa com acesso ao OpenSearch console.

  • Uma coleção existente OpenSearch sem servidor de pesquisa vetorial de tipo ou um domínio gerenciado OpenSearch .

  • Permissões do IAM para as seguintes ações:

    • opensearch:SubmitAutoOptimizeJob

    • opensearch:GetAutoOptimizeJob

    • opensearch:DeleteAutoOptimizeJob

    • opensearch:CancelAutoOptimizeJob

    • opensearch:ListAutoOptimizeJobs

    nota

    Essas são políticas baseadas em identidade. AWS não oferece suporte a políticas baseadas em recursos para otimização automática de recursos.

  • Configure sua sessão de usuário federado para ter uma expiração mínima de credencial de pelo menos 1 hora. Para conjuntos de dados muito grandes ou dimensões altas, considere aumentar a duração da expiração em até 3 horas.

Criação de um trabalho de ingestão de vetores

Um trabalho de ingestão de vetores analisa seus dados vetoriais e fornece recomendações de otimização para a configuração do índice.

Para criar um trabalho de ingestão de vetores

  1. Faça login no console do Amazon OpenSearch Service em Console de gerenciamento da AWS.

  2. No painel de navegação, escolha Otimização automática.

  3. Escolha Criar tarefa de ingestão de vetores.

  4. Em Detalhes do trabalho, insira um nome para seu trabalho de ingestão de vetores. Esse nome ajuda você a identificar o trabalho no console.

  5. Em Fonte de dados, configure o seguinte:

    1. Para o URI do Amazon S3, insira o URI do Amazon S3 da pasta que contém seus arquivos do Parquet. O URI deve apontar para a pasta anexa, não para arquivos individuais. Por exemplo, se seu arquivo Parquet estiver ems3://my-bucket/my-folder/file1.parquet, insiras3://my-bucket/my-folder/.

    2. Em Região, selecione a AWS região em que seu bucket do Amazon S3 está localizado. A região deve corresponder à localização do bucket.

  6. Em OpenSearch domínio, selecione um domínio ou coleção existente ou escolha Criar novo para criar um.

    nota

    Você pode especificar um domínio OpenSearch gerenciado ou uma coleção OpenSearch sem servidor sem servidor.

  7. Em Permissões da fonte de dados, especifique a função do IAM que tem permissões para acessar seu bucket, OpenSearch domínio ou coleção do Amazon S3. A função deve ter as permissões necessárias com base na configuração do seu domínio ou coleção:

    • Para OpenSearch domínios com uma política de acesso ao domínio, conceda acesso à função por meio dessa política.

    • Para OpenSearch domínios com controle de acesso refinado, adicione a função como uma função de back-end.

    • Para coleções OpenSearch sem servidor, adicione a função à política de acesso a dados.

  8. Escolha Próximo.

  9. Em Configurar índice, especifique o seguinte:

    1. Em Nome do campo, insira o nome da coluna do conjunto de dados do Parquet que contém os dados vetoriais.

    2. Para Tipo de espaço, selecione a métrica de distância usada para calcular a distância entre vetores:

      • l2 - Distância euclidiana

      • cosinesimil - Similaridade de cosseno

      • produto interno - Produto interno

    3. Em Dimensão, insira o número de valores de ponto flutuante em cada vetor.

  10. Em Requisitos de desempenho, configure o seguinte:

    1. Para Recall, especifique a qualidade de pesquisa desejada como um valor decimal entre 0 e 1. Valores de recall mais altos retornam resultados mais relevantes. Por exemplo:

      • 0,95 indica que, em média, 19 dos 20 vetores de documentos verdadeiros mais próximos de um vetor de consulta são retornados

      • 0,9 indica 9 em 10

      • 0,8 indica 8 em 10

    2. Em Requisitos de latência de pesquisa, selecione sua tolerância de latência. Requisitos modestos permitem maior economia de custos por meio de métodos de compactação que diminuem os requisitos de memória.

  11. Escolha Próximo.

  12. Revise sua configuração e escolha Criar.

O trabalho começa a ser processado. Você pode monitorar seu progresso na tabela Vector Inestion Jobs.

Monitorando trabalhos de otimização

Você pode monitorar o status de seus trabalhos de ingestão de vetores na página de destino de otimização automática.

Para monitorar trabalhos de otimização

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

  2. No painel de navegação, escolha Otimização automática.

  3. A tabela Trabalhos de ingestão de vetores exibe todos os trabalhos com seu status atual. Atualize a página para ver as informações de status atualizadas.

    nota

    Não há mecanismo automático de atualização ou notificação. Você deve atualizar manualmente o console para ver quando um trabalho é concluído.

Entendendo os estados do status do trabalho

As tarefas de otimização automática podem ter os seguintes valores de status:

Pendente

O trabalho está na fila e aguardando o início.

Em execução

O trabalho de otimização automática é analisar ativamente seus dados e gerar recomendações.

Concluído

O trabalho de otimização automática foi concluído com êxito. Todas as análises, avaliações e recomendações estão completas e disponíveis para visualização.

Falha

O trabalho encontrou um erro. Veja os detalhes do erro na página de detalhes do trabalho para determinar a causa.

Ativo

Um índice foi criado no cluster anexado e os dados foram ingeridos.

A duração do trabalho depende principalmente do tamanho do conjunto de dados e da carga de serviço atual. Os trabalhos típicos são concluídos em 15 minutos a várias horas.

Visualizar detalhes do trabalho

Você pode visualizar informações detalhadas sobre um trabalho de otimização específico, incluindo sua configuração e status.

Para ver os detalhes do trabalho

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

  2. No painel de navegação, escolha Otimização automática.

  3. Na tabela Trabalhos de ingestão de vetores, escolha o nome do trabalho.

  4. A página de detalhes do trabalho exibe as seguintes informações:

    • Nome e status do trabalho

    • Configuração da fonte de dados (URI e região do Amazon S3)

    • OpenSearch domínio ou coleção

    • Configuração do índice (nome do campo, tipo de espaço, dimensão)

    • Requisitos de desempenho (recall e latência)

    • Mensagens de erro (se o trabalho falhar)

Visualizando e entendendo os resultados

Depois que um trabalho for concluído com êxito, você poderá visualizar as recomendações de otimização.

Para visualizar os resultados da otimização

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

  2. No painel de navegação, escolha Otimização automática.

  3. Na tabela Trabalhos de ingestão de vetores, escolha um trabalho com o status Concluído.

  4. A página de resultados exibe as seguintes seções:

    • Visão geral dos resultados - Mostra a recuperação estimada da qualidade da pesquisa em comparação com sua necessidade e a área ocupada pela memória do índice em comparação com a configuração mais recomendada.

    • Recomendações - Lista até três recomendações de otimização, ordenadas com a recomendação principal como a melhor opção para sua configuração. Cada recomendação inclui:

      • Parâmetros de configuração do índice

      • Parâmetros de configuração de pesquisa

      • Métricas de desempenho esperadas

      • Estimativas da pegada de memória

    nota

    Embora as recomendações sejam ordenadas pela melhor combinação, você pode selecionar qualquer recomendação que melhor se adapte ao seu caso de uso específico. Otimize automaticamente as tentativas de encontrar as correspondências mais próximas aos critérios de recall escolhidos.

Criando um índice a partir de recomendações

Depois de analisar as recomendações de otimização, você pode criar manualmente um índice usando a configuração recomendada ou criar automaticamente um índice com a recomendação selecionada.

Para criar um índice automaticamente

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

  2. No painel de navegação, escolha Otimização automática.

  3. Na tabela Trabalhos de ingestão de vetores, escolha um trabalho com o status Concluído.

  4. Revise as recomendações e selecione a que você deseja usar.

  5. Escolha Criar índice.

  6. O sistema cria automaticamente um índice em seu cluster usando a recomendação selecionada e ingere os dados vetoriais do seu conjunto de dados do Parquet.

Para criar um índice manualmente

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

  2. No painel de navegação, escolha Otimização automática.

  3. Na tabela Trabalhos de ingestão de vetores, escolha um trabalho com o status Concluído.

  4. Analise as recomendações e anote a configuração do índice e os parâmetros de configuração de pesquisa da recomendação escolhida.

  5. Use a OpenSearch API ou o console para criar manualmente um índice com os parâmetros recomendados.