Visão geral dos vetores - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visão geral dos vetores

Os vetores são representações numéricas que ajudam as máquinas a entender e processar dados. Na IA generativa, eles servem a dois propósitos principais:

  • Representando espaços latentes que capturam a estrutura de dados em formato comprimido

  • Criação de incorporações para dados como palavras, frases e imagens

Modelos de incorporação como Word2Vec GloVee Amazon Titan Text Embeddings convertem dados em vetores por meio de um processo chamado incorporação. Esses modelos de incorporação podem fazer o seguinte:

  • Aprenda com o contexto para representar palavras como vetores.

  • Coloque palavras semelhantes mais próximas umas das outras no espaço vetorial.

  • Permita que as máquinas processem dados em um espaço contínuo.

O diagrama a seguir fornece uma visão geral de alto nível do processo de incorporação:

  1. Um bucket do Amazon Simple Storage Service (Amazon S3) contém arquivos que são as fontes de dados a partir das quais o sistema lerá e processará informações. O bucket S3 é especificado durante a configuração da base de conhecimento Amazon Bedrock, que também inclui a sincronização de dados com a base de conhecimento.

  2. O modelo de incorporação converte os dados brutos dos arquivos de objeto no bucket do S3 em incorporações vetoriais. Por exemplo, Object1 é convertido em um vetor [0,6, 0,7,...], representando seu conteúdo em um espaço multidimensional.

O modelo de incorporação converte objetos no bucket do Amazon S3 em incorporações vetoriais.

As incorporações de palavras são cruciais para o processamento de linguagem natural (PNL) porque fazem o seguinte:

  • Capture relações semânticas entre palavras.

  • Permita a geração de texto contextualmente relevante.

  • Potencialize grandes modelos de linguagem (LLMs) para produzir respostas semelhantes às humanas.