Tutorial: conceitos básicos sobre o S3 Vectors

Neste tutorial, você cria um bucket de vetores e um índice de vetores do S3 em uma Região da AWS por meio do console do Amazon S3. Em seguida, você usa um modelo de incorporação do Amazon Bedrock para gerar incorporações de vetores de seus dados, armazená-las no índice de vetores e realizar pesquisas semânticas.

Para começar, cadastre-se em uma conta da AWS, se ainda não tiver uma. Para ter mais informações sobre como criar uma conta, consulte Conceitos básicos do Amazon S3.

Etapa 1: criar um bucket de vetores com o console

Os buckets de vetores do S3 são um tipo de bucket do Amazon S3 criado especificamente para armazenar e consultar vetores. Você usa operações de API dedicadas para gravar e consultar dados vetoriais. É possível controlar o acesso aos dados vetoriais com mecanismos de controle de acesso, como políticas baseadas em identidade do IAM e políticas baseadas em recursos.

Nesta etapa, use o console do Amazon S3 para criar seu primeiro bucket de vetores. Para ver outras maneiras de criar um bucket de vetores, consulte Criar um bucket de vetores.

Como criar um bucket de vetores

Etapa 2: criar um índice de vetores em um bucket de vetores com o console

Nesta etapa, você criará um índice de vetores no bucket de vetores. O índice de vetores é usado para armazenar e consultar incorporações de vetores. Para ter mais informações sobre índices de vetores, consulte Índices de vetores.

Como criar um índice de vetores

Verifique se seu novo índice de vetores aparece dentro do bucket.

Etapa 3: inserir vetores em um índice de vetores com o SDK para Python (Boto3)

Para inserir, listar e consultar vetores, use os SDKs da AWS, a AWS CLI ou a API REST do Amazon S3.

Esta etapa consiste em inserir incorporações de vetores no índice de vetores com a operação de API PutVectors.

Primeiro, você deve gerar incorporações de vetores usando o modelo de incorporação de sua preferência. Se você usa o Amazon Bedrock, gere incorporações utilizando a operação de API InvokeModel para especificar o modelo de incorporação de sua preferência. Para conhecer uma alternativa para gerar e inserir incorporações de vetores com um único comando, consulte (Opcional) Automatizar a criação de incorporações de vetores com a S3 Vectors Embed CLI.

O código de exemplo a seguir gera incorporações de vetores de 1.024 dimensões com o modelo Incorporador de Texto do Titan V2 do Amazon Bedrock usando o AWS SDK para Python (Boto3) e as armazena no índice de vetores usando a API PutVectors. Com cada vetor, anexamos pares de chave-valor como metadados filtráveis. Além disso, usamos uma chave de metadados não filtráveis denominada source_text para preservar o texto original do qual cada vetor é derivado. Para maximizar o throughput de solicitações e otimizar a velocidade e a eficiência, recomendamos que você insira e exclua vetores em lotes. Para obter mais informações, consulte Práticas recomendadas do S3 Vectors.

# Populate a vector index with embeddings from Amazon Titan Text Embeddings V2.
import boto3
import json

# Create Bedrock Runtime and S3 Vectors clients in the AWS Region of your choice. 
bedrock = boto3.client("bedrock-runtime", region_name="us-west-2")
s3vectors = boto3.client("s3vectors", region_name="us-west-2")

# Texts to convert to embeddings.
texts = [
    "Star Wars: A farm boy joins rebels to fight an evil empire in space", 
    "Jurassic Park: Scientists create dinosaurs in a theme park that goes wrong",
    "Finding Nemo: A father fish searches the ocean to find his lost son"
]

# Generate vector embeddings.
embeddings = []
for text in texts:
    response = bedrock.invoke_model(
        modelId="amazon.titan-embed-text-v2:0",
        body=json.dumps({"inputText": text})
    )

    # Extract embedding from response.
    response_body = json.loads(response["body"].read())
    embeddings.append(response_body["embedding"])

# Write embeddings into vector index with metadata.
s3vectors.put_vectors(
    vectorBucketName="media-embeddings",   
    indexName="movies",   
    vectors=[
        {
            "key": "Star Wars",
            "data": {"float32": embeddings[0]},
            "metadata": {"source_text": texts[0], "genre":"scifi"}
        },
        {
            "key": "Jurassic Park",
            "data": {"float32": embeddings[1]},
            "metadata": {"source_text": texts[1], "genre":"scifi"}
        },
        {
            "key": "Finding Nemo",
            "data": {"float32": embeddings[2]},
            "metadata": {"source_text": texts[2], "genre":"family"}
        }
    ]
)

Etapa 4: inserir vetores em um índice de vetores com o SDK para Python (Boto3)

Depois de armazenar as incorporações de vetores no índice de vetores, você pode realizar uma pesquisa por similaridade usando a operação de API QueryVectors.

Primeiro, você deve gerar as incorporações de vetores de consulta usando o mesmo modelo de incorporação usado durante a inserção em Etapa 3: inserir vetores em um índice de vetores com o SDK para Python (Boto3). Neste tutorial, use o modelo Incorporador de Texto do Titan V2 do Amazon Bedrock por meio do SDK para Python (Boto3).

Você pode realizar uma pesquisa por similaridade para exibir os vetores que apresentam maior correspondência. Em uma pesquisa por similaridade, você pode, opcionalmente, usar chaves de metadados como filtro para restringir os resultados com base em critérios específicos e, ao mesmo tempo, manter a relevância semântica.

# Query a vector index with an embedding from Amazon Titan Text Embeddings V2.
import boto3 
import json 

# Create Bedrock Runtime and S3 Vectors clients in the AWS Region of your choice. 
bedrock = boto3.client("bedrock-runtime", region_name="us-west-2")
s3vectors = boto3.client("s3vectors", region_name="us-west-2") 

# Query text to convert to an embedding. 
input_text = "adventures in space"

# Generate the vector embedding.
response = bedrock.invoke_model(
    modelId="amazon.titan-embed-text-v2:0",
    body=json.dumps({"inputText": input_text})
) 

# Extract embedding from response.
model_response = json.loads(response["body"].read())
embedding = model_response["embedding"]

# Query vector index.
response = s3vectors.query_vectors(
    vectorBucketName="media-embeddings",
    indexName="movies",
    queryVector={"float32": embedding}, 
    topK=3, 
    returnDistance=True,
    returnMetadata=True
)
print(json.dumps(response["vectors"], indent=2))

# Query vector index with a metadata filter.
response = s3vectors.query_vectors(
    vectorBucketName="media-embeddings",
    indexName="movies",
    queryVector={"float32": embedding}, 
    topK=3, 
    filter={"genre": "scifi"},
    returnDistance=True,
    returnMetadata=True
)
print(json.dumps(response["vectors"], indent=2))
    

(Opcional) Automatizar a criação de incorporações de vetores com a S3 Vectors Embed CLI

A Amazon S3 Vectors Embed CLI é uma ferramenta de linha de comandos autônoma que simplifica o processo de trabalho com incorporações de vetores no S3 Vectors. Com comandos únicos, você pode criar incorporações de vetores para seus dados usando o Amazon Bedrock e armazená-las e consultá-las no índice de vetores do S3. Ela permite os seguintes comandos:

Para ter mais informações sobre os comandos e o uso, consulte o Repositório Amazon S3 Vectors Embed CLI do GitHub.

(Opcional) Integrar o S3 Vectors às Bases de Conhecimento do Amazon Bedrock

As Base de Conhecimento do Amazon Bedrock se integram ao S3 Vectors para oferecer um armazenamento de conjuntos de dados vetoriais econômico e de longo prazo.

Pré-requisitos

Siga os pré-requisitos a fim de garantir que você tenha as permissões necessárias para criar uma base de conhecimento do Amazon Bedrock.

Criar uma base de conhecimento do Amazon Bedrock com o S3 Vectors no console

As Bases de Conhecimento do Amazon Bedrock oferecem um fluxo de trabalho de RAG completo e totalmente gerenciado. Quando você cria uma base de conhecimento com o S3 Vectors, o Amazon Bedrock busca os dados automaticamente na fonte de dados do S3, converte conteúdo em blocos de texto e gera incorporações e as armazena em seu índice de vetores. Em seguida, você pode consultar a base de conhecimento e gerar respostas baseadas em partes recuperadas dos dados de origem.

(Opcional) Integrar o S3 Vector ao Amazon OpenSearch

O Amazon OpenSearch Service é um serviço totalmente gerenciado que simplifica a implantação, o ajuste de escala e a operação do OpenSearch na Nuvem AWS. Há duas integrações entre o S3 Vectors e o OpenSearch. Uma delas é exportar dados vetoriais do S3 Vectors para o OpenSearch Sem Servidor para ter recursos de pesquisa de alto desempenho. A outra usa o S3 Vectors como um mecanismo de armazenamento econômico no OpenSearch, mantendo o acesso à funcionalidade do OpenSearch.

Para obter mais informações, consulte Usar o S3 Vectors com o OpenSearch Service.