Pré-requisitos para usar o armazenamento de vetores que você criou para uma base de conhecimento

1. Para configurar permissões e criar uma coleção de pesquisa vetorial no Amazon OpenSearch Sem Servidor no Console de gerenciamento da AWS, siga as etapas 1 e 2 em Como trabalhar com coleções de pesquisa vetorial no Guia do desenvolvedor do Amazon OpenSearch Service. Observe as seguintes considerações ao configurar a coleção:

   1. Forneça um nome e uma descrição de sua escolha à coleção.

   2. Para tornar a coleção privada, selecione Criação padrão na seção Segurança. Na seção Configurações de acesso à rede, selecione VPC como o Tipo de acesso e escolha um endpoint da VPC. Para obter mais informações sobre como configurar um endpoint da VPC para uma coleção do Amazon OpenSearch Sem Servidor, consulte Acessar o Amazon OpenSearch Sem Servidor usando um endpoint de interface (AWS PrivateLink) no Guia do desenvolvedor do Amazon OpenSearch Service.

2. Depois que a coleção for criada, anote o ARN da coleção para uso ao criar a base de conhecimento.

3. No painel de navegação à esquerda, Coleções em Sem servidor. Selecione a sua coleção de pesquisa vetorial.

4. Selecione a guia Índices. Escolha Criar índice vetorial.

5. Na seção Detalhes do índice vetorial, insira um nome para o índice no campo Nome do índice vetorial.

6. Na seção Campos vetoriais, escolha Adicionar campo vetorial. O Amazon Bedrock armazena as incorporações de vetores da fonte de dados nesse campo. Forneça as seguintes configurações:

   • Nome do campo de vetor: forneça um nome para o campo (por exemplo, embeddings).

   • Mecanismo: o mecanismo de vetores usado para pesquisa. Selecione faiss.

   • Dimensões: o número de dimensões no vetor. Consulte a seguinte tabela para determinar quantas dimensões o vetor deve conter:

     Modelo	Dimensões
     Incorporador do Titan G1 - Text	1.536
     Incorporador de Texto do Titan v2	1.024, 512 e 256
     Embed da Cohere em inglês	1,024
     Embed da Cohere multilíngue	1,024

   • Métrica de distância: a métrica usada para medir a semelhança entre vetores. Recomendamos usar Euclidiano para incorporações de vetores de ponto flutuante.

7. Expanda a seção Gerenciamento de metadados e adicione dois campos para configurar o índice de vetores para armazenar metadados adicionais que a base de conhecimento pode recuperar com vetores. A seguinte tabela descreve os campos e os valores a serem especificados para cada campo:

   Descrição do campo	Mapeamento do campo	Tipo de dados	Filtráveis
   O Amazon Bedrock fragmenta o texto bruto nos dados e armazena os fragmentos nesse campo.	Nome de sua escolha (por exemplo, text)	String	Verdadeiro
   O Amazon Bedrock armazena metadados relacionados à base de conhecimento nesse campo.	Nome de sua escolha (por exemplo, bedrock-metadata)	String	Falso

8. Anote os nomes que escolher para o nome do índice de vetores, o nome do campo vetorial e os nomes de campo de mapeamento do gerenciamento de metadados para criar a base de conhecimento. Escolha Criar.

1. Para criar um domínio e um índice de vetores no cluster do OpenSearch no Console de gerenciamento da AWS, siga as etapas descritas em Criar e gerenciar domínios do OpenSearch Service no Guia do desenvolvedor do Amazon OpenSearch Service.

   Observe as seguintes considerações ao configurar seu domínio:

   1. Atribua um nome ao domínio de sua preferência.

   2. Recomendamos que você use a opção de Criação fácil para começar rapidamente a criar seu domínio.

      nota

      Essa opção oferece um domínio com baixo throughput. Se você tiver workloads maiores que exijam um throughput mais alto, escolha a opção Criação padrão. É possível ajustar a capacidade posteriormente, conforme necessário. Com essa opção, você pode começar com a capacidade mais baixa, que pode ser modificada posteriormente, conforme a necessidade.

   3. Para “Rede”, você deve escolher Acesso público. Não é possível usar os domínios do OpenSearch que estão por trás de uma VPC em sua base de conhecimento.

   4. Em Versão, se você estiver usando incorporações de vetores binários, as Bases de Conhecimento do Amazon Bedrock exigirão uma versão de mecanismo 2.16 ou posterior. Além disso, é necessária uma versão 2.13 ou posterior para criar um índice k-NN. Para ter mais informações, consulte Pesquisa de k-NN no Guia do desenvolvedor do Amazon OpenSearch Service.

   5. Recomendamos que você use o modo de pilha dupla.

   6. É recomendável habilitar o Controle de acesso refinado para proteger os dados em seu domínio e controlar ainda mais as permissões que concedem ao perfil de serviço da base de conhecimento acesso ao domínio do OpenSearch e autorização para fazer solicitações.

   7. Deixe todas as outras configurações no modo padrão e escolha Criar para criar seu domínio.

2. Depois que o domínio for criado, clique nele para anotar o ARN do domínio e o endpoint do domínio para quando você criar a base de conhecimento.

3. Depois de criar o domínio, você pode criar um índice de vetores executando os comandos a seguir em um painel do OpenSearch ou usando comandos curl. Para obter mais informações, consulte a documentação do OpenSearch.

   Ao executar o comando:

   • Forneça um nome do campo de vetor (por exemplo, embeddings).

   • O vetor usado para a pesquisa deve ser faiss. O nmslib não é compatível.

   • Com relação ao número de dimensões no vetor, consulte a seguinte tabela para determinar quantas dimensões o vetor deve conter:

     nota

     O modelo Incorporador de Texto do Titan v2 permite várias dimensões. Também pode ser 256 ou 512.

     Modelo	Dimensões
     Incorporador de Texto do Titan G1	1.536
     Incorporador de Texto do Titan v2	1.024, 512 e 256
     Embed da Cohere em inglês	1,024
     Embed da Cohere multilíngue	1,024

   • É possível adicionar dois campos para configurar o índice de vetores para armazenar metadados adicionais que a base de conhecimento pode recuperar com vetores. A seguinte tabela descreve os campos e os valores a serem especificados para cada um deles:

     Descrição do campo	Mapeamento do campo
     O Amazon Bedrock fragmenta o texto bruto nos dados e armazena os fragmentos nesse campo.	Especificado como um objeto (por exemplo, AMAZON_BEDROCK_TEXT_CHUNK).
     O Amazon Bedrock armazena metadados relacionados à base de conhecimento nesse campo.	Especificado como um objeto (por exemplo, AMAZON_BEDROCK_METADATA).

   PUT /<index-name>
   {
       "settings": {
           "index": {
               "knn": true
           }
       },
       "mappings": {
           "properties": {
               "<vector-name>": {
                   "type": "knn_vector",
                   "dimension": <embedding-dimension>,
                   "data_type": "binary",          # Only needed for binary embeddings
                   "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings
                   "method": {
                       "name": "hnsw",
                       "engine": "faiss",
                       "parameters": {
                           "ef_construction": 128,
                           "m": 24
                       }
                   }
               },
   
               "AMAZON_BEDROCK_METADATA": {
                   "type": "text",
                   "index": "false"
               },
               "AMAZON_BEDROCK_TEXT_CHUNK": {
                   "type": "text",
                   "index": "true"            
               }
           }
       }
   }

4. Anote os o endpoint e o ARN do domínio, bem como os nomes que você escolher para o nome do índice de vetores, o nome do campo vetorial e os nomes de campo de mapeamento do gerenciamento de metadados para criar a base de conhecimento.

1. Ao criar seu bucket de vetores do S3, observe as considerações a seguir.

   • Forneça nome de bucket de vetores exclusivo.

   • (Opcional) O Amazon S3 criptografará automaticamente os dados usando a criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3) padrão. Em vez disso, você pode optar por usar essa criptografia padrão ou a criptografia do lado do servidor com chaves do AWS Key Management Service (SSE-KMS).

     nota

     Não é possível alterar o tipo de criptografia depois que o bucket de vetores é criado.

     Para obter instruções detalhadas, consulte Criptografia com chaves do KMS.

2. Depois de criar o bucket de vetores do S3, anote o respectivo nome do recurso da Amazon (ARN) para usá-lo ao criar a base de conhecimento.

3. Escolha o bucket de vetores que você criou e, em seguida, crie um índice de vetores. Ao criar o índice de vetores, observe as considerações a seguir.

   • Nome do índice de vetores: forneça um nome para o campo (por exemplo, embeddings).

   • Dimensões: o número de dimensões no vetor. As dimensões devem ter um valor entre 1 e 4.096. Consulte a seguinte tabela para determinar quantas dimensões o vetor deve conter com base na sua seleção de modelo de incorporação:

     Modelo	Dimensões
     Incorporador do Titan G1 - Text	1.536
     Incorporador de Texto do Titan v2	1.024, 512 e 256
     Embed da Cohere em inglês	1,024
     Embed da Cohere multilíngue	1,024

   • nota

     O Amazon S3 Vectors permite apenas incorporações de ponto flutuante. Não há compatibilidade com incorporações binárias.

     Métrica de distância: a métrica usada para medir a semelhança entre vetores. Você pode usar Cosseno ou Euclidiano.

4. Expanda Configurações adicionais e forneça quaisquer metadados não filtráveis no campo Metadados não filtráveis.

   nota

   Se você presume que os fragmentos de texto excederão o espaço de metadados de 2 KB, recomendamos adicionar o campo de texto AMAZON_BEDROCK_TEXT e AMAZON_BEDROCK_METADATA como chaves de metadados não filtráveis. A base de conhecimento usará esses campos para armazenar os fragmentos de texto e os metadados do sistema.

   É possível configurar até dez chaves de metadados não filtráveis. Escolha Adicionar chave e, em seguida, adicione AMAZON_BEDROCK_TEXT e AMAZON_BEDROCK_METADATA como chaves.

5. Crie o índice de vetores e anote o respectivo nome do recurso da Amazon (ARN) para usá-lo ao criar a base de conhecimento.

1. Crie um cluster, um esquema e uma tabela de banco de dados (DB) do Amazon Aurora seguindo as etapas em Usar o Aurora PostgreSQL como a base de conhecimento. Ao criar a tabela, configure-a com as colunas e os tipos de dados a seguir. É possível usar nomes de colunas de sua preferência em vez dos listados na tabela acima. Anote os nomes das colunas escolhidos para poder fornecê-los durante a configuração da base de conhecimento.

   Você deve fornecer esses campos antes de criar a base de conhecimento. Eles não podem ser atualizados depois que a base de conhecimento for criada.

   Importante

   O cluster do Aurora deve residir na mesma Conta da AWS em que a base de conhecimento foi criada para o Amazon Bedrock.

   Nome da coluna	Tipo de dados	Campo correspondente na configuração da base de conhecimento (console)	Campo correspondente na configuração da base de conhecimento (API)	Descrição
   id	Chave primária de UUID	Chave primária	primaryKeyField	Contém identificadores exclusivos para cada registro.
   incorporação	Vetor	Campo vetorial	vectorField	Contém as incorporações de vetores das fontes de dados.
   fragmentos	Texto	Campo de texto	textField	Contém os fragmentos de texto bruto das fontes de dados.
   metadata	JSON	Campo de metadados gerenciados pelo Bedrock	metadataField	Contém os metadados necessários para realizar a atribuição da fonte e permitir a ingestão e a consulta de dados.
   custom_metadata	JSONB	Campo de metadados personalizados	customMetadataField	Campo opcional que indica a coluna em que o Amazon Bedrock gravará todas as informações de qualquer arquivo de metadados das fontes de dados.

2. Você deve criar um índice nas colunas vetor e texto para os campos de texto e incorporações. Se você estiver usando o campo de metadados personalizados, também deverá criar um índice invertido generalizado (GIN) nessa coluna. Os GINs podem ser usados para pesquisar com eficiência pares de chave-valor em documentos jsonb para filtragem de metadados. Para ter mais informações, consulte jsonb indexing na documentação do PostgreSQL.

   Nome da coluna	Crie um índice em	Obrigatório?
   vetor	CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops);	Sim
   texto	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks));	Sim
   metadados personalizados	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata);	Somente se você tiver criado a coluna de metadados personalizada.

3. (Opcional) Se você adicionou metadados aos arquivos para filtragem, recomendamos fornecer o nome da coluna no campo de metadados personalizados para armazenar todos os metadados em uma única coluna. Durante a ingestão de dados, essa coluna será preenchida com todas as informações nos arquivos de metadados de suas fontes de dados. Se você optar por fornecer esse campo, deverá criar um GIN nessa coluna.

   nota

   Se, em vez de metadados numéricos, você costuma usar filtros de intervalo para otimizar o desempenho, crie um índice para a chave específica. Por exemplo, se você usar filtros como "lessThan": { "key": "year", "value": 1989 }, crie um índice de expressão na chave year. Para ter mais informações, consulte Indexes on expressions na documentação do PostgreSQL.

   CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

   Como alternativa, se você não fornecer esse nome de campo, crie uma coluna para cada atributo de metadados em seus arquivos e especifique o tipo de dados (texto, número ou booliano). Por exemplo, se o atributo genre existir na fonte de dados, você deve adicionar uma coluna chamada genre e especificar text como o tipo de dados. Durante a ingestão de dados, essas colunas separadas serão preenchidas com os valores dos atributos correspondentes.

4. Configure um segredo do AWS Secrets Manager para o cluster de banco de dados do Aurora seguindo as etapas em Gerenciamento de senhas com o Amazon Aurora e o AWS Secrets Manager.

5. Anote as informações a seguir depois de criar o cluster de banco de dados e configurar o segredo.

   Campo na configuração da base de conhecimento (console)	Campo na configuração da base de conhecimento (API)	Descrição
   ARN do cluster do banco de dados do Amazon Aurora	resourceArn	O ARN do cluster do banco de dados.
   Nome do banco de dados	databaseName	O nome do banco de dados
   Nome da tabela	tableName	O nome da tabela no cluster do banco de dados.
   ARN do segredo	credentialsSecretArn	O ARN da chave do AWS Secrets Manager para o cluster do banco de dados.

1. Para criar um armazenamento de grafos e vetores no Neptune Analytics no Console de gerenciamento da AWS, siga as etapas descritas em Indexação de vetores no Neptune Analytics no Guia do usuário do Neptune Analytics.

   nota

   Para usar o GraphRAG do Neptune, crie um grafo vazio do Neptune Analytics com um índice de pesquisa vetorial. O índice de pesquisa vetorial só pode ser criado quando o grafo for criado. Ao criar um grafo do Neptune Analytics no console, especifique a dimensão do índice em Configurações de pesquisa vetorial próximo ao final do processo.

   Observe as seguintes considerações ao criar o grafo:

   1. Atribua um grafo a um nome de sua preferência.

   2. Em Fonte de dados, escolha Criar um grafo vazio e especifique o número de unidades de capacidade otimizadas para memória do Neptune (m-NCUs) a serem alocadas. Cada m-NCU tem cerca de 1 GiB de capacidade de memória e de computação e rede correspondentes.

      nota

      A capacidade do grafo pode ser modificada posteriormente. Recomendamos que você comece com a instância menor e depois escolha uma instância diferente, se necessário.

   3. Você pode manter as configurações padrão de conectividade de rede. O Amazon Bedrock criará uma conexão de rede com o grafo do Neptune Analytics ao qual você associa a base de conhecimento. Você não precisa configurar conectividade pública ou endpoints privados para o grafo.

   4. Em Configurações de pesquisa vetorial, escolha Usar dimensão vetorial e especifique o número de dimensões em cada vetor.

      nota

      O número de dimensões em cada vetor deve corresponder às dimensões vetoriais no modelo de incorporação. Consulte a seguinte tabela para determinar quantas dimensões o vetor deve conter:

      Modelo	Dimensões
      Incorporador do Titan G1 - Text	1.536
      Incorporador de Texto do Titan v2	1.024, 512 e 256
      Embed da Cohere em inglês	1,024
      Embed da Cohere multilíngue	1,024

   5. Mantenha todas as outras configurações padrão e crie o grafo.

2. Depois que o grafo for criado, clique nele para anotar o ARN do recurso e as dimensões vetoriais para usá-los ao criar a base de conhecimento. Ao escolher o modelo de incorporação no Amazon Bedrock, escolha um modelo com as mesmas dimensões das dimensões vetoriais que você configurou no grafo do Neptune Analytics.

Como configurar um segredo para a sua configuração do Pinecone

1. Siga as etapas em Criar um segredo do AWS Secrets Manager, definindo a chave como apiKey e o valor como a chave da API para acessar o índice do Pinecone.

2. Para encontrar a chave de API, abra o Console do Pinecone e selecione Chaves de API.

3. Depois de criar o segredo, anote o ARN da chave do KMS.

4. Anexe permissões ao perfil de serviço para descriptografar o ARN da chave do KMS seguindo as etapas em Permissões para descriptografar um segredo do AWS Secrets Manager para o armazenamento de vetores que contém a base de conhecimento.

5. Posteriormente, ao criar a base de conhecimento, insira o ARN no campo ARN do segredo das credenciais.

Como configurar um segredo para a sua configuração do Redis Enterprise Cloud

1. Habilite o TLS para usar seu banco de dados com o Amazon Bedrock seguindo as etapas em Transport Layer Security (TLS).

2. Siga as etapas em Criar um segredo do AWS Secrets Manager. Configure as seguintes chaves com os valores adequados da configuração do Redis Enterprise Cloud no segredo:

   • username: o nome de usuário para acessar o banco de dados do Redis Enterprise Cloud. Para encontrar seu nome de usuário, consulte a seção Segurança do banco de dados no console do Redis.

   • password: a senha para acessar o banco de dados do Redis Enterprise Cloud. Para encontrar sua senha, consulte a seção Segurança do banco de dados no console do Redis.

   • serverCertificate: o conteúdo do certificado da autoridade de certificação do Redis Cloud. Baixe o certificado do servidor no Console de administrador do Redis seguindo as etapas em Download certificates.

   • clientPrivateKey: a chave privada do certificado da autoridade de certificação do Redis Cloud. Baixe o certificado do servidor no Console de administrador do Redis seguindo as etapas em Download certificates.

   • clientCertificate: a chave pública do certificado da autoridade de certificação do Redis Cloud. Baixe o certificado do servidor no Console de administrador do Redis seguindo as etapas em Download certificates.

3. Depois de criar o segredo, anote o ARN dele. Posteriormente, ao criar a base de conhecimento, insira o ARN no campo ARN do segredo das credenciais.