将您创建的向量存储用于知识库的先决条件

1. 要在 Amazon OpenSearch Serverless 中配置权限并创建矢量搜索集合AWS 管理控制台，请按照《亚马逊 OpenSearch 服务开发者指南》中使用矢量搜索集合中的步骤 1 和步骤 2 进行操作。设置集合时，请注意以下事项：

   1. 为集合指定您选择的名称和描述。

   2. 要将您的集合设置为私有，请在安全性部分选择标准创建。然后，在网络访问设置部分，选择 VPC 作为访问类型，然后选择一个 VPC 端点。有关为亚马逊 OpenSearch 无服务器集合设置 VPC 终端节点的更多信息，请参阅《亚马逊 OpenSearch 服务开发者指南》中的使用接口终端节点 (AWS PrivateLink) 访问亚马逊 OpenSearch 无服务器。

2. 集合创建完后，记下创建知识库时的集合 ARN。

3. 在左侧导航窗格中，选择无服务器下的集合。然后选择向量搜索集合。

4. 选择索引选项卡。然后选择创建向量索引。

5. 在向量索引详细信息部分的向量索引名称字段中，输入索引名称。

6. 在向量字段部分，选择添加向量字段。Amazon Bedrock 会将您的数据来源的向量嵌入数据存储在此字段中。提供以下配置：

   • 向量字段名称 - 提供字段的名称（例如 embeddings）。

   • 引擎 - 用于搜索的向量引擎。选择 faiss。

   • 维度 – 向量中的维度数。请参阅下表确定向量应包含的维度数：

     模型	Dimensions
     Titan G1 嵌入 - 文本	1,536
     Titan V2 嵌入 - 文本	1024、512 和 256
     Cohere Embed（英文版）	1024
     Cohere Embed（多语版）	1024

   • 距离指标 – 用于衡量向量之间相似性的指标。我们建议将欧几里得用于浮点型向量嵌入。

7. 展开元数据管理部分并添加两个用于配置向量索引的字段，以存储知识库可通过向量检索的其他元数据。下表介绍了需要为每个字段指定的字段和值：

   字段描述	映射字段	数据类型	可筛选
   Amazon Bedrock 会对数据中的原始文本进行分块，然后将这些文本块存储在此字段中。	您选择的名称（例如 text）	字符串	True
   Amazon Bedrock 会将与知识库相关的元数据存储在此字段中。	您选择的名称（例如 bedrock-metadata）	字符串	False

8. 记下创建知识库时为向量索引名称、向量字段名称和元数据管理映射字段名称选择的名称。然后选择创建。

1. 要在中的 OpenSearch 集群中创建域和向量索引AWS 管理控制台，请按照《Amazon Service 开发者指南》中创建和管理 OpenSearch OpenSearch 服务域中描述的步骤进行操作。

   设置域时，请注意以下事项：

   1. 为域提供所选名称。

   2. 建议您使用快捷创建选项来快速开始创建您的域。

      注意

      此选项会为您提供一个吞吐量较低的域。如果您有需要更高吞吐量的更大规模工作负载，请选择标准创建选项。稍后可根据需要调整容量。利用此选项，您可以从最低容量开始，之后可根据需要对容量进行修改。

   3. 对于 “网络”，必须选择 “公共访问”。 OpenSearch 您的知识库不支持位于 VPC 之后的域。

   4. 对于版本，如果您使用的是二进制向量嵌入，则 Amazon Bedrock 知识库需要引擎版本 2.16 或更高版本。此外，需要版本 2.13 或更高版本才能创建 k-nn 索引。有关更多信息，请参阅《亚马逊 OpenSearch 服务开发者指南》中的 K-NN 搜索。

   5. 建议您使用双栈模式。

   6. 我们建议您启用精细访问控制以保护您域中的数据，并进一步控制授予知识库服务角色访问该 OpenSearch 域和发出请求的权限。

   7. 将所有其他设置保留为默认值，然后选择创建以创建您的域。

2. 创建域后，单击该域以记下创建知识库时需使用的域 ARN 和域端点。

3. 创建域后，您可以通过在 OpenSearch 仪表板上运行以下命令或使用 curl 命令来创建向量索引。有关详情，请参阅 OpenSearch 文档。

   运行命令时：

   • 提供向量字段的名称（例如 embeddings）。

   • 确保用于搜索的向量为 faiss。nmslib 不受支持。

   • 有关向量中的维度数，请参阅下表以确定向量应包含的维度数：

     注意

     Titan V2 嵌入 - 文本模型支持多个维度。它也可以是 256 或 512。

     模型	Dimensions
     Titan G1 嵌入 - 文本	1,536
     Titan V2 嵌入 - 文本	1024、512 和 256
     Cohere Embed（英文版）	1024
     Cohere Embed（多语版）	1024

   • 您可以添加两个用于配置向量索引的字段，以存储知识库可通过向量检索的其他元数据。下表描述了这两个字段以及要为每个字段指定的值。

     字段描述	映射字段
     Amazon Bedrock 会对数据中的原始文本进行分块，然后将这些文本块存储在此字段中。	指定为对象，例如 AMAZON_BEDROCK_TEXT_CHUNK。
     Amazon Bedrock 会将与知识库相关的元数据存储在此字段中。	指定为对象，例如 AMAZON_BEDROCK_METADATA。

   PUT /<index-name>
   {
       "settings": {
           "index": {
               "knn": true
           }
       },
       "mappings": {
           "properties": {
               "<vector-name>": {
                   "type": "knn_vector",
                   "dimension": <embedding-dimension>,
                   "data_type": "binary",          # Only needed for binary embeddings
                   "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings
                   "method": {
                       "name": "hnsw",
                       "engine": "faiss",
                       "parameters": {
                           "ef_construction": 128,
                           "m": 24
                       }
                   }
               },
   
               "AMAZON_BEDROCK_METADATA": {
                   "type": "text",
                   "index": "false"
               },
               "AMAZON_BEDROCK_TEXT_CHUNK": {
                   "type": "text",
                   "index": "true"            
               }
           }
       }
   }

4. 记下域 ARN 和端点，以及您为向量索引名称、向量字段名称和元数据管理映射字段名称选择的名称，以便在创建知识库时使用。

1. 在创建 S3 向量存储桶时，请注意以下事项。

   • 提供唯一的向量存储桶名称。

   • （可选）Amazon S3 将自动通过使用 Amazon S3 托管密钥的服务器端加密（SSE-S3）对数据进行加密。您可以选择是使用此默认加密，还是使用密钥管理服务密AWS钥进行服务器端加密 (SSE-KMS)。

     注意

     创建向量存储桶后，无法更改加密类型。

     有关 step-by-step说明，请参阅使用 AWS KMS 密钥加密。

2. 创建 S3 向量存储桶后，记下向量存储桶的 Amazon 资源名称（ARN）以便在创建知识库时使用。

3. 选择您创建的向量存储桶，然后创建向量索引。在创建向量索引时，请注意以下事项。

   • 向量索引名称 - 提供字段的名称（例如 embeddings）。

   • 维度 – 向量中的维度数。维度必须是介于 1 和 4096 之间的值。请参阅下表以根据所选嵌入模型确定向量应包含的维度数：

     模型	Dimensions
     Titan G1 嵌入 - 文本	1,536
     Titan V2 嵌入 - 文本	1024、512 和 256
     Cohere Embed（英文版）	1024
     Cohere Embed（多语版）	1024

   • 注意

     Amazon S3 Vectors 仅支持浮点型嵌入。不支持二进制嵌入。

     距离指标 – 用于衡量向量之间相似性的指标。您可以使用余弦或欧几里得。

4. 展开其他设置，在不可筛选的元数据字段中提供任意不可筛选的元数据。

   可以配置最多 10 个不可筛选的元数据键。选择添加键，然后将 AMAZON_BEDROCK_TEXT 和 AMAZON_BEDROCK_METADATA 作为键添加。

5. 在加密下，选择指定加密类型。您可以选择使用存储桶设置进行加密或覆盖矢量索引的加密设置。如果您覆盖存储桶级别的设置，则可以选择将矢量索引的加密类型指定为使用AWS密钥管理服务密钥的服务器端加密 (SSE-KMS) 或使用 Amazon S3 托管密钥的默认服务器端加密 (SSE-S3)。有关为矢量索引设置加密配置的更多信息，请参阅 Amazon S3 矢量中的数据保护和加密。

6. 在 “标签（可选）” 下，您可以将标签添加为键值对，以帮助使用 B AWS illing and Billing and Cost Management 跟踪和组织向量索引成本。输入 Key (键) 和 Value (值)。要添加另一个标签，请选择 Add Tag (添加标签)。您最多可以为向量索引输入 50 个标签。有关更多信息，请参阅在 Amazon S3 向量索引中使用标签。

7. 创建向量索引并记下向量索引的 Amazon 资源名称（ARN）以便在创建知识库时使用。

1. 按照使用 Aurora PostgreSQL 作为知识库中的步骤创建 Amazon Aurora 数据库（DB）集群、架构和表。创建表时，请使用以下列和数据类型对表进行配置。您可以使用自己喜欢的列名来代替下表中列出的列名。记下您选择的列名，以便在知识库设置期间提供这些名称。

   您必须先提供这些字段，然后再创建知识库。这些字段在创建知识库后无法更新。

   重要

   Aurora 集群必须与AWS 账户为 Amazon Bedrock 创建知识库的集群所在的集群相同。

   列名称	数据类型	知识库设置中的相应字段（控制台）	知识库设置中的相应字段 (API)	说明
   id	UUID（主键）	主键	primaryKeyField	包含每条记录的唯一标识符。
   嵌入	向量	向量字段	vectorField	包含数据来源的向量嵌入。
   chunks	文本	文本字段	textField	包含来自数据来源的原始文本块。
   元数据	JSON	Bedrock 托管的元数据字段	metadataField	包含执行来源归因以及启用数据摄取和查询所需的元数据
   custom_metadata	JSONB	自定义元数据字段	customMetadataField	可选字段，指示 Amazon Bedrock 将在其中写入数据来源中所有元数据文件的所有信息的列。

2. 您必须在向量列和文本列上为文本和嵌入字段创建索引。如果您使用的是自定义元数据字段，则还必须在此列上创建 GIN 索引。GIN 索引可用于高效地搜索 jsonb 文档中的键值对以进行元数据筛选。有关更多信息，请参阅 PostgreSQL 文档中的 jsonb 索引。

   列名称	创建索引	必填？
   嵌入	CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops);	是
   chunks	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks));	是
   自定义元数据	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata);	仅在您创建了自定义元数据列时。

   注意

   为了提高混合搜索的准确性和英语内容的延迟，可以考虑使用 “英语” 词典而不是 “简单” 词典：

   CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('english', chunks));

3. （可选）如果您向文件添加了要筛选的元数据，我们建议您在自定义元数据字段中提供列名，以便将所有元数据存储在一个列中。在数据摄取期间，此列中将填入数据来源中的元数据文件包含的所有信息。如果您选择提供该字段，则必须在此列上创建 GIN 索引。

   注意

   如果您经常对数值型元数据使用范围筛选条件，要优化性能，请为特定键创建索引。例如，如果您使用 "lessThan": { "key": "year", "value": 1989 } 等筛选条件，则在 year 键上创建表达式索引。有关更多信息，请参阅 PostgreSQL 文档中的表达式索引。

   CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

   或者，如果您未提供此字段名称，则可以为文件中的每个元数据属性创建一个列，并指定数据类型（文本、数字或布尔值）。例如，如果数据来源中存在属性 genre，您应添加名为 genre 的列，并指定 text 作为数据类型。在数据摄取期间，会在这些单独的列中填入相应的属性值。

4. 按照使用 A mazon Aurora 进行AWS Secrets Manager密码管理中的步骤为您的 Aurora 数据库集群配置密钥和AWS Secrets Manager。

5. 创建数据库集群并设置密钥后，记下以下信息。

   知识库设置中的字段（控制台）	知识库设置中的字段 (API)	说明
   Amazon Aurora 数据库集群 ARN	resourceArn	数据库集群的 ARN。
   数据库名称	databaseName	数据库的名称
   表名	tableName	数据库集群中的表的名称
   密钥 ARN	credentialsSecretArn	您的数据库集群的AWS Secrets Manager密钥的 ARN

1. 要通过 AWS 管理控制台在 Neptune Analytics 中创建图表和向量存储，请按照《Neptune Analytics 用户指南》中的 Neptune Analytics 中的向量索引中描述的步骤操作。

   注意

   要使用 Neptune GraphRAG，请创建一个带向量搜索索引的空 Neptune Analytics 图表。向量搜索索引只能在创建图表时创建。在控制台中创建 Neptune Analytics 图表时，您可以在此过程即将结束时，在向量搜索设置下指定索引维度。

   创建图表时，请注意以下事项：

   1. 为图表提供所选名称。

   2. 在 “数据源” 下，选择 “创建空图”，然后指定NCUs 要分配的 m-的数量。每个 m-NCU 拥有约 1 GiB 的内存容量，以及相应的计算和联网能力。

      注意

      图表的容量稍后可进行修改。我们建议您从最小实例开始，之后再根据需要选择其他实例。

   3. 您可以保留默认的网络连接设置。Amazon Bedrock 将创建与知识库所关联的 Neptune Analytics 图表的网络连接。您无需为图表配置公有连接或私有端点。

   4. 在向量搜索设置下，选择使用向量维度，并指定每个向量中的维度数。

      注意

      每个向量中的维度数必须与嵌入模型中的向量维度相匹配。请参阅下表确定向量应包含的维度数：

      模型	Dimensions
      Titan G1 嵌入 - 文本	1,536
      Titan V2 嵌入 - 文本	1024、512 和 256
      Cohere Embed（英文版）	1024
      Cohere Embed（多语版）	1024

   5. 将所有其他设置保留为默认值并创建图表。

2. 创建图表后，单击它以记下资源 ARN 和向量维度以便在创建知识库时使用。在 Amazon Bedrock 中选择嵌入模型时，请确保所选模型的维度与您在 Neptune Analytics 图表上配置的向量维度相同。

为 Pinecone 配置设置密钥

1. 按照创建密钥中的步骤操作，将AWS Secrets Manager密钥设置为apiKey，将值设置为 API 密钥以访问您的Pinecone索引。

2. 要查找您的 API 密钥，请打开 Pinecone 控制台并选择 API 密钥。

3. 创建密钥后，请记下 KMS 密钥的 ARN。

4. 按照 解密包含知识库的矢量存储的AWS Secrets Manager密钥的权限 中的步骤，向您的服务角色授予解密 KMS 密钥 ARN 的权限。

5. 稍后，当您创建知识库时，需要在凭证密钥 ARN 字段中输入该 ARN。

为 Redis Enterprise Cloud 配置设置密钥

1. 按照 Transport Layer Security (TLS) (传输层安全性协议（TLS）)中的步骤启用 TLS 以将您的数据库与 Amazon Bedrock 搭配使用。

2. 按照创建AWS Secrets Manager密钥中的步骤操作。使用密钥中 Redis Enterprise Cloud 配置中的相应值设置以下密钥：

   • username – 用于访问 Redis Enterprise Cloud 数据库的用户名。要查找您的用户名，请在 Redis 控制台中查看数据库的安全部分。

   • password – 用于访问 Redis Enterprise Cloud 数据库的密码。要查找您的密码，请在 Redis 控制台中查看数据库的安全部分。

   • serverCertificate – 来自 Redis Cloud 证书颁发机构的证书的内容。按照下载证书中的步骤从 Redis 管理控制台下载服务器证书。

   • clientPrivateKey – 来自 Redis Cloud 证书颁发机构的证书的私钥。按照下载证书中的步骤从 Redis 管理控制台下载服务器证书。

   • clientCertificate – 来自 Redis Cloud 证书颁发机构的证书的公钥。按照下载证书中的步骤从 Redis 管理控制台下载服务器证书。

3. 创建密钥后，请记下它的 ARN。稍后，当您创建知识库时，需要在凭证密钥 ARN 字段中输入该 ARN。