S3 Vectors 最佳實務 - Amazon Simple Storage Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

S3 Vectors 最佳實務

Amazon S3 Vectors 提供專用、成本最佳化的向量儲存,供啟用 AI 的應用程式使用,並對儲存在 Amazon S3 中的內容進行語義搜尋。S3 Vectors 旨在為儲存向量資料集提供 S3 層級彈性和耐久性,為冷查詢提供低於一秒的查詢效能,為暖查詢提供低至 100 毫秒的查詢效能,非常適合需要建置和增長向量索引的應用程式。憑藉 S3 Vectors,您可以使用一組專用的 API 操作,在向量資料上儲存、存取和執行相似度查詢,無需佈建任何基礎設施。如需詳細資訊,請參閱使用 S3 Vectors 和向量儲存貯體

為了確保從 S3 Vectors 獲得最大利益,我們建議您執行以下最佳實務。

插入和刪除向量

您的應用程式可以實現每個向量索引每秒最多一千個 PutVectorsDeleteVectors 請求,也可以插入或刪除每個向量索引每秒最多兩千五百個向量,以先達到限制為準。如果您超出請求率,可能會遇到 429 TooManyRequestsException 錯誤。

為了最佳化成本,我們建議大量插入和刪除向量,每個 API 請求的批次大小上限為 500 個向量。如果您的工作負載需要較小的批次,您最多可以傳送每秒 1,000 個請求的並行請求。若要達到每秒 2,500 個向量的最大輸送量,您可以傳送每秒 5 個批次,每個批次 500 個向量,或每秒 1,000 個批次,每個平均 2.5 個向量。

在 S3 向量索引中存取和查詢向量

您的應用程式可以達到每個 S3 向量索引每秒數百個 QueryVectorsGetVectorsListVectors 請求。如果您超出請求率,可能會遇到 429 TooManyRequestsException 錯誤。建議您使用重試機制,並將應用程式設定為傳送較少請求數。

跨向量索引擴展

為了改善每個向量索引的查詢效能,請考量將您的應用程式設定為盡可能將向量分成多個向量索引。例如,若您有多租用戶工作負載,且應用程式會個別查詢每個租用戶,請考量將每個租用戶的向量儲存在個別的向量索引中。如需詳細資訊,請參閱向量索引

實作具有單獨向量索引的多租用戶

藉由使用每個租用戶的單一向量索引來組織向量資料,即可實現多租用戶。您可以使用 IAM 和儲存貯體政策,限制每個租用戶只能存取其指定的向量索引。此方法有助於維護資料隔離,並藉由消除為每個租用戶建立個別儲存貯體的需求,簡化管理。如需詳細資訊,請參閱S3 Vectors 中的身分和存取管理

設定向量索引之不可篩選的中繼資料欄位

建立向量索引時,請將不需要篩選的中繼資料欄位設定為不可篩選的中繼資料索引鍵。例如,當您只需要用於參考時,請將向量嵌入的文字區塊儲存為不可篩選的中繼資料欄位。如需詳細資訊,請參閱不可篩選的中繼資料