本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在主控台中使用自動最佳化
您可以使用 Amazon OpenSearch Service 主控台來建立向量擷取任務、監控其進度、檢視最佳化建議,以及根據這些建議建置索引。
先決條件
在主控台中使用自動最佳化之前,您必須具有下列項目:
-
可存取 OpenSearch 主控台的作用中 AWS 帳戶。
-
現有的 OpenSearch Serverless 類型向量搜尋集合或受管 OpenSearch 網域。
-
下列動作的 IAM 許可:
opensearch:SubmitAutoOptimizeJobopensearch:GetAutoOptimizeJobopensearch:DeleteAutoOptimizeJobopensearch:CancelAutoOptimizeJobopensearch:ListAutoOptimizeJobs
注意
這些是以身分為基礎的政策。 AWS 不支援以資源為基礎的政策來自動最佳化資源。
-
將聯合身分使用者工作階段設定為至少 1 小時的憑證到期時間。對於非常大型的資料集或高維度,請考慮將過期持續時間增加至 3 小時。
建立向量擷取任務
向量擷取任務會分析向量資料,並提供索引組態的最佳化建議。
建立向量擷取任務
-
在 登入 Amazon OpenSearch Service 主控台AWS 管理主控台
。 -
在導覽窗格中,選擇自動最佳化。
-
選擇建立向量擷取任務。
-
在任務詳細資訊下,輸入向量擷取任務的名稱。此名稱可協助您在 主控台中識別任務。
-
在資料來源下,設定下列項目:
-
針對 Amazon S3 URI,輸入包含 Parquet 檔案之資料夾的 Amazon S3 URI。URI 必須指向包圍資料夾,而不是個別檔案。例如,如果您的 Parquet 檔案位於
s3://my-bucket/my-folder/file1.parquet,請輸入s3://my-bucket/my-folder/。 -
針對區域,選取 Amazon S3 儲存貯體所在的 AWS 區域。區域必須符合儲存貯體位置。
-
-
在 OpenSearch 網域下,選取現有的網域或集合,或選擇建立新網域或集合。
注意
您可以指定 OpenSearch Managed 網域或 OpenSearch Serverless Serverless 集合。
-
在資料來源許可下,指定具有存取 Amazon S3 儲存貯體和 OpenSearch 網域或集合許可的 IAM 角色。角色必須根據您的網域或集合組態具有必要的許可:
-
對於具有網域存取政策的 OpenSearch 網域,請透過該政策授予角色存取權。
-
對於具有精細存取控制的 OpenSearch 網域,請將角色新增為後端角色。
-
對於 OpenSearch Serverless 集合,請將 角色新增至資料存取政策。
-
-
選擇下一步。
-
在設定索引下,指定下列項目:
-
對於欄位名稱,輸入包含向量資料的 Parquet 資料集的資料欄名稱。
-
針對空格類型,選取用於計算向量之間距離的距離指標:
l2 - 歐幾里得距離
cosinesimil - 餘弦相似性
內部產品 - 內部產品
-
針對維度,輸入每個向量中的浮點數。
-
-
在效能需求下,設定下列項目:
-
對於召回,將所需的搜尋品質指定為介於 0 到 1 之間的十進位值。較高的回收值會傳回更相關的結果。例如:
0.95 表示平均傳回 20 個最接近查詢向量的文件向量中的 19 個
0.9 表示 9/10
0.8 表示 10 中有 8 個
-
針對搜尋延遲需求,選取您的延遲容錯能力。中等要求允許透過降低記憶體需求的壓縮方法來節省更多成本。
-
-
選擇下一步。
-
檢閱您的組態,然後選擇建立。
任務開始處理。您可以在向量擷取任務資料表中監控其進度。
監控最佳化任務
您可以從自動最佳化登陸頁面監控向量擷取任務的狀態。
監控最佳化任務
-
登入 Amazon OpenSearch Service 主控台,網址為 https://https://console.aws.amazon.com/aos/home
。 -
在導覽窗格中,選擇自動最佳化。
-
向量擷取任務資料表會顯示具有其目前狀態的所有任務。重新整理頁面以查看更新的狀態資訊。
注意
沒有自動重新整理或通知機制。您必須手動重新整理主控台,以查看任務何時完成。
了解任務狀態
自動最佳化任務可以有下列狀態值:
- 待定
-
任務已排入佇列並等待啟動。
- 執行中
-
自動最佳化任務正在主動分析您的資料並產生建議。
- 已完成
-
自動最佳化任務已成功完成。所有分析、評估和建議都已完成,可供檢視。
- 失敗
-
任務發生錯誤。檢視任務詳細資訊頁面中的錯誤詳細資訊,以判斷原因。
- 作用中
-
已在連接的叢集中建立索引,並已擷取資料。
任務持續時間主要取決於資料集大小和目前的服務負載。一般任務會在 15 分鐘到數小時內完成。
檢視任務詳細資訊
您可以檢視特定最佳化任務的詳細資訊,包括其組態和狀態。
檢視任務詳細資訊
-
登入 Amazon OpenSearch Service 主控台,網址為 https://https://console.aws.amazon.com/aos/home
。 -
在導覽窗格中,選擇自動最佳化。
-
在向量擷取任務表格中,選擇任務名稱。
-
任務詳細資訊頁面會顯示下列資訊:
任務名稱和狀態
資料來源組態 (Amazon S3 URI 和區域)
OpenSearch 網域或集合
索引組態 (欄位名稱、空間類型、維度)
效能需求 (召回和延遲)
錯誤訊息 (如果任務失敗)
檢視和了解結果
任務成功完成後,您可以檢視最佳化建議。
檢視最佳化結果
-
登入 Amazon OpenSearch Service 主控台,網址為 https://https://console.aws.amazon.com/aos/home
。 -
在導覽窗格中,選擇自動最佳化。
-
在向量擷取任務表格中,選擇狀態為已完成的任務。
-
結果頁面會顯示下列區段:
-
結果概觀 - 顯示與您的需求相比的預估搜尋品質回收,以及與最佳建議組態相比的索引記憶體使用量。
-
建議 - 列出最多三個最佳化建議,並依最佳建議排序,做為最適合您組態的建議。每個建議包括:
索引組態參數
搜尋組態參數
預期的效能指標
記憶體使用量預估
注意
雖然建議是依最佳相符項目排序,但您可以選擇任何更符合您特定使用案例的建議。自動最佳化嘗試尋找最接近您所選取回條件的相符項目。
-
從建議建立索引
檢閱最佳化建議後,您可以使用建議的組態手動建立索引,或使用選取的建議自動建置索引。
自動建置索引
-
登入 Amazon OpenSearch Service 主控台,網址為 https://https://console.aws.amazon.com/aos/home
。 -
在導覽窗格中,選擇自動最佳化。
-
在向量擷取任務表格中,選擇狀態為已完成的任務。
-
檢閱建議,然後選取您要使用的建議。
-
選擇建置索引。
-
系統會使用選取的建議在您的叢集中自動建立索引,並從 Parquet 資料集擷取向量資料。
手動建置索引
-
登入 Amazon OpenSearch Service 主控台,網址為 https://https://console.aws.amazon.com/aos/home
。 -
在導覽窗格中,選擇自動最佳化。
-
在向量擷取任務表格中,選擇狀態為已完成的任務。
-
檢閱建議,並記下所選建議的索引組態和搜尋組態參數。
-
使用 OpenSearch API 或主控台,以建議的參數手動建立索引。