本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
向量資料庫概觀
向量資料庫是一種特殊化系統,可有效率地存放和查詢高維度向量。這些資料庫是擷取增強產生 (RAG) 應用程式的基礎。
向量資料庫會以下列方式處理資料轉換和儲存:
-
物件 (例如音訊、影像和文字檔案) 會使用內嵌模型轉換為向量。
-
向量會以特殊的資料格式儲存。
-
向量資料庫可啟用快速相似性搜尋。
相較於傳統資料庫,向量資料庫提供多種主要優點,因此特別適合現代資料挑戰。它們專門針對向量操作進行最佳化,並有效率地處理高維度資料。他們也專精於傳統資料庫難以處理的相似性搜尋。除了這些核心功能之外,向量資料庫也是為了滿足 ML 和生成式 AI 應用程式不斷變化的需求而建置。它們擅長大規模向量儲存,並使用分散式運算來平衡跨多個節點的工作負載。隨著資料量的增長,這可提供可擴展性和效能。
下圖顯示 RAG 實作:
-
文件、PDFs 或文字檔案等內容會以原始資料的形式饋送至內嵌模型進行處理。
-
內嵌模型會將原始資料轉換為數值向量,代表內容的語意意義。
-
產生的向量內嵌會存放在向量資料庫中,針對高維度向量的儲存和擷取進行最佳化。
-
應用程式現在可以查詢向量資料庫,以回應語意搜尋和內容建議等使用案例。
為 RAG 解決方案選擇不適當的向量資料庫可能會導致重大困難和限制,包括下列項目:
-
查詢效能不佳
-
可擴展性瓶頸
-
資料擷取挑戰
-
缺乏進階功能,例如篩選和排名
-
與其他系統的整合困難
-
持久性和持久性問題
-
多使用者環境中的並行和一致性問題
-
更高的授權成本或廠商鎖定
-
有限的社群支援和資源
-
潛在的安全與合規風險