本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
強制執行租戶隔離
租戶隔離是適用於所有多租戶設定的概念。這表示您的政策和策略可確保一個租用戶無法存取其他租用戶資源。對於多租用戶代理程式,您可能需要引入有助於強制執行 和 代理程式的租用戶隔離要求的建構和機制。
套用租用戶隔離就像使用傳統多租用戶系統的其他策略一樣。一般而言,當您建構 AaaS 架構時,請識別系統中請求或動作可存取資源的任何區域,以判斷請求是否超過任何租用戶界限。例如,微服務可能對每個租戶的專用 Amazon DynamoDB 資料表具有相依性。這需要您引進政策,以確保另一個租用戶無法存取一個租用戶的資料表。
在此執行個體中,請考慮透過代理程式鏡頭的租用戶隔離,以及其與每個租用戶任何資源的互動。下圖顯示客服人員如何套用租用戶隔離政策以控制租用戶資源存取的概念範例。
在此圖表的右側,代理程式具有存放在個別向量資料庫中的每個租用戶知識。當客服人員處理請求時,會檢查提出請求的租戶內容。根據此,代理程式會套用適當的隔離政策,以確保租用戶不會存取其指定界限以外的資料或資源。
如果您的代理程式使用模型內容通訊協定 (MCP),它也可以實作租用戶隔離模型。下圖顯示如何引入 MCP 和套用隔離政策的範例。
MCP 是一種標準化通訊協定,可讓代理程式用來與任何工具、資料和資源整合。在此範例中,MCP 用戶端和 MCP 伺服器會與圖表右側的租戶特定知識和工具互動。租用戶內容會從用戶端流向伺服器,而伺服器會使用此內容從 AWS Identity and Access Management (IAM) 服務取得租用戶範圍的登入資料。登入資料控制對每個租用戶資源的存取,確保一個租用戶可以存取另一個租用戶的資源。
隨著客服人員整合多租戶,他們必須引入機制,在處理請求時套用租戶隔離政策。在某些情況下,IAM 可協助限制對租戶資源的存取。在其他執行個體中,您可能需要引進其他工具或架構,才能套用租戶隔離政策。
雜訊鄰里和客服人員
在多租用戶 AaaS 環境中,多個租用戶共用代理程式,請思考在何處以及如何引入防止雜訊鄰近條件的政策。政策可以引入適用於所有消耗的一般用途限流,或者您可以擁有根據指定角色套用限流的租用戶或層型政策。與高級租用戶相比,您對基本層租用戶的消耗限制可能會更大。
此限流概念可套用至多個架構點。下圖顯示介紹雜訊鄰近政策的一些可能領域範例。
在我們先前的多代理程式實作審核中,我們檢查了您的代理程式可以使用的不同資源,強調了代理程式中每個租戶資源的可能性。每個接觸點都是引入限流政策的潛在區域,這有助於確保租戶不超過系統或租戶分層政策的消耗限制。
引入雜訊鄰近保護的最佳位置是在租戶共用資源的架構點。如果單一租用戶使用不成比例,這些共用或集區元件,例如運算、記憶體、APIs 和大型語言模型,最容易降低效能。
套用限流的一個自然位置是在客服人員的進入點,有時稱為「外部邊緣」。在這裡,您可以在客服人員開始處理請求之前,引進全域或以tenant-tier-based費率限制。調節也可以在執行路徑中更深入地套用,例如當代理程式呼叫 LLM、存取記憶體或叫用共用工具時。
這些政策可協助您強制執行公平使用、在負載下維持客服人員彈性,以及維持租用戶間的一致體驗。根據您的目標,您可能會專注於一般系統保護 (彈性) 或精細管理租戶體驗 (例如,使用層型權利)。