本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

測試和驗證

在 AI 驅動的無伺服器架構中，傳統單元和整合測試仍然至關重要。不過，需要新的測試類型來適應大型語言模型 (LLM) 不可預測性、無伺服器並行和工作流程協同運作。

如果沒有嚴格的驗證，團隊會面臨以下問題：

為了協助避免這些問題，現代生成式 AI 系統需要跨基礎設施、邏輯和 AI 行為進行多層驗證。

無伺服器 AI 的測試類型

測試無伺服器 AI 應用程式需要全方位方法來解決傳統應用程式測試需求和 AI 特定問題。本節說明確保可靠性、安全性和效能的必要測試類型。

單位測試

單元測試會驗證原子邏輯 （例如AWS Lambda程式碼）。這些測試非常重要，因為它們會在轉換、格式化和預處理/後處理操作中擷取迴歸。

下列 Lambda 轉換範例可確保模型提示詞建構正確：

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

提示測試

提示測試可確保 LLM 回應遵循預期。這些測試至關重要，因為提示很脆弱且未輸入，其中小幅變更可能會破壞輸出格式或意義。

下列使用黃金輸入的範例顯示如何擷取提示偏離或模型降級：

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

客服人員工具調用測試

代理程式工具調用測試會驗證agent-to-tool邏輯和變數映射。這些測試非常重要，因為它們可確保客服人員使用正確的參數呼叫正確的工具，以避免執行時間混淆。

下列範例示範工具叫用測試：

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

工作流程整合測試

工作流程整合測試會驗證多階段協同運作 （例如，AWS Step Functions工作流程）。這些測試非常重要，因為它們會確認事件流程、輸出遞交、錯誤路徑和重試邏輯。

下列 Step Functions 範例可確保即時工作流程執行end-to-end並處理逾時和重試：

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

結構描述驗證和合約測試

結構描述驗證和合約測試會驗證 AI 輸出格式。這些測試至關重要，因為它們可保護下游消費者免受格式不正確的 AI 回應影響。

下列範例顯示如何防止下游系統因格式不正確的 LLM 輸出而中斷：

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop評估

Human-in-the-loop(HITL) 評估提供定性檢查，以檢查接地、音調和政策。這些評估對於醫療保健、人力資源 (HR)、法務和客戶支援等高信任網域至關重要。它們對於受監管的產業、品牌體驗或公開暴露是必要的。

下列 HITL 品質保證 (QA) 面板範例示範評估程序：

安全性和界限測試

安全性和界限測試可確保工具和代理程式不超過範圍。這些測試至關重要，因為它們會驗證角色型存取控制 (RBAC)、提示注入彈性和最低權限原則。它們有助於確保提示安全和代理程式控制界限。

下列範例示範安全性測試：

延遲和成本模擬測試

延遲和成本模擬測試預估執行時間成本和回應能力。這些測試至關重要，因為它們有助於調整模型選擇 （例如，Amazon Nova Micro 相較於 Amazon Nova Premier) 和非同步流程決策。

下列範例示範支援分層模型選擇和非同步卸載的架構決策的測試：

測試涵蓋範圍考量

請考慮下列測試涵蓋範圍及其相關工具的領域：

測試和驗證摘要

在 AI 驅動的無伺服器架構中測試和驗證是基本的。鑑於 LLMs 的隨機性質和無伺服器系統的分散式性質，跨提示、工具、工作流程和 AI 行為的完整測試涵蓋範圍支援：