本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

测试和验证

在人工智能驱动的无服务器架构中，传统的单元测试和集成测试仍然至关重要。但是，需要新的测试类型来适应大型语言模型 (LLM) 的不可预测性、无服务器并发性和工作流程编排。

如果不进行严格的验证，团队将面临以下问题的风险：

为了帮助避免这些问题，现代生成式 AI 系统需要对基础架构、逻辑和 AI 行为进行多层验证。

无服务器 AI 的测试类型

测试无服务器 AI 应用程序需要一种全面的方法，既要满足传统的应用程序测试需求，又要解决特定于 AI 的问题。本节介绍对确保可靠性、安全性和性能至关重要的测试类型。

单元测试

单元测试验证原子逻辑（例如AWS Lambda代码）。这些测试至关重要，因为它们可以捕捉转换、格式化和预/后处理操作中的回归。

以下 Lambda 转换示例可确保模型提示符的构造正确无误：

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

提示测试

即时测试可确保法学硕士的回复符合预期。这些测试至关重要，因为提示很脆弱且没有键入类型，其中微小的更改可能会破坏输出格式或含义。

以下使用金色输入的示例显示了如何捕捉提示漂移或模型退化：

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

代理工具调用测试

代理工具调用测试验证 agent-to-tool逻辑和变量映射。这些测试至关重要，因为它们可以确保代理使用正确的参数调用正确的工具，从而防止运行时混乱。

以下示例演示了工具调用测试：

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

工作流程集成测试

工作流集成测试可验证多阶段编排（例如，AWS Step Functions工作流程）。这些测试至关重要，因为它们可以确认事件流、输出切换、错误路径和重试逻辑。

以下 Step Functions 示例可确保实时工作流程运行 end-to-end并处理超时和重试：

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

架构验证和合约测试

架构验证和合约测试验证 AI 输出格式。这些测试至关重要，因为它们可以保护下游消费者免受格式错误的人工智能响应的影响。

以下示例说明如何防止因格式错误的 LLM 输出而导致下游系统中断：

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop 评估

Human-in-the-loop (HITL) 评估为基础、语气和政策提供了定性检查。这些评估对于医疗保健、人力资源 (HR)、法律和客户支持等高信任度领域至关重要。它们是受监管行业、品牌体验或公众曝光所必需的。

以下 HITL 质量保证 (QA) 小组示例演示了评估过程：

安全和边界测试

安全和边界测试可确保工具和代理不会超出范围。这些测试至关重要，因为它们验证了基于角色的访问控制 (RBAC)、提示注入弹性和最小权限原则。它们有助于确保及时的安全和代理控制界限。

以下示例演示了安全测试：

延迟和成本模拟测试

延迟和成本仿真测试估算运行时间成本和响应能力。这些测试至关重要，因为它们有助于调整模型选择（例如，Amazon Nova Micro与Amazon Nov a Premier的比较）和异步流程决策。

以下示例演示了一项测试，该测试支持分层模型选择和异步卸载方面的架构决策：

测试覆盖率注意事项

考虑以下测试覆盖范围及其相关工具：

测试和验证摘要

在 AI 驱动的无服务器架构中进行测试和验证是基础。鉴于无服务器系统的随机性质 LLMs 和分布式特性，跨提示、工具、工作流程和 AI 行为的全面测试覆盖范围支持：