翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

テストと検証

AI 駆動型サーバーレスアーキテクチャでは、従来のユニットテストと統合テストが依然として重要です。ただし、大規模言語モデル (LLM) の予測不能、サーバーレス同時実行、ワークフローオーケストレーションに対応するためには、新しいテストタイプが必要です。

厳密な検証を行わないと、チームは以下の問題のリスクがあります。

これらの問題を回避するために、最新の生成 AI システムでは、インフラストラクチャ、ロジック、AI の動作にわたって多層検証が必要です。

サーバーレス AI のテストタイプ

サーバーレス AI アプリケーションをテストするには、従来のアプリケーションテストのニーズと AI 固有の懸念の両方に対処する包括的なアプローチが必要です。このセクションでは、信頼性、セキュリティ、パフォーマンスを確保するために不可欠なテストタイプについて説明します。

ユニットのテスト

ユニットテストでは、アトミックロジック (AWS Lambdaコードなど) を検証します。これらのテストは、変換、フォーマット、前/後処理オペレーションのリグレッションをキャッチするため、重要です。

次の Lambda 変換の例では、モデルプロンプト構造が正しいことを確認します。

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

プロンプトテスト

プロンプトテストでは、LLM レスポンスが期待どおりであることを確認します。これらのテストは重要です。プロンプトは脆弱で型が入っておらず、小さな変更によって出力形式や意味が損なわれる可能性があるためです。

ゴールデン入力を使用する次の例は、プロンプトドリフトまたはモデルの低下をキャッチする方法を示しています。

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

エージェントツールの呼び出しテスト

エージェントツールの呼び出しテストでは、agent-to-toolロジックと変数マッピングを検証します。これらのテストは重要です。エージェントが正しいパラメータで正しいツールを呼び出すため、ランタイムの混乱を防ぐことができます。

次の例は、ツール呼び出しテストを示しています。

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

ワークフロー統合テスト

ワークフロー統合テストでは、マルチステージオーケストレーション (AWS Step Functionsワークフローなど) を検証します。これらのテストは、イベントフロー、出力の引き渡し、エラーパス、再試行ロジックを確認するので重要です。

次の Step Functions の例では、リアルタイムワークフローがend-to-endで実行され、タイムアウトと再試行が処理されるようにします。

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

スキーマの検証と契約テスト

スキーマ検証と契約テストは AI 出力形式を検証します。これらのテストは、ダウンストリームコンシューマーを不正な形式の AI レスポンスから保護するため、重要です。

次の例は、ダウンストリームシステムの破損が不正な形式の LLM 出力にならないようにする方法を示しています。

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

ヒューHuman-in-the-loop評価

ヒューHuman-in-the-loop (HITL) 評価は、グラウンディング、トーン、ポリシーの定性的チェックを提供します。これらの評価は、医療、人事 (HR)、法務、カスタマーサポートなどの信頼度の高い分野にとって重要です。規制された業界、ブランドエクスペリエンス、または一般公開に必要です。

次の HITL 品質保証 (QA) パネルの例は、評価プロセスを示しています。

セキュリティと境界のテスト

セキュリティテストと境界テストでは、ツールとエージェントがスコープを超えないようにします。これらのテストは、ロールベースのアクセスコントロール (RBAC)、プロンプトインジェクションの耐障害性、最小特権の原則を検証するため、重要です。これらは、迅速な安全性とエージェント制御の境界を確保するのに役立ちます。

次の例は、セキュリティテストを示しています。

レイテンシーとコストのシミュレーションテスト

レイテンシーとコストのシミュレーションテストでは、ランタイムのコストと応答性を見積もります。これらのテストは、モデルの選択 (Amazon Nova Premier と比較した Amazon Nova Micro など) と非同期フローの決定を調整するのに役立つため、重要です。

次の例は、階層型モデルの選択と非同期オフロードに関するアーキテクチャ上の決定をサポートするテストを示しています。

テストカバレッジに関する考慮事項

以下のテスト対象領域と関連するツールを検討してください。

テストと検証の概要

AI 駆動型サーバーレスアーキテクチャのテストと検証は基本です。LLMs の確率的性質とサーバーレスシステムの分散性を考慮すると、プロンプト、ツール、ワークフロー、AI 動作にわたる包括的なテストカバレッジは以下をサポートします。