Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Testen und Validieren

In KI-gestützten serverlosen Architekturen sind traditionelle Einheiten- und Integrationstests immer noch von entscheidender Bedeutung. Neue Testtypen sind jedoch erforderlich, um der Unvorhersehbarkeit eines Large Language Model (LLM), der serverlosen Parallelität und der Workflow-Orchestrierung Rechnung zu tragen.

Ohne strenge Validierung riskieren Teams die folgenden Probleme:

Um diese Probleme zu vermeiden, erfordern moderne generative KI-Systeme eine mehrstufige Validierung von Infrastruktur, Logik und KI-Verhalten.

Testtypen für serverlose KI

Das Testen serverloser KI-Anwendungen erfordert einen umfassenden Ansatz, der sowohl die Anforderungen herkömmlicher Anwendungstests als auch KI-spezifische Probleme berücksichtigt. In diesem Abschnitt werden Testtypen beschrieben, die für die Gewährleistung von Zuverlässigkeit, Sicherheit und Leistung unerlässlich sind.

Komponententests

Unit-Tests validieren atomare Logik (zum Beispiel AWS LambdaCode). Diese Tests sind von entscheidender Bedeutung, da sie Regressionen bei Transformations-, Formatierungs- und Vor- und Nachverarbeitungsvorgängen aufdecken.

Das folgende Beispiel für eine Lambda-Transformation stellt sicher, dass die Modellprompt-Konstruktion korrekt ist:

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

Sofortige Tests

Sofortige Tests stellen sicher, dass die LLM-Antworten den Erwartungen entsprechen. Diese Tests sind von entscheidender Bedeutung, da Eingabeaufforderungen fragil und untypisiert sind, sodass kleine Änderungen das Ausgabeformat oder die Bedeutung beeinträchtigen können.

Das folgende Beispiel mit goldenen Eingaben zeigt, wie man Prompt-Drift oder Modellverschlechterung erkennt:

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

Tests zum Aufrufen des Agententools

Aufruftests für Agententools validieren die agent-to-tool Logik und die Variablenzuweisung. Diese Tests sind von entscheidender Bedeutung, da sie sicherstellen, dass Agenten die richtigen Tools mit den richtigen Parametern aufrufen, wodurch Verwirrung bei der Laufzeit vermieden wird.

Das folgende Beispiel veranschaulicht das Testen von Toolaufrufen:

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

Workflow-Integrationstests

Workflow-Integrationstests verifizieren die mehrstufige Orchestrierung (z. B. AWS Step FunctionsWorkflows). Diese Tests sind von entscheidender Bedeutung, da sie den Ablauf von Ereignissen, Ausgabeübergaben, Fehlerpfade und Wiederholungslogik bestätigen.

Das folgende Beispiel für Step Functions stellt sicher, dass Echtzeit-Workflows ausgeführt werden end-to-end und Timeouts und Wiederholungen verarbeiten:

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

Schemavalidierung und Vertragstests

Schemavalidierung und Vertragstests validieren die KI-Ausgabeformate. Diese Tests sind von entscheidender Bedeutung, da sie nachgeschaltete Verbraucher vor fehlerhaften KI-Antworten schützen.

Das folgende Beispiel zeigt, wie ein Ausfall nachgeschalteter Systeme durch eine fehlerhafte LLM-Ausgabe verhindert werden kann:

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop Bewertungen

Human-in-the-loop (HITL) Evaluationen dienen der qualitativen Überprüfung von Grundlegung, Grundton und Politik. Diese Bewertungen sind für Bereiche, denen viel Vertrauen entgegengebracht wird, wie Gesundheitswesen, Personalwesen (HR), Recht und Kundensupport, von entscheidender Bedeutung. Sie sind für regulierte Branchen, Markenerlebnisse oder die Öffentlichkeitsarbeit erforderlich.

Das folgende Beispiel für ein HITL-Gremium zur Qualitätssicherung (QA) veranschaulicht einen Bewertungsprozess:

Sicherheits- und Grenztests

Sicherheits- und Grenztests stellen sicher, dass Tools und Agenten den Umfang nicht überschreiten. Diese Tests sind von entscheidender Bedeutung, da sie die rollenbasierte Zugriffskontrolle (RBAC), die Resilienz von Prompt-Injections und das Prinzip der geringsten Rechte verifizieren. Sie tragen dazu bei, dass die Sicherheit und die Kontrollgrenzen der Agenten umgehend gewährleistet werden.

Das folgende Beispiel zeigt Sicherheitstests:

Latenz- und Kostensimulationstests

Latenz- und Kostensimulationstests schätzen die Laufzeitkosten und die Reaktionsfähigkeit ab. Diese Tests sind von entscheidender Bedeutung, da sie dazu beitragen, die Modellauswahl (z. B. Amazon Nova Micro im Vergleich zu Amazon Nova Premier) und asynchrone Flussentscheidungen zu optimieren.

Das folgende Beispiel zeigt einen Test, der architektonische Entscheidungen zur mehrstufigen Modellauswahl und zum asynchronen Offloading unterstützt:

Überlegungen zur Testabdeckung

Beachten Sie die folgenden Bereiche der Testabdeckung und die zugehörigen Tools:

Zusammenfassung der Tests und der Validierung

Das Testen und Validieren in KI-gesteuerten serverlosen Architekturen ist grundlegend. Angesichts des stochastischen Charakters LLMs und des verteilten Charakters serverloser Systeme unterstützt eine umfassende Testabdeckung mit Eingabeaufforderungen, Tools, Workflows und KI-Verhalten: