Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Test e convalida

Nelle architetture serverless basate sull'intelligenza artificiale, i test di unità e integrazione tradizionali sono ancora fondamentali. Tuttavia, sono necessari nuovi tipi di test per soddisfare l'imprevedibilità dei modelli di linguaggio di grandi dimensioni (LLM), la concorrenza senza server e l'orchestrazione del flusso di lavoro.

Senza una convalida rigorosa, i team rischiano i seguenti problemi:

Per evitare questi problemi, i moderni sistemi di intelligenza artificiale generativa richiedono una convalida a più livelli dell'infrastruttura, della logica e del comportamento dell'intelligenza artificiale.

Tipi di test per l'IA senza server

Il test delle applicazioni di intelligenza artificiale senza server richiede un approccio completo che risponda sia alle esigenze di test delle applicazioni tradizionali sia ai problemi specifici dell'intelligenza artificiale. Questa sezione descrive i tipi di test essenziali per garantire affidabilità, sicurezza e prestazioni.

Test unitari

I test unitari convalidano la logica atomica (ad esempio, il AWS Lambdacodice). Questi test sono fondamentali perché rilevano le regressioni nelle operazioni di trasformazione, formattazione e pre/post-elaborazione.

Il seguente esempio di trasformazione Lambda assicura che la costruzione del prompt del modello sia corretta:

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

Test rapidi

Test rapidi assicurano che le risposte LLM seguano le aspettative. Questi test sono fondamentali perché i prompt sono fragili e non digitati, in cui piccole modifiche possono compromettere il formato o il significato dell'output.

L'esempio seguente che utilizza input dorati mostra come catturare la deriva del prompt o il degrado del modello:

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

Test di invocazione dello strumento Agent

I test di invocazione dello strumento Agent convalidano agent-to-tool la mappatura logica e delle variabili. Questi test sono fondamentali perché assicurano che gli agenti chiamino gli strumenti corretti con i parametri corretti, evitando così la confusione in fase di esecuzione.

L'esempio seguente mostra il test di invocazione degli strumenti:

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

Test di integrazione del flusso di lavoro

I test di integrazione del flusso di lavoro verificano l'orchestrazione in più fasi (ad esempio, AWS Step Functionsi flussi di lavoro). Questi test sono fondamentali perché confermano il flusso degli eventi, i trasferimenti di output, i percorsi di errore e la logica dei tentativi.

Il seguente esempio di Step Functions assicura l'esecuzione dei flussi di lavoro in tempo reale end-to-end e la gestione di timeout e nuovi tentativi:

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

Convalida dello schema e test dei contratti

La convalida dello schema e i test contrattuali convalidano i formati di output AI. Questi test sono fondamentali perché proteggono i consumatori a valle da risposte di intelligenza artificiale non corrette.

L'esempio seguente mostra come prevenire la rottura del sistema a valle causata da un output LLM malformato:

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop valutazioni

Human-in-the-loop le valutazioni (HITL) forniscono controlli qualitativi per quanto riguarda la base, il tono e la politica. Queste valutazioni sono fondamentali per settori ad alta affidabilità come l'assistenza sanitaria, le risorse umane (HR), il settore legale e l'assistenza clienti. Sono necessarie per i settori regolamentati, le esperienze legate al marchio o la visibilità pubblica.

Il seguente esempio di pannello di controllo della qualità (QA) HITL illustra un processo di valutazione:

Test di sicurezza e di delimitazione

I test di sicurezza e limite assicurano che gli strumenti e gli agenti non superino l'ambito. Questi test sono fondamentali perché verificano il controllo degli accessi basato sul ruolo (RBAC), la resilienza alla pronta iniezione e il principio del privilegio minimo. Contribuiscono a garantire tempestivi limiti di sicurezza e controllo degli agenti.

L'esempio seguente illustra i test di sicurezza:

Test di simulazione della latenza e dei costi

I test di simulazione della latenza e dei costi stimano i costi di runtime e la reattività. Questi test sono fondamentali perché aiutano a ottimizzare la selezione dei modelli (ad esempio, Amazon Nova Micro rispetto ad Amazon Nova Premier) e le decisioni sul flusso asincrono.

L'esempio seguente dimostra un test che supporta le decisioni architettoniche sulla selezione dei modelli su più livelli e sull'offload asincrono:

Considerazioni sulla copertura dei test

Prendi in considerazione le seguenti aree di copertura dei test e gli strumenti associati:

Riepilogo dei test e della convalida

Il test e la convalida in architetture serverless basate sull'intelligenza artificiale sono fondamentali. Data la natura stocastica LLMs e la natura distribuita dei sistemi serverless, una copertura completa dei test su istruzioni, strumenti, flussi di lavoro e comportamento dell'intelligenza artificiale supporta: