As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Testes e validação

Em arquiteturas sem servidor orientadas por IA, os testes tradicionais de unidade e integração ainda são essenciais. No entanto, novos tipos de teste são necessários para acomodar a imprevisibilidade do modelo de linguagem grande (LLM), a simultaneidade sem servidor e a orquestração do fluxo de trabalho.

Sem uma validação rigorosa, as equipes correm o risco de enfrentar os seguintes problemas:

Para ajudar a evitar esses problemas, os sistemas modernos de IA generativa exigem validação em várias camadas da infraestrutura, da lógica e do comportamento da IA.

Tipos de teste para IA sem servidor

Testar aplicativos de IA sem servidor requer uma abordagem abrangente que atenda às necessidades tradicionais de teste de aplicativos e às preocupações específicas da IA. Esta seção descreve os tipos de teste que são essenciais para garantir confiabilidade, segurança e desempenho.

Testes de unidades

Os testes unitários validam a lógica atômica (por exemplo, AWS Lambdacódigo). Esses testes são essenciais porque capturam regressões nas operações de transformação, formatação e pré-processamento e pós-processamento.

O exemplo de transformação Lambda a seguir garante que a construção imediata do modelo esteja correta:

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

Testes imediatos

Testes imediatos garantem que as respostas do LLM sigam as expectativas. Esses testes são essenciais porque os prompts são frágeis e não digitados, e pequenas alterações podem quebrar o formato ou o significado da saída.

O exemplo a seguir usando entradas douradas mostra como capturar o desvio imediato ou a degradação do modelo:

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

Testes de invocação da ferramenta Agent

Os testes de invocação da ferramenta do agente validam a agent-to-tool lógica e o mapeamento de variáveis. Esses testes são essenciais porque garantem que os agentes chamem as ferramentas corretas com os parâmetros corretos, o que evita confusão no tempo de execução.

O exemplo a seguir demonstra o teste de invocação de ferramentas:

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

testes de integração de fluxo de trabalho

Os testes de integração do fluxo de trabalho verificam a orquestração em vários estágios (por exemplo, AWS Step Functionsfluxos de trabalho). Esses testes são essenciais porque confirmam o fluxo de eventos, as transferências de saída, os caminhos de erro e a lógica de repetição.

O exemplo de Step Functions a seguir garante que fluxos de trabalho em tempo real sejam executados end-to-end e lidem com tempos limite e novas tentativas:

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

Validação de esquemas e testes de contrato

A validação do esquema e os testes de contrato validam os formatos de saída da IA. Esses testes são essenciais porque protegem os consumidores posteriores de respostas malformadas de IA.

O exemplo a seguir mostra como evitar a quebra do sistema a jusante devido à saída LLM malformada:

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop avaliações

Human-in-the-loop As avaliações (HITL) fornecem verificações qualitativas de fundamentação, tom e política. Essas avaliações são essenciais para domínios de alta confiança, como saúde, recursos humanos (RH), jurídico e suporte ao cliente. Eles são necessários para setores regulamentados, experiências de marca ou exposição pública.

O seguinte exemplo de painel de garantia de qualidade (QA) da HITL demonstra um processo de avaliação:

Testes de segurança e limites

Os testes de segurança e limites garantem que as ferramentas e os agentes não excedam o escopo. Esses testes são essenciais porque verificam o controle de acesso baseado em funções (RBAC), a resiliência de injeção imediata e o princípio do menor privilégio. Eles ajudam a garantir a segurança imediata e os limites de controle do agente.

O exemplo a seguir demonstra os testes de segurança:

Testes de simulação de latência e custo

Os testes de simulação de latência e custo estimam o custo do tempo de execução e a capacidade de resposta. Esses testes são essenciais porque ajudam a ajustar a seleção de modelos (por exemplo, o Amazon Nova Micro em comparação com o Amazon Nova Premier) e as decisões de fluxo assíncrono.

O exemplo a seguir demonstra um teste que suporta decisões arquitetônicas sobre seleção de modelos em camadas e descarregamento assíncrono:

Considerações sobre a cobertura do teste

Considere as seguintes áreas de cobertura de testes e suas ferramentas associadas:

Resumo dos testes e validação

O teste e a validação em arquiteturas sem servidor orientadas por IA são fundamentais. Dada a natureza estocástica LLMs e a natureza distribuída dos sistemas sem servidor, a cobertura abrangente de testes em solicitações, ferramentas, fluxos de trabalho e comportamento de IA oferece suporte a: