Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Pruebas y validación

En las arquitecturas sin servidor impulsadas por la IA, las pruebas unitarias y de integración tradicionales siguen siendo fundamentales. Sin embargo, se necesitan nuevos tipos de pruebas para adaptarse a la imprevisibilidad de los modelos de lenguaje de gran tamaño (LLM), a la simultaneidad sin servidores y a la organización del flujo de trabajo.

Sin una validación rigurosa, los equipos corren el riesgo de sufrir los siguientes problemas:

Para evitar estos problemas, los sistemas de IA generativa modernos exigen una validación en varios niveles de la infraestructura, la lógica y el comportamiento de la IA.

Tipos de pruebas para la IA sin servidor

Probar aplicaciones de IA sin servidor requiere un enfoque integral que aborde tanto las necesidades tradicionales de prueba de aplicaciones como las preocupaciones específicas de la IA. En esta sección se describen los tipos de pruebas que son esenciales para garantizar la fiabilidad, la seguridad y el rendimiento.

Pruebas unitarias

Las pruebas unitarias validan la lógica atómica (por ejemplo, el AWS Lambdacódigo). Estas pruebas son fundamentales porque detectan las regresiones en las operaciones de transformación, formateo y preprocesamiento y posprocesamiento.

El siguiente ejemplo de transformación Lambda garantiza que la construcción de la línea de comandos del modelo sea correcta:

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

Pruebas rápidas

Las pruebas rápidas garantizan que las respuestas del LLM cumplan con las expectativas. Estas pruebas son fundamentales porque las indicaciones son frágiles y no están tipificadas, por lo que pequeños cambios pueden alterar el formato o el significado de la salida.

El siguiente ejemplo con entradas doradas muestra cómo detectar una deriva inmediata o una degradación del modelo:

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

Pruebas de invocación de herramientas de agente

Las pruebas de invocación de las herramientas del agente validan agent-to-tool la asignación lógica y de variables. Estas pruebas son fundamentales porque garantizan que los agentes llamen a las herramientas correctas con los parámetros correctos, lo que evita confusiones en el tiempo de ejecución.

En el siguiente ejemplo, se muestran las pruebas de invocación de herramientas:

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

Pruebas de integración del flujo de trabajo

Las pruebas de integración del flujo de trabajo verifican la orquestación en varias etapas (por ejemplo, los AWS Step Functionsflujos de trabajo). Estas pruebas son fundamentales porque confirman el flujo de eventos, las transferencias de salida, las rutas de error y la lógica de reintento.

El siguiente ejemplo de Step Functions garantiza que los flujos de trabajo en tiempo real se ejecuten end-to-end y gestionen los tiempos de espera y los reintentos:

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

Validación de esquemas y pruebas de contrato

La validación de esquemas y las pruebas de contrato validan los formatos de salida de la IA. Estas pruebas son fundamentales porque protegen a los consumidores intermedios de las respuestas incorrectas de la IA.

El siguiente ejemplo muestra cómo evitar que el sistema descendente se rompa debido a un mal formato de la salida LLM:

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop evaluaciones

Human-in-the-loop (HITL) las evaluaciones proporcionan controles cualitativos en cuanto a los fundamentos, el tono y la política. Estas evaluaciones son fundamentales para ámbitos de alta confianza, como la sanidad, los recursos humanos (RRHH), el sector jurídico y la atención al cliente. Son necesarias para los sectores regulados, las experiencias de marca o la exposición pública.

El siguiente ejemplo de panel de control de calidad (QA) de HITL demuestra un proceso de evaluación:

Pruebas de seguridad y límites

Las pruebas de seguridad y de límites garantizan que las herramientas y los agentes no excedan el alcance. Estas pruebas son fundamentales porque verifican el control de acceso basado en roles (RBAC), la capacidad de adaptación inmediata y el principio de privilegio mínimo. Ayudan a garantizar la pronta seguridad y los límites de control de los agentes.

El siguiente ejemplo muestra las pruebas de seguridad:

Pruebas de simulación de costes y latencia

Las pruebas de simulación de costes y latencia estiman el coste del tiempo de ejecución y la capacidad de respuesta. Estas pruebas son fundamentales porque ayudan a ajustar la selección de modelos (por ejemplo, Amazon Nova Micro en comparación con Amazon Nova Premier) y las decisiones de flujo asíncrono.

El siguiente ejemplo muestra una prueba que respalda las decisiones arquitectónicas sobre la selección de modelos por niveles y la descarga asíncrona:

Considere la cobertura de las pruebas

Tenga en cuenta las siguientes áreas de cobertura de las pruebas y sus herramientas asociadas:

Resumen de las pruebas y la validación

Las pruebas y la validación en las arquitecturas sin servidor impulsadas por la IA son fundamentales. Dada la naturaleza estocástica LLMs y distribuida de los sistemas sin servidor, la cobertura integral de las pruebas en relación con las indicaciones, las herramientas, los flujos de trabajo y el comportamiento de la IA permite: