Evaluación del modelo entrenado

Una fórmula de evaluación es un archivo de configuración YAML que define cómo se ejecuta el trabajo de evaluación de modelos de Amazon Nova. Con esta fórmula, puede evaluar el rendimiento de un modelo básico o entrenado mediante su comparación con puntos de referencia comunes o con sus propios conjuntos de datos personalizados. Las métricas se pueden almacenar en Amazon S3 o en TensorBoard. La evaluación proporciona métricas cuantitativas que le ayudan a evaluar el rendimiento del modelo en diversas tareas para determinar si es necesaria una mayor personalización.

La evaluación de los modelos es un proceso fuera de línea, en el que estos se prueban comparándolos con puntos de referencia fijos con respuestas predefinidas. No se evalúan en tiempo real ni en función de las interacciones de los usuarios en directo. Para evaluaciones en tiempo real, puede evaluar el modelo después de implementarlo en Amazon Bedrock llamando a las API de tiempo de ejecución de Amazon Bedrock.

Tareas de referencia disponibles

Hay un paquete de códigos de ejemplo que muestra cómo calcular métricas de referencia mediante la característica de evaluación de modelos de SageMaker AI para Amazon Nova. Para acceder a los paquetes de códigos, consulte sample-Nova-lighteval-custom-task.

A continuación se muestra una lista de las referencias estándar del sector disponibles y compatibles. Puede especificar las siguientes referencias para el parámetro eval_task:

Están disponibles las siguientes subtareas de mmlu:

MMLU_SUBTASKS = [
    "abstract_algebra",
    "anatomy",
    "astronomy",
    "business_ethics",
    "clinical_knowledge",
    "college_biology",
    "college_chemistry",
    "college_computer_science",
    "college_mathematics",
    "college_medicine",
    "college_physics",
    "computer_security",
    "conceptual_physics",
    "econometrics",
    "electrical_engineering",
    "elementary_mathematics",
    "formal_logic",
    "global_facts",
    "high_school_biology",
    "high_school_chemistry",
    "high_school_computer_science",
    "high_school_european_history",
    "high_school_geography",
    "high_school_government_and_politics",
    "high_school_macroeconomics",
    "high_school_mathematics",
    "high_school_microeconomics",
    "high_school_physics",
    "high_school_psychology",
    "high_school_statistics",
    "high_school_us_history",
    "high_school_world_history",
    "human_aging",
    "human_sexuality",
    "international_law",
    "jurisprudence",
    "logical_fallacies",
    "machine_learning",
    "management",
    "marketing",
    "medical_genetics",
    "miscellaneous",
    "moral_disputes",
    "moral_scenarios",
    "nutrition",
    "philosophy",
    "prehistory",
    "professional_accounting",
    "professional_law",
    "professional_medicine",
    "professional_psychology",
    "public_relations",
    "security_studies",
    "sociology",
    "us_foreign_policy",
    "virology",
    "world_religions"
]

Están disponibles las siguientes subtareas de bbh:

BBH_SUBTASKS = [
    "boolean_expressions",
    "causal_judgement",
    "date_understanding",
    "disambiguation_qa",
    "dyck_languages",
    "formal_fallacies",
    "geometric_shapes",
    "hyperbaton",
    "logical_deduction_five_objects",
    "logical_deduction_seven_objects",
    "logical_deduction_three_objects",
    "movie_recommendation",
    "multistep_arithmetic_two",
    "navigate",
    "object_counting",
    "penguins_in_a_table",
    "reasoning_about_colored_objects",
    "ruin_names",
    "salient_translation_error_detection",
    "snarks",
    "sports_understanding",
    "temporal_sequences",
    "tracking_shuffled_objects_five_objects",
    "tracking_shuffled_objects_seven_objects",
    "tracking_shuffled_objects_three_objects",
    "web_of_lies",
    "word_sorting"
]

Están disponibles las siguientes subtareas de math:

MATH_SUBTASKS = [
    "algebra",
    "counting_and_probability",
    "geometry",
    "intermediate_algebra",
    "number_theory",
    "prealgebra",
    "precalculus",
]

Comprensión de los parámetros de fórmula

Configuración de una ejecución

A continuación se ofrece una configuración de ejecución general y una explicación de los parámetros que intervienen.

run:
  name: eval_job_name 
  model_type: amazon.nova-micro-v1:0:128k 
  model_name_or_path: nova-micro/prod 
  replicas: 1 
  data_s3_path: ""
  output_s3_path: s3://output_path

Configuración de evaluación

A continuación se ofrece una configuración de evaluación de modelos y una explicación de los parámetros que intervienen.

evaluation:
  task: mmlu 
  strategy: zs_cot 
  subtask: mathematics
  metric: accuracy

Configuración de inferencias

A continuación se ofrece una configuración de inferencia y una explicación de los parámetros que intervienen. Todos los parámetros son opcionales.

inference:
  max_new_tokens: 200 
  top_k: -1 
  top_p: 1.0 
  temperature: 0

Tenga en cuenta que para humaneval recomendamos la siguiente configuración de inferencia:

inference:
  top_k: 1
  max_new_tokens: 1600
  temperature: 0.0

Ejemplos de fórmula de evaluación

Amazon Nova proporciona cuatro tipos de fórmulas de evaluación, que están disponibles en el repositorio de fórmulas de HyperPod en GitHub.

Fórmulas de referencia de texto general

Estas fórmulas le permiten evaluar las capacidades fundamentales de los modelos de Amazon Nova a través de un amplio conjunto de referencias solo de texto. Se proporcionan en formato xxx_general_text_benchmark_eval.yaml.

Fórmula de referencia multimodal general

Estas fórmulas le permiten evaluar las capacidades fundamentales de los modelos de Amazon Nova a través de un amplio conjunto de referencias multimodales. Se proporcionan en formato xxx_general_multi_modal_benchmark_eval.yaml.

Fórmula de referencia de uso de conjunto de datos propio

Estas fórmulas le permiten utilizar su propio conjunto de datos como referencia y comparar las salidas del modelo con las respuestas de referencia utilizando diferentes tipos de métricas. Se proporcionan en formato xxx_bring_your_own_dataset_eval.yaml.

Estos son los requisitos para utilizar un conjunto de datos propio:

Esta es una entrada de ejemplo de uso del conjunto de datos propio

{
   "system":"You are a english major with top marks in class who likes to give minimal word responses: ",
   "query":"What is the symbol that ends the sentence as a question",
   "response":"?"
}
{
   "system":"You are a pattern analysis specialist that provides succinct answers: ",
   "query":"What is the next number in this series? 1, 2, 4, 8, 16, ?",
   "response":"32"
}
{
   "system":"You have great attention to detail that follows instructions accurately: ",
   "query":"Repeat only the last two words of the following: I ate a hamburger today and it was kind of dry",
   "response":"of dry"
}

Para usar un conjunto de datos personalizado, modifique la fórmula de evaluación con los siguientes campos obligatorios, sin cambiar ningún contenido:

evaluation:
  task: gen_qa 
  strategy: gen_qa 
  metric: all

Se aplican las siguientes restricciones:

Fórmula de referencia de LLM como juez de Amazon Nova

LLM como juez de Amazon Nova es una característica de evaluación de modelos que permite a los clientes comparar la calidad de las respuestas de un modelo con la respuesta de un modelo de referencia en un conjunto de datos personalizado. Incluye un conjunto de datos con peticiones, respuestas de referencia y respuestas de desafío, y utiliza un modelo de Nova Judge para proporcionar una métrica de tasa de aciertos basada en probabilidad de Bradley-Terry con comparaciones por pares.

Las fórmulas se proporcionan en formato xxx_llm_judge_eval.yaml.

Estos son los requisitos del LLM como juez:

Esta es una entrada de ejemplo de LLM como juez

{
"prompt": "What is the most effective way to combat climate change?",
"response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.",
"response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."
}
{
"prompt": "Explain how a computer's CPU works",
"response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.",
"response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."
}
{
"prompt": "How does photosynthesis work?",
"response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.",
"response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."
}

Para usar un conjunto de datos personalizado, modifique la fórmula de evaluación con los siguientes campos obligatorios, sin cambiar ningún contenido:

evaluation:
  task: llm_judge
  strategy: judge
  metric: all

Se aplican las siguientes restricciones:

Inicio de un trabajo de evaluación

A continuación se ofrece una sugerencia de configuración del tipo de instancia y del tipo de modelo de evaluación:

# Install Dependencies (Helm - https://helm.sh/docs/intro/install/)
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh
rm -f ./get_helm.sh  

# Install the HyperPod CLI
git clone --recurse-submodules https://github.com/aws/sagemaker-hyperpod-cli.git
git checkout -b release_v2
cd sagemaker-hyperpod-cli
pip install .

# Verify the installation
hyperpod --help

# Connect to a HyperPod Cluster
hyperpod connect-cluster --cluster-name cluster-name


# Submit the Job using the recipe for eval
# Namespace by default should be kubeflow
hyperpod start-job [--namespace namespace] --recipe evaluation/nova/nova_micro_p5_48xl_general_text_benchmark_eval --override-parameters \
'{
    "instance_type":"p5d.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": custom-run-name,
    "recipes.run.model_type": model_type,
    "recipes.run.model_name_or_path" " model name or finetune checkpoint s3uri,
    "recipes.run.data_s3_path": s3 for input data only for genqa and llm_judge, must be full S3 path that include filename,
}'

# List jobs
hyperpod list-jobs [--namespace namespace] [--all-namespaces]

# Getting Job details
hyperpod get-job --job-name job-name [--namespace namespace] [--verbose]

# Listing Pods
hyperpod list-pods --job-name job-name --namespace namespace

# Cancel Job
hyperpod cancel-job --job-name job-name [--namespace namespace]

También debería poder ver el estado del trabajo a través de la consola de clúster de Amazon EKS.

Acceso y análisis de los resultados de la evaluación

Una vez que el trabajo de evaluación haya finalizado satisfactoriamente, podrá acceder a los resultados y analizarlos utilizando la información de esta sección. En función de la output_s3_path (por ejemplo, s3://output_path/) definida en la fórmula, la estructura de salida es la siguiente:

job_name/
├── eval-result/
│    └── results_[timestamp].json
│    └── inference_output.jsonl (only present for gen_qa)
│    └── details/
│        └── model/
│            └── execution-date-time/
│                └──details_task_name_#_datetime.parquet
└── tensorboard-results/
    └── eval/
        └── events.out.tfevents.[timestamp]

Los resultados de las métricas se almacenan en la ubicación de salida de S3 especificada s3://output_path/job_name/eval-result/result-timestamp.json.

Los resultados de Tensorboard se almacenan en la ruta de S3 s3://output_path/job_name/eval-tensorboard-result/eval/event.out.tfevents.epoch+ip.

Todos los resultados de inferencia, excepto llm_judge y strong_reject, se almacenan en la ruta de S3: s3://output_path/job_name/eval-result/details/model/taskname.parquet.

Para gen_qa, el archivo inference_output.jsonl contiene los siguientes campos para cada objeto JSON:

Para visualizar las métricas de evaluación en Tensorboard, siga estos pasos:

Hay disponibles series temporales, escalares y visualizaciones de texto.

Recomendamos que siga las siguientes prácticas recomendadas:

Los registros de errores de trabajo de HyperPod se encuentran en el grupo de registros de CloudWatch /aws/sagemaker/Clusters/cluster-id.