Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Personalizzazione dei modelli con Amazon SageMaker AI
La personalizzazione dei modelli di SageMaker intelligenza artificiale di Amazon è una funzionalità che trasforma il processo tradizionalmente complesso e dispendioso in termini di tempo di personalizzazione dei modelli di intelligenza artificiale da un'attività lunga mesi a un flusso di lavoro semplificato che può essere completato in pochi giorni. Questa funzionalità affronta la sfida critica affrontata dagli sviluppatori di intelligenza artificiale che devono personalizzare i modelli di base con dati proprietari per creare esperienze clienti altamente differenziate. La documentazione dettagliata sulla personalizzazione, incluse step-by-step guide e opzioni di configurazione avanzate, è fornita in questa SageMaker guida sull'intelligenza artificiale. Per una breve panoramica sulla personalizzazione del modello Nova, consulta [Personalizza e ottimizza con SageMaker](https://docs.aws.amazon.com/nova/latest/userguide/customize-fine-tune-sagemaker.html) nella Amazon Nova User Guide.
La funzionalità include una nuova interfaccia utente guidata che comprende i requisiti del linguaggio naturale, con una suite completa di tecniche avanzate di personalizzazione dei modelli, il tutto basato su un'infrastruttura serverless che elimina il sovraccarico operativo della gestione delle risorse di calcolo. Che tu stia sviluppando applicazioni di ricerca legale, migliorando i chatbot del servizio clienti o sviluppando agenti di intelligenza artificiale specifici del dominio, questa funzionalità accelera il percorso dall'implementazione in produzione. proof-of-concept
Le funzionalità di Model Customization offerte da Amazon Bedrock Evaluations possono trasmettere in modo sicuro i dati Regioni AWS all'interno della tua area geografica per l'elaborazione. Per ulteriori informazioni, accedi alla [documentazione di Amazon Bedrock Evaluations](https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-judge.html).
## Concetti chiave
**Formazione senza server**
Un'infrastruttura di elaborazione completamente gestita che elimina tutta la complessità dell'infrastruttura, consentendoti di concentrarti esclusivamente sullo sviluppo del modello. Ciò include il provisioning automatico delle istanze GPU (P5, P4de, P4d, G5) in base alle dimensioni del modello e ai requisiti di formazione, ricette di formazione preottimizzate che incorporano le migliori pratiche per ogni tecnica di personalizzazione, il monitoraggio in tempo reale con metriche e log in tempo reale accessibili tramite l'interfaccia utente e la pulizia automatica delle risorse dopo il completamento della formazione per ottimizzare i costi.
**Tecniche di personalizzazione dei modelli**
Set completo di metodi avanzati tra cui la messa a punto supervisionata (SFT), l'ottimizzazione delle preferenze dirette (DPO), l'apprendimento per rinforzo con ricompense verificabili (RLVR) e l'apprendimento per rinforzo con feedback AI (RLAIF).
**Modello personalizzato**
Una versione specializzata di un modello base di base che è stato adattato a un caso d'uso specifico addestrandolo sui dati dell'utente. Il risultato è un modello di intelligenza artificiale che mantiene le funzionalità generali del modello di base originale e aggiunge conoscenze, terminologia, stile o comportamento specifici del dominio, personalizzati in base alle esigenze dell'utente.
**Risorse per la personalizzazione dei modelli di intelligenza artificiale**
Risorse e artefatti utilizzati per addestrare, perfezionare e valutare i modelli personalizzati durante il processo di personalizzazione dei modelli. Queste risorse includono **set** di dati, che sono raccolte di esempi di formazione (coppie di risposta rapida, testo specifico del dominio o dati etichettati) utilizzati per mettere a punto un modello di base per apprendere comportamenti, conoscenze o stili specifici, e **valutatori, che sono meccanismi per valutare** e migliorare le prestazioni del modello attraverso ***funzioni di ricompensa*** (logica basata sul codice che assegna un punteggio ai risultati del modello in base a criteri specifici, utilizzati nella formazione RLVR e nella valutazione dei punteggi personalizzati) oppure ***richieste di ricompensa*** ( istruzioni in linguaggio naturale che guidano un LLM a giudicare la qualità delle risposte modello, utilizzate nella formazione e nella LLM-as-a-judge valutazione RLAIF).
**Gruppo di pacchetti modello**
Un contenitore di raccolta che tiene traccia di tutti i modelli registrati durante i processi di formazione, fornendo una posizione centralizzata per le versioni dei modelli e la loro derivazione.
**Modello registrato**
L'output creato dall' SageMaker intelligenza artificiale durante l'esecuzione di lavori di formazione senza server. Può trattarsi di un modello perfezionato (processo riuscito), di un checkpoint (processo fallito con checkpoint) o di metadati associati (processo fallito senza checkpoint).
**Modello registrato**
Un modello registrato che è stato contrassegnato per scopi formali di tracciamento e governance, che consente la gestione completa del lignaggio e del ciclo di vita.
**Lineaggio**
Le relazioni acquisite automaticamente tra lavori di formazione, set di dati di input, modelli di output, lavori di valutazione e implementazioni su AI SageMaker e Amazon Bedrock.
**Condivisione tra account**
La possibilità di condividere modelli, set di dati e valutatori tra AWS account utilizzando AWS Resource Access Manager (RAM) mantenendo al contempo la visibilità completa del lignaggio.
# Personalizzazione dei modelli Amazon Nova su Amazon SageMaker AI
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Personalizzazione dei modelli Amazon Nova su Amazon SageMaker AI nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-model.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model.html).
# Ricette Amazon Nova
Questo argomento è stato spostato. Per le informazioni più recenti, consulta le ricette di Amazon Nova nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-recipes.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-recipes.html).
# Personalizzazione di Amazon Nova per i lavori SageMaker di formazione
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la personalizzazione di Amazon Nova sui lavori di SageMaker formazione nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-training-job.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-training-job.html).
**Topics**
+ [Distillazione Amazon Nova](nova-distillation.md)
+ [SDK di personalizzazione Nova](nova-customization-sdk.md)
+ [Ottimizzazione dei modelli SageMaker Amazon Nova mediante processi di formazione](nova-fine-tuning-training-job.md)
+ [Monitoraggio dei progressi tra le iterazioni](nova-model-monitor.md)
+ [Valutazione del tuo modello basato sull'intelligenza artificiale SageMaker](nova-model-evaluation.md)
# Distillazione Amazon Nova
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Amazon Nova distillation nella [guida per l'utente di Amazon Nova 1.0](https://docs.aws.amazon.com//nova/latest/userguide/nova-distillation.html).
# SDK di personalizzazione Nova
L'Amazon Nova Customization SDK è un SDK Python completo per personalizzare i modelli Amazon Nova durante l'intero ciclo di vita, dalla formazione e valutazione alla distribuzione e all'inferenza.
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Nova Customization SDK nella guida per l'utente di [Amazon Nova 1.0 o nella guida per l'utente](https://docs.aws.amazon.com//nova/latest/userguide/nova-customization-sdk.html) di [Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-customization-sdk.html).
# Ottimizzazione dei modelli SageMaker Amazon Nova mediante processi di formazione
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la sezione Ottimizzazione dei modelli Amazon Nova SageMaker utilizzando i lavori di formazione nella guida per l'utente di [Amazon Nova 1.0 o nella guida per l'utente](https://docs.aws.amazon.com//nova/latest/userguide/nova-fine-tune-1.html) di [Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/smtj-training.html).
# Monitoraggio dei progressi tra le iterazioni
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Monitoring Progress Across Iterations nella guida per [l'utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-monitor.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-monitor.html).
# Valutazione del tuo modello basato sull'intelligenza artificiale SageMaker
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la sezione Valutazione del tuo modello SageMaker addestrato all'intelligenza artificiale nella guida per l'utente di [Amazon Nova 1.0 o nella guida per l'utente](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-evaluation.html) di [Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-evaluation.html).
# Personalizzazione di Amazon Nova su Amazon SageMaker HyperPod
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la personalizzazione di Amazon Nova su Amazon SageMaker HyperPod nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp.html).
# SDK di personalizzazione Nova
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Nova Customization SDK nella guida per l'utente di [Amazon Nova 1.0 o nella guida per l'utente](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-customization-sdk.html) di [Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-customization-sdk.html).
# Guida ai comandi HyperPod essenziali di Amazon
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la SageMaker HyperPod Essential Commands Guide nella guida per [l'utente di Amazon Nova 1.0 o la guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-essential-commands-guide.html) per [l'utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-essential-commands-guide.html).
# Creazione di un cluster HyperPod EKS con gruppo di istanze ristrette (RIG)
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Creazione di un cluster SageMaker HyperPod EKS con RIG nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-cluster.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-cluster.html).
# Accesso e configurazione di Nova Forge per l'intelligenza artificiale SageMaker HyperPod
Questo argomento è stato spostato. Per le informazioni più recenti, consulta l'accesso e la configurazione di Nova Forge per l' SageMaker intelligenza artificiale HyperPod nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-forge-hp-access.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-forge-hp-access.html).
# Formazione per i modelli Amazon Nova
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Training for Amazon Nova models nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-training.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-training.html).
# Ottimizzazione dei modelli Amazon Nova su Amazon SageMaker HyperPod
Questo argomento è stato spostato. Per le informazioni più recenti, consulta la sezione Ottimizzazione dei modelli Amazon Nova su SageMaker HyperPod Amazon nella guida per l'utente di [Amazon Nova 1.0](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-fine-tune.html).
# Valutazione di un modello addestrato
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Evaluating your training model nella guida per l'[utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-evaluate.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-evaluate.html).
# Formazione iterativa
La formazione iterativa consente di migliorare le prestazioni del modello attraverso più cicli di formazione, basandosi sui checkpoint precedenti per affrontare sistematicamente le modalità di errore e adattarsi alle mutevoli esigenze.
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Iterative Training nella guida per l'[utente di Amazon Nova 1.0 o la guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-iterative-training.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-iterative-training.html).
# Inferenza di Amazon Bedrock
Questo argomento è stato spostato. Per le informazioni più recenti, consulta l'inferenza di Amazon Bedrock nella guida per [l'utente di Amazon Nova 1.0 o nella guida](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-bedrock-inference.html) per l'[utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-bedrock-inference.html).
# Limitazioni della personalizzazione dei modelli Amazon Nova
Questo argomento è stato spostato. Per le informazioni più recenti, consulta Limitazioni della personalizzazione dei modelli Amazon Nova nella [guida per l'utente di Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-limitations.html).
# Personalizzazione del modello Open Weight
Questa sezione illustra la procedura per iniziare a personalizzare il modello a peso aperto.
**Topics**
+ [Prerequisiti](model-customize-open-weight-prereq.md)
+ [Creazione di risorse per la personalizzazione del modello nell'interfaccia utente](model-customize-open-weight-create-assets-ui.md)
+ [Invio di lavori di personalizzazione del modello AI](model-customize-open-weight-job.md)
+ [Valutazione del modello, invio di un lavoro](model-customize-open-weight-evaluation.md)
+ [Implementazione di modelli](model-customize-open-weight-deployment.md)
+ [Set di dati e valutatori di esempio](model-customize-open-weight-samples.md)
# Prerequisiti
Prima di iniziare, completa i seguenti prerequisiti:
+ Accedi a un dominio SageMaker AI con accesso a Studio. Se non disponi delle autorizzazioni per impostare Studio come esperienza predefinita per il dominio, contatta l’amministratore. Per ulteriori informazioni, consulta la [panoramica dei domini Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html).
+ Aggiorna il AWS CLI seguendo la procedura descritta in [Installazione della AWS CLI versione corrente](https://docs.aws.amazon.com/cli/latest/userguide/install-cliv1.html#install-tool-bundled).
+ Dal computer locale, esegui `aws configure` e inserisci le tue credenziali AWS . Per informazioni sulle AWS credenziali, consulta [Comprendere e ottenere le AWS credenziali](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds.html).
## Autorizzazioni IAM richieste
SageMaker La personalizzazione del modello AI richiede l'aggiunta di autorizzazioni appropriate all'esecuzione del dominio AI SageMaker . Per fare ciò, puoi creare una policy di autorizzazioni IAM in linea e collegarla al ruolo IAM. Per informazioni sull'aggiunta di policy, consulta [Aggiungere e rimuovere le autorizzazioni di identità IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) nella *AWS Identity and Access Management User Guide*.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AllowNonAdminStudioActions",
"Effect": "Allow",
"Action": [
"sagemaker:CreatePresignedDomainUrl",
"sagemaker:DescribeDomain",
"sagemaker:DescribeUserProfile",
"sagemaker:DescribeSpace",
"sagemaker:ListSpaces",
"sagemaker:DescribeApp",
"sagemaker:ListApps"
],
"Resource": [
"arn:aws:sagemaker:*:*:domain/*",
"arn:aws:sagemaker:*:*:user-profile/*",
"arn:aws:sagemaker:*:*:app/*",
"arn:aws:sagemaker:*:*:space/*"
]
},
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "SageMakerPublicHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "SageMakerHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubs",
"sagemaker:ListHubContents",
"sagemaker:DescribeHubContent",
"sagemaker:DeleteHubContent",
"sagemaker:ListHubContentVersions",
"sagemaker:Search"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "JumpStartAccess",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "ListMLFlowOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListMlflowApps",
"sagemaker:ListMlflowTrackingServers"
],
"Resource": [
"*"
]
},
{
"Sid": "MLFlowAccess",
"Effect": "Allow",
"Action": [
"sagemaker:UpdateMlflowApp",
"sagemaker:DescribeMlflowApp",
"sagemaker:CreatePresignedMlflowAppUrl",
"sagemaker:CallMlflowAppApi",
"sagemaker-mlflow:*"
],
"Resource": [
"arn:aws:sagemaker:*:*:mlflow-app/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BYODataSetS3Access",
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*"
]
},
{
"Sid": "AllowHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ImportHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "sagemaker.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForAWSLambda",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "lambda.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "bedrock.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TrainingJobRun",
"Effect": "Allow",
"Action": [
"sagemaker:CreateTrainingJob",
"sagemaker:DescribeTrainingJob",
"sagemaker:ListTrainingJobs"
],
"Resource": [
"arn:aws:sagemaker:*:*:training-job/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ModelPackageAccess",
"Effect": "Allow",
"Action": [
"sagemaker:CreateModelPackage",
"sagemaker:DescribeModelPackage",
"sagemaker:ListModelPackages",
"sagemaker:CreateModelPackageGroup",
"sagemaker:DescribeModelPackageGroup",
"sagemaker:ListModelPackageGroups",
"sagemaker:CreateModel"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TagsPermission",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*",
"arn:aws:sagemaker:*:*:training-job/*",
"arn:aws:sagemaker:*:*:model/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:action/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LogAccess",
"Effect": "Allow",
"Action": [
"logs:DescribeLogGroups",
"logs:DescribeLogStreams",
"logs:GetLogEvents"
],
"Resource": [
"arn:aws:logs:*:*:log-group*",
"arn:aws:logs:*:*:log-group:/aws/sagemaker/TrainingJobs:log-stream:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"arn:aws:bedrock:*:*:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
},
{
"Sid": "SageMakerPipelinesAndLineage",
"Effect": "Allow",
"Action": [
"sagemaker:ListActions",
"sagemaker:ListArtifacts",
"sagemaker:QueryLineage",
"sagemaker:ListAssociations",
"sagemaker:AddAssociation",
"sagemaker:DescribeAction",
"sagemaker:AddAssociation",
"sagemaker:CreateAction",
"sagemaker:CreateContext",
"sagemaker:DescribeTrialComponent"
],
"Resource": [
"arn:aws:sagemaker:*:*:artifact/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:experiment-trial-component/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ListOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListInferenceComponents",
"sagemaker:ListWorkforces"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerInference",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeInferenceComponent",
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:ListEndpoints"
],
"Resource": [
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerPipelines",
"Effect": "Allow",
"Action": [
"sagemaker:DescribePipelineExecution",
"sagemaker:ListPipelineExecutions",
"sagemaker:ListPipelineExecutionSteps",
"sagemaker:CreatePipeline",
"sagemaker:UpdatePipeline",
"sagemaker:StartPipelineExecution"
],
"Resource": [
"arn:aws:sagemaker:*:*:pipeline/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
Se hai associato il [AmazonSageMakerFullAccessPolicy](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerFullAccess.html)al tuo ruolo di esecuzione, puoi aggiungere questa policy ridotta:
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "S3Access",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*",
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "PassRoleForSageMakerAndLambdaAndBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"lambda.amazonaws.com",
"bedrock.amazonaws.com"
],
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
}
]
}
```
Devi quindi fare clic su **Modifica politica di fiducia** e sostituirla con la seguente politica, quindi fare clic su **Aggiorna politica**.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
# Creazione di risorse per la personalizzazione del modello nell'interfaccia utente
È possibile creare e gestire il set di dati e le risorse di valutazione che è possibile utilizzare per la personalizzazione del modello nell'interfaccia utente.
## Asset
Seleziona **Assets** nel pannello a sinistra e nell'interfaccia utente di Amazon SageMaker Studio, quindi seleziona **Datasets.**
![\[Un'immagine contenente l'accesso alla personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-16.png)
Scegli **Carica set** di dati per aggiungere il set di dati che utilizzerai nei lavori di personalizzazione del modello. Scegliendo il **formato di input dei dati richiesto**, puoi accedere a un riferimento del formato del set di dati da utilizzare.
![\[Un'immagine contenente l'accesso alla personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-15.png)
## Valutatori
Puoi anche aggiungere **Reward Functions e Reward** **Prompt per i** tuoi lavori di personalizzazione del Reinforcement Learning.
![\[Un'immagine contenente l'accesso alla personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-14.png)
L'interfaccia utente fornisce anche indicazioni sul formato richiesto per la funzione di ricompensa o la richiesta di ricompensa.
![\[Un'immagine contenente l'accesso alla personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-13.png)
## Risorse per la personalizzazione del modello tramite SDK AWS
Puoi anche usare SageMaker AI Python SDK per creare risorse. Vedi il frammento di codice di esempio riportato di seguito:
```
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION, REWARD_PROMPT
from sagemaker.ai_registry.dataset import DataSet, CustomizationTechnique
from sagemaker.ai_registry.evaluator import Evaluator
# Creating a dataset example
dataset = DataSet.create(
name="sdkv3-gen-ds2",
source="s3://sample-test-bucket/datasets/training-data/jamjee-sft-ds1.jsonl", # or use local filepath as source.
customization_technique=CustomizationTechnique.SFT
)
# Refreshes status from hub
dataset.refresh()
pprint(dataset.__dict__)
# Creating an evaluator. Method : Lambda
evaluator = Evaluator.create(
name = "sdk-new-rf11",
source="arn:aws:lambda:us-west-2:<>:function:8",
type=REWARD_FUNCTION
)
# Creating an evaluator. Method : Bring your own code
evaluator = Evaluator.create(
name = "eval-lambda-test",
source="/path_to_local/eval_lambda_1.py",
type = REWARD_FUNCTION
)
# Optional wait, by default we have wait = True during create call.
evaluator.wait()
evaluator.refresh()
pprint(evaluator)
```
# Invio di lavori di personalizzazione del modello AI
È possibile accedere alla funzionalità di personalizzazione del modello SageMaker AI dalla pagina Modelli di Amazon SageMaker Studio nel pannello di sinistra. Puoi anche trovare la pagina Assets in cui puoi creare e gestire set di dati e valutatori per la personalizzazione del modello.
![\[Un'immagine contenente l'accesso alla personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-12.png)
Per iniziare l'invio di un lavoro di personalizzazione del modello, seleziona l'opzione Modelli per accedere alla scheda Jumpstart Base Models:
![\[Un'immagine contenente come scegliere il modello base.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-11.png)
Puoi fare clic direttamente su Personalizza modello nella scheda del modello oppure puoi cercare qualsiasi modello su Meta che ti interessa personalizzare.
![\[Un'immagine contenente la scheda del modello e spiega come scegliere il modello da personalizzare.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-10.png)
Facendo clic sulla scheda del modello, è possibile accedere alla pagina dei dettagli del modello e avviare il processo di personalizzazione facendo clic su Personalizza modello e quindi selezionando Personalizza con interfaccia utente per avviare la configurazione del lavoro RLVR.
![\[Un'immagine che mostra come avviare il processo di personalizzazione.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-9.png)
È quindi possibile inserire il nome del modello personalizzato, selezionare la tecnica di personalizzazione del modello da utilizzare e configurare gli iperparametri del lavoro:
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-8.png)
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-7.png)
## Invio di lavori di personalizzazione del modello AI tramite SDK
Puoi anche utilizzare SageMaker AI Python SDK per inviare un lavoro di personalizzazione del modello:
```
# Submit a DPO model customization job
from sagemaker.modules.train.dpo_trainer import DPOTrainer
from sagemaker.modules.train.common import TrainingType
trainer = DPOTrainer(
model=BASE_MODEL,
training_type=TrainingType.LORA,
model_package_group_name=MODEL_PACKAGE_GROUP_NAME,
training_dataset=TRAINING_DATASET,
s3_output_path=S3_OUTPUT_PATH,
sagemaker_session=sagemaker_session,
role=ROLE_ARN
)
```
## Monitoraggio del processo di personalizzazione
Subito dopo aver inviato il lavoro, verrai reindirizzato alla pagina del lavoro di formazione sulla personalizzazione dei modelli.
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-6.png)
Una volta completato il lavoro, puoi andare alla pagina dei dettagli del modello personalizzato facendo clic sul pulsante Vai al **modello personalizzato** nell'angolo in alto a destra.
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-5.png)
Nella pagina dei dettagli del modello personalizzato puoi lavorare ulteriormente con il tuo modello personalizzato nei seguenti modi:
1. Controllo delle informazioni sulle prestazioni, sulla posizione degli artefatti generati, sugli iperparametri della configurazione di allenamento e sui registri di allenamento.
1. Avvia un processo di valutazione con un set di dati diverso (personalizzazione continua).
1. Implementa il modello utilizzando gli endpoint SageMaker AI Inference o Amazon Bedrock Custom Model Import.
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-4.png)
# Valutazione del modello, invio di un lavoro
Questa sezione descrive la valutazione di modelli personalizzati a peso aperto. Ti consente di iniziare una procedura dettagliata del processo di valutazione e invio del lavoro. Sono disponibili risorse aggiuntive per casi d'uso più avanzati di invio di lavori di valutazione.
**Topics**
+ [Nozioni di base](model-customize-evaluation-getting-started.md)
+ [Tipi di valutazione e Job Submission](model-customize-evaluation-types.md)
+ [Formati delle metriche di valutazione](model-customize-evaluation-metrics-formats.md)
+ [Formati di set di dati supportati per attività Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md)
+ [Valuta con punteggi preimpostati e personalizzati](model-customize-evaluation-preset-custom-scorers.md)
# Nozioni di base
## Invia un lavoro di valutazione tramite SageMaker Studio
### Passaggio 1: accedi alla valutazione dalla tua scheda modello
Dopo aver personalizzato il modello, accedi alla pagina di valutazione dalla scheda del modello.
Per informazioni sull'allenamento con modelli personalizzati a pesi aperti: [https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)
SageMaker visualizza il tuo modello personalizzato nella scheda I miei modelli:
![\[pagina della scheda modello registrata\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-registered-model-card.png)
Scegli Visualizza la versione più recente, quindi scegli Valuta:
![\[Pagina di personalizzazione del modello\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)
### Fase 2: Invia il tuo Job di valutazione
Scegli il pulsante Invia e invia il tuo lavoro di valutazione. Questo invia un lavoro di benchmark MMLU minimo.
Per informazioni sui tipi di processi di valutazione supportati, vedere. [Tipi di valutazione e Job Submission](model-customize-evaluation-types.md)
![\[Pagina di invio del lavoro di valutazione\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)
### Fase 3: Monitora lo stato di avanzamento del tuo Job di valutazione
L'avanzamento del lavoro di valutazione viene monitorato nella scheda Fasi di valutazione:
![\[Lo stato di avanzamento del processo di valutazione\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)
### Fase 4: Visualizzazione dei risultati del Job di valutazione
I risultati del lavoro di valutazione vengono visualizzati nella scheda Risultati della valutazione:
![\[Le metriche del tuo lavoro di valutazione\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-benchmark-results.png)
### Fase 5: Visualizza le valutazioni completate
Il lavoro di valutazione completato viene visualizzato nella scheda Valutazioni del modello:
![\[I tuoi lavori di valutazione completati\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)
## Invia il tuo lavoro di valutazione tramite SageMaker Python SDK
### Passaggio 1: crea il tuo BenchMarkEvaluator
Passa il modello addestrato registrato, la posizione di output AWS S3 e l'ARN della MLFlow risorsa e quindi `BenchMarkEvaluator` inizializzali.
```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
```
### Fase 2: Invia il tuo Job di valutazione
Chiama il `evaluate()` metodo per inviare il lavoro di valutazione.
```
execution = evaluator.evaluate()
```
### Fase 3: Monitora lo stato di avanzamento del tuo Job di valutazione
Richiama il `wait()` metodo di esecuzione per ottenere un aggiornamento in tempo reale sullo stato di avanzamento del lavoro di valutazione.
```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```
### Fase 4: Visualizzazione dei risultati del Job di valutazione
Richiama il `show_results()` metodo per visualizzare i risultati del lavoro di valutazione.
```
execution.show_results()
```
# Tipi di valutazione e Job Submission
## Analisi comparativa con set di dati standardizzati
Utilizza il tipo Benchmark Evaluation per valutare la qualità del tuo modello su set di dati di benchmark standardizzati, inclusi set di dati popolari come MMLU e BBH.
| Benchmark | Set di dati personalizzato supportato | Modalità | Description | Metriche | Strategia | Sottoattività disponibile |
| --- | --- | --- | --- | --- | --- | --- |
| mmlu | No | Testo | Massive Multitask Language Understanding (MMLU) - Verifica la conoscenza di 57 materie. | accuratezza | zs\$1cot | Sì |
| mmlu\$1pro | No | Testo | MMLU - Sottoinsieme professionale - Incentrato su domini professionali come legge, medicina, contabilità e ingegneria. | accuratezza | zs\$1cot | No |
| bbh | No | Testo | Attività di ragionamento avanzato - Una raccolta di problemi impegnativi che mettono alla prova le capacità cognitive e di risoluzione dei problemi di livello superiore. | accuratezza | fs\$1cot | Sì |
| gpqa | No | Testo | Risposta a domande di fisica generale - Valuta la comprensione di concetti di fisica e le relative capacità di risoluzione dei problemi. | accuratezza | zs\$1cot | No |
| matematica | No | Testo | Risoluzione di problemi matematici - Misura il ragionamento matematico su argomenti quali algebra, calcolo e problemi testuali. | exact\$1match | zs\$1cot | Sì |
| strong\$1reject | No | Testo | Attività di controllo della qualità: verifica la capacità del modello di rilevare e rifiutare contenuti inappropriati, dannosi o errati. | deflection | zs | Sì |
| ifeval | No | Testo | Valutazione che segue istruzioni - Misura la precisione con cui un modello segue le istruzioni fornite e completa le attività secondo le specifiche. | accuratezza | zs | No |
Per ulteriori informazioni sui formati BYOD, vedere. [Formati di set di dati supportati per attività Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md)
### Sottoattività disponibili
Di seguito sono elencate le sottoattività disponibili per la valutazione del modello in più domini, tra cui MMLU (Massive Multitask Language Understanding), BBH (Big Bench Hard) e MATH. StrongReject Queste sottoattività consentono di valutare le prestazioni del modello in base a funzionalità e aree di conoscenza specifiche.
**Sottoattività MMLU**
```
MMLU_SUBTASKS = [
"abstract_algebra",
"anatomy",
"astronomy",
"business_ethics",
"clinical_knowledge",
"college_biology",
"college_chemistry",
"college_computer_science",
"college_mathematics",
"college_medicine",
"college_physics",
"computer_security",
"conceptual_physics",
"econometrics",
"electrical_engineering",
"elementary_mathematics",
"formal_logic",
"global_facts",
"high_school_biology",
"high_school_chemistry",
"high_school_computer_science",
"high_school_european_history",
"high_school_geography",
"high_school_government_and_politics",
"high_school_macroeconomics",
"high_school_mathematics",
"high_school_microeconomics",
"high_school_physics",
"high_school_psychology",
"high_school_statistics",
"high_school_us_history",
"high_school_world_history",
"human_aging",
"human_sexuality",
"international_law",
"jurisprudence",
"logical_fallacies",
"machine_learning",
"management",
"marketing",
"medical_genetics",
"miscellaneous",
"moral_disputes",
"moral_scenarios",
"nutrition",
"philosophy",
"prehistory",
"professional_accounting",
"professional_law",
"professional_medicine",
"professional_psychology",
"public_relations",
"security_studies",
"sociology",
"us_foreign_policy",
"virology",
"world_religions"
]
```
**Sottoattività BBH**
```
BBH_SUBTASKS = [
"boolean_expressions",
"causal_judgement",
"date_understanding",
"disambiguation_qa",
"dyck_languages",
"formal_fallacies",
"geometric_shapes",
"hyperbaton",
"logical_deduction_five_objects",
"logical_deduction_seven_objects",
"logical_deduction_three_objects",
"movie_recommendation",
"multistep_arithmetic_two",
"navigate",
"object_counting",
"penguins_in_a_table",
"reasoning_about_colored_objects",
"ruin_names",
"salient_translation_error_detection",
"snarks",
"sports_understanding",
"temporal_sequences",
"tracking_shuffled_objects_five_objects",
"tracking_shuffled_objects_seven_objects",
"tracking_shuffled_objects_three_objects",
"web_of_lies",
"word_sorting"
]
```
**Sottoattività matematiche**
```
MATH_SUBTASKS = [
"algebra",
"counting_and_probability",
"geometry",
"intermediate_algebra",
"number_theory",
"prealgebra",
"precalculus"
]
```
**StrongReject Sottoattività**
```
STRONG_REJECT_SUBTASKS = [
"gcg_transfer_harmbench",
"gcg_transfer_universal_attacks",
"combination_3",
"combination_2",
"few_shot_json",
"dev_mode_v2",
"dev_mode_with_rant",
"wikipedia_with_title",
"distractors",
"wikipedia",
"style_injection_json",
"style_injection_short",
"refusal_suppression",
"prefix_injection",
"distractors_negated",
"poems",
"base64",
"base64_raw", "
base64_input_only",
"base64_output_only",
"evil_confidant",
"aim",
"rot_13",
"disemvowel",
"auto_obfuscation",
"auto_payload_splitting",
"pair",
"pap_authority_endorsement",
"pap_evidence_based_persuasion",
"pap_expert_endorsement",
"pap_logical_appeal",
"pap_misrepresentation"
]
```
### Invia il tuo lavoro di riferimento
------
#### [ SageMaker Studio ]
![\[Una configurazione minima per il benchmarking tramite Studio SageMaker\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import get_benchmarks
from sagemaker.train.evaluate import BenchMarkEvaluator
Benchmark = get_benchmarks()
# Create evaluator with MMLU benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Per ulteriori informazioni sull'invio di lavori di valutazione tramite SageMaker Python SDK, consulta: [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
## Valutazione del Large Language Model as a Judge (LLMAJ)
Utilizza la valutazione LLM-as-a-judge (LLMAJ) per sfruttare un altro modello di frontiera per valutare le risposte del modello target. Puoi utilizzare i modelli AWS Bedrock come giudici chiamando l'`create_evaluation_job`API per avviare il processo di valutazione.
[Per ulteriori informazioni sui modelli di arbitro supportati, consulta: -supported.html https://docs.aws.amazon.com/bedrock/ latest/userguide/models](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html)
È possibile utilizzare 2 diversi formati metrici per definire la valutazione:
+ Metriche **integrate: sfrutta le metriche** integrate di AWS Bedrock per analizzare la qualità delle risposte di inferenza del modello. [Per ulteriori informazioni, consulta: - .html https://docs.aws.amazon.com/bedrock/ latest/userguide/model evaluation-type-judge-prompt](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-type-judge-prompt.html)
+ **Metriche personalizzate:** definisci le tue metriche personalizzate nel formato metrico personalizzato di Bedrock Evaluation per analizzare la qualità delle risposte di inferenza del tuo modello utilizzando le tue istruzioni. [Per ulteriori informazioni, vedete: - -formats.html https://docs.aws.amazon.com/bedrock/ latest/userguide/model evaluation-custom-metrics-prompt](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
### Invia un job LLMAJ con metriche integrate
------
#### [ SageMaker Studio ]
![\[Una configurazione minima per il benchmarking LLMAJ tramite Studio SageMaker\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/llmaj-as-judge-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import LLMAsJudgeEvaluator
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
builtin_metrics=["", ""],
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Per ulteriori informazioni sull'invio di lavori di valutazione tramite SageMaker Python SDK, consulta: [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
### Invia un job LLMAJ con metriche personalizzate
Definisci le tue metriche personalizzate:
```
{
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
}
```
Per ulteriori informazioni, consulta: [https://docs.aws.amazon.com/bedrock/latest/userguide/model- -formats.html evaluation-custom-metrics-prompt](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
------
#### [ SageMaker Studio ]
![\[Carica la metrica personalizzata tramite Metriche personalizzate > Aggiungi metriche personalizzate\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/custom-llmaj-metrics-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
custom_metrics=custom_metric_dict = {
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
},
s3_output_path="s3:////",
evaluate_base_model=False
)
```
------
## Scorer personalizzati
Definisci la tua funzione di punteggio personalizzata per avviare un processo di valutazione. Il sistema fornisce due marcatori integrati: Prime math e Prime code. Puoi anche utilizzare la tua funzione scorer. Puoi copiare direttamente il codice della funzione scorer o portare la tua definizione di funzione Lambda utilizzando l'ARN associato. Per impostazione predefinita, entrambi i tipi di scorer producono risultati di valutazione che includono metriche standard come F1 score, ROUGE e BLEU.
Per ulteriori informazioni sui marcatori integrati e personalizzati e sui rispettivi requisiti/contratti, vedere. [Valuta con punteggi preimpostati e personalizzati](model-customize-evaluation-preset-custom-scorers.md)
### Registra il tuo set di dati
Porta il tuo set di dati per lo scorer personalizzato registrandolo come Hub Content Dataset. SageMaker
------
#### [ SageMaker Studio ]
In Studio, carica il tuo set di dati utilizzando la pagina Datasets dedicata.
![\[Set di dati di valutazione registrato in Studio SageMaker\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/dataset-registration-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
In SageMaker Python SDK, carica il tuo set di dati utilizzando la pagina Datasets dedicata.
```
from sagemaker.ai_registry.dataset import DataSet
dataset = DataSet.create(
name="your-bring-your-own-dataset",
source="s3:////.jsonl"
)
dataset.refresh()
```
------
### Invia un lavoro di scorer integrato
------
#### [ SageMaker Studio ]
![\[Scegli tra esecuzioni di codice o risposte matematiche per un punteggio personalizzato integrato\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/builtin-scorer-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import CustomScorerEvaluator
from sagemaker.train.evaluate import get_builtin_metrics
BuiltInMetric = get_builtin_metrics()
evaluator_builtin = CustomScorerEvaluator(
evaluator=BuiltInMetric.PRIME_MATH,
dataset="arn:aws:sagemaker:::hub-content//DataSet/your-bring-your-own-dataset/",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Seleziona da `BuiltInMetric.PRIME_MATH` o `BuiltInMetric.PRIME_CODE` per Built-In Scoring.
------
### Invia un lavoro di marcatore personalizzato
Definisci una funzione di ricompensa personalizzata. Per ulteriori informazioni, consulta [Scorer personalizzati (Bring Your Own Metrics)](model-customize-evaluation-preset-custom-scorers.md#model-customize-evaluation-custom-scorers-byom).
**Registra la funzione di ricompensa personalizzata**
------
#### [ SageMaker Studio ]
![\[Passa a SageMaker Studio > Assets > Evaluator > Crea valutatore > Crea funzione di ricompensa\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/custom-scorer-submission-sagemaker-studio.png)
![\[Inviate il lavoro di valutazione Custom Scorer facendo riferimento alla funzione di ricompensa preimpostata registrata in Custom Scorer > Metriche personalizzate\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/custom-scorer-benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.ai_registry.evaluator import Evaluator
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION
evaluator = Evaluator.create(
name = "your-reward-function-name",
source="/path_to_local/custom_lambda_function.py",
type = REWARD_FUNCTION
)
```
```
evaluator = CustomScorerEvaluator(
evaluator=evaluator,
dataset="s3:////.jsonl",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
# Formati delle metriche di valutazione
Valutazione della qualità del modello in base a questi formati metrici:
+ Riepilogo della valutazione del modello
+ MLFlow
+ TensorBoard
## Riepilogo della valutazione del modello
Quando invii il lavoro di valutazione, specifichi una posizione di output AWS S3. SageMaker carica automaticamente il file.json di riepilogo della valutazione nella posizione. Il percorso S3 di riepilogo del benchmark è il seguente:
```
s3:////output/output//eval_results/
```
**Passa la posizione S3 AWS **
------
#### [ SageMaker Studio ]
![\[Passa alla posizione dell'artefatto di output (AWS URI S3)\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
Leggilo direttamente `.json` dalla posizione AWS S3 o visualizzato automaticamente nell'interfaccia utente:
```
{
"results": {
"custom|gen_qa_gen_qa|0": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
},
"all": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
}
}
}
```
![\[Esempi di metriche prestazionali per un benchmark gen-qa personalizzato visualizzato in Studio SageMaker\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/gen-qa-metrics-visualization-sagemaker-studio.png)
## MLFlow registrazione
**Fornisci la tua SageMaker MLFlow risorsa ARN**
SageMaker Studio utilizza l' MLFlow app predefinita che viene fornita su ogni dominio Studio quando si utilizza la funzionalità di personalizzazione del modello per la prima volta. SageMaker Studio utilizza l'ARN associato all' MLflow app predefinita per l'invio del lavoro di valutazione.
Puoi anche inviare il tuo lavoro di valutazione e fornire esplicitamente un ARN di MLFlow risorsa per trasmettere le metriche a detto server/app tracciamento associato per l'analisi in tempo reale.
**SageMaker SDK Python**
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Visualizzazione metrica a livello di modello e di sistema:
![\[Errore e precisione a livello di modello di esempio per l'attività di benchmarking MMLU\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/model-metrics-mlflow.png)
![\[Esempi di metriche integrate per l'attività di benchmarking LLMAJ\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/llmaj-metrics-mlflow.png)
![\[Esempi di metriche a livello di sistema per l'attività di benchmarking MMLU\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/system-metrics-mlflow.png)
## TensorBoard
Invia il tuo lavoro di valutazione con una postazione di output S3 AWS . SageMaker carica automaticamente un TensorBoard file nella posizione.
SageMaker carica il TensorBoard file su AWS S3 nella seguente posizione:
```
s3:////output/output//tensorboard_results/eval/
```
**Passa la posizione AWS S3 come segue**
------
#### [ SageMaker Studio ]
![\[Passa alla posizione dell'artefatto di output (AWS URI S3)\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
**Esempio di metriche a livello di modello**
![\[SageMaker TensorBoard visualizzazione dei risultati di un lavoro di benchmarking\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/metrics-in-tensorboard.png)
# Formati di set di dati supportati per attività Bring-Your-Own-Dataset (BYOD)
I tipi Custom Scorer e di LLM-as-judge valutazione richiedono un file JSONL del set di dati personalizzato che si trova in S3. AWS È necessario fornire il file come file JSON Lines conforme a uno dei seguenti formati supportati. Gli esempi contenuti in questo documento sono stati ampliati per motivi di chiarezza.
Ogni formato ha le sue sfumature, ma come minimo tutti richiedono un prompt da parte dell'utente.
**Campi obbligatori**
| Campo | Richiesto |
| --- | --- |
| Richiesta dell'utente | Sì |
| Prompt di sistema | No |
| Verità fondamentale | Solo per Custom Scorer |
| Categoria | No |
**1. Formato OpenAI**
```
{
"messages": [
{
"role": "system", # System prompt (looks for system role)
"content": "You are a helpful assistant."
},
{
"role": "user", # Query (looks for user role)
"content": "Hello!"
},
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "Hello to you!"
}
]
}
```
**2. SageMaker **Valutazione
```
{
"system":"You are an English major with top marks in class who likes to give minimal word responses: ",
"query":"What is the symbol that ends the sentence as a question",
"response":"?", # Ground truth
"category": "Grammar"
}
```
**3. HuggingFace Completamento rapido**
Sono supportati sia i formati standard che quelli conversazionali.
```
# Standard
{
"prompt" : "What is the symbol that ends the sentence as a question", # Query
"completion" : "?" # Ground truth
}
# Conversational
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What is the symbol that ends the sentence as a question"
}
],
"completion": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "?"
}
]
}
```
**4. HuggingFace Preferenza**
Support sia per il formato standard (stringa) che per il formato conversazionale (array di messaggi).
```
# Standard: {"prompt": "text", "chosen": "text", "rejected": "text"}
{
"prompt" : "The sky is", # Query
"chosen" : "blue", # Ground truth
"rejected" : "green"
}
# Conversational:
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What color is the sky?"
}
],
"chosen": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "It is blue."
}
],
"rejected": [
{
"role": "assistant",
"content": "It is green."
}
]
}
```
**5. Formato Verl**
Il formato Verl (sia i formati attuali che quelli precedenti) è supportato per i casi d'uso del reinforcement learning. Documenti Verl come riferimento: [https://verl.readthedocs.io/en/latest/preparation/prepare\$1data.html](https://verl.readthedocs.io/en/latest/preparation/prepare_data.html)
Gli utenti del formato VERL in genere non forniscono una risposta di base. Se vuoi comunque fornirne una, usa uno dei campi `extra_info.answer` oppure`reward_model.ground_truth`; ha la `extra_info` precedenza.
SageMaker conserva i seguenti campi specifici di Verl come metadati, se presenti:
+ `id`
+ `data_source`
+ `ability`
+ `reward_model`
+ `extra_info`
+ `attributes`
+ `difficulty`
```
# Newest VERL format where `prompt` is an array of messages.
{
"data_source": "openai/gsm8k",
"prompt": [
{
"content": "You are a helpful math tutor who explains solutions to questions step-by-step.",
"role": "system"
},
{
"content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"role": "user"
}
],
"ability": "math",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
},
"reward_model": {
"ground_truth": "72" # Ignored in favor of extra_info.answer
}
}
# Legacy VERL format where `prompt` is a string. Also supported.
{
"data_source": "openai/gsm8k",
"prompt": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
}
}
```
# Valuta con punteggi preimpostati e personalizzati
Quando si utilizza il tipo di valutazione Custom Scorer, SageMaker Evaluation supporta due scorer integrati (denominati anche «funzioni di ricompensa») Prime Math e Prime Code presi dalla libreria di formazione [volcengine/verl RL](https://github.com/volcengine/verl), o il proprio scorer personalizzato implementato come funzione Lambda.
## Scorer integrati
**Prime Math**
Prime Math Scorer si aspetta un set di dati JSONL personalizzato contenente una domanda di matematica e la prompt/query risposta corretta come verità fondamentale. Il set di dati può essere uno dei formati supportati menzionati in. [Formati di set di dati supportati per attività Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md)
Esempio di inserimento del set di dati (ampliato per maggiore chiarezza):
```
{
"system":"You are a math expert: ",
"query":"How many vertical asymptotes does the graph of $y=\\frac{2}{x^2+x-6}$ have?",
"response":"2" # Ground truth aka correct answer
}
```
**Codice principale**
Il primo code scorer prevede un set di dati JSONL personalizzato di voci contenenti un problema di codifica e casi di test specificati nel campo. `metadata` Struttura i casi di test con il nome della funzione previsto per ogni voce, gli input di esempio e gli output previsti.
Esempio di inserimento del set di dati (ampliato per maggiore chiarezza):
```
{
"system":"\\nWhen tackling complex reasoning tasks, you have access to the following actions. Use them as needed to progress through your thought process.\\n\\n[ASSESS]\\n\\n[ADVANCE]\\n\\n[VERIFY]\\n\\n[SIMPLIFY]\\n\\n[SYNTHESIZE]\\n\\n[PIVOT]\\n\\n[OUTPUT]\\n\\nYou should strictly follow the format below:\\n\\n[ACTION NAME]\\n\\n# Your action step 1\\n\\n# Your action step 2\\n\\n# Your action step 3\\n\\n...\\n\\nNext action: [NEXT ACTION NAME]\\n\\n",
"query":"A number N is called a factorial number if it is the factorial of a positive integer. For example, the first few factorial numbers are 1, 2, 6, 24, 120,\\nGiven a number N, the task is to return the list/vector of the factorial numbers smaller than or equal to N.\\nExample 1:\\nInput: N = 3\\nOutput: 1 2\\nExplanation: The first factorial number is \\n1 which is less than equal to N. The second \\nnumber is 2 which is less than equal to N,\\nbut the third factorial number is 6 which \\nis greater than N. So we print only 1 and 2.\\nExample 2:\\nInput: N = 6\\nOutput: 1 2 6\\nExplanation: The first three factorial \\nnumbers are less than equal to N but \\nthe fourth factorial number 24 is \\ngreater than N. So we print only first \\nthree factorial numbers.\\nYour Task: \\nYou don't need to read input or print anything. Your task is to complete the function factorialNumbers() which takes an integer N as an input parameter and return the list/vector of the factorial numbers smaller than or equal to N.\\nExpected Time Complexity: O(K), Where K is the number of factorial numbers.\\nExpected Auxiliary Space: O(1)\\nConstraints:\\n1<=N<=10^{18}\\n\\nWrite Python code to solve the problem. Present the code in \\n```python\\nYour code\\n```\\nat the end.",
"response": "", # Dummy string for ground truth. Provide a value if you want NLP metrics like ROUGE, BLEU, and F1.
### Define test cases in metadata field
"metadata": {
"fn_name": "factorialNumbers",
"inputs": ["5"],
"outputs": ["[1, 2]"]
}
}
```
## Scorer personalizzati (Bring Your Own Metrics)
Personalizza completamente il flusso di lavoro di valutazione del modello con una logica di post-elaborazione personalizzata che ti consente di calcolare metriche personalizzate su misura per le tue esigenze. È necessario implementare lo scorer personalizzato come una funzione AWS Lambda che accetta le risposte del modello e restituisce punteggi di ricompensa.
### Esempio di payload di ingresso Lambda
La tua AWS Lambda personalizzata prevede input nel formato OpenAI. Esempio:
```
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Amazon, I do not have a dedicated security team..."
}
],
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
```
### Esempio di payload di uscita Lambda
Il contenitore di SageMaker valutazione si aspetta che le risposte Lambda seguano questo formato:
```
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
```
### Definizione Lambda personalizzata
[Trova un esempio di scorer personalizzato completamente implementato con input di esempio e output previsto su: - .html\$1 -example https://docs.aws.amazon.com/sagemaker/ latest/dg/nova implementing-reward-functions nova-reward-llm-judge](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-implementing-reward-functions.html#nova-reward-llm-judge-example)
Utilizzate lo scheletro seguente come punto di partenza per la vostra funzione.
```
def lambda_handler(event, context):
return lambda_grader(event)
def lambda_grader(samples: list[dict]) -> list[dict]:
"""
Args:
Samples: List of dictionaries in OpenAI format
Example input:
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Company, I do not have a dedicated security team..."
}
],
# This section is the same as your training dataset
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
Returns:
List of dictionaries with reward scores:
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
"""
```
### Campi di input e output
**Campi di input**
| Campo | Description | Note aggiuntive |
| --- | --- | --- |
| id | Identificatore univoco per il campione | Ripreso in uscita. Formato delle stringhe |
| messages | Cronologia chat ordinata in formato OpenAI | Matrice di oggetti di messaggio |
| messages [] .role | Relatore del messaggio | Valori comuni: «utente», «assistente», «sistema» |
| messaggi [] .content | Contenuto testuale del messaggio | Stringa normale |
| metadati | Informazioni in formato libero per facilitare la valutazione | Oggetto; campi opzionali trasmessi dai dati di addestramento |
**Campi di output**
**Campi di output**
| Campo | Description | Note aggiuntive |
| --- | --- | --- |
| id | Stesso identificatore del campione di input | Deve corrispondere all'input |
| aggregate\$1reward\$1score | Punteggio complessivo del campione | Float (ad esempio, 0,0—1,0 o intervallo definito dall'attività) |
| metrics\$1list | Punteggi dei componenti che compongono l'aggregato | Matrice di oggetti metrici |
### Autorizzazioni richieste
Assicurati che il ruolo di SageMaker esecuzione che usi per eseguire la valutazione disponga delle autorizzazioni AWS Lambda.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"lambda:InvokeFunction"
],
"Resource": "arn:aws:lambda:region:account-id:function:function-name"
}
]
}
```
Assicurati che il ruolo di esecuzione della tua funzione AWS Lambda disponga delle autorizzazioni di esecuzione Lambda di base, oltre alle autorizzazioni aggiuntive che potresti richiedere per qualsiasi chiamata downstream. AWS
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "arn:aws:logs:*:*:*"
}
]
}
```
# Implementazione di modelli
Dalla pagina dei dettagli dei modelli personalizzati puoi anche distribuire il tuo modello personalizzato utilizzando gli endpoint SageMaker AI Inference o Amazon Bedrock.
![\[Un'immagine contenente una selezione di tecniche di personalizzazione del modello.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/screenshot-open-model-1.png)
# Set di dati e valutatori di esempio
## Fine tuning supervisionato (SFT)
+ Nome: TAT-QA
+ Licenza: CC-BY-4.0
+ [Collegamento: https://huggingface. co/datasets/next-tat/TAT-QA](https://huggingface.co/datasets/next-tat/TAT-QA)
+ Preelaborazione - Formattazione
**Un esempio**
```
{
"prompt": "Given a table and relevant text descriptions, answer the following question.\n\nTable:\n
\n \n
\n
\n
2019
\n
2018
\n
\n
\n
\n
$'000
\n
$'000
\n
\n
\n
Revenue from external customers
\n
\n
\n
\n
\n
Australia
\n
144,621
\n
129,431
\n
\n
\n
New Zealand
\n
13,036
\n
8,912
\n
\n
\n
Total
\n
157,657
\n
138,343
\n
\n \n
\n\nParagraphs:\n 4. SEGMENT INFORMATION\n\n During the 2019 and 2018 financial years, the Group operated wholly within one business segment being the operation and management of storage centres in Australia and New Zealand.\n\n The Managing Director is the Group\u2019s chief operating decision maker and monitors the operating results on a portfolio wide basis. Monthly management reports are evaluated based upon the overall performance of NSR consistent with the presentation within the consolidated financial statements. The Group\u2019s financing (including finance costs and finance income) are managed on a Group basis and not allocated to operating segments.\n\n The operating results presented in the statement of profit or loss represent the same segment information as reported in internal management information.\n\n The revenue information above excludes interest income and is based on the location of storage centres.\n\nQuestion: How many business segments were present in 2019 and 2018?\n\nAnswer:",
"completion": "one",
"data_idx": "2951"
}
```
## Ottimizzazione diretta delle preferenze (DPO)
+ Nome: Ultrafeedback
+ Licenza: MIT
+ Link: [https://huggingface. co/datasets/openbmb/UltraFeedback](https://huggingface.co/datasets/openbmb/UltraFeedback)
+ Fasi di preelaborazione: formattazione e sottocampionamento.
**Un campione**
```
{
"source": "evol_instruct",
"prompt": "Can you write a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea? Here's some starter code to help you out:\n#include \n#include \nusing namespace std;\nint main() {\n string country;\n // prompt user for input\n cout << \"Enter the name of a country: \";\n cin >> country;\n // check if country borders the Mediterranean Sea\n // [C++ code]\n return 0;\n}",
"chosen": "Here's a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea:\n\n#include \n#include \n#include \n#include