Affiner les modèles Amazon Nova à l'aide de tâches SageMaker de formation

L'optimisation des modèles Amazon Nova à l'aide de tâches de SageMaker formation constitue un moyen puissant de personnaliser les modèles de base en fonction de vos cas d'utilisation spécifiques.

Prérequis

Avant de commencer un stage de formation, notez ce qui suit.

Préparation des données

La préparation de données de haute qualité correctement formatées est une première étape essentielle du processus de réglage précis des grands modèles linguistiques. Que vous utilisiez le réglage fin supervisé (SFT) ou l'optimisation directe des préférences (DPO), avec des approches d'adaptation complète ou inférieure (LoRa), vos données doivent respecter des exigences de format spécifiques pour garantir un entraînement réussi des modèles. Cette section décrit les formats de données, les méthodes de validation et les meilleures pratiques nécessaires pour vous aider à préparer efficacement vos ensembles de données afin de peaufiner les modèles Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurations SFT et LoRa PEFT de rang complet

Cette section fournit des conseils sur les configurations de recettes pour les approches de réglage fin supervisé de rang complet (SFT) et de réglage fin efficace des paramètres d'adaptation de bas rang (LoRa PEFT). Ces fichiers de recettes servent de modèle pour les tâches de personnalisation de votre modèle, vous permettant de spécifier des paramètres d'entraînement, des hyperparamètres et d'autres paramètres critiques qui déterminent la manière dont votre modèle apprend à partir de vos données. Pour ajuster les hyperparamètres, suivez les instructions de la section Sélection des hyperparamètres.

Configurations de réglage fin (SFT à rang complet et LoRa PEFT)

La seule différence entre le SFT à rang complet et le PEFT LoRa en termes de recette est la configuration LoRa PEFT, qui est définie sur « null » pour le rang complet et définie sur les valeurs appropriées si vous utilisez un réglage précis basé sur LoRa PEFT. Des exemples de recettes sont disponibles dans le GitHub référentiel de SageMaker HyperPod recettes. Les tableaux suivants présentent des configurations détaillées qui pourraient vous être utiles.

À propos de la configuration « Exécuter ».

À propos de la configuration de « training_config ».

Affiner des configurations spécifiques (DPO)

La seule différence entre l'optimisation directe des préférences (DPO) par rapport à LoRa PEFT et FullRank SFT réside dans la configuration de dpo_cfg et les valeurs autorisées. Reportez-vous au tableau ci-dessous pour l'exemple d'autorisation spécifique au DPO. Des exemples de recettes sont disponibles dans le GitHub référentiel de SageMaker HyperPod recettes. Le tableau suivant présente les configurations détaillées qui pourraient vous être utiles.

Exécution d'un modèle Nova personnalisé sur des tâches SageMaker de formation

Cette section explique comment exécuter un modèle Nova personnalisé sur des tâches de SageMaker formation via un environnement de bloc-notes Jupyter. Vous trouverez un exemple complet expliquant le processus de configuration et de lancement d'une tâche de formation, ainsi que des tableaux de référence permettant de sélectionner l'image de conteneur URIs et les configurations d'instance appropriées. Cette approche vous permet de contrôler par programmation vos flux de travail affinés tout en tirant parti SageMaker de l'infrastructure gérée pour la personnalisation des modèles. Pour plus d'informations, voir Utiliser un estimateur SageMaker basé sur l'IA pour exécuter une tâche de formation.

Tables de référence

Avant d'exécuter l'exemple de bloc-notes, reportez-vous aux tableaux suivants pour sélectionner l'image de conteneur URIs et les configurations d'instance appropriées.

Sélection de l'URI d'image

Sélection du type et du nombre d'instances

Exemple de carnet

L'exemple de bloc-notes suivant montre comment exécuter une tâche de formation. Pour des carnets de démarrage supplémentaires expliquant comment personnaliser les modèles Nova à l'aide de tâches de formation SageMaker basées sur l'IA, voir Utiliser un estimateur SageMaker basé sur l'IA pour exécuter une tâche de formation.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

Conseils d'optimisation des hyperparamètres

Pour affiner efficacement votre modèle Nova LLM, vous devez sélectionner avec soin les hyperparamètres. Bien que cette section explique la structure et les composants de base de la recette, l'optimisation des hyperparamètres pour votre cas d'utilisation spécifique nécessite souvent des conseils supplémentaires. Pour des recommandations complètes sur la sélection des hyperparamètres, les meilleures pratiques et les stratégies d'optimisation, consultez la section Sélection d'hyperparamètres. Cette ressource fournit des conseils détaillés sur la sélection des taux d'apprentissage, des tailles de lots, des périodes d'apprentissage et d'autres paramètres critiques appropriés en fonction des caractéristiques de votre ensemble de données et des objectifs de formation. Nous vous recommandons de consulter ce guide lorsque vous peaufinez la configuration de votre recette afin d'obtenir des performances de modèle optimales.

Pour plus de détails sur les valeurs minimales, maximales et par défaut pour les époques, le taux d'apprentissage et les étapes d'échauffement de l'apprentissage, voir Hyperparamètres pour comprendre les modèles.

Modifications courantes des recettes

Voici quelques ajustements de recettes courants en fonction de cas d'utilisation spécifiques :