Ajustez Nova 1.0

Conditions préalables

Avant de commencer une tâche d’entraînement, notez les éléments suivants.

Préparation des données

La préparation de données de haute qualité correctement formatées est une première étape essentielle du processus de peaufinage des grands modèles de langage. Que vous utilisiez le peaufinage supervisé (SFT) ou l’optimisation directe des préférences (DPO), avec des approches d’adaptation de rang complet ou inférieur (LoRA), vos données doivent respecter des exigences de format spécifiques pour garantir un entraînement réussi des modèles. Cette section décrit les formats de données, les méthodes de validation et les bonnes pratiques nécessaires pour vous aider à préparer efficacement vos jeux de données afin d’optimiser les modèles Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurations SFT de rang complet et LoRA PEFT

Cette section fournit des conseils sur les configurations de formules pour les approches de peaufinage supervisé (SFT) de rang complet et de peaufinage efficace des paramètres d’adaptation de rang inférieur (LoRA PEFT). Ces fichiers de formules servent de plan pour les tâches de personnalisation de votre modèle, vous permettant de spécifier des paramètres d’entraînement, des hyperparamètres et d’autres paramètres critiques qui déterminent la manière dont votre modèle apprend à partir de vos données. Pour ajuster les hyperparamètres, suivez les instructions de la section Sélection des hyperparamètres.

Configurations de peaufinage (SFT de rang complet et LoRA PEFT)

La seule différence entre le peaufinage SFT de rang complet et le peaufinage LoRA PEFT en termes de formule est la configuration LoRA PEFT, qui est définie sur « null » pour le rang complet et définie sur les valeurs appropriées si vous utilisez un peaufinage basé sur LoRA PEFT. Des exemples de recettes sont disponibles dans le GitHub référentiel de SageMaker HyperPod recettes. Les tableaux suivants présentent des configurations détaillées qui pourraient vous être utiles.

À propos de la configuration « run ».

À propos de la configuration « training_config ».

Peaufinage de configurations spécifiques (DPO)

La seule différence entre l'optimisation directe des préférences (DPO) par rapport à LoRa PEFT et FullRank SFT réside dans la configuration de dpo_cfg et les valeurs autorisées. Reportez-vous au tableau ci-dessous pour l’exemple d’autorisation spécifique pour DPO. Des exemples de recettes sont disponibles dans le GitHub référentiel de SageMaker HyperPod recettes. Le tableau suivant présente les configurations détaillées qui pourraient vous être utiles.

Exécution d'un modèle Nova personnalisé sur des tâches SageMaker de formation

Cette section explique comment exécuter un modèle Nova personnalisé sur des tâches de SageMaker formation via un environnement de bloc-notes Jupyter. Vous trouverez un exemple complet expliquant le processus de configuration et de lancement d'une tâche de formation, ainsi que des tableaux de référence permettant de sélectionner l'image de conteneur URIs et les configurations d'instance appropriées. Cette approche vous permet de contrôler par programmation vos flux de travail affinés tout en tirant parti SageMaker de l'infrastructure gérée pour la personnalisation des modèles. Pour plus d'informations, voir Utiliser un estimateur SageMaker basé sur l'IA pour exécuter une tâche de formation.

Tableaux de référence

Avant d'exécuter l'exemple de bloc-notes, reportez-vous aux tableaux suivants pour sélectionner l'image de conteneur URIs et les configurations d'instance appropriées.

Sélection de l’URI d’image

Sélection du type et du nombre d’instances

Exemple de bloc-notes

L’exemple de bloc-notes suivant montre comment exécuter une tâche d’entraînement. Pour des carnets de démarrage supplémentaires expliquant comment personnaliser les modèles Nova à l'aide de tâches de formation SageMaker basées sur l'IA, voir Utiliser un estimateur SageMaker basé sur l'IA pour exécuter une tâche de formation.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Conseils d’optimisation des hyperparamètres

Pour optimiser efficacement votre modèle Nova LLM, vous devez sélectionner avec soin les hyperparamètres. Bien que cette section explique la structure et les composants de base de la formule, l’optimisation des hyperparamètres pour votre cas d’utilisation spécifique nécessite souvent des conseils supplémentaires. Pour des recommandations complètes sur la sélection des hyperparamètres, les bonnes pratiques et les stratégies d’optimisation, consultez Sélection des hyperparamètres. Cette ressource fournit des conseils détaillés sur la sélection des taux d’apprentissage, des tailles de lots, des époques d’apprentissage et d’autres paramètres critiques appropriés en fonction des caractéristiques de votre jeu de données et des objectifs d’entraînement. Nous vous recommandons de consulter ce guide lorsque vous optimisez la configuration de votre formule afin d’obtenir des performances de modèle optimales.

Pour plus de détails sur les valeurs minimales, maximales et par défaut pour les époques, le taux d’apprentissage et les étapes de préparation de l’apprentissage, consultez Hyperparamètres pour la compréhension des modèles.

Modifications courantes de formules

Voici quelques ajustements de formules courants en fonction de cas d’utilisation spécifiques :