Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ajustez Nova 2.0

Conditions préalables

Avant de commencer une tâche d’entraînement, notez les éléments suivants.

Qu'est-ce que SFT ?

Le réglage fin supervisé (SFT) entraîne un modèle de langage à l'aide de paires d'entrées-sorties étiquetées. Le modèle apprend à partir d'exemples de démonstration composés d'invites et de réponses, affinant ses capacités pour s'aligner sur des tâches, des instructions ou des comportements souhaités spécifiques.

Préparation des données

Présentation de

Les données Nova 2.0 SFT utilisent le même format d'API Converse que Nova 1.0, avec l'ajout de champs de contenu de raisonnement facultatifs. Pour les spécifications de format complètes, voir :

Fonctionnalités prises en charge

Limitations actuelles

Formats multimédias pris en charge

Exemples de formats de données

Text-only (Nova 1.0 compatible)

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a digital assistant with a friendly personality"  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What country is right next to Australia?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "The closest country is New Zealand"  
        }  
      ]  
    }  
  ]  
}

Text with reasoning (Nova 2.0)

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a digital assistant with a friendly personality"  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What country is right next to Australia?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I need to use my world knowledge of geography to answer this question"  
            }  
          }  
        },  
        {  
          "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea."  
        }  
      ]  
    }  
  ]  
}

Image + text input

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a helpful assistant."  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "image": {  
            "format": "jpeg",  
            "source": {  
              "s3Location": {  
                "uri": "s3://your-bucket/your-path/your-image.jpg",  
                "bucketOwner": "your-aws-account-id"  
              }  
            }  
          }  
        },  
        {  
          "text": "Which country is highlighted in the image?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge"  
            }  
          }  
        },  
        {  
          "text": "The highlighted country is New Zealand"  
        }  
      ]  
    }  
  ]  
}

Video + text input

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a helpful assistant."  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "video": {  
            "format": "mp4",  
            "source": {  
              "s3Location": {  
                "uri": "s3://your-bucket/your-path/your-video.mp4",  
                "bucketOwner": "your-aws-account-id"  
              }  
            }  
          }  
        },  
        {  
          "text": "What is shown in this video?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I will analyze the video content to identify key elements"  
            }  
          }  
        },  
        {  
          "text": "The video shows a map with New Zealand highlighted"  
        }  
      ]  
    }  
  ]  
}

Appel d'outils

Nova 2.0 SFT prend en charge les modèles d'entraînement sur les modèles d'appel d'outils, ce qui permet à votre modèle d'apprendre quand et comment invoquer des outils ou des fonctions externes.

Format de données pour l'appel d'outils

Les données de formation relatives aux appels d'outils incluent une toolConfig section qui définit les outils disponibles, ainsi que des tournures de conversation illustrant les modèles d'utilisation des outils.

Exemple d'entrée

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are an expert in composing function calls."  
    }  
  ],  
  "toolConfig": {  
    "tools": [  
      {  
        "toolSpec": {  
          "name": "getItemCost",  
          "description": "Retrieve the cost of an item from the catalog",  
          "inputSchema": {  
            "json": {  
              "type": "object",  
              "properties": {  
                "item_name": {  
                  "type": "string",  
                  "description": "The name of the item to retrieve cost for"  
                },  
                "item_id": {  
                  "type": "string",  
                  "description": "The ASIN of item to retrieve cost for"  
                }  
              },  
              "required": [  
                "item_id"  
              ]  
            }  
          }  
        }  
      },  
      {  
        "toolSpec": {  
          "name": "getItemAvailability",  
          "description": "Retrieve whether an item is available in a given location",  
          "inputSchema": {  
            "json": {  
              "type": "object",  
              "properties": {  
                "zipcode": {  
                  "type": "string",  
                  "description": "The zipcode of the location to check in"  
                },  
                "quantity": {  
                  "type": "integer",  
                  "description": "The number of items to check availability for"  
                },  
                "item_id": {  
                  "type": "string",  
                  "description": "The ASIN of item to check availability for"  
                }  
              },  
              "required": [  
                "item_id", "zipcode"  
              ]  
            }  
          }  
        }  
      }  
    ]  
  },  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "I need to check whether there are twenty pieces of the following item available. Here is the item ASIN on Amazon: id-123. Please check for the zipcode 94086"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "The user wants to check how many pieces of the item with ASIN id-123 are available in the zipcode 94086"  
            }  
          }  
        },  
        {  
          "toolUse": {  
            "toolUseId": "getItemAvailability_0",  
            "name": "getItemAvailability",  
            "input": {  
              "zipcode": "94086",  
              "quantity": 20,  
              "item_id": "id-123"  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "user",  
      "content": [  
        {  
          "toolResult": {  
            "toolUseId": "getItemAvailability_0",  
            "content": [  
              {  
                "text": "[{\"name\": \"getItemAvailability\", \"results\": {\"availability\": true}}]"  
              }  
            ]  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Yes, there are twenty pieces of item id-123 available at 94086. Would you like to place an order or know the total cost?"  
        }  
      ]  
    }  
  ]  
}

Exigences relatives aux appels d'outils

Lorsque vous créez des données d'entraînement relatives aux appels d'outils, respectez les exigences suivantes :

Remarques importantes

Compréhension des documents

Nova 2.0 SFT prend en charge la formation sur les tâches basées sur des documents, permettant à votre modèle d'apprendre à analyser et à répondre aux questions concernant les documents PDF.

Format de données pour la compréhension des documents

Les données de formation relatives à la compréhension des documents incluent des références aux documents dans les blocs de contenu utilisateur, le modèle apprenant à extraire et à raisonner sur le contenu du document.

Exemple d'entrée

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What are the ways in which a customer can experience issues during checkout on Amazon?"  
        },  
        {  
          "document": {  
            "format": "pdf",  
            "source": {  
              "s3Location": {  
                "uri": "s3://my-bucket-name/path/to/documents/customer_service_debugging.pdf",  
                "bucketOwner": "123456789012"  
              }  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Customers can experience issues with 1. Data entry, 2. Payment methods, 3. Connectivity while placing the order. Which one would you like to dive into?"  
        }  
      ],  
      "reasoning_content": [  
        {  
          "text": "I need to find the relevant section in the document to answer the question.",  
          "type": "text"  
        }  
      ]  
    }  
  ]  
}

Limites de compréhension des documents

Bonnes pratiques pour la compréhension des documents

Compréhension des vidéos

Nova 2.0 SFT prend en charge la formation sur les tâches basées sur la vidéo, permettant à votre modèle d'apprendre à analyser le contenu vidéo et à y répondre.

Format de données pour la compréhension vidéo

Les données de formation à la compréhension vidéo incluent des références vidéo dans les blocs de contenu utilisateur, le modèle apprenant à extraire des informations et à raisonner à partir du contenu vidéo.

Exemple d'entrée

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What are the ways in which a customer can experience issues during checkout on Amazon?"  
        },  
        {  
          "video": {  
            "format": "mp4",  
            "source": {  
              "s3Location": {  
                "uri": "s3://my-bucket-name/path/to/videos/customer_service_debugging.mp4",  
                "bucketOwner": "123456789012"  
              }  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Customers can experience issues with 1. Data entry, 2. Payment methods, 3. Connectivity while placing the order. Which one would you like to dive into?"  
        }  
      ],  
      "reasoning_content": [  
        {  
          "text": "I need to find the relevant section in the video to answer the question.",  
          "type": "text"  
        }  
      ]  
    }  
  ]  
}

Limites de compréhension de la vidéo

Formats vidéo pris en charge

Bonnes pratiques pour la compréhension de la vidéo

Modes de raisonnement et de non-raisonnement

Comprendre le contenu du raisonnement

Le contenu du raisonnement (également appelé chain-of-thought) capture les étapes de réflexion intermédiaires du modèle avant de générer une réponse finale. À votre assistant tour, utilisez le reasoningContent champ pour inclure ces traces de raisonnement.

Comment est calculée la perte

Vous pouvez inclure reasoningContent plusieurs tours d'assistant dans des conversations à plusieurs tours.

Directives de formatage

Quand activer le mode raisonnement

Définissez reasoning_enabled: true dans votre configuration d'entraînement lorsque :

L'entraînement de Nova sur un ensemble de données non raisonné avec reasoning_enabled = true est autorisé. Cela risque toutefois de faire perdre au modèle ses capacités de raisonnement, car Nova apprend principalement à générer les réponses présentées dans les données sans appliquer de raisonnement. Si vous souhaitez entraîner Nova sur un ensemble de données non raisonné tout en vous attendant à raisonner lors de l'inférence, vous pouvez désactiver le raisonnement pendant l'entraînement (reasoning_enabled = false) mais l'activer pour l'inférence. Bien que cette approche permette d'utiliser le raisonnement au moment de l'inférence, elle ne garantit pas une amélioration des performances par rapport à l'inférence sans raisonnement. En général, activez le raisonnement pour l'entraînement et l'inférence lorsque vous utilisez des ensembles de données de raisonnement, et désactivez-le pour les deux lorsque vous utilisez des ensembles de données sans raisonnement.

Réglez reasoning_enabled: false quand :

Génération de données de raisonnement

Si votre jeu de données ne contient pas de traces de raisonnement, vous pouvez les créer à l'aide d'un modèle capable de raisonner tel que Nova Premier. Fournissez vos paires d'entrées-sorties au modèle et capturez son processus de raisonnement pour créer un ensemble de données augmenté par le raisonnement.

Utiliser des jetons de raisonnement pour l'entraînement

Lorsque le mode raisonnement est activé lors de l'entraînement, le modèle apprend à séparer le raisonnement interne de la réponse finale. Le processus de formation :

Contenu de raisonnement efficace

Un contenu de raisonnement de haute qualité doit inclure :

Cela aide le modèle à développer la capacité de « réfléchir avant de répondre ».

Directives pour la préparation des jeux

Taille et qualité

Diversité

Incluez divers exemples qui :

Formatage de sortie

Spécifiez clairement le format de sortie souhaité dans les réponses de l'assistant :

Conversations complexes

Pour les ensembles de données multitours, n'oubliez pas :

Liste de contrôle de qualité

Téléchargement de vos données

Les ensembles de données doivent être téléchargés dans un compartiment accessible par les tâches de SageMaker formation. Pour plus d'informations sur la définition des autorisations appropriées, consultez la section Conditions préalables.

Démarrage d'un poste de formation

Sélection des hyperparamètres et mise à jour de la recette

La configuration de Nova 2.0 est largement la même que celle de Nova 1.0. Une fois les données d'entrée téléchargées sur S3, utilisez la recette de SageMaker Hyperpod Recipes dans le dossier Fine tuning. Pour Nova 2.0, voici quelques-uns des principaux hyperparamètres que vous pouvez mettre à jour en fonction du cas d'utilisation. Voici un exemple de la recette Nova 2.0 SFT PEFT.

Veuillez utiliser la version 2.254.1 de SageMaker PySDK pour une compatibilité stricte avec Nova Training. La mise à niveau du SDK vers la version 3.0 entraînera des modifications majeures. Support pour la version 3 de SageMaker PySDK bientôt disponible.

Exemple de saisie

!pip install sagemaker==2.254.1

run:  
  name: {peft_recipe_job_name}  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: {peft_model_name_or_path}  
  data_s3_path: {train_dataset_s3_path} # SageMaker Hyperpod (SMHP) only and not compatible with SageMaker Training jobs. Note replace my-bucket-name with your real bucket name for SMHP job  
  replicas: 4                      # Number of compute instances for training, allowed values are 4, 8, 16, 32  
  output_s3_path: ""               # Output artifact path (Hyperpod job-specific; not compatible with standard SageMaker Training jobs). Note replace my-bucket-name with your real bucket name for SMHP job  
  
training_config:  
  max_steps: 10                   # Maximum training steps. Minimal is 4.  
  save_steps: 10                      # How many training steps the checkpoint will be saved. Should be less than or equal to max_steps  
  save_top_k: 1                    # Keep top K best checkpoints. Note supported only for SageMaker HyperPod jobs. Minimal is 1.  
  max_length: 32768                # Sequence length (options: 8192, 16384, 32768 [default], 65536)  
  global_batch_size: 32            # Global batch size (options: 32, 64, 128)  
  reasoning_enabled: true          # If data has reasoningContent, set to true; otherwise False  
  
  lr_scheduler:  
    warmup_steps: 15               # Learning rate warmup steps. Recommend 15% of max_steps  
    min_lr: 1e-6                   # Minimum learning rate, must be between 0.0 and 1.0  
  
  optim_config:                    # Optimizer settings  
    lr: 1e-5                       # Learning rate, must be between 0.0 and 1.0  
    weight_decay: 0.0              # L2 regularization strength, must be between 0.0 and 1.0  
    adam_beta1: 0.9                # Exponential decay rate for first-moment estimates, must be between 0.0 and 1.0  
    adam_beta2: 0.95               # Exponential decay rate for second-moment estimates, must be between 0.0 and 1.0  
  
  peft:                            # Parameter-efficient fine-tuning (LoRA)  
    peft_scheme: "lora"            # Enable LoRA for PEFT  
    lora_tuning:  
      alpha: 64                    # Scaling factor for LoRA weights ( options: 32, 64, 96, 128, 160, 192),  
      lora_plus_lr_ratio: 64.0

La recette contient également en grande partie les mêmes hyperparamètres que Nova 1.0. Les hyperparamètres les plus importants sont les suivants :

Commencez le stage de formation

from sagemaker.pytorch import PyTorch  
  
# define OutputDataConfig path  
if default_prefix:  
    output_path = f"s3://{bucket_name}/{default_prefix}/{sm_training_job_name}"  
else:  
    output_path = f"s3://{bucket_name}/{sm_training_job_name}"  
  
recipe_overrides = {  
    "run": {  
        "replicas": instance_count,  # Required  
        "output_s3_path": output_path  
    },  
}  
  
estimator = PyTorch(  
    output_path=output_path,  
    base_job_name=sm_training_job_name,  
    role=role,  
    disable_profiler=True,  
    debugger_hook_config=False,  
    instance_count=instance_count,  
    instance_type=instance_type,  
    training_recipe=training_recipe,  
    recipe_overrides=recipe_overrides,  
    max_run=432000,  
    sagemaker_session=sagemaker_session,  
    image_uri=image_uri,  
    tags=[  
        {'Key': 'model_name_or_path', 'Value': model_name_or_path},  
    ]  
)  
  
print(f"\nsm_training_job_name:\n{sm_training_job_name}\n")  
print(f"output_path:\n{output_path}")

from sagemaker.inputs import TrainingInput  
  
train_input = TrainingInput(  
    s3_data=train_dataset_s3_path,  
    distribution="FullyReplicated",  
    s3_data_type="Converse",  
)  
  
estimator.fit(inputs={"validation": val_input}, wait=False)

Pour démarrer le travail :

Le bloc-notes gère la soumission des tâches et assure le suivi du statut.