Feinabstimmung von Amazon Nova-Modellen mithilfe von SageMaker Trainingsjobs

Die Feinabstimmung von Amazon Nova-Modellen mit SageMaker Schulungsjobs bietet eine leistungsstarke Möglichkeit, Basismodelle an Ihre spezifischen Anwendungsfälle anzupassen.

Voraussetzungen

Bevor Sie mit einem Schulungsjob beginnen, sollten Sie Folgendes beachten.

Datenaufbereitung

Die Vorbereitung qualitativ hochwertiger, ordnungsgemäß formatierter Daten ist ein wichtiger erster Schritt bei der Feinabstimmung umfangreicher Sprachmodelle. Ganz gleich, ob Sie Supervised Fine-Tuning (SFT) oder Direct Preference Optimization (DPO) verwenden, entweder mit Full-Rank- oder Low-Rank-Adaptation (LoRa), Ihre Daten müssen bestimmte Formatanforderungen erfüllen, um ein erfolgreiches Modelltraining sicherzustellen. In diesem Abschnitt werden die erforderlichen Datenformate, Validierungsmethoden und Best Practices beschrieben, mit denen Sie Ihre Datensätze effektiv für die Feinabstimmung von Amazon Nova-Modellen vorbereiten können.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

SFT- und LoRa-PEFT-Konfigurationen mit vollem Rang

In diesem Abschnitt finden Sie Anleitungen zu Rezeptkonfigurationen sowohl für Ansätze zur überwachten Feinabstimmung (Full-Rank Supervised Fine-Tuning, SFT) als auch für die parametereffiziente Feinabstimmung mit niedriger Ranganpassung (LoRa PEFT). Diese Rezeptdateien dienen als Vorlage für Ihre Modellanpassungsaufgaben. Sie ermöglichen es Ihnen, Trainingsparameter, Hyperparameter und andere wichtige Einstellungen festzulegen, die bestimmen, wie Ihr Modell aus Ihren Daten lernt. Um die Hyperparameter anzupassen, folgen Sie den Richtlinien unter Hyperparameter auswählen.

Feinabstimmung von Konfigurationen (Full-Rank SFT und LoRa PEFT)

Der einzige Unterschied zwischen Full-Rank SFT und LoRa PEFT in Bezug auf das Rezept ist die LoRa-PEFT-Konfiguration, die für vollen Rang auf „Null“ und bei Verwendung der LoRa-PEFT-basierten Feinabstimmung auf entsprechende Werte gesetzt ist. SageMaker HyperPod Beispielrezepte GitHub sind im Rezepte-Repository verfügbar. Die folgenden Tabellen zeigen detaillierte Konfigurationen, die für Sie hilfreich sein könnten.

Informationen zur Konfiguration „Ausführen“.

Über die Konfiguration von „training_config“.

Feinabstimmung bestimmter Konfigurationen (DPO)

Der einzige Unterschied zwischen Direct Preference Optimization (DPO) und LoRa PEFT und FullRank SFT besteht in der dpo_cfg-Konfiguration und den zulässigen Werten. In der Tabelle unter dem Beispiel finden Sie Informationen zu den zulässigen Daten, die speziell für DPO zulässig sind. Beispielrezepte sind im SageMaker HyperPod GitHub Rezepte-Repository verfügbar. Die folgende Tabelle enthält detaillierte Konfigurationen, die für Sie hilfreich sein könnten.

Einsatz eines maßgeschneiderten Nova-Modells bei SageMaker Trainingsaufträgen

In diesem Abschnitt wird gezeigt, wie Sie ein benutzerdefiniertes Nova-Modell für SageMaker Trainingsjobs in einer Jupyter-Notebook-Umgebung ausführen. Sie finden ein vollständiges Beispiel, in dem der Prozess der Konfiguration und des Starts eines Trainingsjobs beschrieben wird, sowie Referenztabellen zur Auswahl der entsprechenden Container-Image URIs - und Instanzkonfigurationen. Mit diesem Ansatz haben Sie die programmatische Kontrolle über Ihre Feinabstimmungsabläufe und können gleichzeitig die verwaltete Infrastruktur für SageMaker die Modellanpassung nutzen. Weitere Informationen finden Sie unter Verwenden eines SageMaker KI-Schätzers zur Durchführung eines Schulungsjobs.

Referenztabellen

Bevor Sie das Beispiel-Notebook ausführen, finden Sie in den folgenden Tabellen Informationen zur Auswahl der entsprechenden Container-Image URIs - und Instanzkonfigurationen.

Image-URI auswählen

Auswahl des Instanztyps und der Anzahl

Beispiel für ein Notizbuch

Das folgende Beispielnotizbuch zeigt, wie ein Trainingsjob ausgeführt wird. Weitere Notizbücher für die ersten Schritte zur Anpassung von Nova-Modellen mithilfe von SageMaker KI-Schulungsjobs finden Sie unter Verwenden eines SageMaker KI-Schätzers zur Ausführung eines Trainingsjobs.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

Anleitungen zur Optimierung von Hyperparametern

Die effektive Feinabstimmung Ihres Nova LLM-Modells erfordert eine sorgfältige Auswahl der Hyperparameter. In diesem Abschnitt werden zwar die grundlegende Rezeptstruktur und die Komponenten erläutert, die Optimierung von Hyperparametern für Ihren spezifischen Anwendungsfall erfordert jedoch häufig zusätzliche Anleitungen. Umfassende Empfehlungen zur Auswahl von Hyperparametern, bewährten Methoden und Optimierungsstrategien finden Sie unter Hyperparameter auswählen. Diese Ressource bietet detaillierte Anleitungen zur Auswahl geeigneter Lernraten, Chargengrößen, Trainingsepochen und anderer kritischer Parameter auf der Grundlage der Merkmale und Trainingsziele Ihres Datensatzes. Wir empfehlen, bei der Feinabstimmung Ihrer Rezepturkonfiguration, um eine optimale Modellleistung zu erzielen, diesen Leitfaden zu Rate zu ziehen.

Einzelheiten zu Minimal-, Maximal- und Standardwerten für Epochen, Lerngeschwindigkeit und Lernaufwärmschritte finden Sie unter Hyperparameter für das Verständnis von Modellen.

Häufig vorkommende Rezeptänderungen

Hier sind einige gängige Rezeptanpassungen, die auf bestimmten Anwendungsfällen basieren: