Die Feinabstimmung von Nova 1.0

Voraussetzungen

Bevor Sie einen Trainingsjob beginnen, sollten Sie Folgendes beachten.

Datenaufbereitung

Die Vorbereitung qualitativ hochwertiger, ordnungsgemäß formatierter Daten ist ein wichtiger erster Schritt bei der Feinabstimmung großer Sprachmodelle. Ganz gleich, ob Sie die überwachte Feinabstimmung oder direkte Präferenzoptimierung mit Full-Rank- oder Low-Rank-Adaptation verwenden, müssen Ihre Daten bestimmte Formatanforderungen erfüllen, um ein erfolgreiches Modelltraining sicherzustellen. In diesem Abschnitt werden die erforderlichen Datenformate, Validierungsmethoden und Best Practices beschrieben, mit denen Sie Ihre Datensätze effektiv für die Feinabstimmung von Amazon-Nova-Modellen vorbereiten können.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Konfigurationen für Full-Rank SFT und LoRA PEFT

Dieser Abschnitt enthält Anleitungen zu Rezeptkonfigurationen sowohl für Ansätze zur überwachten Full-Rank-Feinabstimmung (SFT, Supervised Fine-Tuning) als auch zur parametereffizienten Feinabstimmung mit Low-Rank Adaptation (LoRA PEFT). Diese Rezeptdateien dienen als Vorlage für Ihre Modellanpassungsjobs. Sie ermöglichen es Ihnen, Trainingsparameter, Hyperparameter und andere wichtige Einstellungen festzulegen, die bestimmen, wie Ihr Modell aus Ihren Daten lernt. Um die Hyperparameter anzupassen, folgen Sie den Anweisungen unter Auswählen von Hyperparametern.

Feinabstimmungskonfigurationen (Full-Rank SFT und LoRA PEFT)

Der einzige Unterschied zwischen Full-Rank SFT und LoRA PEFT in Bezug auf das Rezept ist die LoRA-PEFT-Konfiguration. Diese ist für Full-Rank auf „Null“ gesetzt und bei Verwendung der LoRA-PEFT-basierten Feinabstimmung auf die entsprechenden Werte. Beispielrezepte sind im Rezepte-Repository verfügbar. SageMaker HyperPod GitHub Die folgenden Tabellen enthalten detaillierte Konfigurationen, die eventuell hilfreich sein können.

Informationen zur „Lauf“-Konfiguration

Informationen über die „training_config“-Konfiguration

Feinabstimmung bestimmter Konfigurationen (DPO)

Der einzige Unterschied zwischen Direct Preference Optimization (DPO) und LoRa PEFT und FullRank SFT besteht in der dpo_cfg-Konfiguration und den zulässigen Werten. In der Tabelle unter dem Beispiel finden Sie Informationen zu den Werten, die speziell für DPO zulässig sind. Beispielrezepte sind im Rezepte-Repository verfügbar. SageMaker HyperPod GitHub Die folgende Tabelle enthält detaillierte Konfigurationen, die eventuell hilfreich sein können.

Einsatz eines maßgeschneiderten Nova-Modells bei Trainingsaufträgen SageMaker

In diesem Abschnitt wird gezeigt, wie ein benutzerdefiniertes Nova-Modell für SageMaker Trainingsjobs in einer Jupyter-Notebook-Umgebung ausgeführt wird. Sie finden ein vollständiges Beispiel, in dem der Prozess der Konfiguration und des Starts eines Trainingsjobs beschrieben wird, sowie Referenztabellen zur Auswahl der entsprechenden Container-Image URIs - und Instanzkonfigurationen. Mit diesem Ansatz haben Sie die programmatische Kontrolle über Ihre Feinabstimmungsabläufe und können gleichzeitig die verwaltete Infrastruktur für SageMaker die Modellanpassung nutzen. Weitere Informationen finden Sie unter Verwenden eines SageMaker KI-Schätzers zur Durchführung eines Schulungsjobs.

Referenztabellen

Bevor Sie das Beispiel-Notebook ausführen, finden Sie in den folgenden Tabellen Informationen zur Auswahl der entsprechenden Container-Image URIs - und Instanzkonfigurationen.

Auswahl des Image-URI

Auswahl des Instance-Typs und der Anzahl von Instances

Beispiel-Notebook

Das folgende Beispiel-Notebook zeigt, wie ein Trainingsjob ausgeführt wird. Weitere Notizbücher für die ersten Schritte zur Anpassung von Nova-Modellen mithilfe von SageMaker KI-Schulungsjobs finden Sie unter Verwenden eines SageMaker KI-Schätzers zur Ausführung eines Trainingsjobs.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Anleitung zur Hyperparameteroptimierung

Die effektive Feinabstimmung Ihres Nova-LLM-Modells erfordert eine sorgfältige Auswahl der Hyperparameter. Auch wenn in diesem Abschnitt die grundlegende Rezeptstruktur und die Komponenten erläutert werden, erfordert die Optimierung von Hyperparametern für Ihren spezifischen Anwendungsfall häufig zusätzliche Anleitungen. Umfassende Empfehlungen zur Auswahl von Hyperparametern, Best Practices und Optimierungsstrategien finden Sie unter Auswählen von Hyperparametern. Diese Ressource bietet detaillierte Anleitungen zur Auswahl geeigneter Lernraten, Batchgrößen, Trainingsepochen und anderer kritischer Parameter gemäß den Merkmalen und Trainingszielen Ihres Datensatzes. Wir empfehlen, bei der Feinabstimmung Ihrer Rezeptkonfiguration diesen Leitfaden zu Rate zu ziehen, um eine optimale Modellleistung zu erzielen.

Einzelheiten zu den Mindest-, Höchst- und Standardwerten für Epochen und zur Lerngeschwindigkeit sowie Aufwärmschritte für das Lernen finden Sie unter Hyperparameter für Modelle mit Verständnisfunktion.

Gängige Rezeptänderungen

Hier einige gängige Rezeptanpassungen für bestimmte Anwendungsfälle: