Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren Sie Nova 2.0

Voraussetzungen

Bevor Sie einen Trainingsjob beginnen, sollten Sie Folgendes beachten.

Was ist SFT?

Supervised Fine-Tuning (SFT) trainiert ein Sprachmodell mithilfe von beschrifteten Eingabe-Ausgabe-Paaren. Das Modell lernt anhand von Demonstrationsbeispielen, die aus Eingabeaufforderungen und Antworten bestehen, und verfeinert seine Fähigkeiten, um es an bestimmte Aufgaben, Anweisungen oder erwünschte Verhaltensweisen anzupassen.

Datenaufbereitung

-Übersicht

Nova 2.0-SFT-Daten verwenden dasselbe Converse-API-Format wie Nova 1.0, mit zusätzlichen optionalen Inhaltsfeldern für Argumentation. Vollständige Formatspezifikationen finden Sie unter:

Unterstützte Features

Aktuelle Einschränkungen

Unterstützte Medienformate

Beispiele für Datenformate

Text-only (Nova 1.0 compatible)

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a digital assistant with a friendly personality"  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What country is right next to Australia?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "The closest country is New Zealand"  
        }  
      ]  
    }  
  ]  
}

Text with reasoning (Nova 2.0)

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a digital assistant with a friendly personality"  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What country is right next to Australia?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I need to use my world knowledge of geography to answer this question"  
            }  
          }  
        },  
        {  
          "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea."  
        }  
      ]  
    }  
  ]  
}

Image + text input

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a helpful assistant."  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "image": {  
            "format": "jpeg",  
            "source": {  
              "s3Location": {  
                "uri": "s3://your-bucket/your-path/your-image.jpg",  
                "bucketOwner": "your-aws-account-id"  
              }  
            }  
          }  
        },  
        {  
          "text": "Which country is highlighted in the image?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge"  
            }  
          }  
        },  
        {  
          "text": "The highlighted country is New Zealand"  
        }  
      ]  
    }  
  ]  
}

Video + text input

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are a helpful assistant."  
    }  
  ],  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "video": {  
            "format": "mp4",  
            "source": {  
              "s3Location": {  
                "uri": "s3://your-bucket/your-path/your-video.mp4",  
                "bucketOwner": "your-aws-account-id"  
              }  
            }  
          }  
        },  
        {  
          "text": "What is shown in this video?"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "I will analyze the video content to identify key elements"  
            }  
          }  
        },  
        {  
          "text": "The video shows a map with New Zealand highlighted"  
        }  
      ]  
    }  
  ]  
}

Aufrufen von Tools

Nova 2.0 SFT unterstützt Trainingsmodelle anhand von Werkzeugaufrufmustern, sodass Ihr Modell lernen kann, wann und wie externe Tools oder Funktionen aufgerufen werden müssen.

Datenformat für den Werkzeugaufruf

Zu den Trainingsdaten für das Aufrufen von Tools gehört ein toolConfig Abschnitt, in dem die verfügbaren Tools definiert sind, sowie Konversationsrunden, in denen die Verwendungsmuster der Tools veranschaulicht werden.

Beispieleingabe

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "system": [  
    {  
      "text": "You are an expert in composing function calls."  
    }  
  ],  
  "toolConfig": {  
    "tools": [  
      {  
        "toolSpec": {  
          "name": "getItemCost",  
          "description": "Retrieve the cost of an item from the catalog",  
          "inputSchema": {  
            "json": {  
              "type": "object",  
              "properties": {  
                "item_name": {  
                  "type": "string",  
                  "description": "The name of the item to retrieve cost for"  
                },  
                "item_id": {  
                  "type": "string",  
                  "description": "The ASIN of item to retrieve cost for"  
                }  
              },  
              "required": [  
                "item_id"  
              ]  
            }  
          }  
        }  
      },  
      {  
        "toolSpec": {  
          "name": "getItemAvailability",  
          "description": "Retrieve whether an item is available in a given location",  
          "inputSchema": {  
            "json": {  
              "type": "object",  
              "properties": {  
                "zipcode": {  
                  "type": "string",  
                  "description": "The zipcode of the location to check in"  
                },  
                "quantity": {  
                  "type": "integer",  
                  "description": "The number of items to check availability for"  
                },  
                "item_id": {  
                  "type": "string",  
                  "description": "The ASIN of item to check availability for"  
                }  
              },  
              "required": [  
                "item_id", "zipcode"  
              ]  
            }  
          }  
        }  
      }  
    ]  
  },  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "I need to check whether there are twenty pieces of the following item available. Here is the item ASIN on Amazon: id-123. Please check for the zipcode 94086"  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "reasoningContent": {  
            "reasoningText": {  
              "text": "The user wants to check how many pieces of the item with ASIN id-123 are available in the zipcode 94086"  
            }  
          }  
        },  
        {  
          "toolUse": {  
            "toolUseId": "getItemAvailability_0",  
            "name": "getItemAvailability",  
            "input": {  
              "zipcode": "94086",  
              "quantity": 20,  
              "item_id": "id-123"  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "user",  
      "content": [  
        {  
          "toolResult": {  
            "toolUseId": "getItemAvailability_0",  
            "content": [  
              {  
                "text": "[{\"name\": \"getItemAvailability\", \"results\": {\"availability\": true}}]"  
              }  
            ]  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Yes, there are twenty pieces of item id-123 available at 94086. Would you like to place an order or know the total cost?"  
        }  
      ]  
    }  
  ]  
}

Anforderungen für das Aufrufen von Tools

Beachten Sie bei der Erstellung von Trainingsdaten für Tool-Calls die folgenden Anforderungen:

Wichtige Hinweise

Verstehen von Dokumenten

Nova 2.0 SFT unterstützt Schulungen zu dokumentenbasierten Aufgaben, sodass Ihr Modell lernen kann, wie man PDF-Dokumente analysiert und Fragen zu ihnen beantwortet.

Datenformat für das Verständnis von Dokumenten

Zu den Trainingsdaten für das Dokumentenverständnis gehören Dokumentverweise in den Inhaltsblöcken für den Benutzer, wobei das Modell lernt, den Inhalt des Dokuments zu extrahieren und zu analysieren.

Eingabebeispiel

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What are the ways in which a customer can experience issues during checkout on Amazon?"  
        },  
        {  
          "document": {  
            "format": "pdf",  
            "source": {  
              "s3Location": {  
                "uri": "s3://my-bucket-name/path/to/documents/customer_service_debugging.pdf",  
                "bucketOwner": "123456789012"  
              }  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Customers can experience issues with 1. Data entry, 2. Payment methods, 3. Connectivity while placing the order. Which one would you like to dive into?"  
        }  
      ],  
      "reasoning_content": [  
        {  
          "text": "I need to find the relevant section in the document to answer the question.",  
          "type": "text"  
        }  
      ]  
    }  
  ]  
}

Einschränkungen des Verständnisses von Dokumenten

Bewährte Methoden für das Verständnis von Dokumenten

Video-Verständnis

Nova 2.0 SFT unterstützt Schulungen zu videobasierten Aufgaben, sodass Ihr Modell lernen kann, wie es Fragen zu Videoinhalten analysiert und beantwortet.

Datenformat für das Verständnis von Videos

Zu den Trainingsdaten für das Verständnis von Videos gehören Videoreferenzen in den Inhaltsblöcken für den Nutzer. Dabei lernt das Modell, anhand von Videoinhalten Informationen und Argumentation zu extrahieren.

Eingabe als Beispiel

{  
  "schemaVersion": "bedrock-conversation-2024",  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "text": "What are the ways in which a customer can experience issues during checkout on Amazon?"  
        },  
        {  
          "video": {  
            "format": "mp4",  
            "source": {  
              "s3Location": {  
                "uri": "s3://my-bucket-name/path/to/videos/customer_service_debugging.mp4",  
                "bucketOwner": "123456789012"  
              }  
            }  
          }  
        }  
      ]  
    },  
    {  
      "role": "assistant",  
      "content": [  
        {  
          "text": "Customers can experience issues with 1. Data entry, 2. Payment methods, 3. Connectivity while placing the order. Which one would you like to dive into?"  
        }  
      ],  
      "reasoning_content": [  
        {  
          "text": "I need to find the relevant section in the video to answer the question.",  
          "type": "text"  
        }  
      ]  
    }  
  ]  
}

Einschränkungen beim Videoverständnis

Unterstützte Videoformate

Bewährte Methoden zum Verständnis von Videos

Argumentationsmodus versus Modus ohne Argumentation

Inhalt des Denkens verstehen

Der Inhalt des Arguments (auch genannt chain-of-thought) erfasst die Zwischenschritte des Modells beim Denken, bevor eine endgültige Antwort generiert wird. Verwenden assistant Sie wiederum das reasoningContent Feld, um diese Argumentationsspuren einzufügen.

Wie wird der Verlust berechnet

Sie können mehrere Runden des Assistenten in Konversationen mit reasoningContent mehreren Runden einbeziehen.

Richtlinien zur Formatierung

Wann sollte der Argumentationsmodus aktiviert werden

Stellen Sie reasoning_enabled: true in Ihrer Trainingskonfiguration ein, wann:

Das Training von Nova mit reasoning_enabled = true einem Datensatz ohne Argumentation ist zulässig. Dies kann jedoch dazu führen, dass das Modell seine Argumentationsfähigkeit verliert, da Nova in erster Linie lernt, die in den Daten enthaltenen Antworten zu generieren, ohne Argumentation anzuwenden. Wenn Sie Nova anhand eines Datensatzes ohne Argumentation trainieren möchten, aber dennoch erwarten, dass bei Inferenz Argumentation stattfindet, können Sie das Argumentieren während des Trainings () reasoning_enabled = false deaktivieren, es aber für Inferenz aktivieren. Dieser Ansatz ermöglicht zwar die Verwendung von Argumenten zum Zeitpunkt der Inferenz, garantiert jedoch keine bessere Leistung im Vergleich zu Schlussfolgerungen ohne Argumentation. Generell sollten Sie Argumentation sowohl für Training als auch für Folgerungen aktivieren, wenn Sie Datensätze mit Argumentation verwenden, und deaktivieren Sie sie für beide, wenn Sie Datensätze ohne Argumentation verwenden.

Stellen Sie ein, wann: reasoning_enabled: false

Generierung von Argumentationsdaten

Wenn es Ihrem Datensatz an Argumentationsspuren mangelt, können Sie diese mit einem Modell, das Argumentation ermöglicht, wie Nova Premier, erstellen. Stellen Sie dem Modell Ihre Input-Output-Paare zur Verfügung und erfassen Sie dessen Argumentationsprozess, um einen mit Argumenten erweiterten Datensatz zu erstellen.

Verwendung von Argumentationstoken für das Training

Beim Training mit aktiviertem Argumentationsmodus lernt das Modell, internes Denken von der endgültigen Antwort zu trennen. Der Trainingsprozess:

Inhalt für effektives Denken

Hochwertige Inhalte zum Argumentieren sollten Folgendes beinhalten:

Dies hilft dem Modell, die Fähigkeit zu entwickeln, „erst nachzudenken, bevor man antwortet“.

Richtlinien für die Vorbereitung von Datensätzen

Größe und Qualität

Diversität

Nennen Sie verschiedene Beispiele, die:

Formatierung der Ausgabe

Geben Sie das gewünschte Ausgabeformat in den Antworten des Assistenten eindeutig an:

Multi-turn-Konversationen

Denken Sie bei Multiturn-Datensätzen an Folgendes:

Checkliste für Qualität

Hochladen Ihrer Daten

Datensätze sollten in einen Bucket hochgeladen werden, auf den Trainingsjobs zugegriffen werden kann. SageMaker Informationen zum Einstellen der richtigen Berechtigungen finden Sie unter Voraussetzungen.

Einen Ausbildungsjob beginnen

Auswahl von Hyperparametern und Aktualisierung des Rezepts

Das Setup für Nova 2.0 ist weitgehend das gleiche wie für Nova 1.0. Sobald die Eingabedaten auf S3 hochgeladen wurden, verwenden Sie das Rezept aus SageMaker Hyperpod Recipes im Ordner Fine Tuning. Für Nova 2.0 sind im Folgenden einige der wichtigsten Hyperparameter aufgeführt, die Sie je nach Anwendungsfall aktualisieren können. Das Folgende ist ein Beispiel für das Nova 2.0 SFT PEFT-Rezept.

Bitte verwenden Sie v2.254.1 von SageMaker pySDK, um die strikte Kompatibilität mit dem Nova-Training zu gewährleisten. Ein Upgrade des SDK auf Version 3.0 wird zu grundlegenden Änderungen führen. Support für Version 3 von SageMaker PySDK ist in Kürze verfügbar.

Beispieleingabe

!pip install sagemaker==2.254.1

run:  
  name: {peft_recipe_job_name}  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: {peft_model_name_or_path}  
  data_s3_path: {train_dataset_s3_path} # SageMaker Hyperpod (SMHP) only and not compatible with SageMaker Training jobs. Note replace my-bucket-name with your real bucket name for SMHP job  
  replicas: 4                      # Number of compute instances for training, allowed values are 4, 8, 16, 32  
  output_s3_path: ""               # Output artifact path (Hyperpod job-specific; not compatible with standard SageMaker Training jobs). Note replace my-bucket-name with your real bucket name for SMHP job  
  
training_config:  
  max_steps: 10                   # Maximum training steps. Minimal is 4.  
  save_steps: 10                      # How many training steps the checkpoint will be saved. Should be less than or equal to max_steps  
  save_top_k: 1                    # Keep top K best checkpoints. Note supported only for SageMaker HyperPod jobs. Minimal is 1.  
  max_length: 32768                # Sequence length (options: 8192, 16384, 32768 [default], 65536)  
  global_batch_size: 32            # Global batch size (options: 32, 64, 128)  
  reasoning_enabled: true          # If data has reasoningContent, set to true; otherwise False  
  
  lr_scheduler:  
    warmup_steps: 15               # Learning rate warmup steps. Recommend 15% of max_steps  
    min_lr: 1e-6                   # Minimum learning rate, must be between 0.0 and 1.0  
  
  optim_config:                    # Optimizer settings  
    lr: 1e-5                       # Learning rate, must be between 0.0 and 1.0  
    weight_decay: 0.0              # L2 regularization strength, must be between 0.0 and 1.0  
    adam_beta1: 0.9                # Exponential decay rate for first-moment estimates, must be between 0.0 and 1.0  
    adam_beta2: 0.95               # Exponential decay rate for second-moment estimates, must be between 0.0 and 1.0  
  
  peft:                            # Parameter-efficient fine-tuning (LoRA)  
    peft_scheme: "lora"            # Enable LoRA for PEFT  
    lora_tuning:  
      alpha: 64                    # Scaling factor for LoRA weights ( options: 32, 64, 96, 128, 160, 192),  
      lora_plus_lr_ratio: 64.0

Das Rezept enthält auch weitgehend dieselben Hyperparameter wie Nova 1.0. Die bemerkenswerten Hyperparameter sind:

Starte den Trainingsjob

from sagemaker.pytorch import PyTorch  
  
# define OutputDataConfig path  
if default_prefix:  
    output_path = f"s3://{bucket_name}/{default_prefix}/{sm_training_job_name}"  
else:  
    output_path = f"s3://{bucket_name}/{sm_training_job_name}"  
  
recipe_overrides = {  
    "run": {  
        "replicas": instance_count,  # Required  
        "output_s3_path": output_path  
    },  
}  
  
estimator = PyTorch(  
    output_path=output_path,  
    base_job_name=sm_training_job_name,  
    role=role,  
    disable_profiler=True,  
    debugger_hook_config=False,  
    instance_count=instance_count,  
    instance_type=instance_type,  
    training_recipe=training_recipe,  
    recipe_overrides=recipe_overrides,  
    max_run=432000,  
    sagemaker_session=sagemaker_session,  
    image_uri=image_uri,  
    tags=[  
        {'Key': 'model_name_or_path', 'Value': model_name_or_path},  
    ]  
)  
  
print(f"\nsm_training_job_name:\n{sm_training_job_name}\n")  
print(f"output_path:\n{output_path}")

from sagemaker.inputs import TrainingInput  
  
train_input = TrainingInput(  
    s3_data=train_dataset_s3_path,  
    distribution="FullyReplicated",  
    s3_data_type="Converse",  
)  
  
estimator.fit(inputs={"validation": val_input}, wait=False)

Um den Job zu beginnen:

Das Notizbuch verarbeitet die Auftragsübermittlung und ermöglicht die Statusverfolgung.