Ottimizzazione supervisionata su 2.0 Amazon Nova - Amazon Bedrock
Panoramica di Funzionalità supportateLimitazioni attualiFormati multimediali supportatiEsempi di formati di datiModalità di ragionamento e non ragionamentoLinee guida per la preparazione dei dataset

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione supervisionata su 2.0 Amazon Nova

Panoramica di

Amazon NovaI dati SFT 2.0 utilizzano lo stesso formato API Converse della versione Amazon Nova 1.0, con l'aggiunta di campi di contenuto facoltativi di ragionamento. Per le specifiche complete del formato, consulta lo ReasoningContentBlockschema delle API di Converse.

Funzionalità supportate

  • Tipi di input: testo, immagine o video nei blocchi di contenuti utente

  • Contenuti dell'assistente: risposte di solo testo e contenuti di ragionamento

  • Composizione del set di dati: deve essere omogenea. Scegliete una delle seguenti opzioni: giri di solo testo, giri testo+immagine o testo+video

Importante

Non puoi mescolare immagini e video all'interno dello stesso set di dati o in turni diversi.

Limitazioni attuali

  • Utilizzo degli strumenti: sebbene l'utilizzo degli strumenti sia supportato nel formato di input, attualmente non è supportato da Amazon Nova 2.0 SFT. L'aggiunta di sezioni relative agli strumenti potrebbe causare il fallimento del lavoro.

  • Contenuto di ragionamento multimodale: sebbene il formato Converse supporti contenuti di ragionamento basati su immagini, questo non è supportato dalla SFT 2.0. Amazon Nova

  • Set di convalida: la fornitura di un set di convalida potrebbe essere supportata tramite l'interfaccia utente ma non durante la formazione SFT.

Formati multimediali supportati

  • Immagini: PNG, JPEG, GIF

  • Video: MOV, MKV, MP4

Esempi di formati di dati

Text-only

Questo esempio mostra un formato base di solo testo compatibile con Amazon Nova 1.0.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What country is right next to Australia?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "The closest country is New Zealand"
        }
      ]
    }
  ]
}
Text with reasoning

Questo esempio mostra il testo con contenuti di ragionamento facoltativi per la versione 2.0. Amazon Nova

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What country is right next to Australia?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I need to use my world knowledge of geography to answer this question"
            }
          }
        },
        {
          "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea."
        }
      ]
    }
  ]
}
Nota

Attualmente, reasoningText è supportato solo all'internoreasoningContent. Il contenuto del ragionamento multimodale non è ancora disponibile.

Image + text

Questo esempio mostra come includere l'input di immagini nel testo.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a helpful assistant."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "image": {
            "format": "jpeg",
            "source": {
              "s3Location": {
                "uri": "s3://your-bucket/your-path/your-image.jpg",
                "bucketOwner": "your-aws-account-id"
              }
            }
          }
        },
        {
          "text": "Which country is highlighted in the image?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge"
            }
          }
        },
        {
          "text": "The highlighted country is New Zealand"
        }
      ]
    }
  ]
}
Video + text

Questo esempio mostra come includere l'input video nel testo.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a helpful assistant."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "video": {
            "format": "mp4",
            "source": {
              "s3Location": {
                "uri": "s3://your-bucket/your-path/your-video.mp4",
                "bucketOwner": "your-aws-account-id"
              }
            }
          }
        },
        {
          "text": "What is shown in this video?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I will analyze the video content to identify key elements"
            }
          }
        },
        {
          "text": "The video shows a map with New Zealand highlighted"
        }
      ]
    }
  ]
}

Modalità di ragionamento e non ragionamento

Comprensione del contenuto del ragionamento: il contenuto del ragionamento (chiamato anche chain-of-thought) cattura le fasi di pensiero intermedie del modello prima di generare una risposta finale. A assistant sua volta, usa il reasoningContent campo per includere queste tracce di ragionamento.

Come viene calcolata la perdita:

  • Con contenuto di ragionamento: la perdita di formazione include sia i token di ragionamento che i token di output finale

  • Senza contenuti di ragionamento: la perdita di formazione viene calcolata solo sui token di output finali

Puoi includere più turni di assistente reasoningContent in conversazioni a turni multipli.

Quando abilitare la modalità di ragionamento

Imposta reasoning_enabled: true nella configurazione di addestramento quando desideri che il modello generi token di riflessione prima di produrre gli output finali o se desideri migliorare le prestazioni in attività di ragionamento complesse.

Nota

È possibile abilitare la modalità di ragionamento indipendentemente dal fatto che i dati di allenamento contengano contenuti di ragionamento. Tuttavia, si consiglia di includere tracce di ragionamento nei dati di allenamento in modo che il modello possa imparare da questi esempi e migliorare la qualità del ragionamento.

Imposta reasoning_enabled: false quando ti alleni su attività semplici che non traggono vantaggio da passaggi di ragionamento espliciti o che desiderano ottimizzare la velocità e ridurre l'uso dei token.

Linee guida per la formattazione

  • Usa testo semplice per ragionare i contenuti.

  • Evita i tag di markup come <thinking> e </thinking> a meno che non siano specificamente richiesti dalla tua attività.

  • Assicurati che il contenuto del ragionamento sia chiaro e pertinente al processo di risoluzione dei problemi.

Generazione di dati di ragionamento

Se il tuo set di dati non contiene tracce di ragionamento, puoi crearle utilizzando un modello in grado di ragionare come. Fornisci le tue coppie di input-output al modello e acquisisci il relativo processo di ragionamento per creare un set di dati basato sul ragionamento.

Utilizzo di token di ragionamento per la formazione

Quando si allena con la modalità di ragionamento abilitata, il modello impara a separare il ragionamento interno dalla risposta finale. Il processo di formazione esegue le seguenti operazioni:

  • Organizza i dati in tre parti: input, ragionamento e risposta

  • Ottimizza l'utilizzo della previsione standard del token successivo (perdita derivante sia dai token di ragionamento che da quelli di risposta)

  • Incoraggia il modello a ragionare internamente prima di generare risposte

Contenuti di ragionamento efficaci

Un contenuto di ragionamento di alta qualità dovrebbe includere quanto segue:

  • Pensieri e analisi intermedi

  • Deduzioni logiche e fasi di inferenza

  • Step-by-step approcci per la risoluzione dei problemi

  • Connessioni esplicite tra fasi e conclusioni

Questo aiuta il modello a sviluppare la capacità di pensare prima di rispondere.

Linee guida per la preparazione dei dataset

La tabella seguente fornisce le linee guida per la preparazione del set di dati di allenamento.

Linee guida per la preparazione dei dataset

Linea guida Description
Dimensioni e qualità

  • Dimensione consigliata: 2.000-10.000 campioni

  • Campioni minimi: 200

  • Dai priorità alla qualità rispetto alla quantità. Assicurati che gli esempi siano accurati e ben annotati.

  • Il set di dati dovrebbe rispecchiare fedelmente i casi d'uso in produzione.
Diversità

Includi diversi esempi che eseguono le seguenti operazioni:

  • Copre l'intera gamma di input previsti

  • Rappresenta diversi livelli di difficoltà

  • Includi casi limite e varianti

  • Evita l'eccessivo adattamento a modelli ristretti
Formattazione dell'output

Specificate chiaramente il formato di output desiderato nelle risposte dell'assistente. Gli esempi includono strutture JSON, tabelle, formato CSV o formati personalizzati specifici dell'applicazione.
Conversazioni a più turni

  • La perdita viene calcolata solo nei turni degli assistenti, non nei turni degli utenti.

  • Ogni risposta dell'assistente deve essere formattata correttamente.

  • Mantieni la coerenza tra i turni di conversazione.
Lista di controllo della qualità

  • Dimensioni sufficienti del set di dati (2.000-10.000 campioni)

  • Diversi esempi che coprono tutti i casi d'uso

  • Formattazione di output chiara e coerente

  • Etichette e annotazioni accurate

  • Rappresentante degli scenari di produzione

  • Liberi da contraddizioni o ambiguità