Preparazione dei dati per il fine-tuning dei modelli di comprensione - Amazon Nova
Esempi di formati di set di datiVincoli dei set di dati

Preparazione dei dati per il fine-tuning dei modelli di comprensione

Di seguito sono riportate le linee guida e i requisiti per la preparazione dei dati per il fine-tuning dei modelli di comprensione:

  1. La dimensione minima dei dati per il fine-tuning dipende dall’attività (se complessa o semplice), ma ti consigliamo di disporre di almeno 100 esempi per ogni attività che deve imparare il modello.

  2. Ti consigliamo di utilizzare il prompt ottimizzato con un’impostazione zero-shot durante l’addestramento e l’inferenza per ottenere i migliori risultati.

  3. I set di dati di addestramento e convalida devono essere file JSONL, in cui ogni riga è un oggetto JSON corrispondente a un record. Questi nomi di file possono essere composti solo da caratteri alfanumerici, trattini, trattini bassi, barre e punti.

  4. Limitazioni di immagini e video

    1. Il set di dati non può contenere diverse modalità multimediali. In altre parole, il set di dati può essere testo con immagini o testo con video.

    2. Un campione (singolo record nei messaggi) può contenere più immagini

    3. Un campione (record singolo nei messaggi) può contenere solo 1 video

  5. schemaVersion può essere qualsiasi valore di stringa

  6. Il turno system (opzionale) può essere un prompt di sistema personalizzato fornito dal cliente.

  7. I ruoli supportati sono user e assistant.

  8. Il primo turno in messages deve sempre iniziare con "role": "user". L’ultimo turno è la risposta del bot, indicata con “ruolo”: “assistente”.

  9. Il image.source.s3Location.uri e il video.source.s3Location.uri devono essere accessibili ad Amazon Bedrock.

  10. Il tuo ruolo di servizio Amazon Bedrock deve essere in grado di accedere ai file di immagine in Amazon S3. Per ulteriori informazioni sulla concessione dell’accesso, consulta Create a service role for model customization

  11. Le immagini o i video devono trovarsi nello stesso bucket Amazon S3 del set di dati. Ad esempio, se il set di dati si trova in s3://amzn-s3-demo-bucket/train/train.jsonl, le immagini o i video devono essere in s3://amzn-s3-demo-bucket

  12. I termini User:, Bot:, Assistant:, System:, <image>, <video> e [EOS] sono parole chiave riservate. Se un prompt dell’utente o un prompt di sistema inizia con una di queste parole chiave o include queste parole chiave, il job di addestramento avrà esito negativo a causa di problemi relativi ai dati. Se hai bisogno di utilizzare queste parole chiave per il tuo caso d’uso, devi sostituirle con una parola chiave diversa con un significato simile in modo tale che l’addestramento possa continuare.

Esempi di formati di set di dati

I seguenti formati di set di dati di esempio forniscono una guida da seguire.

L’esempio seguente riguarda il fine-tuning personalizzato solo sul testo.

// train.jsonl
{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What is the capital of Mars?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "Mars does not have a capital. Perhaps it will one day."
        }
      ]
    }
  ]
}

L’esempio seguente riguarda il fine-tuning personalizzato sul testo e su una singola immagine.

// train.jsonl{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

L’esempio seguente riguarda il fine-tuning personalizzato sul testo e sul video.

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a helpful assistant designed to answer questions crisply and to the point"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "How many white items are visible in this video?"
                },
                {
                    "video": {
                        "format": "mp4",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-video.mp4",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "There are at least eight visible items that are white"
            }]
        }
    ]
}

Vincoli dei set di dati

Amazon Nova applica i seguenti vincoli alle personalizzazioni dei modelli per i modelli di comprensione.

Modello

Numero minimo di campioni

Numero massimo di campioni

Lunghezza del contesto

Amazon Nova Micro

8

20.000

32.000

Amazon Nova Lite

8

20.000

32.000

Amazon Nova Pro

8

20.000

32.000
Limitazioni di immagini e video

Numero massimo di immagini

10/campione

Dimensione massima dei file di immagine

10 MB

Numero massimo di video

1/campione

Lunghezza/Durata massima del video

90 secondi

Dimensione massima dei file video

50 MB
Formati multimediali supportati

  • Immagine: png, jpeg, gif, webp

  • Video: mov, mkv, mp4, webm