Préparer les données pour les modèles Amazon Nova

Collectez vos invites et stockez-les au format de fichier .jsonl. Vous pouvez télécharger des ensembles de données personnalisés au format JSONL ou sélectionner des ensembles de données existants depuis Amazon S3. Chaque enregistrement du JSONL doit utiliser le format de fin de discussion OpenAI dans la structure suivante :

Prérequis:

Lorsque vous créez une tâche de réglage précis du renforcement, vous pouvez demander à Amazon Bedrock d'utiliser les journaux d'invocation existants de votre compartiment S3 comme données d'entraînement. Pour Amazon Bedrock, un journal d’invocation est un enregistrement détaillé des invocations du modèle.

Vous pouvez utiliser les journaux d'appel d' Invoke/Converse API stockés côté client depuis Amazon S3 à des fins de formation.

Prérequis:

Pour utiliser les journaux d'invocation pour affiner le renforcement, configurez la connexion par invocation du modèle, utilisez l'une des opérations d'appel du modèle et assurez-vous d'avoir configuré un compartiment Amazon S3 comme destination pour les journaux. Pour plus d'informations sur la configuration des journaux d'invocation, consultez Surveiller le modèle d'invocation à l'aide CloudWatch des journaux et d'Amazon S3.

Avant de commencer le travail de réglage précis du renforcement en utilisant les journaux d'invocation d'un compartiment S3 en entrée, vous devez fournir à Amazon Bedrock les autorisations d'accès aux journaux depuis un compartiment S3. Pour de plus amples informations, veuillez consulter Personnalisation, accès et sécurité des modèles.

Vous pouvez éventuellement ajouter des métadonnées de demande aux paires invite-réponse du journal d’invocation à l’aide de l’une des opérations d’invocation du modèle, puis les utiliser ultérieurement pour filtrer les journaux. Amazon Bedrock peut utiliser les journaux filtrés pour affiner le modèle.

Ajoutez des métadonnées de demande aux invites et aux réponses dans vos journaux d'invocations

Avec les journaux d'invocation, vous pouvez identifier les instructions du jeu de données de formation que vous souhaitez qu'Amazon Bedrock utilise pour affiner le renforcement à l'aide des métadonnées de demande jointes aux journaux d'invocation.

Voici un exemple de journal d'invocation issu d'un InvokeModel appel avec : requestMetadata

{
"schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-09-11T17:16:18Z",
    "accountId": "XXXXX",
    "identity": {
"arn": "arn:aws:sts::XXXXXXX:assumed-role/Admin/XXXXXX"
    },
    "region": "us-east-1",
    "requestId": "7ee514f3-9eff-467c-af75-8fd564ce58e5",
    "operation": "InvokeModel",
    "modelId": "meta.llama3-1-405b-instruct-v1:0",
    "input": {
"inputContentType": "application/json",
        "inputBodyJson": {
"prompt": "story of two dogs",
            "max_tokens_to_sample": 300
        },
        "inputTokenCount": 13
    },
    "output": {
"outputContentType": "application/json",
        "outputBodyJson": {
"type": "completion",
            "completion": " Here is a story about two dogs:\n\nRex and Charlie were best friends who lived next door to each other. Every morning, their owners would let them out into the backyard to play. Rex was a golden retriever with long, shaggy fur. He loved to run and chase sticks. Charlie was a corgi with short legs and a big smile. He was happy just sniffing the grass and rolling around. \n\nThe two dogs spent every day playing together. Rex would grab a stick and bring it over to Charlie, wagging his tail excitedly. Charlie would take the other end of the stick in his mouth and they'd have a friendly game of tug-of-war. After tiring themselves out, they'd flop down in the warm sunshine for a nap. \n\nAt lunchtime, their owners would call them in for food. Rex would gobble up his kibble hungrily while Charlie ate his at a more leisurely pace. After lunch, it was right back outside for more playtime. The afternoon sunbeams would light up their fur as they chased each other around the yard. \n\nWhen it started getting late, their owners called them in for the night. Rex and Charlie would head inside, tired but happy after another fun day of play. After slurping up fresh water from their bowls, they'd curl up on their beds, Rex's fluffy golden tail tucked over his nose and little",
            "stop_reason": "max_tokens",
            "stop": null
        },
        "outputTokenCount": 300
    },
    "requestMetadata": {
"project": "CustomerService",
        "intent": "ComplaintResolution",
        "priority": "High"
    }
}

Vous pouvez spécifier le journal des appels comme source de données d'entrée lorsque vous lancez une tâche de réglage précis du renforcement. Vous pouvez démarrer une tâche de réglage précis du renforcement via la console Amazon Bedrock, à l'aide de l'API ou du AWS CLI SDK.

Exigences relatives à la fourniture de métadonnées de demande

Les métadonnées de demande doivent respecter les exigences suivantes :

Utilisation de filtres de métadonnées des demandes

Une fois que les journaux d'appel contenant les métadonnées des demandes sont disponibles, vous pouvez appliquer des filtres basés sur les métadonnées des demandes afin de choisir de manière sélective les invites à inclure pour affiner le modèle. Par exemple, vous souhaiterez peut-être inclure uniquement ceux qui possèdent "project": "CustomerService" et "priority": "High" demandent des métadonnées.

Pour filtrer les journaux à l'aide de plusieurs métadonnées de demande, utilisez un seul opérateur AND booléen ou. OR Vous ne pouvez pas combiner ces opérateurs. Pour le filtrage des métadonnées à demande unique, utilisez l'Not Equalsopérateur Equals or.