Préparation des données pour optimiser les modèles texte-texte

Pour optimiser les modèles texte-texte, chaque objet JSON est un exemple contenant des champs structurés conçus pour guider le modèle vers la génération de la sortie textuelle souhaitée en fonction d’une invite textuelle fournie. Le format des données varie en fonction du cas d’utilisation, généralement classé en cas d’utilisation non conversationnelle et conversationnelle. Les tâches non conversationnelles impliquent des invites et des sorties autonomes, tandis que les tâches conversationnelles peuvent être subdivisées en échanges simples, où le modèle répond à une seule entrée utilisateur, et en dialogues complexes, dans lesquels le modèle conserve le contexte lors de plusieurs échanges.

Tâches non conversationnelles

Les tâches non conversationnelles impliquent de générer une sortie unique pour une entrée donnée. Chaque échantillon de jeu de données inclut un champ prompt contenant le texte d’entrée et un champ completion contenant le résultat attendu. Ce format prend en charge un éventail de tâches telles que la réponse aux questions, la synthèse, la traduction, la complétion de texte et l’extraction d’informations.

Exemple de format

{"prompt": "What is the capital of France?", "completion": "The capital of France is Paris."}
{"prompt": "Summarize the article about climate change.", "completion": "Climate change refers to the long-term alteration of temperature and typical weather patterns in a place."}

Utilisez environ 6 caractères par jeton pour estimer le nombre de jetons nécessaires à la planification de la taille du jeu de données.

Format API Converse (simple et complexe)

Pour utiliser l’API Converse, vous devez appeler les opérations Converse ou ConverseStream pour envoyer des messages à un modèle. Pour appeler Converse, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModel. Pour appeler ConverseStream, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModelWithResponseStream. Pour plus d’informations, consultez Utilisation de l’API Converse. Pour plus d’informations sur les opérations d’API Converse, consultez Mener une conversation avec les opérations d’API Converse.

Exemple de format

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "You are a digital assistant with a friendly personality"
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of Mars?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "Mars does not have a capital. Perhaps it will one day."
                }
            ]
        }
    ]
}

Uniquement pour Anthropic Claude 3 Haiku : conversations simples

Les tâches conversationnelles simples impliquent des échanges isolés, le modèle générant une réponse basée uniquement sur l’entrée actuelle de l’utilisateur sans tenir compte du contexte antérieur. Chaque exemple de jeu de données utilise un tableau de messages, avec des rôles alternés de user et assistant.

Format

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

exemple

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

Uniquement pour Anthropic Claude 3 Haiku : conversations complexes

Les tâches conversationnelles complexes impliquent des dialogues étendus dans lesquels le modèle doit générer des réponses tout en préservant le contexte des échanges précédents. Ce format reflète la nature dynamique des tâches interactives, telles que le support client ou les discussions complexes.

Format

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

exemple

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}