Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Modèles Amazon SageMaker JumpStart Foundation
Amazon SageMaker JumpStart propose des modèles de state-of-the-art base pour des cas d'utilisation tels que la rédaction de contenu, la génération de code, la réponse aux questions, la rédaction, la synthèse, la classification, la récupération d'informations, etc. Utilisez des modèles de JumpStart base pour créer vos propres solutions d'IA générative et intégrez des solutions personnalisées avec des fonctionnalités d' SageMaker IA supplémentaires. Pour plus d'informations, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/).
Un modèle de fondation est un grand modèle pré-entraîné qui peut s'adapter à de nombreuses tâches en aval et qui sert souvent de point de départ au développement de modèles plus spécialisés. Parmi les modèles de base, citons le LLa MA-3-70b, le BLOOM 176B, le FLAN-T5 XL ou le GPT-J 6B, qui sont préentraînés sur d'énormes quantités de données textuelles et peuvent être affinés pour des tâches linguistiques spécifiques.
Amazon SageMaker JumpStart intègre et gère des modèles de base accessibles au public auxquels vous pouvez accéder, personnaliser et intégrer à vos cycles de vie de machine learning. Pour de plus amples informations, veuillez consulter [Modèles de fondation accessibles au public](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-publicly-available). Amazon inclut SageMaker JumpStart également des modèles de base propriétaires provenant de fournisseurs tiers. Pour de plus amples informations, veuillez consulter [Modèles de fondation propriétaires](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-proprietary).
Pour commencer à explorer et à tester les modèles disponibles, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md). Tous les modèles de base peuvent être utilisés par programmation avec le SageMaker Python SDK. Pour de plus amples informations, veuillez consulter [Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Pour plus d'informations sur les éléments à prendre en compte lors du choix d'un modèle, consultez [Modèles de sources et de contrats de licence](jumpstart-foundation-models-choose.md).
Pour plus de détails sur la personnalisation et l'optimisation des modèles de fondation, consultez [Personnalisation d’un modèle de fondation](jumpstart-foundation-models-customize.md).
Pour des informations plus générales sur les modèles de fondation, consultez [À propos des opportunités et des risques des modèles de fondation](https://arxiv.org/abs/2108.07258) (langue française non garantie).
**Topics**
+ [
# Modèles de fondation disponibles
](jumpstart-foundation-models-latest.md)
+ [
# JumpStart utilisation du modèle de base
](jumpstart-foundation-models-use.md)
+ [
# Modèles de sources et de contrats de licence
](jumpstart-foundation-models-choose.md)
+ [
# Personnalisation d’un modèle de fondation
](jumpstart-foundation-models-customize.md)
+ [
# Évaluation d’un modèle de fondation de génération de texte dans Studio
](jumpstart-foundation-models-evaluate.md)
+ [
# Exemples de blocs-notes
](jumpstart-foundation-models-example-notebooks.md)
# Modèles de fondation disponibles
Amazon SageMaker JumpStart propose des modèles de base intégrés state-of-the-art, accessibles au public et propriétaires, à personnaliser et à intégrer à vos flux de travail d'IA générative.
## Modèles de fondation accessibles au public
Amazon SageMaker JumpStart intègre et gère des modèles de base open source issus de sources tierces. Pour commencer à utiliser l'un de ces modèles accessibles au public, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md) ou explorez l'un des [Exemples de blocs-notes](jumpstart-foundation-models-example-notebooks.md) disponibles. Dans un exemple de bloc-notes donné pour un modèle accessible au public, essayez de changer d'ID de modèle pour tester différents modèles au sein d'une même famille de modèles.
Pour plus d'informations sur le modèle IDs et les ressources relatives au déploiement de modèles de JumpStart base accessibles au public avec le SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Par définition, les modèles de fondation sont adaptables à de nombreuses tâches en aval. Les modèles de fondation sont entraînés sur d'énormes quantités de données de domaine générales et le même modèle peut être mis en œuvre ou personnalisé pour plusieurs cas d'utilisation. Lorsque vous choisissez votre modèle de fondation, commencez par définir une tâche spécifique, telle que la génération de texte ou d’images.
### Modèles de prévision de séries temporelles accessibles au public
Les modèles de prévision de séries temporelles sont conçus pour analyser et établir des prédictions sur des données séquentielles au fil du temps. Ces modèles peuvent être appliqués à divers domaines tels que la finance, les prévisions météorologiques ou la prévision de la demande énergétique. Les modèles Chronos sont conçus pour les tâches de prévision de séries temporelles, ce qui permet des prédictions précises basées sur des modèles de données historiques.
| Nom du modèle | ID du modèle | Source du modèle | Réglable |
| --- | --- | --- | --- |
| Chronos T5 Small | autogluon-forecasting-chronos-t5-small | Amazon | Non |
| Chronos T5 Base | autogluon-forecasting-chronos-t5-base | Amazon | Non |
| Chronos T5 Large | autogluon-forecasting-chronos-t5-large | Amazon | Non |
| Chronos-Bolt Small | autogluon-forecasting-chronos-bolt-small | Amazon | Non |
| Chronos-Bolt Base | autogluon-forecasting-chronos-bolt-base | Amazon | Non |
### Modèles de génération de texte accessibles au public
Les modèles de fondation de génération de texte peuvent être utilisés pour diverses tâches en aval, notamment la synthèse de texte, la classification de texte, les réponses aux questions, la génération de contenu long, la rédaction abrégée, l'extraction d'informations, etc.
Pour découvrir les derniers modèles de JumpStart base de génération de texte, utilisez le filtre de **génération de texte** sur la page de description SageMaker JumpStart du produit [Getting Started with Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=ml-task-type%23text-generation&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Vous pouvez également explorer des modèles de base basés sur des tâches directement dans l'interface utilisateur Amazon SageMaker Studio ou dans l'interface utilisateur SageMaker Studio Classic. Seul un sous-ensemble de modèles de génération de texte accessibles au public peut être affiné. JumpStart Pour de plus amples informations, veuillez consulter [Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
### Modèles de génération d’images accessibles au public
JumpStart fournit une grande variété de modèles de base de génération d'images par diffusion stable, notamment des modèles de base de Stability AI ainsi que des modèles préentraînés pour des text-to-image tâches spécifiques provenant deHugging Face. Si vous devez affiner votre modèle de text-to-image base, vous pouvez utiliser la base Stable Diffusion 2.1 de Stability AI. Si vous souhaitez explorer des modèles déjà entraînés à des styles artistiques spécifiques, vous pouvez explorer l'un des nombreux modèles tiers Hugging Face directement depuis l'interface utilisateur Amazon SageMaker Studio ou l'interface utilisateur SageMaker Studio Classic.
Pour découvrir les derniers modèles de JumpStart base en matière de génération d'images, utilisez le filtre **Text to Image** sur la page de description SageMaker JumpStart du produit [Getting Started with Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=ml-task-type%23txt2img&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Pour commencer avec le modèle de text-to-image fondation que vous avez choisi, consultez[JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md).
## Modèles de fondation propriétaires
Amazon SageMaker JumpStart donne accès à des modèles de base propriétaires provenant de fournisseurs tiers tels que [AI21 Labs](https://www.ai21.com/), [Cohere](https://cohere.com/) et [LightOn](https://www.lighton.ai/).
Pour commencer à utiliser l'un de ces modèles propriétaires, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md). Pour utiliser un modèle de fondation propriétaire, vous devez d'abord vous abonner au modèle dans AWS Marketplace. Après avoir souscrit au modèle, localisez le modèle de base dans Studio ou SageMaker Studio Classic. Pour de plus amples informations, veuillez consulter [SageMaker JumpStart modèles préentraînés](studio-jumpstart.md).
Pour découvrir les derniers modèles de base propriétaires adaptés à divers cas d'utilisation, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
# JumpStart utilisation du modèle de base
Choisissez, formez ou déployez des modèles de base via Amazon SageMaker Studio ou Amazon SageMaker Studio Classic, utilisez des modèles de JumpStart base de manière programmatique avec le SageMaker Python SDK ou découvrez des modèles de JumpStart base directement via la SageMaker console d'intelligence artificielle.
**Topics**
+ [
# Utilisation de modèles de fondation dans Studio
](jumpstart-foundation-models-use-studio-updated.md)
+ [
# Utiliser des modèles de base dans Amazon SageMaker Studio Classic
](jumpstart-foundation-models-use-studio.md)
+ [
# Utiliser des modèles de base avec le SageMaker Python SDK
](jumpstart-foundation-models-use-python-sdk.md)
+ [
# Découvrez les modèles de base dans l' SageMaker AI Console
](jumpstart-foundation-models-use-console.md)
# Utilisation de modèles de fondation dans Studio
Amazon SageMaker Studio vous permet d'affiner, de déployer et d'évaluer des modèles de JumpStart base accessibles au public et propriétaires directement via l'interface utilisateur de Studio.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’expérience Studio mise à jour. Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Pour commencer, accédez à la page JumpStart d'accueil d'Amazon SageMaker Studio. Vous pouvez y accéder depuis la page **Accueil** ou depuis le menu du panneau de gauche. Sur la page **JumpStart**d'accueil, vous pouvez explorer les hubs de modèles proposés par des fournisseurs de modèles accessibles au public et propriétaires, et rechercher des modèles.
Dans chaque hub, vous pouvez trier les modèles en fonction du **plus grand nombre de likes**, du **plus grand nombre de téléchargements**, des **mises à jour récentes**, ou les filtrer par tâche. Choisissez un modèle pour consulter sa carte détaillée. Sur la carte détaillée du modèle, vous pouvez choisir **Ajuster**, **Déployer** ou **Évaluer** le modèle, selon l’option disponible. Notez que tous les modèles ne sont pas disponibles pour le peaufinage ou l’évaluation.
Pour plus d'informations sur la prise en main d'Amazon SageMaker Studio, consultez[Amazon SageMaker Studio](studio-updated.md).
**Topics**
+ [
# Peaufinage d’un modèle dans Studio
](jumpstart-foundation-models-use-studio-updated-fine-tune.md)
+ [
# Déploiement d’un modèle dans Studio
](jumpstart-foundation-models-use-studio-updated-deploy.md)
+ [
# Évaluation d’un modèle dans Studio
](jumpstart-foundation-models-use-studio-updated-evaluate.md)
+ [
# Utilisez vos SageMaker JumpStart modèles dans Amazon Bedrock
](jumpstart-foundation-models-use-studio-updated-register-bedrock.md)
# Peaufinage d’un modèle dans Studio
Le peaufinage entraîne un modèle pré-entraîné sur un nouveau jeu de données sans partir de zéro. Ce processus, également connu sous le nom d’apprentissage par transfert, peut produire des modèles précis avec des jeux de données plus petits et moins de temps d’entraînement. Pour affiner les modèles de JumpStart base, accédez à une fiche détaillée du modèle dans l'interface utilisateur de Studio. Pour plus d'informations sur la procédure d'ouverture JumpStart dans Studio, consultez[Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio). Après avoir accédé à la carte détaillée du modèle de votre choix, choisissez **Entraîner** dans le coin supérieur droit. Notez que tous les modèles ne sont pas disponibles pour le peaufinage.
**Important**
Certains modèles de fondation nécessitent l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant le peaufinage. Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
## Paramètres du modèle
Lorsque vous utilisez un modèle de JumpStart base préformé dans Amazon SageMaker Studio, l'**emplacement de l'artefact du modèle (URI Amazon S3)** est renseigné par défaut. Pour modifier l’URI Amazon S3 par défaut, choisissez **Saisir l’emplacement d’un artefact de modèle**. Tous les modèles ne prennent pas en charge la modification de l’emplacement d’un artefact de modèle.
## Paramètres des données
Dans le champ **Données**, indiquez un point d’URI Amazon S3 vers l’emplacement de votre jeu de données d’entraînement. L’URI Amazon S3 par défaut pointe vers un exemple de jeu de données d’entraînement. Pour modifier l’URI Amazon S3 par défaut, choisissez **Entrer le jeu de données d’entraînement** et modifiez l’URI. N'oubliez pas de consulter la fiche détaillée du modèle dans Amazon SageMaker Studio pour obtenir des informations sur le formatage des données d'entraînement.
## Hyperparamètres
Vous pouvez personnaliser les hyperparamètres de la tâche d'entraînement utilisés pour affiner le modèle. Les hyperparamètres disponibles pour chaque modèle réglable varient en fonction du modèle.
Les hyperparamètres suivants sont courants parmi les modèles :
+ **Epochs (Époques)** – Une époque est un cycle dans l'ensemble du jeu de données. Plusieurs intervalles complètent un lot, et plusieurs lots finissent par compléter une époque. Plusieurs époques sont exécutées jusqu'à ce que la précision du modèle atteigne un niveau acceptable ou lorsque le taux d'erreur descend en dessous d'un niveau acceptable.
+ **Learning rate (Taux d'apprentissage)** – Quantité de modifications que doivent subir les valeurs d'une époque à l'autre. Au fur et à mesure que le modèle est affiné, ses pondérations internes sont modifiées et les taux d'erreur sont vérifiés pour voir si le modèle s'améliore. Un taux d'apprentissage typique est de 0,1 ou 0,01, où 0,01 est un ajustement beaucoup plus petit et peut faire en sorte que l'entraînement prenne beaucoup de temps pour converger, alors que 0,1 est beaucoup plus grand et peut faire en sorte que l'entraînement dépasse les limites. Il s'agit de l'un des principaux hyperparamètres que vous pouvez ajuster pour l'entraînement de votre modèle. Notez que pour les modèles de texte, un taux d'apprentissage beaucoup plus faible (5e-5 pour BERT) peut donner lieu à un modèle plus précis.
+ **Taille du lot** : nombre d'enregistrements de l'ensemble de données à sélectionner pour chaque intervalle à envoyer à des GPUs fins d'entraînement.
Consultez les invites d’info-bulles et les informations supplémentaires figurant sur la carte détaillée du modèle dans l’interface utilisateur Studio pour en savoir plus sur les hyperparamètres spécifiques au modèle de votre choix.
Pour plus d’informations sur les hyperparamètres disponibles, consultez [Hyperparamètres de peaufinage couramment pris en charge](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Déploiement
Spécifiez le type d’instance d’entraînement et l’emplacement de l’artefact de sortie pour votre tâche d’entraînement. Dans le cadre d’un peaufinage dans l’interface utilisateur Studio, vous ne pouvez choisir que des instances compatibles avec le modèle de votre choix. L'emplacement de l'artefact de sortie par défaut est le bucket par défaut de l' SageMaker IA. Pour modifier l’emplacement de l’artefact de sortie, choisissez **Entrer l’emplacement de l’artefact de sortie**, puis modifiez l’URI Amazon S3.
## Sécurité
Spécifiez les paramètres de sécurité à utiliser pour votre tâche de formation, notamment le rôle IAM que l' SageMaker IA utilise pour former votre modèle, si votre formation doit se connecter à un cloud privé virtuel (VPC) et les clés de chiffrement pour sécuriser vos données.
## Informations supplémentaires
Vous pouvez modifier le nom de la tâche d’entraînement dans le champ **Informations supplémentaires**. Vous pouvez également ajouter et supprimer des balises sous la forme de paires clé-valeur pour organiser et classer vos tâches d’entraînement de peaufinage.
Après avoir fourni des informations pour votre configuration de peaufinage, choisissez **Soumettre**. Si le modèle de fondation pré-entraîné que vous avez choisi d’optimiser nécessite l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant l’entraînement, celui-ci est fourni dans une fenêtre contextuelle. Pour accepter les termes du CLUF, choisissez **Accepter**. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
# Déploiement d’un modèle dans Studio
Pour déployer des modèles de JumpStart base, accédez à une fiche détaillée du modèle dans l'interface utilisateur de Studio. Pour plus d'informations sur la procédure d'ouverture JumpStart dans Studio, consultez[Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio). Après avoir accédé à la page des détails du modèle de votre choix, choisissez **Déployer** dans le coin supérieur droit de l’interface utilisateur Studio. Suivez ensuite les étapes décrites dans [Déployer des modèles avec SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deploy-models.html#deploy-models-studio).
**Important**
Certains modèles de fondation nécessitent l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant le déploiement. Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
# Évaluation d’un modèle dans Studio
Amazon SageMaker JumpStart propose des intégrations avec les évaluations du modèle de base SageMaker Clarify (FME) dans Studio. Si un JumpStart modèle possède des fonctionnalités d'évaluation intégrées, vous pouvez choisir **Evaluer** dans le coin supérieur droit de la page détaillée du modèle dans l'interface utilisateur de JumpStart Studio. Pour plus d’informations, consultez [Évaluation d’un modèle de fondation](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-evaluate.html).
# Utilisez vos SageMaker JumpStart modèles dans Amazon Bedrock
Vous pouvez enregistrer les modèles que vous avez déployés depuis Amazon SageMaker JumpStart vers Amazon Bedrock. Avec Amazon Bedrock, vous pouvez héberger vos modèles sur plusieurs points de terminaison. Vous pouvez également utiliser les caractéristiques Amazon Bedrock, telles que les agents et les bases de connaissances. Pour plus d’informations sur l’utilisation des modèles Amazon Bedrock, consultez [https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html](https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html).
**Important**
Pour migrer vos modèles vers Amazon Bedrock, nous vous recommandons d'associer une [AmazonBedrockFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html)politique à votre rôle IAM. Si vous ne pouvez pas attacher la politique gérée, assurez-vous que votre rôle IAM dispose des autorisations suivantes :
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:*"
],
"Resource": "*"
},
{
"Sid": "DescribeKey",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": "arn:*:kms:*:::*"
},
{
"Sid": "APIsWithAllResourceAccess",
"Effect": "Allow",
"Action": [
"iam:ListRoles",
"ec2:DescribeVpcs",
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups"
],
"Resource": "*"
},
{
"Sid": "MarketplaceModelEndpointMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:CreateModel",
"sagemaker:CreateInferenceComponent",
"sagemaker:DeleteInferenceComponent",
"sagemaker:DeleteEndpoint",
"sagemaker:UpdateEndpoint"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointTaggingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:DeleteTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
]
},
{
"Sid": "MarketplaceModelEndpointNonMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:DescribeModel",
"sagemaker:DescribeInferenceComponent",
"sagemaker:ListEndpoints",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointInvokingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:InvokeEndpoint",
"sagemaker:InvokeEndpointWithResponseStream"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "DiscoveringMarketplaceModel",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model/*",
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "AllowMarketplaceModelsListing",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
},
{
"Sid": "RetrieveSubscribedMarketplaceLicenses",
"Effect": "Allow",
"Action": [
"license-manager:ListReceivedLicenses"
],
"Resource": [
"*"
]
},
{
"Sid": "PassRoleToSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/*Sagemaker*ForBedrock*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"sagemaker.amazonaws.com",
"bedrock.amazonaws.com"
]
}
}
},
{
"Sid": "PassRoleToBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": "arn:aws:iam::*:role/*AmazonBedrock*",
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"bedrock.amazonaws.com"
]
}
}
}
]
}
```
La stratégie d’accès complet Amazon Bedrock ne fournit des autorisations qu’à l’API Amazon Bedrock. Pour utiliser Amazon Bedrock dans le AWS Management Console, votre rôle IAM doit également disposer des autorisations suivantes :
```
{
"Sid": "AllowConsoleS3AccessForBedrockMarketplace",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": "*"
}
```
Si vous rédigez votre propre politique, vous devez inclure la déclaration de politique autorisant l’action Amazon Bedrock Marketplace pour la ressource. Par exemple, la politique suivante autorise Amazon Bedrock à utiliser l’opération `InvokeModel` pour un modèle que vous avez déployé sur un point de terminaison.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:us-east-1:111122223333:marketplace/model-endpoint/all-access"
]
},
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": ["sagemaker:InvokeEndpoint"],
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/project": "example-project-id",
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
}
]
}
```
Après avoir déployé un modèle, vous pourrez peut-être l’utiliser dans Amazon Bedrock. Pour savoir si vous pouvez l’utiliser dans Amazon Bedrock, accédez à sa carte détaillée dans l’interface utilisateur Studio. Si la carte de modèle indique qu’il s’agit de **Bedrock Ready**, vous pouvez enregistrer le modèle auprès d’Amazon Bedrock.
**Important**
Par défaut, Amazon SageMaker JumpStart désactive l'accès au réseau pour les modèles que vous déployez. Si vous avez activé l’accès au réseau, vous ne pourrez pas utiliser le modèle avec Amazon Bedrock. Si vous souhaitez utiliser le modèle avec Amazon Bedrock, vous devez le redéployer en désactivant l’accès au réseau.
Pour l’utiliser avec Amazon Bedrock, accédez à la page des **détails du point de terminaison** et choisissez **Utiliser avec Bedrock** dans le coin supérieur droit de l’interface utilisateur Studio. Après avoir vu la fenêtre contextuelle, choisissez **Enregistrer auprès de Bedrock**.
# Utiliser des modèles de base dans Amazon SageMaker Studio Classic
Vous pouvez affiner et déployer des modèles de JumpStart base accessibles au public et propriétaires via l'interface utilisateur de Studio Classic.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Pour commencer à utiliser Studio Classic, consultez [Lancez Amazon SageMaker Studio Classic](studio-launch.md).
![\[JumpStart foundation models available in Amazon SageMaker Studio Classic.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-studio.png)
Après avoir ouvert Amazon SageMaker Studio Classic, sélectionnez **Modèles, blocs-notes, solutions** dans la SageMaker JumpStart section du volet de navigation. Faites ensuite défiler la page vers le bas jusqu'à la section **Modèles de fondation : génération de texte** ou **Modèles de fondation : génération d'images**, selon votre cas d'utilisation.
Vous pouvez choisir **Afficher le modèle** sur une carte de modèle de fondation suggérée ou **Explorer tous les modèles** pour voir tous les modèles de fondation disponibles pour la génération de texte ou la génération d'images. Si vous choisissez de voir tous les modèles disponibles, vous pouvez filtrer davantage les modèles disponibles par tâche, type de données, type de contenu ou infrastructure. Vous pouvez également rechercher le nom d'un modèle directement dans la **barre de recherche**. Si vous avez besoin de conseils pour sélectionner un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
**Important**
Certains modèles de fondation nécessitent l'acceptation explicite d'un contrat de licence d'utilisateur final (CLUF). Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
Après avoir choisi **Afficher le modèle** pour le modèle de fondation de votre choix dans Studio Classic, vous pouvez le déployer. Pour de plus amples informations, veuillez consulter [Déploiement d'un modèle](jumpstart-deploy.md).
Vous pouvez également choisir **Ouvrir le bloc-notes** dans la section **Exécuter dans un bloc-notes** pour exécuter un exemple de bloc-notes pour le modèle de fondation directement dans Studio Classic.
**Note**
Pour déployer un modèle de fondation propriétaire dans Studio Classic, vous devez d’abord vous abonner au modèle dans AWS Marketplace. Le AWS Marketplace lien est fourni dans le bloc-notes d'exemple associé dans Studio Classic.
Si le modèle peut être optimisé, vous pouvez également le faire. Pour de plus amples informations, veuillez consulter [Affiner un modèle](jumpstart-fine-tune.md). Pour obtenir la liste des modèles de JumpStart base pouvant être ajustés avec précision, voir. [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md)
# Utiliser des modèles de base avec le SageMaker Python SDK
Tous les modèles de JumpStart base sont disponibles pour un déploiement programmatique à l'aide du SageMaker Python SDK.
Pour déployer des modèles de fondation accessibles au public, vous pouvez utiliser leur ID de modèle. Vous pouvez trouver le modèle de tous IDs les modèles de base accessibles au public dans le [tableau des algorithmes intégrés avec modèles préentraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html). Recherchez le nom d’un modèle de fondation dans la barre **Search**. Utilisez le menu déroulant **Show entries** ou les commandes de pagination pour parcourir les modèles disponibles.
Les modèles propriétaires doivent être déployés à l'aide des informations du package de modèle après s'être abonné au modèle dans AWS Marketplace.
Vous trouverez la liste des modèles JumpStart disponibles dans[Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
**Important**
Certains modèles de fondation nécessitent l'acceptation explicite d'un contrat de licence d'utilisateur final (CLUF). Pour de plus amples informations, veuillez consulter [Acceptation du CLUF avec le SDK SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk).
Les sections suivantes montrent comment optimiser les modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`, comment les déployer à l’aide de la classe `JumpStartModel`, et comment déployer les modèles de fondation propriétaires à l’aide de la classe `ModelPackage`.
**Topics**
+ [
# Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`
](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
+ [
# Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`
](jumpstart-foundation-models-use-python-sdk-model-class.md)
+ [
# Déploiement de modèles de fondation propriétaires avec la classe `ModelPackage`
](jumpstart-foundation-models-use-python-sdk-proprietary.md)
# Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`
**Note**
Pour obtenir des instructions sur le peaufinage des modèles de fondation dans un hub privé organisé, consultez [Peaufinage de modèles dans un hub organisé](jumpstart-curated-hubs-fine-tune.md).
Vous pouvez affiner un algorithme intégré ou un modèle préentraîné en quelques lignes de code à l'aide du SageMaker Python SDK.
1. Commencez par rechercher l’ID de modèle de votre choix dans le [tableau des algorithmes intégrés aux modèles pré-entraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. À l'aide de l'ID du modèle, définissez votre poste de formation en tant qu' JumpStartestimateur.
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "huggingface-textgeneration1-gpt-j-6b"
estimator = JumpStartEstimator(model_id=model_id)
```
1. Exécutez `estimator.fit()` sur votre modèle en pointant vers les données d’entraînement à utiliser pour le peaufinage.
```
estimator.fit(
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
1. Utilisez ensuite la méthode `deploy` pour déployer automatiquement votre modèle à des fins d’inférence. Dans cet exemple, nous utilisons le modèle Hugging Face GPT-J 6B.
```
predictor = estimator.deploy()
```
1. Vous pouvez ensuite exécuter l’inférence avec le modèle déployé, à l’aide de la méthode `predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**Note**
Cet exemple utilise le modèle de fondation GPT-J 6B, qui convient à un large éventail de cas d’utilisation de génération de texte, notamment les réponses à des questions, la reconnaissance d’entités nommées, la synthèse, etc. Pour plus d’informations sur les cas d’utilisation d’un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
Vous pouvez éventuellement spécifier des versions de modèle ou des types d’instances lors de la création de votre `JumpStartEstimator`. Pour plus d'informations sur la `JumpStartEstimator ` classe et ses paramètres, consultez [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
## Vérification de types d’instance par défaut
Vous pouvez éventuellement inclure des versions de modèle ou des types d’instances spécifiques lorsque du peaufinage d’un modèle pré-entraîné à l’aide de la classe `JumpStartEstimator`. Tous les JumpStart modèles ont un type d'instance par défaut. Extrayez le type d’instance d’entraînement par défaut à l’aide du code suivant :
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="training")
print(instance_type)
```
Vous pouvez voir tous les types d'instances pris en charge pour un JumpStart modèle donné avec la `instance_types.retrieve()` méthode.
## Vérification d’hyperparamètres par défaut
Pour vérifier les hyperparamètres par défaut utilisés pour l’entraînement, vous pouvez utiliser la méthode `retrieve_default()` de la classe `hyperparameters`.
```
from sagemaker import hyperparameters
my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)
print(my_hyperparameters)
# Optionally override default hyperparameters for fine-tuning
my_hyperparameters["epoch"] = "3"
my_hyperparameters["per_device_train_batch_size"] = "4"
# Optionally validate hyperparameters for the model
hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)
```
Pour plus d’informations sur les hyperparamètres disponibles, consultez [Hyperparamètres de peaufinage couramment pris en charge](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Vérification de définitions de métriques par défaut
Vous pouvez également vérifier les définitions de métriques par défaut :
```
print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version))
```
# Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`
Vous pouvez déployer un algorithme intégré ou un modèle préentraîné sur un point de terminaison d' SageMaker IA en quelques lignes de code à l'aide du SageMaker Python SDK.
1. Commencez par rechercher l’ID de modèle de votre choix dans le [tableau des algorithmes intégrés aux modèles pré-entraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. À l'aide de l'ID du modèle, définissez votre modèle en tant que JumpStart modèle.
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)
```
1. Utilisez la méthode `deploy` pour déployer automatiquement votre modèle à des fins d’inférence. Dans cet exemple, nous utilisons le modèle Hugging Face FLAN-T5 XL.
```
predictor = my_model.deploy()
```
1. Vous pouvez ensuite exécuter l’inférence avec le modèle déployé, à l’aide de la méthode `predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**Note**
Cet exemple utilise le modèle de fondation FLAN-T5 XL, qui convient à un large éventail de cas d’utilisation de génération de texte, notamment les réponses à des questions, la synthèse, la création de chatbot, etc. Pour plus d’informations sur les cas d’utilisation d’un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
Pour plus d'informations sur la `JumpStartModel ` classe et ses paramètres, consultez [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
## Vérification de types d’instance par défaut
Vous pouvez éventuellement inclure des versions de modèle ou des types d’instances spécifiques lorsque vous déployez un modèle pré-entraîné à l’aide de la classe `JumpStartModel`. Tous les JumpStart modèles ont un type d'instance par défaut. Extrayez le type d’instance de déploiement par défaut à l’aide du code suivant :
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="inference")
print(instance_type)
```
Consultez tous les types d'instances pris en charge pour un JumpStart modèle donné avec la `instance_types.retrieve()` méthode.
## Utilisation de composants d’inférence pour déployer plusieurs modèles vers un point de terminaison partagé
Un composant d'inférence est un objet d'hébergement d' SageMaker IA que vous pouvez utiliser pour déployer un ou plusieurs modèles sur un point de terminaison afin d'accroître la flexibilité et l'évolutivité. Vous devez modifier le point de terminaison `endpoint_type` de votre JumpStart modèle inference-component-based plutôt que le point de terminaison basé sur le modèle par défaut.
```
predictor = my_model.deploy(
endpoint_name = 'jumpstart-model-id-123456789012',
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)
```
Pour plus d'informations sur la création de points de terminaison avec des composants d'inférence et le déploiement de modèles d' SageMaker IA, consultez. [Utilisation partagée des ressources avec plusieurs modèles](realtime-endpoints-deploy-models.md#deployed-shared-utilization)
## Vérification des formats d’inférence d’entrée et de sortie valides
Pour vérifier les formats d’entrée et de sortie de données valides à des fins d’inférence, vous pouvez utiliser la méthode `retrieve_options()` des classes `Serializers` et `Deserializers`.
```
print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))
```
## Vérification du contenu pris en charge et des types d’acceptations
De même, vous pouvez utiliser la méthode `retrieve_options()` pour vérifier le contenu pris en charge et les types d’acceptations pour un modèle.
```
print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))
```
Pour plus d'informations sur les utilitaires, consultez la section [Utilitaire APIs](https://sagemaker.readthedocs.io/en/stable/api/utility/index.html).
# Déploiement de modèles de fondation propriétaires avec la classe `ModelPackage`
Les modèles propriétaires doivent être déployés à l'aide des informations du package de modèle après s'être abonné au modèle dans AWS Marketplace. Pour plus d'informations sur l' SageMaker IA AWS Marketplace, consultez [Buy and Sell Amazon SageMaker AI Algorithms and Models in AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Pour trouver AWS Marketplace des liens vers les derniers modèles propriétaires, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
Après avoir souscrit au modèle de votre choix dans AWS Marketplace, vous pouvez déployer le modèle de base à l'aide du SageMaker Python SDK et du SDK associés au fournisseur de modèles. Par exemple, AI21 Labs, Cohere et LightOn use the `"ai21[SM]"``cohere-sagemaker`, et `lightonsage` packages, respectivement.
Par exemple, pour définir un JumpStart modèle à l'aide de Jurassic-2 Jumbo Instruct from AI21 Labs, utilisez le code suivant :
```
import sagemaker
import ai21
role = get_execution_role()
sagemaker_session = sagemaker.Session()
model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"
my_model = ModelPackage(
role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)
```
Par step-by-step exemple, recherchez et exécutez le bloc-notes associé au modèle de base propriétaire de votre choix dans SageMaker Studio Classic. Pour plus d’informations, consultez [Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md). Pour plus d'informations sur le SageMaker Python SDK, consultez [https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage).
# Découvrez les modèles de base dans l' SageMaker AI Console
Vous pouvez explorer les modèles de JumpStart base directement via la console Amazon SageMaker AI.
1. Ouvrez la console Amazon SageMaker AI à l'adresse [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Recherchez dans **JumpStart**le panneau de navigation de gauche et choisissez **Foundation models**.
1. Parcourez les modèles ou recherchez un modèle spécifique. Si vous avez besoin de conseils pour sélectionner un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md). Choisissez **Afficher le modèle** pour afficher la page détaillée du modèle de fondation de votre choix.
1. S’il s’agit d’un modèle propriétaire, choisissez **S’abonner** dans le coin supérieur droit de la page des détails du modèle pour vous abonner au modèle dans AWS Marketplace. Vous devriez recevoir un e-mail de confirmation de votre abonnement au modèle de votre choix. Pour plus d'informations sur l' SageMaker IA AWS Marketplace, consultez [Buy and Sell Amazon SageMaker AI Algorithms and Models in AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Les modèles de fondation accessibles au public ne nécessitent pas d'abonnement.
1. Pour afficher un exemple de bloc-notes dans GitHub, choisissez **Afficher le code** dans le coin supérieur droit de la page détaillée du modèle.
1. Pour afficher et exécuter un exemple de bloc-notes directement dans Amazon SageMaker Studio Classic, choisissez **Ouvrir un bloc-notes dans Studio** dans le coin supérieur droit de la page détaillée du modèle.
# Modèles de sources et de contrats de licence
Amazon SageMaker JumpStart donne accès à des centaines de modèles de fondations propriétaires et accessibles au public provenant de sources et de partenaires tiers. Vous pouvez explorer la sélection du modèle de JumpStart base directement dans la console SageMaker AI, Studio ou Studio Classic.
## Licences et sources de modèle
Amazon SageMaker JumpStart fournit un accès à la fois à des modèles de fondation accessibles au public et à des modèles propriétaires. Les modèles de fondation sont intégrés et gérés par des fournisseurs tiers open source et propriétaires. En tant que tels, ils sont publiés sous différentes licences désignées par la source du modèle. Assurez-vous de consulter la licence de tous les modèles de fondation que vous utilisez. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser le contenu. Voici quelques exemples de licences de modèles de fondation courants :
+ Alexa Teacher Model
+ Apache 2.0
+ BigScience Licence Responsible AI v1.0
+ Licence CreativeML Open RAIL\$1\$1-M
De même, pour les modèles de fondation propriétaires, assurez-vous de consulter et de respecter les conditions d'utilisation et les directives d'utilisation du fournisseur de modèle. Si vous avez des questions concernant les informations de licence pour un modèle propriétaire spécifique, contactez directement le fournisseur de modèle. Vous trouverez les coordonnées du fournisseur de modèle dans l'onglet **Support** sur la page de chaque modèle dans AWS Marketplace.
## Contrats de licence de l'utilisateur final
Certains modèles de JumpStart base nécessitent l'acceptation explicite d'un contrat de licence utilisateur final (EULA) avant utilisation.
### Acceptation du CLUF dans Amazon Studio SageMaker
Vous pouvez être invité à accepter un contrat de licence d'utilisateur final avant de peaufiner, de déployer ou d'évaluer un modèle de JumpStart base dans Studio. Pour commencer à utiliser les modèles de JumpStart base dans Studio, voir[Utilisation de modèles de fondation dans Studio](jumpstart-foundation-models-use-studio-updated.md).
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’expérience Studio mise à jour. Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Certains modèles de JumpStart base nécessitent l'acceptation d'un contrat de licence utilisateur final avant le déploiement. Si cela s’applique au modèle de fondation que vous choisissez d’utiliser, Studio affiche une fenêtre d’invite contenant le contenu du CLUF. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
#### Acceptation du CLUF dans Amazon SageMaker Studio Classic
Vous pouvez être invité à accepter un contrat de licence utilisateur final avant de déployer un modèle de JumpStart base ou d'ouvrir un bloc-notes de modèle de JumpStart base dans Studio Classic. Pour commencer à utiliser les modèles de JumpStart base dans Studio Classic, consultez[Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Certains modèles de JumpStart base nécessitent l'acceptation d'un contrat de licence utilisateur final avant le déploiement. Si cela s’applique au modèle de fondation que vous choisissez d’utiliser, Studio affiche la fenêtre d’invite **Examiner le contrat de licence d’utilisateur final (CLUF) et la politique d’utilisation acceptable (AUP) ci-dessous** une fois que vous avez choisi **Déployer** ou **Ouvrir le bloc-notes**. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
### Acceptation du CLUF avec le SDK SageMaker Python
Les sections suivantes expliquent comment déclarer explicitement l'acceptation du CLUF lors du déploiement ou de la mise au point d'un JumpStart modèle avec le SageMaker Python SDK. Pour plus d'informations sur la prise en main des modèles de JumpStart base à l'aide du SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Avant de commencer, assurez-vous d’effectuer les actions suivantes :
+ Effectuez une mise à niveau vers la dernière version du modèle que vous utilisez.
+ Installez la dernière version du SageMaker Python SDK.
**Important**
Pour utiliser le flux de travail suivant, vous devez avoir installé la [version 2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) ou ultérieure du SDK. SageMaker Python
#### Acceptation du CLUF lors du déploiement d'un modèle JumpStart
Pour les modèles qui nécessitent l'acceptation d'un contrat de licence utilisateur final, vous devez déclarer explicitement l'acceptation du CLUF lors du déploiement de votre JumpStart modèle.
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "meta-textgeneration-llama-2-13b"
my_model = JumpStartModel(model_id=model_id)
# Declare EULA acceptance when deploying your JumpStart model
predictor = my_model.deploy(accept_eula=True)
```
La valeur de `accept_eula` est définie sur `None` par défaut et doit être explicitement redéfinie sur `True` afin d'accepter le contrat de licence d'utilisateur final. Pour de plus amples informations, veuillez consulter [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
#### Acceptation du CLUF lors de la mise au point d'un modèle JumpStart
Pour affiner les modèles qui nécessitent l'acceptation d'un contrat de licence utilisateur final, vous devez explicitement déclarer l'acceptation du CLUF lorsque vous exécutez la `fit()` méthode pour votre estimateur. JumpStart Après le peaufinage d’un modèle pré-entraîné, les poids du modèle d’origine sont modifiés. Par conséquent, lorsque vous déployez le modèle peaufiné ultérieurement, il n’est pas nécessaire d’accepter un CLUF.
**Note**
L’exemple suivant indique `accept_eula=False`. Vous devez modifier manuellement la valeur sur `True` afin d’accepter le CLUF.
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "meta-textgeneration-llama-2-13b"
# Declare EULA acceptance when defining your JumpStart estimator
estimator = JumpStartEstimator(model_id=model_id)
estimator.fit(accept_eula=False,
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
La valeur `accept_eula` est définie sur `None` par défaut et doit être explicitement redéfinie sur `"true"` dans la méthode `fit()` afin d’accepter le contrat de licence d’utilisateur final. Pour de plus amples informations, veuillez consulter [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
#### Versions du SageMaker Python SDK d'acceptation du CLUF antérieures à 2.198.0
**Important**
Lorsque vous utilisez des versions antérieures à [2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) du SageMaker Python SDK, vous devez utiliser la SageMaker `Predictor` classe pour accepter un EULA de modèle.
Après avoir déployé un modèle de JumpStart base par programmation à l'aide du SageMaker Python SDK, vous pouvez exécuter une inférence sur votre point de terminaison déployé avec la classe. SageMaker `[Predictor](https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html)` Pour les modèles qui nécessitent l’acceptation d’un contrat de licence d’utilisateur final, vous devez déclarer explicitement l’acceptation du CLUF lors de l’appel de la classe `Predictor` :
```
predictor.predict(payload, custom_attributes="accept_eula=true")
```
La valeur de `accept_eula` est définie sur `false` par défaut et doit être explicitement redéfinie sur `true` afin d'accepter le contrat de licence d'utilisateur final. Le prédicteur renvoie une erreur si vous essayez d’exécuter une inférence alors que `accept_eula` est défini sur `false`. Pour plus d'informations sur la prise en main des modèles de JumpStart base à l'aide du SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
**Important**
Le paramètre `custom_attributes` accepte les paires clé-valeur au format `"key1=value1;key2=value2"`. Si vous utilisez la même clé plusieurs fois, le serveur d'inférence utilise la dernière valeur associée à la clé. Par exemple, si vous transmettez `"accept_eula=false;accept_eula=true"` au paramètre `custom_attributes`, le serveur d'inférence associe la valeur `true` à la clé `accept_eula`.
# Personnalisation d’un modèle de fondation
Les modèles de fondation sont des modèles extrêmement puissants, capables de résoudre un large éventail de tâches. Pour résoudre efficacement la plupart des tâches, ces modèles nécessitent une certaine forme de personnalisation.
La méthode recommandée pour personnaliser un modèle de fondation en fonction d'un cas d'utilisation spécifique consiste à utiliser l'ingénierie rapide. En fournissant à votre modèle de fondation des instructions bien conçues et riches en contexte, vous pourrez obtenir les résultats souhaités sans avoir à optimiser ou à modifier les poids de modèle. Pour de plus amples informations, veuillez consulter [Ingénierie rapide pour les modèles de fondation](jumpstart-foundation-models-customize-prompt-engineering.md).
Si l'ingénierie rapide ne suffit pas à elle seule pour personnaliser votre modèle de fondation en fonction d'une tâche spécifique, vous pouvez optimiser un modèle de fondation sur des données supplémentaires propres au domaine. Pour de plus amples informations, veuillez consulter [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md). Le processus d'optimisation implique de modifier les poids de modèle.
Si vous souhaitez personnaliser votre modèle à l'aide des informations d'une bibliothèque de connaissances sans aucun recyclage, consultez [Génération à enrichissement contextuel (RAG)](jumpstart-foundation-models-customize-rag.md).
# Ingénierie rapide pour les modèles de fondation
L'ingénierie rapide est le processus qui consiste à concevoir et à affiner les instructions ou les stimuli d'entrée d'un modèle de langage afin de générer des types de sorties spécifiques. L'ingénierie rapide implique de sélectionner des mots-clés appropriés, de fournir du contexte et de façonner les entrées de manière à encourager le modèle à produire la réponse souhaitée. Il s'agit d'une technique essentielle pour façonner activement le comportement et le résultat des modèles de fondation.
Une ingénierie rapide et efficace est essentielle pour orienter le comportement du modèle et obtenir les réponses souhaitées. Grâce à l'ingénierie rapide, vous pouvez contrôler le ton, le style et l'expertise du domaine d'un modèle sans avoir à recourir à des mesures de personnalisation supplémentaires, telles que l'optimisation. Nous vous recommandons de consacrer du temps à l'ingénierie rapide avant d'envisager d'optimiser un modèle sur la base de données supplémentaires. L'objectif est de fournir suffisamment de contexte et de conseils au modèle afin qu'il puisse généraliser et fonctionner correctement sur des scénarios de données inconnus ou limités.
## Apprentissage en zéro coup
L'apprentissage en zéro coup consiste à entraîner un modèle pour généraliser et faire des prédictions sur des classes ou des tâches inconnues. Pour effectuer une ingénierie rapide dans des environnements d'apprentissage en zéro coup, nous vous recommandons de construire des invites qui fournissent explicitement des informations sur la tâche cible et le format de sortie souhaité. Par exemple, si vous souhaitez utiliser un modèle de fondation pour la classification de texte en zéro coup sur un ensemble de classes que le modèle n'a pas vues pendant l'entraînement, une invite bien conçue ressemblerait à : `"Classify the following text as either sports, politics, or entertainment: [input text]."` En spécifiant explicitement les classes cibles et le format de sortie attendu, vous pouvez guider le modèle pour qu'il fasse des prédictions précises, même sur des classes inconnues.
## Apprentissage en quelques coups
L'apprentissage en quelques coups consiste à entraîner un modèle avec une quantité limitée de données pour de nouvelles classes ou tâches. L'ingénierie rapide dans les environnements d'apprentissage en quelques coups se concentre sur la conception d'instructions qui utilisent efficacement la quantité limitée de données d'entraînement disponibles. Par exemple, si vous utilisez un modèle de fondation pour une tâche de classification d'image et que vous ne disposez que de quelques exemples d'une nouvelle classe d'images, vous pouvez créer une invite qui inclut les exemples étiquetés disponibles avec un espace réservé pour la classe cible. L'invite ressemblerait à : `"[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]"`. En incorporant les quelques exemples étiquetés et en spécifiant explicitement la classe cible, vous pouvez guider le modèle pour qu'il généralise et fasse des prédictions précises, même avec une quantité minimale de données d'entraînement.
## Paramètres d’inférence pris en charge
La modification des paramètres d’inférence peut également affecter les réponses à vos invites. Vous pouvez essayer d’ajouter autant de spécificités et de contexte que possible à vos invites, mais vous pouvez également effectuer des essais avec les paramètres d’inférence pris en charge. Voici des exemples de paramètres d’inférence couramment pris en charge :
| Paramètres d’inférence | Description |
| --- | --- |
| `max_new_tokens` | Longueur de sortie maximale d’une réponse du modèle de fondation. Valeurs valides : nombre entier, plage : nombre entier positif. |
| `temperature` | Contrôle le caractère aléatoire de la sortie. Une température plus élevée entraîne une séquence de sortie avec des mots à faible probabilité et une température plus basse entraîne une séquence de sortie avec des mots à forte probabilité. Si la valeur est `temperature=0`, la réponse est composée uniquement des mots ayant la plus forte probabilité (décodage gourmand). Valeurs valides : valeur à virgule flottante, plage : valeur à virgule flottante positive. |
| `top_p` | À chaque étape de génération de texte, le modèle échantillonne à partir du plus petit ensemble de mots possible avec une probabilité cumulée correspondant à `top_p`. Valeurs valides : float, plage : 0.0, 1.0. |
| `return_full_text` | Si la valeur est `True`, alors le texte d’entrée fait partie du texte de sortie généré. Valeurs valides : booléenne, par défaut : False. |
Pour plus d’informations sur les inférences de modèles de fondation, consultez [Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`](jumpstart-foundation-models-use-python-sdk-model-class.md).
Si l'ingénierie rapide ne suffit pas à adapter votre modèle de fondation à des besoins professionnels spécifiques, à un langage spécifique à un domaine, à des tâches cibles ou à d'autres exigences, vous pouvez envisager d'optimiser votre modèle en fonction de données supplémentaires ou d'utiliser la génération augmentée de récupération (RAG) pour enrichir l'architecture de votre modèle avec un contexte amélioré issu de sources de connaissances archivées. Pour plus d’informations, consultez [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md) ou [Génération à enrichissement contextuel (RAG)](jumpstart-foundation-models-customize-rag.md).
# Modèles de fondation et hyperparamètres pour le peaufinage
Les modèles de fondation sont coûteux en ressources informatiques et sont entraînés sur un vaste corps non étiqueté. L'optimisation d'un modèle de fondation pré-entraîné est un moyen abordable de tirer parti de ses nombreuses fonctionnalités tout en personnalisant un modèle sur votre propre petit corps. L'optimisation est une méthode de personnalisation qui implique un entraînement supplémentaire et qui modifie le poids de votre modèle.
L'optimisation peut vous être utile si vous avez besoin :
+ de personnaliser votre modèle en fonction des besoins spécifiques de votre entreprise
+ que votre modèle fonctionne correctement avec un langage spécifique à un domaine, tel que le jargon de l'industrie, les termes techniques ou tout autre vocabulaire spécialisé
+ de performances améliorées pour certaines tâches
+ de réponses précises, relatives et contextuelles dans les applications
+ de réponses plus factuelles, moins toxiques et mieux adaptées à certaines exigences
Il existe deux approches principales que vous pouvez adopter pour l'optimisation en fonction de votre cas d'utilisation et du modèle de fondation choisi.
1. Si vous souhaitez optimiser votre modèle sur des données spécifiques à un domaine, consultez [Peaufinage d’un grand modèle de langage (LLM) avec l’adaptation de domaine](jumpstart-foundation-models-fine-tuning-domain-adaptation.md).
1. Si vous souhaitez effectuer une optimisation basée sur des instructions à l'aide d'exemples d'invite et de réponse, consultez [Peaufinage d’un grand modèle de langage (LLM) à l’aide d’instructions d’invite](jumpstart-foundation-models-fine-tuning-instruction-based.md).
## Modèles de fondation disponibles pour le peaufinage
Vous pouvez affiner l'un des modèles de JumpStart base suivants :
+ Bloom 3B
+ Bloom 7B1
+ BloomZ 3B FP16
+ Bloom Z 7B1 FP16
+ Code Llama 13B
+ Code Llama 13B Python
+ Code Llama 34B
+ Code Llama 34B Python
+ Code Llama 70B
+ Code Llama 70B Python
+ Code Llama 7B
+ Code Llama 7B Python
+ CyberAgentLM2-7B-Chat (-7B-Chat) CALM2
+ Falcon40 B BF16
+ Falcon40B Instruct BF16
+ Falcon7 B BF16
+ Falcon7B Instruct BF16
+ Flan-T5 Base
+ Flan-T5 Large
+ Flan-T5 Small
+ Flan-T5 XL
+ Flan-T5 XXL
+ Gemma 2B
+ Gemma 2B Instruct
+ Gemma 7B
+ Gemma 7B Instruct
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ LightGPT Instruct 6B
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
+ Mistral 7B
+ Mixtral 8x7B
+ Mixtral 8x7B Instruct
+ RedPajama Base INCITE 3B V1
+ RedPajama Base INCITE 7B V1
+ RedPajama INCITE Chat 3B V1
+ RedPajama INCITE Chat 7B V1
+ RedPajama INCITE Instruct 3B V1
+ RedPajama INCITE Instruct 7B V1
+ Stable Diffusion 2.1
## Hyperparamètres de peaufinage couramment pris en charge
Différents modèles de fondation prennent en charge différents hyperparamètres lors d’un peaufinage. Les hyperparamètres suivants sont couramment pris en charge et permettent de personnaliser davantage votre modèle pendant l’entraînement :
| Paramètres d’inférence | Description |
| --- | --- |
| `epoch` | Nombre de passages effectués par le modèle dans le jeu de données de peaufinage pendant l’entraînement. Doit être un entier supérieur à 1. |
| `learning_rate` | Taux auquel les poids du modèle sont mis à jour après que chaque lot d’exemples d’entraînement de peaufinage a été parcouru. Doit être une valeur flottante positive supérieure à 0. |
| `instruction_tuned` | S’il faut entraîner le modèle sur instruction ou non. Doit être `'True'` ou `'False'`. |
| `per_device_train_batch_size` | Taille du lot par cœur de GPU ou CPU pour l’entraînement. Doit être un nombre entier positif. |
| `per_device_eval_batch_size` | Taille du lot par cœur de GPU ou CPU pour l’évaluation. Doit être un nombre entier positif. |
| `max_train_samples` | À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples d’entraînement à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples d’entraînement. Doit être un nombre entier positif ou -1. |
| `max_val_samples` | À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples de validation à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples de validation. Doit être un nombre entier positif ou -1. |
| `max_input_length` | Longueur totale maximale de la séquence d’entrée après création de jeton. Les séquences plus longues seront tronquées. Si -1, le paramètre `max_input_length` est défini sur le minimum de 1 024 et `model_max_length` est défini par le créateur de jetons. Si le paramètre est défini sur une valeur positive, `max_input_length` est défini sur le minimum de la valeur fournie et `model_max_length` est défini par le créateur de jetons. Doit être un nombre entier positif ou -1. |
| `validation_split_ratio` | S’il n’existe aucun canal de validation, le ratio entraînement-validation est calculé à partir des données d’entraînement. Doit être compris entre 0 et 1. |
| `train_data_split_seed` | Si les données de validation sont absentes, ceci corrige la répartition aléatoire des données d’entraînement d’entrée en données d’entraînement et de validation utilisées par le modèle. Doit être un nombre entier. |
| `preprocessing_num_workers` | Nombre de processus à utiliser pour le prétraitement. Si la valeur est `None`, le processus principal est utilisé pour le prétraitement. |
| `lora_r` | Valeur r d’adaptation de rang inférieur (LoRA) qui sert de facteur de mise à l’échelle pour les mises à jour de poids. Doit être un nombre entier positif. |
| `lora_alpha` | Valeur alpha d’adaptation de rang inférieur (LoRA) qui sert de facteur de mise à l’échelle pour les mises à jour de poids. Généralement 2 à 4 fois la taille de `lora_r`. Doit être un nombre entier positif. |
| `lora_dropout` | La valeur d’abandon pour les couches d’adaptation de rang inférieur (LoRA) doit être une valeur flottante positive comprise entre 0 et 1. |
| `int8_quantization` | Si la valeur est `True`, le modèle est chargé avec une précision de 8 bits pour l’entraînement. |
| `enable_fsdp` | Si la valeur est `True`, l’entraînement utilise le parallélisme entièrement partitionné des données. |
Vous pouvez spécifier les valeurs des hyperparamètres lorsque vous optimisez votre modèle dans Studio. Pour de plus amples informations, veuillez consulter [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md).
Vous pouvez également remplacer les valeurs par défaut des hyperparamètres lorsque vous peaufinez votre modèle à l'aide du SDK. SageMaker Python Pour de plus amples informations, veuillez consulter [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md).
# Peaufinage d’un grand modèle de langage (LLM) avec l’adaptation de domaine
L'optimisation adaptée à un domaine vous permet de tirer parti de modèles de fondation pré-entraînés et de les adapter à des tâches spécifiques en utilisant une quantité limitée de données spécifiques au domaine. Si l'ingénierie rapide ne permet pas une personnalisation suffisante, vous pouvez utiliser l'optimisation adaptée à un domaine pour que votre modèle fonctionne avec un langage spécifique au domaine, tel que le jargon de l'industrie, les termes techniques ou d'autres données spécialisées. Ce processus d'optimisation modifie les poids du modèle.
Pour optimiser votre modèle sur un jeu de données spécifique à un domaine :
1. Préparez vos données d’entraînement. Pour obtenir des instructions, consultez [Préparation et téléchargement des données d’entraînement pour le peaufinage adaptatif à un domaine](#jumpstart-foundation-models-fine-tuning-domain-adaptation-prepare-data).
1. Créez votre tâche d’entraînement de peaufinage. Pour obtenir des instructions, veuillez consulter [Création d’une tâche d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-domain-adaptation-train).
Vous trouverez des end-to-end exemples dans[Exemples de blocs-notes](#jumpstart-foundation-models-fine-tuning-domain-adaptation-examples).
L'optimisation adaptée au domaine est disponible avec les modèles de fondation suivants :
**Note**
Certains modèles de JumpStart base, tels que Llama 2 7B, nécessitent l'acceptation d'un contrat de licence d'utilisateur final avant de peaufiner et d'effectuer des inférences. Pour de plus amples informations, veuillez consulter [Contrats de licence de l'utilisateur final](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Bloom 3B
+ Bloom 7B1
+ BloomZ 3B FP16
+ Bloom Z 7B1 FP16
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
## Préparation et téléchargement des données d’entraînement pour le peaufinage adaptatif à un domaine
Les données d’entraînement pour le peaufinage adaptatif à un domaine peuvent être fournies au format de fichier CSV, JSON ou TXT. Toutes les données d’entraînement doivent se trouver dans un seul fichier dans un seul dossier.
Les données d’entraînement sont extraites de la colonne **Texte** des fichiers de données d’entraînement CSV ou JSON. S’il n’existe aucune colonne nommée **Texte**, les données de la première colonne du fichier de données d’entraînement CSV ou JSON sont utilisées.
Voici un exemple de corps de fichier TXT à utiliser pour le peaufinage :
```
This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....
```
### Fractionnement des données pour l’entraînement et les tests
Vous pouvez éventuellement fournir un autre dossier contenant les données de validation. Ce dossier doit également inclure un fichier CSV, JSON ou TXT. Si aucun jeu de données de validation n’est fourni, une quantité définie de données d’entraînement est mise de côté à des fins de validation. Vous pouvez ajuster le pourcentage de données d’entraînement utilisé pour la validation lorsque vous choisissez les hyperparamètres pour le peaufinage de votre modèle.
### Chargement de données de peaufinage sur Amazon S3
Chargez les données que vous avez préparées sur Amazon Simple Storage Service (Amazon S3) afin de les utiliser lors de la mise au point d'un modèle de base. JumpStart Vous pouvez utiliser les commandes suivantes pour charger vos données :
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Création d’une tâche d’entraînement pour le peaufinage sur instructions
Une fois vos données chargées sur Amazon S3, vous pouvez affiner et déployer votre modèle de JumpStart base. Pour optimiser votre modèle dans Studio, consultez [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md). Pour affiner votre modèle à l'aide du SageMaker Python SDK, consultez. [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Exemples de blocs-notes
Pour plus d’informations sur le peaufinage adaptatif à un domaine, consultez les exemples de blocs-notes suivants :
+ [SageMaker JumpStart Modèles de base - Ajustement du modèle GPT-J 6B de génération de texte sur un ensemble de données spécifique au domaine](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [Réglez avec précision les modèles LLa MA 2 sur JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
# Peaufinage d’un grand modèle de langage (LLM) à l’aide d’instructions d’invite
L'optimisation basée sur les instructions utilise des exemples étiquetés pour améliorer les performances d'un modèle de fondation pré-entraîné sur une tâche spécifique. Les exemples étiquetés sont au format d'invites, de paires de réponses et sont formulés sous forme d'instructions. Ce processus d'optimisation modifie les poids du modèle. Pour plus d'informations sur l'optimisation basée sur les instructions, consultez [Introduction à FLAN : Modèles de langage plus généralisables avec optimisation des instructions](https://ai.googleblog.com/2021/10/introducing-flan-more-generalizable.html) (langue française non garantie) et [Mise à l'échelle des modèles de langage optimisés par les instructions](https://arxiv.org/abs/2210.11416) (langue française non garantie).
Les modèles de LAnguage réseau affiné (FLAN) utilisent le réglage des instructions pour rendre les modèles plus aptes à résoudre les tâches générales de PNL en aval. Amazon SageMaker JumpStart propose un certain nombre de modèles de base dans la famille de modèles FLAN. Par exemple, les modèles FLAN-T5 sont optimisés en fonction d'instructions sur un large éventail de tâches afin d'améliorer les performances zéro coup dans de nombreux cas d'utilisation courants. Grâce aux données supplémentaires et à l'optimisation, les modèles basés sur les instructions peuvent être davantage adaptés à des tâches plus spécifiques qui n'ont pas été prises en compte lors du pré-entraînement.
Pour optimiser un LLM sur une tâche spécifique à l’aide d’instructions de tâche et de paires invite-réponse :
1. Préparez vos instructions dans des fichiers JSON. Pour plus d’informations sur le format requis pour les fichiers de paires invite-réponse et sur la structure du dossier de données, consultez [Préparation et chargement des données d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-instruction-based-prepare-data).
1. Créez votre tâche d’entraînement de peaufinage. Pour obtenir des instructions, veuillez consulter [Création d’une tâche d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-instruction-based-train).
Vous trouverez des end-to-end exemples dans[Exemples de blocs-notes](#jumpstart-foundation-models-fine-tuning-instruction-based-examples).
Seul un sous-ensemble de modèles de JumpStart base est compatible avec le réglage précis basé sur des instructions. L'optimisation basée sur les instructions est disponible avec les modèles de fondation suivants :
**Note**
Certains modèles de JumpStart base, tels que Llama 2 7B, nécessitent l'acceptation d'un contrat de licence d'utilisateur final avant de peaufiner et d'effectuer des inférences. Pour de plus amples informations, veuillez consulter [Contrats de licence de l'utilisateur final](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Flan-T5 Base
+ Flan-T5 Large
+ Flan-T5 Small
+ Flan-T5 XL
+ Flan-T5 XXL
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
+ Mistral 7B
+ RedPajama Base INCITE 3B V1
+ RedPajama Base INCITE 7B V1
+ RedPajama INCITE Chat 3B V1
+ RedPajama INCITE Chat 7B V1
+ RedPajama INCITE Instruct 3B V1
+ RedPajama INCITE Instruct 7B V1
## Préparation et chargement des données d’entraînement pour le peaufinage sur instructions
Les données d’entraînement pour le peaufinage sur instructions doivent être fournies au format de fichier texte JSON Lines, où chaque ligne est un dictionnaire. Toutes les données d’entraînement doivent se trouver dans un seul dossier. Le dossier peut inclure plusieurs fichiers .jsonl.
Le dossier d’entraînement peut également inclure un modèle de fichier JSON (`template.json`) qui décrit les formats d’entrée et de sortie de vos données. Si aucun fichier modèle n’est fourni, le fichier modèle suivant est utilisé :
```
{
"prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{context}",
"completion": "{response}"
}
```
Selon le fichier `template.json`, chaque entrée .jsonl des données d’entraînement doit inclure les champs `{instruction}`, `{context}` et `{response}`.
Si vous fournissez un fichier JSON de modèle personnalisé, utilisez les clés `"prompt"` et `"completion"` pour définir vos propres champs obligatoires. Selon le fichier JSON de modèle personnalisé, chaque entrée .jsonl des données d’entraînement doit inclure les champs `{question}`, `{context}`, et `{answer}` :
```
{
"prompt": "question: {question} context: {context}",
"completion": "{answer}"
}
```
### Fractionnement des données pour l’entraînement et les tests
Vous pouvez éventuellement fournir un autre dossier contenant les données de validation. Ce dossier doit également inclure un ou plusieurs fichiers .jsonl. Si aucun jeu de données de validation n’est fourni, une quantité définie de données d’entraînement est mise de côté à des fins de validation. Vous pouvez ajuster le pourcentage de données d’entraînement utilisé pour la validation lorsque vous choisissez les hyperparamètres pour le peaufinage de votre modèle.
### Chargement de données de peaufinage sur Amazon S3
Chargez les données que vous avez préparées sur Amazon Simple Storage Service (Amazon S3) afin de les utiliser lors de la mise au point d'un modèle de base. JumpStart Vous pouvez utiliser les commandes suivantes pour charger vos données :
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.jsonl"
train_data_location = f"s3://{output_bucket}/dolly_dataset"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Création d’une tâche d’entraînement pour le peaufinage sur instructions
Une fois vos données chargées sur Amazon S3, vous pouvez affiner et déployer votre modèle de JumpStart base. Pour optimiser votre modèle dans Studio, consultez [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md). Pour affiner votre modèle à l'aide du SageMaker Python SDK, consultez. [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Exemples de blocs-notes
Pour plus d’informations sur le peaufinage sur instructions, consultez les exemples de blocs-notes suivants :
+ [Réglez avec précision les modèles LLa MA 2 sur JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Falçon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
+ [SageMaker JumpStart Modèles de base - Réglage précis des HuggingFace instructions Text2Text](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
# Génération à enrichissement contextuel (RAG)
Les modèles de fondation sont généralement entraînés hors connexion, ce qui les rend indépendants des données créées après l'entraînement du modèle. De plus, les modèles de fondation sont entraînés sur des corps de domaines très généraux, ce qui les rend moins efficaces pour les tâches spécifiques à un domaine. Vous pouvez utiliser la génération augmentée de récupération (RAG) pour récupérer des données en dehors d'un modèle de fondation et augmenter vos invites en ajoutant les données récupérées pertinentes dans leur contexte. Pour plus d'informations sur les architectures de modèles RAG, consultez [Génération augmentée de récupération pour les tâches NLP nécessitant beaucoup de connaissances](https://arxiv.org/abs/2005.11401) (langue française non garantie).
Avec RAG, les données externes utilisées pour compléter vos instructions peuvent provenir de plusieurs sources de données, telles que des référentiels de documents, des bases de données ou. APIs La première étape consiste à convertir vos documents et toutes les requêtes utilisateurs dans un format compatible pour effectuer une recherche pertinente. Pour rendre les formats compatibles, une collection de documents, ou bibliothèque de connaissances, et les requêtes soumises par les utilisateurs sont converties en représentations numériques à l'aide de modèles de langue d'incorporation. L'*incorporation* est le processus par lequel le texte est représenté numériquement dans un espace vectoriel. Les architectures de modèles RAG comparent les incorporations des requêtes utilisateurs dans le vecteur de la bibliothèque de connaissances. L'invite utilisateur d'origine est ensuite ajoutée avec le contexte pertinent provenant de documents similaires de la bibliothèque de connaissances. Cette invite augmentée est ensuite envoyée au modèle de fondation. Vous pouvez mettre à jour les bibliothèques de connaissances et leurs incorporations pertinentes de manière asynchrone.
![\[A model architecture diagram of Retrieval Augmented Generation (RAG).\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-rag.jpg)
Le document extrait doit être suffisamment grand pour contenir un contexte utile permettant d’augmenter l’invite, mais suffisamment petit pour être adapté à la longueur de séquence maximale de l’invite. Vous pouvez utiliser des JumpStart modèles spécifiques aux tâches, tels que le modèle General Text Embeddings (GTE) deHugging Face, pour fournir les intégrations de vos instructions et des documents de la bibliothèque de connaissances. Après avoir comparé l’invite et les vectorisations pour trouver les documents les plus pertinents, construisez une nouvelle invite avec le contexte supplémentaire. Transmettez ensuite l’invite augmentée à un modèle de génération de texte de votre choix.
## Exemples de blocs-notes
Pour plus d’informations sur les solutions de modèles de fondation RAG, consultez les exemples de blocs-notes suivants :
+ [Génération augmentée par extraction : réponse aux questions à l'aide de modèles de génération LangChain et d'intégration de Cohere à partir de SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de LLama -2, Pinecone et d'un ensemble de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions basée sur un ensemble de données personnalisé avec une bibliothèque open source LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Génération augmentée de récupération : réponse aux questions en fonction d'un jeu de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html) (langue française non garantie)
+ [Retrieval-Augmented Generation: Question Answering using Llama-2 and Text Embedding Models](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Intégration de texte et similarité de phrases](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)
Vous pouvez cloner le [référentiel d'exemples Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) pour exécuter les exemples de modèles de JumpStart base disponibles dans l'environnement Jupyter de votre choix dans Studio. Pour plus d'informations sur les applications que vous pouvez utiliser pour créer et accéder à Jupyter dans SageMaker AI, consultez. [Applications prises en charge dans Amazon SageMaker Studio](studio-updated-apps.md)
# Évaluation d’un modèle de fondation de génération de texte dans Studio
**Note**
Foundation Model Evaluations (FMEval) est en version préliminaire pour Amazon SageMaker Clarify et est susceptible d'être modifiée.
**Important**
Pour utiliser les évaluations du modèle SageMaker Clarify Foundation, vous devez passer à la nouvelle expérience Studio. Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La caractéristique d’évaluation des modèles de fondation ne peut être utilisée que dans l’expérience mise à jour. Pour en savoir plus sur la façon de mettre à jour Studio, consultez [Migration depuis Amazon SageMaker Studio Classic](studio-updated-migrate.md). Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Amazon SageMaker JumpStart propose des intégrations avec SageMaker Clarify Foundation Model Evaluations (FMEval) dans Studio. Si un JumpStart modèle possède des fonctionnalités d'évaluation intégrées, vous pouvez choisir **Evaluer** dans le coin supérieur droit de la page détaillée du modèle dans l'interface utilisateur de JumpStart Studio. Pour plus d'informations sur la navigation dans l'interface utilisateur de JumpStart Studio, voir [Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio)
Utilisez Amazon SageMaker JumpStart pour évaluer des modèles de base basés sur du texte avec. FMEval Vous pouvez utiliser ces évaluations de modèles pour comparer les indicateurs de qualité et de responsabilité d'un modèle, entre deux modèles ou entre différentes versions du même modèle, afin de vous aider à quantifier les risques du modèle. FMEval peut évaluer des modèles basés sur du texte qui exécutent les tâches suivantes :
+ **Génération ouverte** : production de réponses humaines naturelles à un texte qui n’a pas de structure prédéfinie.
+ **Synthétisation de texte** : génération d’un récapitulatif concis et condensé tout en conservant le sens et les informations clés contenus dans un texte plus long.
+ **Réponse à une question** : génération d’une réponse en langage naturel à une question.
+ **Classification** : attribution d’une classe, par exemple `positive` plutôt que `negative`, à un passage de texte en fonction de son contenu.
Vous pouvez l'utiliser FMEval pour évaluer automatiquement les réponses du modèle en fonction de repères spécifiques. Vous pouvez également évaluer les réponses du modèle par rapport à vos propres critères en apportant vos propres ensembles de données instantanés. FMEval fournit une interface utilisateur (UI) qui vous guide tout au long de l'installation et de la configuration d'une tâche d'évaluation. Vous pouvez également utiliser la FMEval bibliothèque dans votre propre code.
Chaque évaluation nécessite un quota pour deux instances :
+ Instance d’hébergement : instance qui héberge et déploie un LLM.
+ Instance d’évaluation : instance utilisée pour effectuer les invites et une évaluation d’un LLM sur l’instance d’hébergement.
Si votre LLM est déjà déployé, fournissez le point de terminaison, et SageMaker AI utilisera votre **instance d'hébergement** pour héberger et déployer le LLM.
Si vous évaluez un JumpStart modèle qui n'est pas encore déployé sur votre compte, vous FMEval créez une **instance d'hébergement** temporaire dans votre compte et ne la maintenez déployée que pendant la durée de votre évaluation. FMEval utilise l'instance par défaut qui JumpStart recommande le LLM choisi comme instance d'hébergement. Vous devez disposer d’un quota suffisant pour cette instance recommandée.
Chaque évaluation utilise également une instance d’évaluation pour fournir les invites et évaluer les réponses du LLM. Vous devez également disposer d’un quota et d’une mémoire suffisants pour exécuter les algorithmes d’évaluation. Les exigences en termes de quota et de mémoire de l’instance d’évaluation sont généralement inférieures à celles requises pour une instance d’hébergement. Nous vous recommandons de sélectionner l’instance `ml.m5.2xlarge`. Pour plus d’informations sur les quotas et la mémoire, consultez [Résoudre les erreurs lors de la création d'une tâche d'évaluation de modèle dans Amazon SageMaker AI](clarify-foundation-model-evaluate-troubleshooting.md).
Les évaluations automatiques peuvent être utilisées pour obtenir LLMs des scores selon les critères suivants :
+ Précision : pour la synthétisation de texte, la réponse aux questions et la classification de texte
+ Robustesse sémantique : pour les tâches de génération ouverte, de synthétisation de texte et de classification de texte
+ Connaissances factuelles : pour la génération ouverte
+ Stéréotypage d’invite : pour la génération ouverte
+ Toxicité : pour la génération ouverte, la synthétisation de texte et la réponse aux questions
Vous pouvez également utiliser des évaluations humaines afin d’évaluer manuellement les réponses du modèle. L' FMEval interface utilisateur vous guide tout au long d'un flux de travail consistant à sélectionner un ou plusieurs modèles, à provisionner des ressources, à rédiger des instructions pour votre personnel et à contacter celui-ci. Une fois l'évaluation humaine terminée, les résultats sont affichés dans FMEval.
Vous pouvez accéder à l'évaluation du modèle via la page JumpStart d'accueil de Studio en sélectionnant un modèle à évaluer, puis en choisissant **Evaluer**. Notez que les fonctionnalités d'évaluation ne sont pas disponibles sur tous les JumpStart modèles. Pour plus d'informations sur la configuration, le provisionnement et l'exécution FMEval, voir [Que sont les évaluations du modèle de base ?](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-foundation-model-evaluate.html)
# Exemples de blocs-notes
Pour step-by-step des exemples d'utilisation de modèles de JumpStart base accessibles au public avec le SageMaker Python SDK, reportez-vous aux blocs-notes suivants sur la génération de texte, la génération d'images et la personnalisation des modèles.
**Note**
Les modèles de JumpStart base propriétaires et accessibles au public ont des flux de travail de déploiement du Python SDK d' SageMaker IA différents. Découvrez des exemples de blocs-notes propriétaires basés sur le modèle de base via Amazon SageMaker Studio Classic ou la console SageMaker AI. Pour de plus amples informations, veuillez consulter [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md).
Vous pouvez cloner le [référentiel d'exemples Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) pour exécuter les exemples de modèles de JumpStart base disponibles dans l'environnement Jupyter de votre choix dans Studio. Pour plus d'informations sur les applications que vous pouvez utiliser pour créer et accéder à Jupyter dans SageMaker AI, consultez. [Applications prises en charge dans Amazon SageMaker Studio](studio-updated-apps.md)
## Prédiction de séries temporelles
Vous pouvez utiliser les modèles Chronos pour prévoir des données de séries temporelles. Ils sont basés sur l’architecture du modèle de langage. Utilisez le [ SageMaker JumpStart bloc-notes Introduction à la prévision des séries chronologiques avec Chronos](https://github.com/aws/amazon-sagemaker-examples/blob/default/%20%20%20%20generative_ai/sm-jumpstart_time_series_forecasting.ipynb) pour commencer.
Pour en savoir plus sur les modèles Chronos disponibles, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
## Génération de texte
Découvrez des exemples de bloc-notes de génération de texte, notamment des conseils sur les flux de travail généraux de génération de texte, la classification de textes multilingues, l'inférence par lots en temps réel, l'apprentissage en quelques coups, les interactions avec les chatbots, etc.
+ [SageMaker JumpStart Modèles de base - Génération de HuggingFace texte à deux avec FLAN-T5 XL comme exemple](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-flan-t5.html)
+ [SageMaker JumpStart Modèles de base - BloomZ : classification de texte multilingue, questions et réponses, génération de code, reformulation de paragraphes, etc.](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-bloomz.html)
+ [SageMaker JumpStart Modèles de base - Génération de HuggingFace texte2Text, transformation par lots et inférence par lots en temps réel](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-Batch-Transform.html)
+ [SageMaker JumpStart Modèles de base - GPT-J, GPT-Neo Few-shot learning](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-few-shot-learning.html)
+ [SageMaker JumpStart Modèles de base - Chatbots](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-chatbot.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Falçon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
## Génération d'images
Commencez avec les modèles text-to-image Stable Diffusion, apprenez à déployer un modèle intégré et testez un flux de travail simple pour générer des images de votre chien.
+ [Présentation de JumpStart - Du texte à l'image](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/Amazon_JumpStart_Text_To_Image.html)
+ [Introduction à la retouche JumpStart d'image - Diffusion stable dans la peinture](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_inpainting/Amazon_JumpStart_Inpainting.html)
+ [Génération d'images amusantes de votre chien](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/custom_dog_image_generator.html) (langue française non garantie)
## Personnalisation de modèles
Votre cas d'utilisation nécessite parfois de personnaliser davantage le modèle de fondation pour certaines tâches. Pour plus d'informations sur les approches de personnalisation des modèles, consultez [Personnalisation d’un modèle de fondation](jumpstart-foundation-models-customize.md) ou explorez l'un des exemples de blocs-notes suivants.
+ [SageMaker JumpStart Modèles de base - Ajustement du modèle GPT-J 6B de génération de texte sur un ensemble de données spécifique au domaine](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [SageMaker JumpStart Modèles de base - Réglage précis des HuggingFace instructions Text2Text](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de modèles de génération LangChain et d'intégration de Cohere à partir de SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de LLama -2, Pinecone et d'un ensemble de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions basée sur un ensemble de données personnalisé avec une bibliothèque open source LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Génération augmentée de récupération : réponse aux questions en fonction d'un jeu de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html) (langue française non garantie)
+ [Retrieval-Augmented Generation: Question Answering using Llama-2 and Text Embedding Models](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Intégration de texte et similarité de phrases](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)