Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Machine learning automatisé, sans programmation ou à programmation schématisée
Amazon SageMaker AI propose les fonctionnalités suivantes pour automatiser les principales tâches de machine learning et utiliser des solutions sans programmation ou à programmation schématisée.
+ **Amazon SageMaker Canvas** : pour bénéficier d’une expérience AutoML sans programmation basée sur l’interface utilisateur, les nouveaux utilisateurs doivent utiliser l’application [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) dans [Amazon SageMaker Studio](studio-updated.md).
Amazon SageMaker Canvas fournit aux analystes et aux spécialistes des données citoyens des fonctionnalités sans programmation pour des tâches telles que la préparation des données, l’ingénierie des caractéristiques, la sélection d’algorithmes, l’entraînement et le réglage, l’inférence, etc. Les utilisateurs peuvent tirer parti des visualisations intégrées et des analyses hypothétiques pour explorer leurs données et différents scénarios, grâce à des prédictions automatisées qui leur permettent de produire facilement leurs modèles. SageMaker Canvas prend en charge divers cas d’utilisation, notamment la vision par ordinateur, la prévision de la demande, la recherche intelligente et l’IA générative.
+ **Amazon SageMaker Autopilot** : [Amazon SageMaker Autopilot](autopilot-automate-model-development.md) est un ensemble de fonctionnalités de machine learning automatique (AutoML) qui automatise le processus de bout en bout de création, d’entraînement, de réglage et de déploiement de modèles de machine learning. Amazon SageMaker Autopilot analyse vos données, sélectionne des algorithmes adaptés à votre type de problème, prétraite les données pour les préparer à l’entraînement, gère l’entraînement automatique des modèles et optimise les hyperparamètres afin de trouver le modèle le plus performant pour votre jeu de données.
+ Depuis le 30 novembre 2023, l’interface utilisateur (IU) d’Autopilot est intégrée à l’application [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) dans Studio.
+ Les utilisateurs d’[Amazon SageMaker Studio Classic](studio.md), la version précédente de Studio, peuvent continuer à utiliser l’interface utilisateur d’Autopilot dans Studio Classic. Les utilisateurs expérimentés en codage peuvent continuer à utiliser la [références d’API AutoML](autopilot-automate-model-development.md) de tous les kits SDK pris en charge pour la mise en œuvre technique.
**Note**
Si vous avez utilisé Autopilot dans Studio Classic jusqu’à présent et que vous souhaitez migrer vers SageMaker Canvas, vous devrez peut-être accorder des autorisations supplémentaires à votre profil utilisateur ou à votre rôle IAM afin de pouvoir créer et utiliser l’application SageMaker Canvas. Pour plus d’informations, consultez [(Facultatif) Migrer du pilote automatique dans Studio Classic vers Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
+ **Amazon SageMaker JumpStart** : SageMaker JumpStart fournit des modèles open-source pré-entraînés pour un large éventail de types de problèmes afin de vous aider à démarrer avec le machine learning. Vous pouvez entraîner et ajuster ces modèles de manière incrémentielle avant le déploiement. JumpStart fournit également des modèles de solutions qui mettent en place une infrastructure pour les cas d’utilisation courants, ainsi que des blocs-notes d’exemples exécutables pour le machine learning avec SageMaker AI.
**Topics**
+ [SageMaker Pilote automatique](autopilot-automate-model-development.md)
+ [SageMaker JumpStart modèles préentraînés](studio-jumpstart.md)
# SageMaker Pilote automatique
**Important**
Depuis le 30 novembre 2023, l'interface utilisateur d'Autopilot migre vers [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) dans le cadre de la mise à jour de l'expérience [Amazon SageMaker ](studio-updated.md) Studio. SageMaker Canvas fournit aux analystes et aux scientifiques des données citoyens des fonctionnalités sans code pour des tâches telles que la préparation des données, l'ingénierie des fonctionnalités, la sélection d'algorithmes, la formation et le réglage, l'inférence, etc. Les utilisateurs peuvent tirer parti des visualisations intégrées et des analyses hypothétiques pour explorer leurs données et différents scénarios, grâce à des prédictions automatisées qui leur permettent de produire facilement leurs modèles. Canvas prend en charge divers cas d’utilisation, notamment la vision par ordinateur, la prévision de la demande, la recherche intelligente et l’IA générative.
Les utilisateurs d'[Amazon SageMaker Studio Classic, version](studio.md) précédente de [Studio](studio-updated.md), peuvent continuer à utiliser l'interface utilisateur du pilote automatique dans Studio Classic. Les utilisateurs expérimentés en codage peuvent continuer à utiliser toutes les [Références des API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) de tous les kits SDK pris en charge pour la mise en œuvre technique.
Si vous avez utilisé le pilote automatique dans Studio Classic jusqu'à présent et que vous souhaitez migrer vers SageMaker Canvas, vous devrez peut-être accorder des autorisations supplémentaires à votre profil utilisateur ou à votre rôle IAM afin de pouvoir créer et utiliser l' SageMaker application Canvas. Pour de plus amples informations, veuillez consulter [(Facultatif) Migrer du pilote automatique dans Studio Classic vers Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Toutes les instructions relatives à l'interface utilisateur contenues dans ce guide concernent les fonctionnalités autonomes d'Autopilot avant la migration vers Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Les utilisateurs qui suivent ces instructions doivent utiliser [Studio Classic](studio.md).
Amazon SageMaker Autopilot est un ensemble de fonctionnalités qui simplifie et accélère les différentes étapes du flux de travail d'apprentissage automatique en automatisant le processus de création et de déploiement de modèles d'apprentissage automatique (AutoML). La page suivante explique les informations clés concernant Amazon SageMaker Autopilot.
Autopilot effectue les tâches clés suivantes que vous pouvez utiliser en mode de pilotage automatique ou avec différents degrés d’assistance humaine :
+ **Analyse des données et prétraitement :** Autopilot identifie votre type de problème spécifique, gère les valeurs manquantes, normalise vos données, sélectionne les caractéristiques et prépare globalement les données d’entraînement des modèles.
+ **Sélection de modèle :** Autopilot explore divers algorithmes et utilise une technique de rééchantillonnage par validation croisée pour générer des métriques qui évaluent la qualité prédictive des algorithmes sur la base de métriques d’objectif prédéfinies.
+ **Optimisation des hyperparamètres :** Autopilot automatise la recherche de configurations d’hyperparamètres optimales.
+ **Entraînement et évaluation des modèles :** Autopilot automatise le processus d’entraînement et d’évaluation des différents modèles candidats. Il divise les données en jeux d’entraînement et de validation, entraîne les modèles candidats sélectionnés à l’aide des données d’entraînement et évalue leurs performances sur la base des données invisibles du jeu de validation. Enfin, il classe les modèles candidats optimisés en fonction de leurs performances et identifie le modèle le plus performant.
+ **Déploiement de modèle :** une fois qu’Autopilot a identifié le modèle le plus performant, il offre la possibilité de le déployer automatiquement en générant les artefacts de modèle et le point de terminaison exposant une API. Les applications externes peuvent envoyer des données au point de terminaison et recevoir les prédictions ou inférences correspondantes.
Le pilote automatique permet de créer des modèles d'apprentissage automatique sur de grands ensembles de données allant jusqu'à des centaines de. GBs
Le diagramme suivant illustre les tâches du processus AutoML géré par Autopilot.
![\[Présentation du processus SageMaker AutoML d'Amazon Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/Autopilot-process-graphic-1.png)
Selon votre niveau de confort avec le processus de machine learning et votre expérience de codage, vous pouvez utiliser Autopilot de différentes manières :
+ **Via l’interface utilisateur de Studio Classic**, les utilisateurs peuvent choisir entre une expérience sans programmation ou un certain niveau d’intervention humaine.
**Note**
Seules les expériences créées à partir de données tabulaires pour des types de problèmes tels que la régression ou la classification sont disponibles via l’interface utilisateur de Studio Classic.
+ **À l'aide de l'API AutoML**, les utilisateurs expérimentés en codage peuvent utiliser Available SDKs pour créer des tâches AutoML. Cette approche offre une plus grande flexibilité et des options de personnalisation, et est disponible pour tous les types de problèmes.
Autopilot prend actuellement en charge les types de problèmes suivants :
**Note**
Pour les problèmes de régression ou de classification impliquant des données tabulaires, les utilisateurs peuvent choisir entre deux options : utiliser l’interface utilisateur de Studio Classic ou la [Référence des API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html).
Les tâches telles que la classification d’images et de texte, les prévisions de séries temporelles et le peaufinage des grands modèles de langage sont exclusivement disponibles via la version 2 de l’[API REST AutoML](autopilot-reference.md). Si le langage de votre choix est Python, vous pouvez vous référer [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)directement à [MLV2 l'objet Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du SDK Amazon SageMaker Python.
Les utilisateurs qui préfèrent la commodité d'une interface utilisateur peuvent utiliser [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) pour accéder à des modèles préentraînés et à des modèles de base d'IA génératifs, ou créer des modèles personnalisés adaptés à des textes spécifiques, à une classification d'images, à des besoins de prévision ou à une IA générative.
+ **Classification de type régression, binaire ou multi-classes** avec données tabulaires sous forme de fichiers CSV ou Parquet dans lesquels chaque colonne contient une fonctionnalité avec un type de données spécifique et où chaque ligne contient une observation. Les types de données acceptés pour les colonnes incluent numérique, catégorie, texte et séries temporelles constituées de chaînes de nombres séparés par des virgules.
+ Pour créer une tâche de pilote automatique en tant qu'expérience pilote à l'aide de la référence d' SageMaker API, voir. [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md)
+ Pour créer une tâche Autopilot en tant qu’expérience pilote à l’aide de l’interface utilisateur Studio Classic, consultez [Création d’une expérience de régression ou de classification Autopilot pour des données tabulaires à l’aide de l’interface utilisateur Studio Classic](autopilot-automate-model-development-create-experiment-ui.md).
+ Si vous êtes un administrateur qui souhaite préconfigurer les paramètres d’infrastructure, de réseau ou de sécurité par défaut des expériences Autopilot dans l’interface utilisateur de Studio Classic, consultez [Configuration des paramètres par défaut d'une expérience Autopilot (pour les administrateurs)](autopilot-set-default-parameters-create-experiment.md).
+ **Classification de texte** avec des données formatées sous forme de fichiers CSV ou Parquet dans lesquels une colonne fournit les phrases à classer, tandis qu’une autre colonne doit fournir l’étiquette de classe correspondante. Consultez [Création d’une tâche AutoML pour la classification de texte à l’aide de l’API](autopilot-create-experiment-text-classification.md).
+ **Classification d’images** avec des formats d’images tels que PNG, JPEG ou une combinaison des deux. Consultez [Création d’une tâche de classification d’images à l’aide de l’API AutoML](autopilot-create-experiment-image-classification.md).
+ **Prévisions de séries temporelles** avec des données de séries temporelles sous forme de fichiers CSV ou Parquet. Consultez [Création d’une tâche AutoML pour les prévisions de séries temporelles à l’aide de l’API](autopilot-create-experiment-timeseries-forecasting.md).
+ Réglage précis de grands modèles linguistiques (LLMs) pour la **génération de texte** avec des données formatées sous forme de fichiers CSV ou Parquet.Voir. [Création d’une tâche AutoML pour optimiser les modèles de génération de texte à l’aide de l’API](autopilot-create-experiment-finetune-llms.md)
En outre, Autopilot aide les utilisateurs à comprendre comment les modèles font des prédictions en générant automatiquement des rapports qui montrent l’importance de chaque caractéristique individuelle. Cela fournit de la transparence et des renseignements sur les facteurs influençant les prédictions, qui peuvent être utilisés par les équipes chargées des risques et de la conformité et les régulateurs externes. Autopilot fournit également un rapport de performances de modèle, qui comprend un résumé des métriques d’évaluation, une matrice de confusion, diverses visualisations telles que les courbes caractéristiques de fonctionnement du récepteur et les courbes de rappel de précision, etc. Le contenu spécifique de chaque rapport varie en fonction du type de problème de l’expérience Autopilot.
Les rapports d’explicabilité et de performances d’Autopilot pour le meilleur modèle candidat dans une expérience Autopilot sont disponibles pour les types de problèmes liés à la classification du texte, des images et des données tabulaires.
Pour les cas d’utilisation de données tabulaires tels que la régression ou la classification, Autopilot offre une visibilité supplémentaire sur la manière dont les données ont été traitées et dont les modèles candidats ont été sélectionnés, entraînés et réglés, en générant des blocs-notes contenant le code utilisé pour explorer les données et trouver le modèle le plus performant. Ces blocs-notes fournissent un environnement interactif et exploratoire pour vous aider à découvrir l’impact des diverses entrées ou les compromis effectués dans les expériences. Vous pouvez réaliser d’autres expériences avec le modèle candidat le plus performant en apportant vos propres modifications aux blocs-notes d’exploration des données et de définition des candidats fournis par Autopilot.
Avec Amazon SageMaker AI, vous ne payez que pour ce que vous utilisez. Vous payez pour les ressources de calcul et de stockage sous-jacentes au sein de l' SageMaker IA ou d'autres AWS services, en fonction de votre utilisation. Pour plus d'informations sur le coût d'utilisation de l' SageMaker IA, consultez [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing).
**Topics**
+ [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md)
+ [Création d’une tâche de classification d’images à l’aide de l’API AutoML](autopilot-create-experiment-image-classification.md)
+ [Création d’une tâche AutoML pour la classification de texte à l’aide de l’API](autopilot-create-experiment-text-classification.md)
+ [Création d’une tâche AutoML pour les prévisions de séries temporelles à l’aide de l’API](autopilot-create-experiment-timeseries-forecasting.md)
+ [Création d’une tâche AutoML pour optimiser les modèles de génération de texte à l’aide de l’API](autopilot-create-experiment-finetune-llms.md)
+ [Création d’une expérience de régression ou de classification Autopilot pour des données tabulaires à l’aide de l’interface utilisateur Studio Classic](autopilot-automate-model-development-create-experiment-ui.md)
+ [Exemples de blocs-notes sur Amazon SageMaker Autopilot](autopilot-example-notebooks.md)
+ [Vidéos : utilisation d’Autopilot pour automatiser et explorer le processus de machine learning](autopilot-videos.md)
+ [Quotas Autopilot](autopilot-quotas.md)
+ [Guide de référence des API pour Autopilot](autopilot-reference.md)
# Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML
Vous pouvez créer une tâche Autopilot de régression ou de classification pour les données tabulaires par programmation en appelant l’action d’API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) dans n’importe quel langage pris en charge par Autopilot ou par l’ AWS CLI. Vous trouverez ci-dessous un ensemble de paramètres de demande d’entrée obligatoires ou facultatifs pour l’action d’API `CreateAutoMLJobV2`. Vous pouvez trouver les informations alternatives pour la version précédente de cette action, `CreateAutoMLJob`. Toutefois, nous vous recommandons d'utiliser `CreateAutoMLJobV2`.
Pour en savoir plus sur la façon dont cette action d’API se traduit par une fonction dans le langage de votre choix, consultez la section [Voir aussi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) de `CreateAutoMLJobV2` et choisissez un kit SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` dans le kit AWS SDK pour Python (Boto3).
**Note**
[CreateAutoMLJobLes versions [DescribeAutoMLJobV2 et V2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) sont de nouvelles versions de [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)et [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)offrent une rétrocompatibilité.](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)
Nous vous recommandons d’utiliser `CreateAutoMLJobV2`. `CreateAutoMLJobV2` peut gérer des types de problèmes tabulaires identiques à ceux de sa version précédente `CreateAutoMLJob`, ainsi que des types de problèmes non tabulaires, tels que la classification d’images ou de texte, et les prédictions de séries temporelles.
Au minimum, toutes les expériences sur des données tabulaires nécessitent de spécifier le nom de l’expérience, de fournir des emplacements pour les données d’entrée et de sortie, et de spécifier les données cibles à prédire. Facultatif : Vous pouvez également spécifier le type de problème que vous souhaitez résoudre (régression, classification, classification multi-classes), choisir votre stratégie de modélisation (*ensembles empilés* ou *optimisation des hyperparamètres*), sélectionner la liste des algorithmes utilisés par la tâche Autopilot pour entraîner les données, etc.
Après l’exécution de l’expérience, vous pouvez comparer les essais et examiner en détail les étapes de prétraitement, les algorithmes et les plages d’hyperparamètres de chaque modèle. Vous avez également la possibilité de télécharger leurs rapports d’[explicabilité](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) et de [performance](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html). Utilisez les [blocs-notes](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) fournis pour voir les résultats de l’exploration automatique des données ou les définitions de modèles candidats.
Trouvez les instructions indiquant comment migrer `CreateAutoMLJob` vers `CreateAutoMLJobV2` dans [Migrer de a CreateAuto MLJob vers la CreateAuto MLJob V2](#autopilot-create-experiment-api-migrate-v1-v2).
## Paramètres requis
------
#### [ CreateAutoMLJobV2 ]
Lorsque vous appelez `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` pour créer une expérience Autopilot pour des données tabulaires, vous devez fournir les valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` pour spécifier le nom de votre tâche.
+ Au moins un paramètre `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` dans `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` pour spécifier votre source de données.
+ À la fois une métrique `[AutoMLJobObjective](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobObjective)` et le type de problème d’apprentissage supervisé que vous avez choisi (classification binaire, classification multi-classes, régression) dans `AutoMLProblemTypeConfig`, ou aucun des deux. Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`. Vous définissez le problème d’apprentissage supervisé dans l’attribut `ProblemType` de `TabularJobConfig`.
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données.
------
#### [ CreateAutoMLJob ]
Lorsque vous appelez `[CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)` pour créer une expérience AutoML, vous devez fournir les quatre valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobName)` pour spécifier le nom de votre tâche.
+ Au moins un paramètre `[AutoMLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)` dans `[InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)` pour spécifier votre source de données.
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données.
------
Tous les autres paramètres sont facultatifs.
## Paramètres facultatifs
Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre action d’API `CreateAutoMLJobV2` lorsque vous utilisez des données tabulaires. Vous pouvez trouver les informations alternatives pour la version précédente de cette action, `CreateAutoMLJob`. Toutefois, nous vous recommandons d'utiliser `CreateAutoMLJobV2`.
### Comment définir le mode d’entraînement d’une tâche AutoML
Pour les données tabulaires, l’ensemble d’algorithmes exécutés sur vos données pour entraîner vos modèles candidats dépend de votre stratégie de modélisation (`ENSEMBLING` ou `HYPERPARAMETER_TUNING`). Vous trouverez ci-dessous des informations sur la façon de définir ce mode d’entraînement.
Si vous laissez le champ vide (ou `null`), le `Mode` est déduit en fonction de la taille de votre jeu de données.
Pour en savoir plus sur les méthodes d’entraînement d’Autopilot par *ensembles empilés* et par *optimisation des hyperparamètres*, consultez [Modes d’entraînement et prise en charge des algorithmes](autopilot-model-support-validation.md).
------
#### [ CreateAutoMLJobV2 ]
Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Vous pouvez définir la [méthode d’entraînement](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) d’une tâche AutoML V2 à l’aide du paramètre `[TabularJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`.
------
#### [ CreateAutoMLJob ]
Vous pouvez définir la [méthode d’entraînement](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) d’une tâche AutoML à l’aide du paramètre `[AutoMLJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-Mode)`.
------
### Comment sélectionner des caractéristiques et des algorithmes pour l’entraînement d’une tâche AutoML
#### Sélection des fonctionnalités
Autopilot fournit des étapes de prétraitement automatique des données, notamment la sélection et l’extraction des caractéristiques. Toutefois, vous pouvez fournir manuellement les caractéristiques à utiliser lors de l’entraînement avec l’attribut `FeatureSpecificatioS3Uri`.
Les fonctionnalités sélectionnées doivent être contenues dans un fichier JSON au format suivant :
```
{ "FeatureAttributeNames":["col1", "col2", ...] }
```
Les valeurs répertoriées dans `["col1", "col2", ...]` ne sont pas sensibles à la casse. Il doit s’agir d’une liste de chaînes contenant des valeurs uniques qui sont des sous-ensembles des noms de colonnes dans les données d’entrée.
**Note**
La liste des colonnes fournies en tant que fonctionnalités ne peut pas inclure la colonne cible.
------
#### [ CreateAutoMLJobV2 ]
Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Vous pouvez définir l’URL sur les caractéristiques que vous avez sélectionnées à l’aide du paramètre `[TabularJobConfig.FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`.
------
#### [ CreateAutoMLJob ]
Vous pouvez définir l'`FeatureSpecificatioS3Uri`attribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) dans l'[CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)API au format suivant :
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-FeatureSpecificationS3Uri)":"string"
},
}
}
```
------
#### Sélection des algorithmes
Par défaut, votre tâche Autopilot exécute une liste prédéfinie d’algorithmes sur votre jeu de données afin d’entraîner les modèles candidats. La liste des algorithmes dépend du mode d’entraînement (`ENSEMBLING` ou `HYPERPARAMETER_TUNING`) utilisé par la tâche.
Vous pouvez fournir un sous-ensemble de la sélection par défaut d’algorithmes.
------
#### [ CreateAutoMLJobV2 ]
Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Vous pouvez spécifier un tableau de sélectionnés `AutoMLAlgorithms` dans l'`AlgorithmsConfig`attribut de [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Voici un exemple d'attribut `AlgorithmsConfig` répertoriant exactement trois algorithmes (« xgboost », « fastai », « catboost ») dans son champ `AutoMLAlgorithms` pour le mode d'entraînement ensembliste.
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": {
"[Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": "ENSEMBLING",
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["xgboost", "fastai", "catboost"]}
]
},
},
},
}
```
------
#### [ CreateAutoMLJob ]
Vous pouvez spécifier un tableau de sélectionnés `AutoMLAlgorithms` dans l'`AlgorithmsConfig`attribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html).
Voici un exemple d'attribut `AlgorithmsConfig` répertoriant exactement trois algorithmes (« xgboost », « fastai », « catboost ») dans son champ `AutoMLAlgorithms` pour le mode d'entraînement ensembliste.
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms)":["xgboost", "fastai", "catboost"]}
]
},
"Mode": "ENSEMBLING"
}
```
------
Pour obtenir la liste des algorithmes disponibles par `Mode` d’entraînement, consultez [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms). Pour plus d'informations sur chaque algorithme, consultez [Modes d’entraînement et prise en charge des algorithmes](autopilot-model-support-validation.md).
### Comment spécifier les jeux de données d’entraînement et de validation d’une tâche AutoML
Vous pouvez fournir votre propre jeu de données de validation et un rapport de répartition des données personnalisé, ou laisser Autopilot répartir automatiquement le jeu de données.
------
#### [ CreateAutoMLJobV2 ]
Chaque [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objet (voir le paramètre obligatoire [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) possède un`ChannelType`, qui peut être défini sur l'une `training` ou l'autre des `validation` valeurs spécifiant la manière dont les données doivent être utilisées lors de la création d'un modèle d'apprentissage automatique. Au moins une source de données doit être fournie et deux sources de données maximum sont autorisées : une pour les données d'entraînement et l'autre pour les données de validation.
Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
+ Si vous n'avez qu'**une source de données**, `ChannelType` est défini sur `training` par défaut et doit avoir cette valeur.
+ Si la valeur `ValidationFraction` de [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html) n'est pas définie, 0,2 (20 %) des données de cette source sont utilisées pour la validation par défaut.
+ Si `ValidationFraction` est défini sur une valeur comprise entre 0 et 1, le jeu de données est divisé en fonction de la valeur spécifiée, où la valeur spécifie la fraction du jeu de données utilisé pour la validation.
+ Si vous disposez de **deux sources de données**, le `ChannelType` de l'un des objets `AutoMLJobChannel` doit être défini sur `training` (valeur par défaut). Le `ChannelType` de l'autre source de données doit être défini sur `validation`. Les deux sources de données doivent avoir le même format, CSV ou Parquet, et le même schéma. Vous ne devez pas définir la valeur de `ValidationFraction` dans ce cas, car toutes les données de chaque source sont utilisées à des fins d'entraînement ou de validation. La définition de cette valeur provoque une erreur.
------
#### [ CreateAutoMLJob ]
Chaque [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)objet (voir le paramètre requis [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)) possède un`ChannelType`, qui peut être défini sur l'une `training` ou l'autre des `validation` valeurs spécifiant la manière dont les données doivent être utilisées lors de la création d'un modèle d'apprentissage automatique. Au moins une source de données doit être fournie et deux sources de données maximum sont autorisées : une pour les données d'entraînement et l'autre pour les données de validation.
Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
+ Si vous n'avez qu'**une source de données**, `ChannelType` est défini sur `training` par défaut et doit avoir cette valeur.
+ Si la valeur `ValidationFraction` de [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html) n'est pas définie, 0,2 (20 %) des données de cette source sont utilisées pour la validation par défaut.
+ Si `ValidationFraction` est défini sur une valeur comprise entre 0 et 1, le jeu de données est divisé en fonction de la valeur spécifiée, où la valeur spécifie la fraction du jeu de données utilisé pour la validation.
+ Si vous disposez de **deux sources de données**, le `ChannelType` de l'un des objets `AutoMLChannel` doit être défini sur `training` (valeur par défaut). Le `ChannelType` de l'autre source de données doit être défini sur `validation`. Les deux sources de données doivent avoir le même format, CSV ou Parquet, et le même schéma. Vous ne devez pas définir la valeur de `ValidationFraction` dans ce cas, car toutes les données de chaque source sont utilisées à des fins d'entraînement ou de validation. La définition de cette valeur provoque une erreur.
------
Pour en savoir plus sur la répartition et la validation croisée dans Autopilot, consultez [Validation croisée dans Autopilot](autopilot-metrics-validation.md#autopilot-cross-validation).
### Comment définir le type de problème d’une tâche AutoML
------
#### [ CreateAutoMLJobV2 ]
Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Vous pouvez également spécifier le type de problème d’apprentissage supervisé (classification binaire, classification multi-classes, régression) disponible pour les modèles candidats de votre tâche AutoML V2 à l’aide du paramètre `[TabularJobConfig.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`.
------
#### [ CreateAutoMLJob ]
Vous pouvez définir le [type de problème](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types) sur une tâche AutoML avec le paramètre `[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)`. Cela limite le type de prétraitement et les algorithmes essayés par Autopilot. Une fois la tâche terminée, si vous aviez défini l’élément `[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)`, l’élément `[ResolvedAttribute.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)` correspond au `ProblemType` que vous avez défini. Si vous le laissez vide (ou `null`), le `ProblemType` est déduit à votre place.
------
**Note**
Dans certains cas, lorsque Autopilot ne peut pas inférer le `ProblemType` avec une fiabilité suffisante, vous devez fournir cette valeur pour que la tâche réussisse.
### Comment ajouter des poids d’échantillons à une tâche AutoML
Vous pouvez ajouter une colonne de poids d’échantillons à votre jeu de données tabulaire, puis la transmettre à votre tâche AutoML pour demander à ce que les lignes du jeu de données soient pondérées pendant l’entraînement et l’évaluation.
La prise en charge des poids d’échantillons est disponible en [mode ensembliste](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode) uniquement. Vos poids doivent être numériques et non négatifs. Les points de données sans valeur de poids ou avec une valeur de poids non valide sont exclus. Pour plus d’informations sur les métriques d’objectif disponibles, consultez [Métriques pondérées Autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
------
#### [ CreateAutoMLJobV2 ]
Pour les données tabulaires, vous devez choisir `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` comme type de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Pour définir les poids d'échantillon lors de la création d'une expérience (voir [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)), vous pouvez transmettre le nom de votre colonne de poids d'échantillon dans l'`SampleWeightAttributeName`attribut de l'`TabularJobConfig`objet. Cela garantit que votre métrique d'objectif utilisera les poids pour l'entraînement, l'évaluation et la sélection des modèles candidats.
------
#### [ CreateAutoMLJob ]
Pour définir les poids d'échantillon lors de la création d'une expérience (voir [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)), vous pouvez transmettre le nom de votre colonne de poids d'échantillon dans l'`SampleWeightAttributeName`attribut de l'MLChannelobjet [Auto](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html). Cela garantit que votre métrique d'objectif utilisera les poids pour l'entraînement, l'évaluation et la sélection des modèles candidats.
------
### Comment configurer AutoML afin de lancer une tâche distante sur EMR sans serveur pour des jeux de données volumineux
Vous pouvez configurer votre tâche AutoML V2 afin de lancer automatiquement une tâche distante sur Amazon EMR sans serveur lorsque des ressources de calcul supplémentaires sont nécessaires pour traiter des jeux de données volumineux. Grâce à une transition fluide vers EMR sans serveur lorsque cela est nécessaire, la tâche AutoML peut gérer des jeux de données qui dépasseraient autrement les ressources initialement provisionnées, sans aucune intervention manuelle de votre part. EMR sans serveur est disponible pour les types de problèmes de données tabulaires et de séries temporelles. Nous recommandons de configurer cette option pour les jeux de données tabulaires de plus de 5 Go.
Pour permettre à votre tâche AutoML V2 de basculer automatiquement vers EMR sans serveur pour les jeux de données volumineux, vous devez fournir un objet `EmrServerlessComputeConfig`, comprenant un champ `ExecutionRoleARN`, à la classe `AutoMLComputeConfig` de la demande d’entrée de la tâche AutoML V2.
`ExecutionRoleARN` est l’ARN du rôle IAM octroyant à la tâche AutoML V2 les autorisations nécessaires pour exécuter des tâches EMR sans serveur.
Ce rôle doit avoir la relation d’approbation suivante :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Et octroyer les autorisations pour :
+ créer, répertorier et mettre à jour des applications EMR sans serveur ;
+ démarrer, répertorier, obtenir ou annuler des tâches exécutées sur une application EMR sans serveur ;
+ baliser les ressources EMR sans serveur ;
+ transmettre un rôle IAM au service EMR sans serveur pour l’exécution.
En octroyant l’autorisation `iam:PassRole`, la tâche AutoML V2 peut assumer temporairement le rôle `EMRServerlessRuntimeRole-*` et le transmettre au service EMR sans serveur. Il s'agit des rôles IAM utilisés par les environnements d'exécution de tâches EMR sans serveur pour accéder à AWS d'autres services et ressources nécessaires pendant l'exécution, tels qu'Amazon S3 pour l'accès aux données, pour la journalisation CloudWatch , l'accès au catalogue de données ou à AWS Glue d'autres services en fonction de vos exigences en matière de charge de travail.
Consultez [Rôles d’exécution des tâches pour Amazon EMR sans serveur](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) pour plus de détails sur les autorisations associées à ces rôles.
La politique IAM définie dans le document JSON fourni accorde les autorisations suivantes :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
## Migrer de a CreateAuto MLJob vers la CreateAuto MLJob V2
Nous recommandons aux utilisateurs de l’action `CreateAutoMLJob` de migrer vers l’action `CreateAutoMLJobV2`.
Cette section explique les différences entre les paramètres d'entrée [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#API_CreateAutoMLJob_RequestSyntax)et [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax) en mettant en évidence les changements de position, de nom ou de structure des objets et des attributs de la demande d'entrée entre les deux versions.
+ **Attributs de demande qui n’ont pas changé entre les versions.**
```
{
"AutoMLJobName": "string",
"AutoMLJobObjective": {
"MetricName": "string"
},
"ModelDeployConfig": {
"AutoGenerateEndpointName": boolean,
"EndpointName": "string"
},
"OutputDataConfig": {
"KmsKeyId": "string",
"S3OutputPath": "string"
},
"RoleArn": "string",
"Tags": [
{
"Key": "string",
"Value": "string"
}
]
}
```
+ **Attributs de demande qui ont changé de position et de structure entre les versions.**
Les attributs suivants ont changé de position : `DataSplitConfig`, `Security Config`, `CompletionCriteria`, `Mode`, `FeatureSpecificationS3Uri`, `SampleWeightAttributeName`, `TargetAttributeName`.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"Mode": "string",
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
},
"CandidateGenerationConfig": {
"FeatureSpecificationS3Uri": "string"
}
},
"GenerateCandidateDefinitionsOnly": boolean,
"ProblemType": "string"
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"Mode": "string",
"ProblemType": "string",
"GenerateCandidateDefinitionsOnly": boolean,
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"FeatureSpecificationS3Uri": "string",
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
}
```
------
+ **Les attributs suivants ont changé de position et de structure entre les versions.**
Le JSON suivant illustre le mode [Auto MLJob Config. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)de type [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) déplacé vers [Auto MLProblemTypeConfig. TabularJobConfig. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)de type [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)V2.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
"FeatureSpecificationS3Uri": "string"
}
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
},
}
},
}
```
------
+ **Attributs de demande dont le nom et la structure ont changé.**
Le JSON suivant illustre comment [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)(un tableau de [Auto MLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)) est devenu [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig) (un tableau de [MLJobcanaux automatiques](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)) dans la version V2. Notez que les attributs `SampleWeightAttributeName` et `TargetAttributeName` sortent de `InputDataConfig` et sont placés dans `AutoMLProblemTypeConfig`.
------
#### [ CreateAutoMLJob ]
```
{
"InputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
},
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
]
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLJobInputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
}
}
]
}
```
------
# Jeux de données et types de problèmes Autopilot
Pour des données tabulaires (c’est-à-dire des données dans lesquelles chaque colonne contient une caractéristique avec un type de données spécifique et où chaque ligne contient une observation), Autopilot vous permet de spécifier le type de problème d’apprentissage supervisé disponible pour les modèles candidats de la tâche AutoML, tel que la classification binaire ou la régression, ou de le détecter à votre place en fonction des données que vous fournissez. Autopilot prend également en charge plusieurs formats et types de données.
**Topics**
+ [Jeux de données, types de données et formats Autopilot](#autopilot-datasets)
+ [Types de problèmes Autopilot](#autopilot-problem-types)
## Jeux de données, types de données et formats Autopilot
Autopilot prend en charge les données tabulaires sous forme de fichiers CSV ou Parquet : chaque colonne contient une fonctionnalité avec un type de données spécifique et chaque ligne contient une observation. Les propriétés de ces deux formats de fichiers diffèrent considérablement.
+ **CSV** (comma-separated-values) est un format de fichier basé sur des lignes qui stocke les données en texte clair lisible par l'homme. C'est un choix populaire pour l'échange de données car il est pris en charge par un large éventail d'applications.
+ **Parquet** est un format de fichier basé sur les colonnes dans lequel les données sont stockées et traitées plus efficacement que les formats de fichiers basés sur les lignes. Cela en fait une meilleure option pour les problèmes de big data.
Les **types de données** acceptés pour les colonnes incluent les types numériques, catégoriels et textuels, ainsi que les séries temporelles constituées de chaînes de nombres séparés par des virgules. Si Autopilot détecte qu’il traite des séquences de **séries temporelles**, il les traite par le biais de transformeurs de caractéristiques spécialisés fournis par la bibliothèque [tsfresh](https://tsfresh.readthedocs.io/en/latest/text/list_of_features.html). Cette bibliothèque prend la série temporelle en entrée et produit une caractéristique telle que la valeur absolue la plus élevée de la série temporelle ou des statistiques descriptives sur l’autocorrélation. Ces ressources générées sont ensuite utilisées comme entrées pour l’un des trois types de problèmes.
Le pilote automatique permet de créer des modèles d'apprentissage automatique sur de grands ensembles de données allant jusqu'à des centaines de. GBs Pour plus d’informations sur les limites des ressources par défaut des jeux de données d’entrée et sur la manière de les augmenter, consultez [Quotas Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Types de problèmes Autopilot
Pour les données tabulaires, vous spécifiez également le type de problèmes d’apprentissage supervisé disponible pour les modèles candidats comme suit :
### Régression
La régression estime les valeurs d’une variable cible dépendante en fonction d’une ou de plusieurs autres variables ou attributs en corrélation avec elle. Exemple de prédiction des prix des maisons à l’aide de caractéristiques telles que le nombre de salles de bains et de chambres à coucher, la superficie de la maison et du jardin. L’analyse de régression peut créer un modèle qui prend en entrée une ou plusieurs de ces fonctions et prédit le prix d’une maison.
### Classification binaire
La classification binaire est un type d’apprentissage supervisé qui assigne une personne à l’une des deux classes prédéfinies et mutuellement exclusives en fonction d’attributs. Elle est supervisée parce que les modèles sont entraînés à l’aide d’exemples dans lesquels les attributs sont fournis avec des objets correctement étiquetés. Exemple de classification binaire : diagnostic de maladie basé sur les résultats des tests de diagnostic.
### Classification multi-classes
La classification multi-classes est un type d’apprentissage supervisé qui assigne une personne à une classe parmi plusieurs classes prédéfinies en fonction d’attributs. Elle est supervisée parce que les modèles sont entraînés à l’aide d’exemples dans lesquels les attributs sont fournis avec des objets correctement étiquetés. Exemple : la prédiction de la rubrique la plus pertinente pour un document texte. Un document peut être classé comme portant sur la religion, la stratégie ou les finances, ou sur une classe parmi plusieurs classes de sujets prédéfinis.
# Modes d’entraînement et prise en charge des algorithmes
Autopilot prend en charge différents modes et algorithmes d’entraînement pour résoudre les problèmes de machine learning, établir des rapports sur la qualité et les métriques d’objectif, et utiliser automatiquement la validation croisée, si nécessaire.
## Modes d’entraînement
SageMaker Le pilote automatique peut sélectionner automatiquement la méthode d'entraînement en fonction de la taille du jeu de données, ou vous pouvez la sélectionner manuellement. Les options sont les suivantes :
+ **Assemblage** — Le pilote automatique utilise la [AutoGluon](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html)bibliothèque pour entraîner plusieurs modèles de base. Pour trouver la meilleure combinaison pour votre jeu de données, le mode Assemblage exécute 10 essais avec différentes valeurs de modèle et de méta-paramètres. Autopilot combine ensuite ces modèles à l’aide d’une méthode ensembliste par empilement pour créer un modèle prédictif optimal. Pour obtenir la liste des algorithmes pris en charge par Autopilot en mode ensembliste pour les données tabulaires, consultez la section **Prise en charge des algorithmes** suivante.
+ **Hyperparameter optimization (HPO)** (Optimisation des hyperparamètres (HPO)) : Autopilot identifie la meilleure version d’un modèle en ajustant les hyperparamètres à l’aide de l’optimisation bayésienne ou de l’optimisation multifidélité tout en exécutant des tâches d’entraînement sur votre jeu de données. Le mode HPO sélectionne les algorithmes les plus pertinents pour votre jeu de données et la meilleure gamme d’hyperparamètres pour ajuster vos modèles. Pour ajuster vos modèles, le mode HPO exécute jusqu’à 100 essais (par défaut) afin de trouver les valeurs d’hyperparamètres optimales dans la plage sélectionnée. Si la taille de votre jeu de données est inférieure à 100 Mo, Autopilot utilise l’optimisation bayésienne. Autopilot choisit l’optimisation multifidélité si la taille de votre jeu de données est supérieure à 100 Mo.
Dans le cadre de l’optimisation multifidélité, des métriques sont émises en continu à partir des conteneurs d’entraînement. Un essai dont les performances sont médiocres par rapport à une métrique objective sélectionnée est arrêté prématurément. Plus de ressources sont allouées à un essai dont les performances sont bonnes.
Pour obtenir la liste des algorithmes pris en charge par Autopilot en mode HPO, consultez la section **Prise en charge des algorithmes** suivante.
+ **Auto** (Automatique) : Autopilot choisit automatiquement le mode Ensembling (Assemblage) ou le mode HPO en fonction de la taille de votre jeu de données. Si la taille de votre jeu de données est supérieure à 100 Mo, Autopilot choisit HPO. Dans le cas contraire, il choisit le mode Assemblage. Autopilot peut ne pas parvenir à lire la taille de votre jeu de données dans les cas suivants.
+ Si vous activez le mode cloud privé virtuel (VPC) pour une tâche AutoML, le compartiment S3 contenant le jeu de données autorise uniquement l’accès à partir du VPC.
+ L'entrée [S3 DataType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3DataType) de votre ensemble de données est un`ManifestFile`.
+ L’entrée [S3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3Uri) contient plus de 1 000 éléments.
Si Autopilot ne parvient pas à lire la taille de votre jeu de données, il choisit par défaut le mode HPO.
**Note**
Pour une exécution et des performances optimales, utilisez le mode d’entraînement par assemblage pour les jeux de données de moins de 100 Mo.
## Prise en charge des algorithmes
En **mode HPO**, Autopilot prend en charge les types d’algorithmes de machine learning suivants :
+ [Apprentissage linéaire](https://docs.aws.amazon.com/sagemaker/latest/dg/linear-learner.html) : algorithme d’apprentissage supervisé pouvant résoudre des problèmes de classification ou de régression.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) : un algorithme d'apprentissage supervisé qui tente de prédire avec précision une variable cible en combinant un ensemble d'estimations à partir d'un jeu de modèles plus simples et plus faibles.
+ Algorithme de deep learning : perceptron multicouche (MLP) et réseau neuronal artificiel à action directe. Cet algorithme traite les données qui ne sont pas linéairement séparables.
**Note**
Vous ne devez pas nécessairement spécifier un algorithme pour résoudre votre problème de machine learning. Autopilot sélectionne automatiquement l’algorithme qu’il convient d’entraîner.
En **mode ensembliste**, Autopilot prend en charge les types d’algorithmes de machine learning suivants :
+ [LightGBM](https://docs.aws.amazon.com/sagemaker/latest/dg/lightgbm.html) : framework optimisé qui utilise des algorithmes arborescents avec renforcement de gradient. Cet algorithme utilise des arborescences qui se développent en largeur plutôt qu’en profondeur, et est hautement optimisé en termes de vitesse.
+ [CatBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/catboost.html)— Un framework qui utilise des algorithmes basés sur des arbres avec augmentation du gradient. Optimisé pour la gestion des variables catégorielles.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html)— Un framework qui utilise des algorithmes basés sur des arbres avec une augmentation du gradient qui augmente en profondeur plutôt qu'en largeur.
+ [Random Forest](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html) (Forêt aléatoire) : algorithme arborescent qui utilise plusieurs arbres de décision sur des sous-échantillons aléatoires des données avec remplacement. Les arbres sont divisés en nœuds optimaux à chaque niveau. La moyenne des décisions de chaque arbre est calculée afin d’éviter tout surajustement et d’améliorer les prédictions.
+ [Extra Trees](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.ExtraTreesClassifier.html#sklearn.ensemble.ExtraTreesClassifier) (Arbres supplémentaires) : algorithme arborescent qui utilise plusieurs arbres de décision sur l’ensemble du jeu de données. Les arbres sont divisés aléatoirement à chaque niveau. La moyenne des décisions de chaque arbre est calculée afin d’éviter tout surajustement et d’améliorer les prédictions. Les arbres supplémentaires ajoutent un degré de randomisation par rapport à l’algorithme Random Forest (Forêt aléatoire).
+ [Linear Models](https://scikit-learn.org/stable/modules/classes.html#module-sklearn.linear_model) (Modèles linéaires) : framework qui utilise une équation linéaire pour modéliser la relation entre deux variables dans les données observées.
+ Neural network torch (Réseau neuronal torch) : modèle de réseau neuronal implémenté à l’aide de [Pytorch](https://pytorch.org/).
+ Neural network fast.ai (Réseau neuronal fast.ai) : modèle de réseau neuronal implémenté à l’aide de [fast.ai](https://www.fast.ai/).
# Métriques et validation
Ce guide présente les métriques et les techniques de validation que vous pouvez utiliser pour mesurer les performances des modèles de machine learning. Amazon SageMaker Autopilot produit des métriques qui mesurent la qualité prédictive des modèles d'apprentissage automatique candidats. Les métriques calculées pour les candidats sont spécifiées à l'aide d'un tableau de types [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html).
## Métriques Autopilot
Voici la liste des noms des métriques qui sont actuellement disponibles pour mesurer les performances du modèle dans Autopilot.
**Note**
Autopilot prend en charge les poids des échantillons. Pour en savoir plus sur les poids d’échantillons et les métriques d’objectif disponibles, consultez [Métriques pondérées Autopilot](#autopilot-weighted-metrics).
Les métriques suivantes sont disponibles.
**`Accuracy`**
Rapport entre le nombre d’éléments correctement classés et le nombre total d’éléments classés (correctement ou non). Elle est utilisée pour la classification binaire et multi-classes. La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une précision parfaite et 0 indique une imprécision parfaite.
**`AUC`**
La métrique de zone sous la courbe (AUC, Area Under the Curve) est utilisée pour comparer et évaluer la classification binaire par des algorithmes qui renvoient des probabilités, comme la régression logistique. Pour mapper les probabilités en classifications, les probabilités sont comparées à une valeur de seuil.
La courbe pertinente est la courbe caractéristique de fonctionnement du récepteur. Cette courbe représente le taux de vrais positifs (TPR, True Positive Rate) des prédictions (ou rappels) par rapport au taux de faux positifs (FPR, False Positive Rate) en fonction de la valeur seuil, au-dessus de laquelle une prédiction est considérée positive. L’augmentation du seuil entraîne moins de faux positifs, mais plus de faux négatifs.
L’AUC est la zone située sous cette courbe caractéristique de fonctionnement du récepteur. Ainsi, l’AUC fournit une métrique regroupée des performances du modèle sur tous les seuils de classification possibles. Les scores de l’AUC varient entre 0 et 1. Un score de 1 indique une précision parfaite, et un score de la moitié (0,5) indique que la prédiction n’est pas meilleure qu’un classificateur aléatoire.
**`BalancedAccuracy`**
`BalancedAccuracy` est une métrique qui mesure la proportion des prédictions exactes dans l’ensemble des prédictions. Ce rapport est calculé après avoir normalisé les vrais positifs (TP) et les vrais négatifs (TN) par le nombre total de valeurs positives (P) et négatives (N). Il est utilisé à la fois dans la classification binaire et multiclasse et est défini comme suit : 0,5\$1 ((TP/P)\$1(TN/N)), avec des valeurs comprises entre 0 et 1. `BalancedAccuracy`fournit une meilleure mesure de précision lorsque le nombre de points positifs ou négatifs est très différent les uns des autres dans un ensemble de données déséquilibré, par exemple lorsque seulement 1 % des e-mails sont des spams.
**`F1`**
Le score `F1` représente la moyenne harmonique de la précision et du rappel, définie comme suit : F1 = 2 \$1 (précision \$1 rappel)/(précision \$1 rappel). Il est utilisé pour la classification binaire en classes traditionnellement appelées positives et négatives. On dit que les prédictions sont vraies lorsqu’elles correspondent à leur classe réelle (correcte) et fausse lorsqu’elles n’y correspondent pas.
La précision désigne le rapport entre les prédictions positives réelles et toutes les prédictions positives. Elle inclut aussi les faux positifs d’un jeu de données. La précision mesure la qualité de la prédiction lorsqu’elle prédit la classe positive.
Le rappel (ou sensibilité) désigne le rapport entre les prédictions positives réelles et toutes les instances positives réelles. Le rappel mesure le degré de précision avec lequel un modèle prédit les membres réels de la classe dans un jeu de données.
Les scores de F1 varient entre 0 et 1. Un score de 1 indique la meilleure performance possible et 0 indique la pire.
**`F1macro`**
Le score `F1macro` applique le score F1 aux problèmes de classification multi-classes. Pour ce faire, la précision et le rappel sont calculés, puis leur moyenne harmonique est utilisée pour calculer le score F1 pour chaque classe. Enfin, `F1macro` calcule la moyenne des scores individuels pour obtenir le score `F1macro`. Les scores `F1macro` varient entre 0 et 1. Un score de 1 indique la meilleure performance possible et 0 indique la pire.
**`InferenceLatency`**
La latence d’inférence est le temps approximatif qui s’écoule entre la formulation d’une demande de prédiction modélisée et sa réception à partir d’un point de terminaison en temps réel sur lequel le modèle est déployé. Cette métrique est mesurée en secondes et n’est disponible qu’en mode Ensembling (Assemblage).
**`LogLoss`**
La perte de journaux, également appelée perte d’entropie croisée, est une métrique utilisée pour évaluer la qualité des sorties de probabilité, plutôt que les sorties elles-mêmes. Elle est utilisée pour la classification binaire et multi-classes, ainsi que dans les réseaux neuronaux. C’est également la fonction de coût pour la régression logistique. La perte logistique est une métrique importante pour indiquer quand un modèle fait des prédictions incorrectes avec des probabilités élevées. Les valeurs vont de 0 à l’infini. Une valeur de 0 représente un modèle qui prédit parfaitement les données.
**`MAE`**
L’erreur absolue moyenne (MAE, Mean Absolute Error) est une mesure de la moyenne des différences entre les valeurs prédites et les valeurs réelles, moyenne calculée sur toutes les valeurs. Elle est couramment utilisée dans l’analyse de régression pour comprendre l’erreur de prédiction modélisée. En cas de régression linéaire, la MAE représente la distance moyenne entre une ligne prédite et la valeur réelle. La MAE est définie comme la somme des erreurs absolues divisée par le nombre d’observations. Les valeurs sont comprises entre 0 et l’infini, les plus petits nombres indiquant une meilleure adéquation du modèle aux données.
**`MSE`**
L’erreur quadratique moyenne (MSE, Mean Squarred Error) est la moyenne des différences au carré entre les valeurs prédites et réelles. Elle est utilisée pour la régression. Les valeurs MSE sont toujours positives. Plus un modèle est capable de prédire les valeurs réelles, plus la valeur MSE est faible.
**`Precision`**
La précision mesure l’efficacité avec laquelle un algorithme prédit les vrais positifs (TP) parmi tous les positifs qu’il identifie. Elle est définie comme suit : précision = TP/(TP\$1FP), avec des valeurs allant de zéro (0) à un (1), et est utilisée dans la classification binaire. La précision est une métrique importante lorsque le coût d’un faux positif est élevé. Par exemple, le coût d’un faux positif est très élevé si le système de sécurité d’un avion est considéré à tort comme sûr pour le vol. Un faux positif (FP) reflète une prédiction positive qui est en fait négative dans les données.
**`PrecisionMacro`**
La macro précision calcule la précision pour les problèmes de classification multi-classes. Pour ce faire, la précision de chaque classe et la moyenne des scores sont calculées pour obtenir la précision de plusieurs classes. Les scores `PrecisionMacro` sont compris entre zéro (0) et un (1). Des scores plus élevés reflètent la capacité du modèle à prédire les vrais positifs (TP) parmi tous les positifs qu’il identifie, en calculant la moyenne sur plusieurs classes.
**`R2`**
R2, également connu sous le nom de coefficient de détermination, est utilisé en régression pour quantifier dans quelle mesure un modèle peut expliquer l’écart d’une variable dépendante. Les valeurs sont comprises entre un (1) et moins un (-1). Des nombres plus élevés indiquent une fraction plus importante de la variabilité expliquée. Des valeurs `R2` proches de zéro (0) indiquent qu’une faible part de la variable dépendante peut être expliquée par le modèle. Les valeurs négatives indiquent un mauvais ajustement et un dépassement du modèle par une fonction constante. Pour une régression linéaire, il s’agit d’une ligne horizontale.
**`Recall`**
Le rappel évalue la capacité d’un algorithme à prédire correctement tous les vrais positifs (TP) dans un jeu de données. Un vrai positif est une prédiction positive qui correspond également à une valeur positive réelle dans les données. Le rappel est défini comme suit : rappel = TP/(TP\$1FN), avec des valeurs allant de 0 à 1. Des scores plus élevés reflètent une meilleure capacité du modèle à prédire les vrais positifs (TP) dans les données. Ils sont utilisés dans la classification binaire.
Le rappel est important lors du dépistage du cancer, car c’est utilisé pour trouver tous les vrais positifs. Un faux négatif (FN) reflète une prédiction négative qui est en fait positive dans les données. Il est souvent insuffisant de mesurer uniquement le rappel, car prédire chaque sortie comme un vrai positif donnera un score de rappel parfait.
**`RecallMacro`**
La métrique `RecallMacro` calcule le rappel pour les problèmes de classification multi-classes en calculant le rappel pour chaque classe et en faisant la moyenne des scores pour obtenir le rappel pour plusieurs classes. Les scores `RecallMacro` vont de 0 à 1. Des scores plus élevés reflètent la capacité du modèle à prédire les vrais positifs (TP) dans un jeu de données, tandis qu’un vrai positif reflète une prédiction positive qui est également une valeur positive réelle dans les données. Il est souvent insuffisant de mesurer uniquement le rappel, car prédire chaque sortie comme un vrai positif donnera un score de rappel parfait.
**`RMSE`**
La racine de l’erreur quadratique moyenne (RMSE, Root Mean Squared Error) mesure la racine carrée de la différence au carré entre les valeurs prédites et réelles, moyennée sur l’ensemble des valeurs. Elle est utilisée dans l’analyse de régression pour comprendre l’erreur de prédiction modélisée. Cette métrique est importante pour indiquer la présence d'erreurs et de valeurs aberrantes dans les modèles volumineux. Les valeurs vont de zéro (0) à l'infini, les plus petits nombres indiquant une meilleure adéquation du modèle aux données. La RMSE dépend de l'échelle, et ne doit pas être utilisée pour comparer des jeux de données de tailles différentes.
Les métriques calculées automatiquement pour un modèle candidat sont déterminées par le type de problème à résoudre.
Consultez la [documentation de référence de SageMaker l'API Amazon](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) pour obtenir la liste des métriques disponibles prises en charge par Autopilot.
## Métriques pondérées Autopilot
**Note**
Autopilot prend en charge les poids des échantillons en mode ensembliste uniquement pour toutes les [métriques disponibles](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics), à l’exception de `Balanced Accuracy` et `InferenceLatency`. `BalanceAccuracy` est doté de son propre schéma de pondération pour les jeux de données déséquilibrés qui ne nécessite pas de poids d’échantillons. `InferenceLatency` ne prend pas en charge les poids des échantillons. Les métriques d’objectif `Balanced Accuracy` et `InferenceLatency` ignorent tous les poids d’échantillon existants lors de l’entraînement et de l’évaluation d’un modèle.
Les utilisateurs peuvent ajouter une colonne de poids d’échantillons à leurs données pour s’assurer que chaque observation utilisée pour entraîner un modèle de machine learning reçoit un poids correspondant à son importance perçue pour le modèle. Cela est particulièrement utile dans les scénarios où les observations du jeu de données ont des degrés d’importance différents, ou dans lesquels un jeu de données contient un nombre disproportionné d’échantillons d’une classe par rapport aux autres. L’attribution d’un poids à chaque observation en fonction de son importance ou de son importance accrue pour une classe minoritaire peut améliorer la performance globale d’un modèle ou garantir qu’un modèle n’est pas biaisé du côté de la classe majoritaire.
Pour en savoir plus sur la façon de transmettre des poids d’échantillons lors de la création d’une expérience dans l’interface utilisateur Studio Classic, reportez-vous à l’*étape 7* dans [Création d’une expérience Autopilot à l’aide de Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html).
Pour en savoir plus sur la façon de transmettre des poids d’échantillons par programmation lors de la création d’une expérience Autopilot à l’aide de l’API, consultez la section *Comment ajouter des poids d’échantillons à une tâche AutoML* dans [Création d’une expérience Autopilot par programmation](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html).
## Validation croisée dans Autopilot
La validation croisée permet de réduire le surajustement et le biais dans la sélection des modèles. Elle est également utilisée pour évaluer dans quelle mesure un modèle peut prédire les valeurs d’un jeu de données de validation invisible, si ce dernier est extrait de la même population. Cette méthode est particulièrement importante lors de l’entraînement sur des jeux de données ayant un nombre limité d’instances d’entraînement.
Autopilot utilise la validation croisée pour créer des modèles en mode d’optimisation des hyperparamètres (HPO) et d’entraînement d’ensemble. La première étape du processus de validation croisée d’Autopilot consiste à diviser les données en k-folds.
### Division en k-folds
La division en k-folds est une méthode qui permet de séparer un jeu de données d’entraînement d’entrée en plusieurs jeux de données d’entraînement et de validation. Le jeu de données est divisé en sous-échantillons `k` de taille égale nommés folds. Les modèles sont ensuite entraînés sur `k-1` folds et testés par rapport au ke fold restant, qui sert de jeu de données de validation. Le processus est répété `k` fois en utilisant un jeu de données différent pour la validation.
L’image suivante montre une division en k-folds avec k = 4 folds. Chaque fold est représenté par une ligne. Les cases foncées représentent les parties des données utilisées lors de l'entraînement. Les cases claires restantes indiquent les jeux de données de validation.
![\[Répartition à k blocs avec 4 blocs affichés en tant que cases : foncées pour les données utilisées et claires pour les jeux de données de validation.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold-splits.png)
Autopilot utilise la validation croisée k-fold pour le mode d’optimisation des hyperparamètres (HPO) et le mode assemblage.
Vous pouvez déployer des modèles de pilote automatique conçus à l'aide de la validation croisée, comme vous le feriez avec n'importe quel autre modèle de pilote automatique ou d'IA. SageMaker
### Mode HPO
La validation croisée k-fold utilise la méthode de divison k-fold pour la validation croisée. En mode HPO, Autopilot met automatiquement en œuvre une validation croisée k-fold pour les petits jeux de données, comportant 50 000 instances d’entraînement ou moins. La validation croisée est particulièrement importante lors de l’entraînement sur de petits jeux de données, car elle protège contre le surajustement et les biais de sélection.
Le mode HPO utilise une valeur *k* de 5 sur les algorithmes candidats utilisés pour modéliser le jeu de données. Plusieurs modèles sont entraînés sur différentes divisions et les modèles sont stockés séparément. Lorsque l’entraînement est terminé, la moyenne des métriques de validation de chacun des modèles est calculée pour produire une seule métrique d’estimation. Enfin, Autopilot combine les modèles de l’essai ayant la meilleure métrique de validation pour former un modèle d’ensemble. Autopilot utilise ce modèle d’ensemble pour faire des prédictions.
La métrique de validation des modèles entraînés par Autopilot est présentée comme la métrique objective dans le leaderboard du modèle. Sauf indication contraire, Autopilot utilise la métrique de validation par défaut pour chaque type de problème qu’il gère. Pour obtenir la liste de toutes les métriques utilisées par Autopilot, consultez [Métriques Autopilot](#autopilot-metrics).
Par exemple, le [jeu de données Boston Housing](http://lib.stat.cmu.edu/datasets/boston) ne contient que 861 échantillons. Si vous créez un modèle pour prédire les prix de vente des maisons à l’aide de ce jeu de données sans validation croisée, vous risquez de vous entraîner sur un jeu de données qui n’est pas représentatif du parc immobilier de Boston. Si vous ne divisez les données qu’une seule fois en sous-ensembles d’entraînement et de validation, il se peut que le bloc d’entraînement ne contienne que des données provenant principalement de banlieue. Par conséquent, vous vous entraînerez sur des données qui ne sont pas représentatives du reste de la ville. Dans cet exemple, votre modèle serait probablement trop ajusté par rapport à cette sélection biaisée. La validation croisée k-fold réduit ce risque d’erreur en utilisant pleinement et de façon aléatoire les données disponibles à des fins d’entraînement et de validation.
La validation croisée peut augmenter les temps de formation de 20 % en moyenne. Les temps de formation peuvent également augmenter de manière significative pour les jeux de données complexes.
**Note**
En mode HPO, vous pouvez consulter les indicateurs de formation et de validation de chaque volet dans vos `/aws/sagemaker/TrainingJobs` CloudWatch journaux. Pour plus d'informations sur CloudWatch les journaux, consultez[CloudWatch Journaux pour Amazon SageMaker AI](logging-cloudwatch.md).
### Mode d’assemblage
**Note**
Autopilot prend en charge les poids d’échantillons en mode ensembliste. Pour obtenir la liste des métriques disponibles prenant en charge les poids d’échantillons, consultez [Métriques Autopilot](#autopilot-metrics).
En mode ensembliste, la validation croisée est effectuée quelle que soit la taille du jeu de données. Les clients peuvent soit fournir leur propre jeu de données de validation et un ratio de répartition des données personnalisé, soit laisser Autopilot diviser automatiquement le jeu de données en un ratio de répartition 80-20 %. Les données d'entraînement sont ensuite divisées en plusieurs `k` fois pour une validation croisée, la valeur de `k` étant déterminée par le AutoGluon moteur. Un ensemble se compose de plusieurs modèles de machine learning, chaque modèle étant nommé modèle de base. Un modèle de base unique est entraîné sur (`k`-1) plis et fait des out-of-fold prédictions sur le pli restant. Ce processus est répété pour tous les `k` plis, et les prédictions out-of-fold (OOF) sont concaténées pour former un seul ensemble de prédictions. Tous les modèles de base de l’ensemble suivent le même processus de génération de prédictions OOF.
L’image suivante montre une validation en k-fold avec `k` = 4 folds. Chaque fold est représenté par une ligne. Les cases foncées représentent les parties des données utilisées lors de l'entraînement. Les cases claires restantes indiquent les jeux de données de validation.
Dans la partie supérieure de l’image, à chaque fold, le premier modèle de base fait des prédictions sur le jeu de données de validation après un entraînement sur les jeux de données d’entraînement. À chaque fold suivant, les jeux de données changent de rôle. Un jeu de données qui était auparavant utilisé pour la formation est désormais utilisé pour la validation, et vice versa. À la fin des `k` plis, toutes les prédictions sont concaténées pour former un seul ensemble de prédictions appelé prédiction out-of-fold (OOF). Ce processus est répété pour chaque modèle de base `n`.
![\[Validation k-fold : quatre rangées de cases représentent 4 folds qui génèrent une ligne de prédictions OOF.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold.PNG)
Les prédictions OOF pour chaque modèle de base sont ensuite utilisées comme caractéristiques pour entraîner un modèle d’empilement. Le modèle d’empilement apprend les poids d’importance pour chaque modèle de base. Ces pondérations sont utilisées pour combiner les prédictions OOF afin de former la prédiction finale. Les performances du jeu de données de validation déterminent quel modèle de base ou d’empilement est le meilleur, et ce modèle est renvoyé en tant que modèle final.
En mode ensemble, vous pouvez soit fournir votre propre jeu de données de validation, soit laisser Autopilot diviser automatiquement le jeu de données d’entrée en jeux de données d’entraînement à 80 % et de validation à 20 %. Les données d’apprentissage sont ensuite divisées en `k` folds à des fins de validation croisée et produisent une prédiction OOF et un modèle de base pour chaque fold.
Ces prédictions OOF sont utilisées comme caractéristiques pour entraîner un modèle d’empilement, qui apprend simultanément les poids de chaque modèle de base. Ces pondérations sont utilisées pour combiner les prédictions OOF afin de former la prédiction finale. Les jeux de données de validation pour chaque fold sont utilisés pour le réglage des hyperparamètres de tous les modèles de base et du modèle d’empilement. Les performances du jeu de données de validation déterminent quel modèle de base ou d’empilement est le meilleur, et ce modèle est renvoyé en tant que modèle final.
# Déploiement et prédiction des modèles Autopilot
Ce guide Amazon SageMaker Autopilot décrit les étapes relatives au déploiement du modèle, à la configuration de l'inférence en temps réel et à l'exécution de l'inférence avec des tâches par lots.
Après avoir entraîné vos modèles Autopilot, vous pouvez les déployer pour obtenir des prédictions de deux manières différentes :
1. Utilisez [Déploiement de modèles pour l’inférence en temps réel](autopilot-deploy-models-realtime.md) pour configurer un point de terminaison et obtenir des prévisions de manière interactive. L’inférence en temps réel est idéale pour les charges de travail d’inférence où vous avez des exigences en temps réel, interactives et à faible latence.
1. Utilisez [Exécution des tâches d’inférence par lots](autopilot-deploy-models-batch.md) pour faire des prévisions en parallèle sur des lots d’observations sur l’ensemble d’un jeu de données. L'inférence par lots est une bonne option pour les grands jeux de données, ou si vous n'avez pas besoin d'une réponse immédiate à une demande de prédiction de modèle.
**Note**
Pour éviter des frais inutiles, lorsque vous n’avez plus besoin des points de terminaison et des ressources créés lors du déploiement du modèle, vous pouvez les supprimer. Pour plus d'informations sur la tarification des instances par région, consultez [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
# Déploiement de modèles pour l’inférence en temps réel
L’inférence en temps réel est idéale pour les charges de travail d’inférence où vous avez des exigences en temps réel, interactives et à faible latence. Cette section montre comment vous pouvez utiliser l’inférence en temps réel pour obtenir des prévisions interactives à partir de votre modèle.
Plusieurs options s’offrent à vous pour déployer le modèle qui a produit la meilleure métrique de validation dans une expérience Autopilot. Par exemple, lorsque vous utilisez le pilote automatique dans SageMaker Studio Classic, vous pouvez déployer le modèle automatiquement ou manuellement. Vous pouvez également l'utiliser SageMaker APIs pour déployer manuellement un modèle de pilote automatique.
Les onglets suivants présentent trois options pour déployer votre modèle. Ces instructions supposent que vous avez déjà créé un modèle dans Autopilot. Si vous ne disposez pas de modèle, consultez [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md). Pour voir des exemples de chaque option, ouvrez chaque onglet.
## Déploiement à l’aide de l’interface utilisateur (UI) d’Autopilot
L'interface utilisateur d'Autopilot contient des menus déroulants utiles, des boutons, des infobulles et bien plus encore, pour vous aider à parcours le déploiement du modèle. Vous pouvez déployer à l’aide de l’une des procédures suivantes : automatique ou manuelle.
+ **Déploiement automatique** : pour déployer automatiquement le meilleur modèle, d’une expérience Autopilot vers un point de terminaison
1. [Créez un test](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) dans SageMaker Studio Classic.
1. Basculez la valeur **Auto deploy** (Déploiement automatique) sur **Yes** (Oui).
**Note**
**Le déploiement automatique échoue si le quota de ressources par défaut ou votre quota client pour les instances de point de terminaison dans une région est trop limité.** En mode d’optimisation des hyperparamètres (HPO), vous devez avoir au moins deux instances ml.m5.2xlarge. En mode d’assemblage, vous devez avoir au moins une instance ml.m5.12xlarge. Si vous rencontrez un échec lié aux quotas, vous pouvez [demander une augmentation de la limite de service](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) pour les instances de point de terminaison SageMaker AI.
+ **Déploiement manuel** : pour déployer manuellement le meilleur modèle, d’une expérience Autopilot vers un point de terminaison
1. [Créez un test](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) dans SageMaker Studio Classic.
1. Basculez la valeur **Auto deploy** (Déploiement automatique) sur **No** (Non).
1. Sélectionnez le modèle que vous voulez déployer sous **Model name** (Nom du modèle).
1. Sélectionnez le bouton orange **Deployment and advanced settings** (Déploiement et paramètres avancés) situé à droite du classement. Un nouvel onglet s'ouvre.
1. Configurez le nom du point de terminaison, le type d’instance et d’autres informations facultatives.
1. Sélectionnez le bouton orange **Deploy model** (Déployer le modèle) pour déployer vers un point de terminaison.
1. Vérifiez la progression du processus de création du point de terminaison en [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)accédant à la section Points de terminaison. Cette section se trouve dans le menu déroulant **Inference** (Inférence) du panneau de navigation.
1. Une fois que le statut du point de terminaison est passé de **Creating** à **InService**, comme indiqué ci-dessous, revenez à Studio Classic et appelez le point de terminaison.
![\[SageMaker Console AI : page Endpoints pour créer un point de terminaison ou vérifier l'état du point de terminaison.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-check-progress.PNG)
## Déployez en utilisant SageMaker APIs
Vous pouvez également obtenir une inférence en temps réel en déployant votre modèle à l’aide d’**appels d’API**. Cette section présente les cinq étapes de ce processus à l'aide d'extraits de code AWS Command Line Interface (AWS CLI).
Pour obtenir des exemples de code complets pour les AWS CLI commandes et le AWS SDK pour Python (boto3), ouvrez les onglets directement en suivant ces étapes.
1. **Obtenir les définitions des candidats**
Obtenez les définitions des conteneurs candidats auprès de [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Ces définitions de candidats sont utilisées pour créer un modèle d' SageMaker IA.
L'exemple suivant utilise l'[DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API pour obtenir les définitions du meilleur modèle candidat. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
1. **Liste des candidats**
L'exemple suivant utilise l'[ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API pour répertorier tous les candidats. La commande AWS CLI suivante constitue un exemple.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Création d'un modèle d' SageMaker IA**
Utilisez les définitions de conteneur des étapes précédentes pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Créer une configuration de point de terminaison**
L'exemple suivant utilise l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API pour créer une configuration de point de terminaison. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Créer le point de terminaison**
L' AWS CLI exemple suivant utilise l'[CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API pour créer le point de terminaison.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Vérifiez la progression du déploiement de votre terminal à l'aide de l'[DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé pour l'inférence en temps réel.
1. **Appeler le point de terminaison**
La structure de commande suivante appelle le point de terminaison pour une inférence en temps réel.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
Les onglets suivants contiennent des exemples de code complets pour déployer un modèle avec le kit AWS SDK pour Python (boto3) ou AWS CLI.
------
#### [ AWS SDK for Python (boto3) ]
1. **Obtenez les définitions des candidats** à l'aide de l'exemple de code suivant.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
job_name = 'test-auto-ml-job'
describe_response = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
# extract the best candidate definition from DescribeAutoMLJob response
best_candidate = describe_response['BestCandidate']
# extract the InferenceContainers definition from the caandidate definition
inference_containers = best_candidate['InferenceContainers']
```
1. **Créez le modèle** à l'aide de l'exemple de code suivant.
```
# Create Model
model_name = 'test-model'
sagemaker_role = 'arn:aws:iam:444455556666:role/sagemaker-execution-role'
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
Containers = inference_containers
)
```
1. **Créez la configuration du point de terminaison** à l’aide de l’exemple de code suivant.
```
endpoint_config_name = 'test-endpoint-config'
instance_type = 'ml.m5.2xlarge'
# for all supported instance types, see
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html#sagemaker-Type-ProductionVariant-InstanceType # Create endpoint config
endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[
{
"VariantName": "variant1",
"ModelName": model_name,
"InstanceType": instance_type,
"InitialInstanceCount": 1
}
]
)
print(f"Created EndpointConfig: {endpoint_config_response['EndpointConfigArn']}")
```
1. **Créez le point de terminaison** et déployez le modèle à l’aide de l’exemple de code suivant.
```
# create endpoint and deploy the model
endpoint_name = 'test-endpoint'
create_endpoint_response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name)
print(create_endpoint_response)
```
**Vérifiez l’état de création du point de terminaison** à l’aide de l’exemple de code suivant.
```
# describe endpoint creation status
status = sagemaker_client.describe_endpoint(EndpointName=endpoint_name)["EndpointStatus"]
```
1. **Appelez le point de terminaison** pour une inférence en temps réel en utilisant la structure de commande suivante.
```
# once endpoint status is InService, you can invoke the endpoint for inferencing
if status == "InService":
sm_runtime = boto3.Session().client('sagemaker-runtime')
inference_result = sm_runtime.invoke_endpoint(EndpointName='test-endpoint', ContentType='text/csv', Body='1,2,3,4,class')
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Obtenez les définitions des candidats** à l'aide de l'exemple de code suivant.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Créez le modèle** à l’aide de l’exemple de code suivant.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", amzn-s3-demo-bucket1
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", aws-region
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
Pour plus de détails, consultez [Création d’un modèle](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-model.html).
La commande `create model` renvoie une réponse au format suivant.
```
{
"ModelArn": "arn:aws:sagemaker:us-west-2:1234567890:model/test-sagemaker-model"
}
```
1. **Créez une configuration du point de terminaison** à l’aide de l’exemple de code suivant.
```
aws sagemaker create-endpoint-config --endpoint-config-name 'test-endpoint-config' \
--production-variants '[{"VariantName": "variant1",
"ModelName": "test-sagemaker-model",
"InitialInstanceCount": 1,
"InstanceType": "ml.m5.2xlarge"
}]' \
--region us-west-2
```
La commande de configuration `create endpoint` renvoie une réponse au format suivant.
```
{
"EndpointConfigArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint-config/test-endpoint-config"
}
```
1. **Créez un point de terminaison** à l’aide de l’exemple de code suivant.
```
aws sagemaker create-endpoint --endpoint-name 'test-endpoint' \
--endpoint-config-name 'test-endpoint-config' \
--region us-west-2
```
La commande `create endpoint` renvoie une réponse au format suivant.
```
{
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint"
}
```
Vérifiez la progression du déploiement du point de terminaison à l’aide de l’exemple de code CLI [describe-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint.html) suivant.
```
aws sagemaker describe-endpoint --endpoint-name 'test-endpoint' --region us-west-2
```
La précédente vérification de progression renvoie une réponse au format suivant.
```
{
"EndpointName": "test-endpoint",
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint",
"EndpointConfigName": "test-endpoint-config",
"EndpointStatus": "Creating",
"CreationTime": 1660251167.595,
"LastModifiedTime": 1660251167.595
}
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé dans l’inférence en temps réel.
1. **Appelez le point de terminaison** pour une inférence en temps réel en utilisant la structure de commande suivante.
```
aws sagemaker-runtime invoke-endpoint --endpoint-name 'test-endpoint' \
--region 'us-west-2' \
--body '1,51,3.5,1.4,0.2' \
--content-type 'text/csv' \
'/tmp/inference_output'
```
Pour plus d’options, consultez [Invocation d’un point de terminaison](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker-runtime/invoke-endpoint.html).
------
## Déployez des modèles à partir de différents comptes
Vous pouvez déployer un modèle Autopilot à partir d’un compte différent du compte d’origine dans lequel le modèle a été généré. Pour implémenter le déploiement de modèles multicomptes, cette section explique comment procéder comme suit : Accordez l’autorisation d’assumer le rôle au compte à partir duquel vous souhaitez effectuer le déploiement (le compte générateur). Appelez `DescribeAutoMLJob` depuis le compte de déploiement pour obtenir des informations sur le modèle. Accordez des droits d’accès aux artefacts du modèle à partir du compte générateur.
1. **Accorder l’autorisation au compte de déploiement**
Pour assumer le rôle dans le compte générateur, vous devez accorder l’autorisation au compte à partir duquel vous souhaitez effectuer le déploiement. Cela permet au compte de déploiement de décrire les tâches Autopilot dans le compte générateur.
L’exemple suivant utilise un compte générateur avec une entité `sagemaker-role` de confiance. L’exemple montre comment autoriser un compte de déploiement portant l’ID 111122223333 à assumer le rôle du compte générateur.
```
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"sagemaker.amazonaws.com"
],
"AWS": [ "111122223333"]
},
"Action": "sts:AssumeRole"
}
```
Le nouveau compte portant l’ID 111122223333 peut désormais assumer le rôle du compte générateur.
Appelez ensuite l’API `DescribeAutoMLJob` à partir du compte de déploiement pour obtenir une description de la tâche créée par le compte générateur.
L’exemple de code suivant décrit le modèle issu du compte de déploiement.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sts_client = boto3.client('sts')
sts_client.assume_role
role = 'arn:aws:iam::111122223333:role/sagemaker-role'
role_session_name = "role-session-name"
_assumed_role = sts_client.assume_role(RoleArn=role, RoleSessionName=role_session_name)
credentials = _assumed_role["Credentials"]
access_key = credentials["AccessKeyId"]
secret_key = credentials["SecretAccessKey"]
session_token = credentials["SessionToken"]
session = boto3.session.Session()
sm_client = session.client('sagemaker', region_name='us-west-2',
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
aws_session_token=session_token)
# now you can call describe automl job created in account A
job_name = "test-job"
response= sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
```
1. **Accordez l’accès au compte de déploiement** aux artefacts du modèle du compte de génération.
Le compte de déploiement a simplement besoin d’accéder aux artefacts du modèle dans le compte de génération pour le déployer. Ils se trouvent dans le [S3 OutputPath](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) qui a été spécifié dans l'appel d'`CreateAutoMLJob`API d'origine lors de la génération du modèle.
Pour donner au compte de déploiement l’accès aux artefacts du modèle, choisissez l’une des options suivantes :
1. [Donnez accès](https://aws.amazon.com/premiumsupport/knowledge-center/cross-account-access-s3/) au `ModelDataUrl` à partir du compte générateur vers le compte de déploiement.
Ensuite, vous devez autoriser le compte de déploiement à assumer le rôle. Suivez les [étapes d’inférence en temps réel](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime) pour le déploiement.
1. [Copiez les artefacts du modèle](https://aws.amazon.com/premiumsupport/knowledge-center/copy-s3-objects-account/) depuis le [S3](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) d'origine du compte générateur OutputPath vers le compte générateur.
Pour autoriser l’accès aux artefacts du modèle, vous devez définir un modèle `best_candidate` et réattribuer des conteneurs de modèle au nouveau compte.
L’exemple suivant illustre la façon de définir un modèle `best_candidate` et de réaffecter le `ModelDataUrl`.
```
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
# reassigning ModelDataUrl for best_candidate containers below
new_model_locations = ['new-container-1-ModelDataUrl', 'new-container-2-ModelDataUrl', 'new-container-3-ModelDataUrl']
new_model_locations_index = 0
for container in best_candidate['InferenceContainers']:
container['ModelDataUrl'] = new_model_locations[new_model_locations_index++]
```
Après cette attribution de conteneurs, suivez les étapes décrites dans [Déployez en utilisant SageMaker APIs](#autopilot-deploy-models-api) pour le déploiement.
Pour créer des données utiles dans l’inférence en temps réel, consultez l’exemple du bloc-notes pour [définir les données utiles de test](https://aws.amazon.com/getting-started/hands-on/machine-learning-tutorial-automatically-create-models). Pour créer les données utiles à partir d’un fichier CSV et invoquer un point de terminaison, consultez la section **Prédire avec votre modèle** dans [Créer automatiquement un modèle de machine learning](https://aws.amazon.com/getting-started/hands-on/create-machine-learning-model-automatically-sagemaker-autopilot/#autopilot-cr-room).
# Exécution des tâches d’inférence par lots
L’inférence par lots, également appelée inférence hors ligne, génère des prédictions modélisées sur un lot d’observations. L'inférence par lots est une bonne option pour les grands jeux de données, ou si vous n'avez pas besoin d'une réponse immédiate à une demande de prédiction de modèle. En revanche, l’inférence en ligne ([inférence en temps réel](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime)) génère des prédictions en temps réel. Vous pouvez effectuer des inférences par lots à partir d'un modèle de pilote automatique à l'aide du [SDK SageMaker Python](https://sagemaker.readthedocs.io/en/stable/), de l'interface utilisateur (UI) du pilote automatique, du SDK [AWS pour Python (boto3) ou du ()](https://aws.amazon.com/sdk-for-python/). AWS Command Line Interface [AWS CLI](https://docs.aws.amazon.com/cli/)
Les onglets suivants présentent trois options pour déployer votre modèle : Utilisation APIs, interface utilisateur du pilote automatique ou utilisation pour le déploiement APIs à partir de différents comptes. Ces instructions supposent que vous avez déjà créé un modèle dans Autopilot. Si vous ne disposez pas de modèle, consultez [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md). Pour voir des exemples de chaque option, ouvrez chaque onglet.
## Déployer un modèle à l’aide de l’interface utilisateur d’Autopilot
L'interface utilisateur d'Autopilot contient des menus déroulants utiles, des boutons, des infobulles et bien plus encore, pour vous aider à parcours le déploiement du modèle.
Les étapes suivantes montrent comment déployer un modèle à partir d’une expérience Autopilot pour des prédictions par lots.
1. Connectez-vous à [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)et sélectionnez **Studio** dans le volet de navigation.
1. Dans le panneau de navigation de gauche, choisissez **Studio**.
1. Sous **Commencer**, sélectionnez le domaine dans lequel vous souhaitez lancer l’application Studio. Si votre profil utilisateur n’appartient qu’à un seul domaine, l’option permettant de sélectionner un domaine ne s’affiche pas.
1. Sélectionnez le profil utilisateur pour lequel vous souhaitez lancer l’application Studio Classic. S’il n’existe aucun profil utilisateur dans le domaine, choisissez **Créer un profil utilisateur**. Pour plus d’informations, consultez [Ajout de profils utilisateur](https://docs.aws.amazon.com/sagemaker/latest/dg/domain-user-profile-add.html).
1. Choisissez **Launch Studio** (Lancer Studio). Si le profil utilisateur appartient à un espace partagé, choisissez **Open Spaces**.
1. Lorsque la console SageMaker Studio Classic s'ouvre, cliquez sur le bouton **Launch SageMaker Studio**.
1. Sélectionnez **AutoML** dans le panneau de navigation de gauche.
1. Sous **Nom**, sélectionnez l’expérience Autopilot correspondant au modèle que vous souhaitez déployer. Ceci ouvre un nouvel onglet **AUTOPILOT JOB** (TÂCHE AUTOPILOT).
1. Dans la section **Model name** (Nom du modèle), sélectionnez le modèle que vous voulez déployer.
1. Choisissez **Deploy model (Déployer le modèle)**. Un nouvel onglet s'ouvre.
1. En haut de la page, choisissez **Make batch predictions** (Créer des prédictions par lots).
1. Pour **Configuration des tâches de transformation par lots**, renseignez **Type d’instance**, **Nombre d’instances** et d’autres informations facultatives.
1. Dans la section **Configuration des données d’entrée**, ouvrez le menu déroulant.
1. Pour le **type de données S3**, choisissez **ManifestFile**ou **S3Prefix**.
1. **Pour le **type Split**, choisissez **Line**, **Recordio **TFRecord****ou None.**
1. Pour **Compression**, choisissez **Gzip** ou **None** (Aucun).
1. Pour **Emplacement S3**, entrez l’emplacement du compartiment Amazon S3 contenant les données d’entrée et d’autres informations facultatives.
1. Sous **Output data configuration** (Configuration des données de sortie), entrez le compartiment S3 pour les données de sortie et choisissez comment [assembler la sortie](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#sagemaker-Type-TransformOutput-AssembleWith) de votre tâche.
1. Pour **Additional configuration (optional)** (Configuration supplémentaire (facultative), vous pouvez saisir un type MIME et une clé de cryptage S3 (**S3 encryption key**).
1. Pour le **filtrage des entrées/sorties et les jointures de données (facultatif)**, vous entrez une JSONpath expression pour filtrer vos données d'entrée, vous joignez les données de la source d'entrée à vos données de sortie et vous entrez une JSONpath expression pour filtrer vos données de sortie.
1. Pour des exemples pour chaque type de filtre, consultez l'[DataProcessing API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DataProcessing.html#sagemaker-Type-DataProcessing-InputFilter).
1. Pour effectuer des prédictions par lots sur votre jeu de données d’entrée, sélectionnez **Créer une tâche de transformation par lots**. Un nouvel onglet **Tâches de transformation par lots** s’affiche.
1. Dans l’onglet **Tâches de transformation par lots**, recherchez le nom de votre tâche dans la section **État**. Ensuite, vérifiez l’état d’avancement de la tâche.
## Déployez en utilisant SageMaker APIs
Pour utiliser le SageMaker APIs pour l'inférence par lots, il faut suivre trois étapes :
1. **Obtenir les définitions des candidats**
Les définitions des candidats provenant de [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)sont utilisées pour créer un modèle d' SageMaker IA.
L'exemple suivant montre comment utiliser l'[DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API pour obtenir des définitions de candidats pour le meilleur modèle candidat. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
Utilisez l'[ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API pour répertorier tous les candidats. La commande AWS CLI suivante constitue un exemple.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Création d'un modèle d' SageMaker IA**
Pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API, utilisez les définitions de conteneur des étapes précédentes. La commande AWS CLI suivante constitue un exemple.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Créez une tâche de transformation SageMaker basée sur l'IA**
L'exemple suivant crée une tâche de transformation basée sur l' SageMaker IA avec l'[CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker create-transform-job --transform-job-name '' --model-name ''\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": ""
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "",
"InstanceCount": 1
}' --region ''
```
Vérifiez la progression de votre travail de transformation à l'aide de l'[DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-transform-job --transform-job-name '' --region
```
Une fois le travail terminé, le résultat prévu sera disponible dans ``.
Le nom du fichier de sortie possède le format suivant : `.out`. Par exemple, si votre fichier d'entrée est `text_x.csv`, le nom de sortie sera `text_x.csv.out`.
Les onglets suivants présentent des exemples de code pour le SDK SageMaker Python, le AWS SDK pour Python (boto3) et le. AWS CLI
------
#### [ SageMaker Python SDK ]
L'exemple suivant utilise le **[SDK SageMaker Python](https://sagemaker.readthedocs.io/en/stable/overview.html)** pour effectuer des prédictions par lots.
```
from sagemaker import AutoML
sagemaker_session= sagemaker.session.Session()
job_name = 'test-auto-ml-job' # your autopilot job name
automl = AutoML.attach(auto_ml_job_name=job_name)
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
# call DescribeAutoMLJob API to get the best candidate definition
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
best_candidate_name = best_candidate['CandidateName']
# create model
model = automl.create_model(name=best_candidate_name,
candidate=best_candidate)
# create transformer
transformer = model.transformer(instance_count=1,
instance_type='ml.m5.2xlarge',
assemble_with='Line',
output_path=output_path)
# do batch transform
transformer.transform(data=input_data,
split_type='Line',
content_type='text/csv',
wait=True)
```
------
#### [ AWS SDK for Python (boto3) ]
L'exemple suivant utilise le **kit AWS SDK pour Python (boto3)** pour effectuer des prédictions par lots.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
La tâche d'inférence par lots renvoie une réponse au format suivant.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Obtenez les définitions des candidats** à l’aide de l’exemple de code suivant.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Créez le modèle** à l'aide de l'exemple de code suivant.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Créez la tâche de transformation** à l’aide de l’exemple de code suivant.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Vérifiez la progression de la tâche de transformation** à l’aide de l’exemple de code suivant.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Voici la réponse de la tâche de transformation.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "Line"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Une fois les modifications `TransformJobStatus` apportées à `Completed`, vous pouvez vérifier le résultat de l'inférence dans le `S3OutputPath`.
------
## Déployez des modèles à partir de différents comptes
Pour créer une tâche d’inférence par lots dans un compte différent de celui dans lequel le modèle a été généré, suivez les instructions figurant dans [Déployez des modèles à partir de différents comptes](autopilot-deploy-models-realtime.md#autopilot-deploy-models-realtime-across-accounts). Vous pouvez ensuite créer des modèles et transformer des tâches en suivant les [Déployez en utilisant SageMaker APIs](#autopilot-deploy-models-batch-steps).
# Afficher les détails des modèles
Autopilot génère des informations sur les modèles candidats que vous pouvez obtenir. Ces détails incluent les suivants :
+ Un tracé des valeurs SHAP agrégées qui indique l'importance de chaque fonction. Cela permet d'expliquer les prédictions de vos modèles.
+ Un résumé des statistiques relatives à diverses métriques d'entraînement et de validation, notamment la métrique objective.
+ Une liste des hyperparamètres utilisés pour entraîner et régler le modèle.
Pour afficher les détails du modèle après avoir exécuté une tâche Autopilot, procédez comme suit :
1. Cliquez sur l'icône **Accueil** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/studio/icons/house.png)) dans le volet de navigation de gauche pour afficher le menu de navigation supérieur d'**Amazon SageMaker Studio Classic**.
1. Sélectionnez la carte **AutoML** dans la zone de travail principale. Ceci ouvre un nouvel onglet **Autopilot**.
1. Dans la section **Name** (Nom), sélectionnez la tâche Autopilot qui contient les détails que vous souhaitez examiner. Ceci ouvre un nouvel onglet de **Tâche Autopilot**.
1. Le panneau **Autopilot job** (Tâche Autopilot) répertorie les valeurs de métriques, y compris la métrique **Objective** (Objectif) pour chaque modèle sous **Model name** (Nom du modèle). Le meilleur modèle, **Best model**, est répertorié en haut de la liste sous **Model name** (Nom du modèle) et est également surligné dans l'onglet **Models** (Modèles).
1. Pour consulter les détails du modèle, sélectionnez le modèle qui vous intéresse et sélectionnez **View model details** (Afficher les détails du modèle). Ceci ouvre un nouvel onglet **Détails du modèle**.
1. L'onglet **Model Details** (Détails du modèle) est divisé en quatre sous-sections.
1. Le haut de l'onglet **Explainability** (Explicabilité) contient un plan de valeurs agrégées SHAP qui indiquent l'importance de chaque caractéristique. Après cela, vous trouverez les métriques et les valeurs des hyperparamètres pour ce modèle.
1. L'onglet **Performance** (Performances) contient des statistiques de métriques et une matrice de confusion.
1. L'onglet **Artifacts** (Artefacts) contient des informations sur les entrées, les sorties et les résultats intermédiaires du modèle.
1. L'onglet **Réseau** récapitule vos choix en matière d'isolation et de chiffrement du réseau.
**Note**
L'importance des fonctionnalités et les informations dans **Performances** sont uniquement générés pour le **Meilleur modèle**.
Pour plus d'informations sur la façon dont les valeurs SHAP aident à expliquer les prédictions basées sur l'importance de la fonction, consultez le livre blanc [Understanding the model explainability](https://pages.awscloud.com/rs/112-TZM-766/images/Amazon.AI.Fairness.and.Explainability.Whitepaper.pdf) (Comprendre l'explicabilité du modèle). Des informations supplémentaires sont également disponibles dans la [Explicabilité du modèle](clarify-model-explainability.md) rubrique du Guide du développeur d' SageMaker IA.
# Affichage d’un rapport de performances du modèle Autopilot
Un rapport sur la qualité du modèle Amazon SageMaker AI (également appelé rapport de performance) fournit des informations et des informations de qualité sur le meilleur modèle candidat généré par une tâche AutoML. Cela inclut des informations sur les détails de la tâche, le type de problème du modèle, la fonction objective et d’autres informations relatives au type de problème. Ce guide explique comment afficher graphiquement les indicateurs de performance d'Amazon SageMaker Autopilot ou les afficher sous forme de données brutes dans un fichier JSON.
Par exemple, dans les problèmes de classification, le rapport de qualité du modèle inclut les éléments suivants :
+ Matrice Confusion
+ Aire située sous la courbe ROC (AUC)
+ Informations pour comprendre les faux positifs et les faux négatifs
+ Compromis entre les vrais positifs et les faux positifs
+ Compromis entre la précision et le rappel
Autopilot fournit également des métriques de performance pour tous vos modèles candidats. Ces métriques sont calculées à l’aide de toutes les données d’entraînement et sont utilisées pour estimer les performances du modèle. La zone de travail principale inclut ces métriques par défaut. Le type de métrique est déterminé par le type de problème à résoudre.
Consultez la [documentation de référence de SageMaker l'API Amazon](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) pour obtenir la liste des métriques disponibles prises en charge par Autopilot.
Vous pouvez trier vos modèles candidats par la métrique appropriée pour vous aider à sélectionner et à déployer le modèle qui répond aux besoins de votre entreprise. Pour connaître les définitions de ces métriques, consultez la rubrique [Métriques des candidats Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics).
Pour consulter un rapport de performances provenant d’une tâche Autopilot, procédez comme suit :
1. Cliquez sur l'icône **Accueil** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/studio/icons/house.png)) dans le volet de navigation de gauche pour afficher le menu de navigation supérieur d'**Amazon SageMaker Studio Classic**.
1. Sélectionnez la carte **AutoML** dans la zone de travail principale. Ceci ouvre un nouvel onglet **Autopilot**.
1. Dans la section **Name** (Nom), sélectionnez la tâche Autopilot qui contient les détails que vous souhaitez examiner. Ceci ouvre un nouvel onglet de **Tâche Autopilot**.
1. Le panneau **Autopilot job** (Tâche Autopilot) répertorie les valeurs de métriques, y compris la métrique **Objective** (Objectif) pour chaque modèle sous **Model name** (Nom du modèle). Le **Best model** (Meilleur modèle) est répertorié en haut de la liste sous **Model name** (Nom du modèle) et est également mis en évidence dans l’onglet **Models** (Modèles).
1. Pour consulter les détails du modèle, sélectionnez le modèle qui vous intéresse et sélectionnez **View model details** (Afficher les détails du modèle). Ceci ouvre un nouvel onglet **Détails du modèle**.
1. Choisissez l’onglet **Performances** entre l’onglet **Explicabilité** et l’onglet **Artefacts**.
1. Dans la partie supérieure droite de l’onglet, sélectionnez la flèche déroulante sur le bouton **Download Performance Reports** (Télécharger les rapports de performance).
1. La flèche vers le bas propose deux options pour afficher les métriques de performances Autopilot :
1. Vous pouvez télécharger le rapport de performances au format PDF pour visualiser les métriques sous forme graphique.
1. Vous pouvez afficher les métriques en tant que données brutes et les télécharger sous la forme d’un fichier JSON.
Pour obtenir des instructions sur la création et l'exécution d'une tâche AutoML dans SageMaker Studio Classic, consultez. [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md)
Le rapport de performances contient deux sections. La première contient des détails sur la tâche Autopilot qui a produit le modèle. La deuxième contient un rapport sur la qualité du modèle.
## Détails de la tâche Autopilot
La première section du rapport fournit des informations générales sur la tâche Autopilot qui a produit le modèle. Ces détails de tâche incluent les informations suivantes :
+ Nom du candidat Autopilot
+ Nom de la tâche Autopilot
+ Type de problème
+ Métrique d’objectif
+ Direction de l’optimisation
## Rapport de qualité du modèle
Des informations sur la qualité du modèle sont générées par les analyses du modèle Autopilot. Le contenu du rapport généré dépend du type de problème résolu : régression, classification binaire ou classification multi-classes. Le rapport spécifie le nombre de lignes incluses dans le jeu de données d’évaluation et le moment auquel l’évaluation a eu lieu.
### Tableaux de métriques
La première partie du rapport sur la qualité du modèle contient des tableaux de métriques. Ils sont adaptés au type de problème traité par le modèle.
L’image suivante est un exemple de tableau de métriques généré par Autopilot pour un problème de régression. Il indique le nom, la valeur et l'écart type de la métrique.
![\[Exemple de rapport sur les mesures de régression du modèle Amazon SageMaker Autopilot Insights.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-regression-metrics.png)
L’image suivante est un exemple de tableau de métriques généré par Autopilot pour un problème de classification multi-classes. Il indique le nom, la valeur et l'écart type de la métrique.
![\[Exemple de rapport sur les mesures de classification multiclasses du modèle Amazon SageMaker Autopilot Insights.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informations graphiques sur les performances du modèle
La deuxième partie du rapport sur la qualité du modèle contient des informations graphiques qui vous aident à évaluer les performances du modèle. Le contenu de cette section dépend du type de problème utilisé dans la modélisation.
#### La zone située sous la courbe ROC.
L’aire sous la courbe caractéristique de fonctionnement du récepteur représente le compromis entre les taux de vrais positifs et de faux positifs. Il s’agit d’une métrique de précision conforme aux normes du secteur, utilisée pour les modèles de classification binaire. L’aire sous la courbe (AUC) mesure l’aptitude du modèle à prédire un score plus élevé pour les exemples de positifs, par rapport aux exemples de négatifs. La métrique AUC fournit une métrique regroupée des performances du modèle sur tous les seuils de classification possibles.
Elle renvoie une valeur décimale comprise entre 0 et 1. Les valeurs AUC proches de 1 indiquent que le modèle de machine learning est très précis. Les valeurs proches de 0,5 indiquent que le modèle n’est pas meilleur que de deviner au hasard. Les valeurs AUC proches de 0 indiquent que le modèle a appris les bonnes tendances, mais effectue des prédictions aussi imprécises que possible. Les valeurs proches de zéro peuvent indiquer un problème lié aux données. Pour plus d’informations sur la métrique AUC, accédez à l’article [Courbe ROC](https://en.wikipedia.org/wiki/Receiver_operating_characteristic) sur Wikipédia.
Voici un exemple de graphe d’aire sous la courbe caractéristique de fonctionnement du récepteur permettant d’évaluer les prédictions effectuées par un modèle de classification binaire. La fine ligne pointillée représente la zone située sous la courbe des caractéristiques de fonctionnement du récepteur à laquelle un modèle qui classe les no-better-than-random suppositions obtiendrait un score, avec un score AUC de 0,5. Les courbes de modèles de classification plus précise se situent au-dessus de cette ligne de base aléatoire, où le taux de vrais positifs dépasse le taux de faux positifs. L’aire sous la courbe caractéristique de fonctionnement du récepteur représentant la performance du modèle de classification binaire correspond à la ligne épaisse continue.
![\[Exemple de courbe caractéristique de fonctionnement SageMaker de la zone Amazon Autopilot située sous le récepteur.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-receiver-operating-characteristic-curve.png)
Un résumé des composantes du graphe relatives au **taux de faux positifs** (FPR) et au **taux de vrais positifs** (TPR) est défini comme suit.
+ Prédictions correctes
+ **Vrai positif** (TP, True Positive) : la valeur prédite est 1, et la valeur observée est 1.
+ **Vrai négatif** (TN, True Negative) : la valeur prédite est 0, et la valeur observée est 0.
+ Prédictions erronées
+ **Faux positif** (FP) : la valeur prédite est 1, mais la valeur observée est 0.
+ **Faux négatif** (FN) : la valeur prédite est 0, mais la valeur observée est 1.
Le **taux de faux positifs** (FPR) mesure la fraction de vrais négatifs (TN) faussement prédits comme positifs (FP), par rapport à la somme des FP et des TN. La plage est comprise entre 0 et 1. Plus la valeur est petite et meilleure est la précision prédictive.
+ TFP = FP/(FP\$1TN)
Le **taux de vrais positifs** (TPR) mesure la fraction de vrais positifs correctement prédits comme positifs (TP), par rapport à la somme des TP et des faux négatifs (FN). La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive.
+ TPR = TP/(TP\$1FN)
#### Matrice Confusion
Une matrice de confusion permet de visualiser la précision des prédictions faites par un modèle de classification binaire et multi-classes pour différents problèmes. La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ Le nombre et le pourcentage de prédictions correctes et incorrectes pour les étiquettes réelles
+ Le nombre et le pourcentage de prédictions exactes sur la diagonale, du coin supérieur gauche au coin inférieur droit
+ Le nombre et le pourcentage de prédictions inexactes sur la diagonale, du coin supérieur droit au coin inférieur gauche
Les prédictions incorrectes d’une matrice de confusion sont les valeurs de confusion.
Le diagramme suivant est un exemple de matrice de confusion pour un problème de classification binaire. Elle contient les informations suivantes :
+ L’axe vertical est divisé en deux rangées contenant des étiquettes réelles vraies et fausses.
+ L’axe horizontal est divisé en deux colonnes contenant des étiquettes vraies et fausses prédites par le modèle.
+ La barre de couleur attribue une tonalité plus foncée à un plus grand nombre d'échantillons afin d'indiquer visuellement le nombre de valeurs classées dans chaque catégorie.
Dans cet exemple, le modèle a prédit correctement 2 817 valeurs fausses réelles et 353 valeurs vraies réelles. Le modèle a prédit incorrectement que 130 valeurs vraies réelles étaient fausses et que 33 valeurs fausses réelles étaient vraies. La différence de tonalité indique que le jeu de données n’est pas équilibré. Le déséquilibre est dû au fait qu’il y a beaucoup plus d’étiquettes fausses réelles que d’étiquettes vraies réelles.
![\[Exemple de matrice de confusion binaire Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-binary.png)
Le diagramme suivant est un exemple de matrice de confusion pour un problème de classification multi-classes. La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ L’axe vertical est divisé en trois rangées contenant trois étiquettes réelles différentes.
+ L’axe horizontal est divisé en trois colonnes contenant des étiquettes prédites par le modèle.
+ La barre de couleur attribue une tonalité plus foncée à un plus grand nombre d'échantillons afin d'indiquer visuellement le nombre de valeurs classées dans chaque catégorie.
Dans l’exemple ci-dessous, le modèle a correctement prédit 354 valeurs réelles pour l’étiquette **f**, 1094 valeurs pour l’étiquette **i** et 852 valeurs pour l’étiquette **m**. La différence de tonalité indique que le jeu de données n’est pas équilibré, car il existe beaucoup plus d’étiquettes pour la valeur **i** que pour **f** ou **m**.
![\[Exemple de matrice de confusion multiclasse Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
La matrice de confusion du rapport sur la qualité du modèle fourni peut prendre en charge un maximum de 15 étiquettes pour les types de problèmes de classification multi-classes. Si une ligne correspondant à une étiquette affiche une valeur `Nan`, cela signifie que le jeu de données de validation utilisé pour vérifier les prédictions modélisées ne contient pas de données portant cette étiquette.
#### Courbe de gain
Dans la classification binaire, une courbe de gain prédit l’avantage cumulé de l’utilisation d’un pourcentage du jeu de données pour trouver une étiquette positive. La valeur du gain est calculée pendant l’entraînement en divisant le nombre cumulé d’observations positives par le nombre total d’observations positives dans les données, à chaque décile. Si le modèle de classification créé pendant l’entraînement est représentatif des données invisibles, vous pouvez utiliser la courbe de gain pour prédire le pourcentage de données que vous devez cibler pour obtenir un pourcentage d’étiquettes positives. Plus le pourcentage du jeu de données utilisé est élevé, plus le pourcentage d’étiquettes positives trouvées est élevé.
Dans l’exemple de graphe suivant, la courbe de gain est la ligne dont la pente change. La ligne droite correspond au pourcentage d’étiquettes positives trouvées en sélectionnant au hasard un pourcentage de données dans le jeu de données. En ciblant 20 % du jeu de données, vous pouvez vous attendre à trouver plus de 40 % d’étiquettes positives. À titre d’exemple, vous pouvez envisager d’utiliser une courbe de gain pour déterminer vos efforts dans le cadre d’une campagne marketing. En utilisant notre exemple de courbe de gain, pour que 83 % des habitants d’un quartier achètent des cookies, vous enverriez une publicité à environ 60 % de la population du quartier.
![\[Exemple de courbe de gain Amazon SageMaker Autopilot avec pourcentage et valeur de gain.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-gain-curve.png)
#### Courbe de Lift
En classification binaire, la courbe de Lift illustre l’amélioration apportée par l’utilisation d’un modèle entraîné pour prédire la probabilité de trouver une étiquette positive par rapport à une estimation aléatoire. La valeur de Lift est calculée pendant l’entraînement en utilisant le ratio du pourcentage de gain par rapport au ratio d’étiquettes positives à chaque décile. Si le modèle créé pendant l’entraînement est représentatif des données invisibles, utilisez la courbe de Lift pour prédire l’avantage à utiliser le modèle par rapport à des suppositions aléatoires.
Dans l’exemple de graphe suivant, la courbe de Lift est la ligne dont la pente change. La ligne droite est la courbe de Lift associée à la sélection aléatoire du pourcentage correspondant dans le jeu de données. Si vous ciblez 40 % du jeu de données avec les étiquettes de classification de votre modèle, vous pouvez vous attendre à trouver environ 1,7 fois plus d’étiquettes positives que vous auriez trouvées en sélectionnant au hasard 40 % des données invisibles.
![\[Exemple de courbe de levage Amazon SageMaker Autopilot avec pourcentage et valeur de portance.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-lift-curve.png)
#### Courbe de rappel de précision
La courbe de précision-rappel représente le compromis entre précision et rappel pour les problèmes de classification binaire.
La **précision** mesure la fraction de positifs réels qui sont prédits comme positifs (TP) parmi l’ensemble des prédictions positives (TP et faux positifs). La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision des valeurs prédites.
+ Précision = TP/(TP\$1FP)
Le **rappel** mesure la fraction de positifs réels qui sont prédits comme positifs (TP) parmi l’ensemble des prédictions positives (TP et faux négatifs). Ceci est également connu sous le nom de taux de sensibilité ou de vrais positifs. La plage est comprise entre 0 et 1. Une valeur plus élevée indique une meilleure détection des valeurs positives de l’exemple.
+ Rappel = TP/(TP\$1FN)
L’objectif d’un problème de classification est d’étiqueter correctement autant d’éléments que possible. Un système avec un rappel élevé, mais une faible précision, renvoie un pourcentage élevé de faux positifs.
Le graphe suivant illustre un filtre de courrier indésirable qui marque chaque e-mail comme courrier indésirable. Son rappel est élevé, mais sa précision est faible, car le rappel ne mesure pas les faux positifs.
Accordez plus de poids au rappel qu’à la précision si votre problème a une faible pénalité pour les valeurs de faux positifs, mais une pénalité élevée pour le fait de manquer un résultat vrai positif. Par exemple, la détection d’une collision imminente dans un véhicule autonome.
![\[Exemple Autopilot d’un système à rappel élevé et faible précision, modélisant tous les échantillons comme des positifs.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-recall-low-precision.PNG)
En revanche, un système avec précision élevée, mais faible rappel, renvoie un pourcentage élevé de faux négatifs. Un filtre de courrier indésirable qui marque chaque e-mail comme souhaitable (et non comme courrier indésirable) a une précision élevée et un faible rappel, car la précision ne mesure pas les faux négatifs.
Si votre problème a une faible pénalité pour les valeurs de faux négatifs, mais une pénalité élevée pour le fait de manquer des résultats de vrais négatifs, accordez plus de poids à la précision qu’au rappel. Par exemple, le signalement d’un filtre suspect pour un contrôle fiscal.
Le graphe suivant représente un filtre de courrier indésirable à précision élevée, mais faible rappel, car la précision ne mesure pas les faux négatifs.
![\[Exemple Autopilot d’un système à précision élevée et à faible rappel, modélisant tous les échantillons comme des négatifs.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-precision-low-recall.PNG)
Un modèle qui réalise des prédictions avec à la fois une précision élevée et un rappel élevé produit un grand nombre de résultats correctement étiquetés. Pour en savoir plus, consultez [Précision et rappel](https://en.wikipedia.org/wiki/Precision_and_recall) dans Wikipédia.
#### Aire sous la courbe précision-rappel (AUPRC)
Pour les problèmes de classification binaire, Amazon SageMaker Autopilot inclut un graphique de la zone située sous la courbe de rappel de précision (AUPRC). La métrique AUPRC fournit une mesure agrégée des performances du modèle sur tous les seuils de classification possibles et utilise à la fois la précision et le rappel. La courbe AUPRC ne prend pas en compte le nombre de vrais négatifs. Il peut donc être utile d’évaluer les performances du modèle dans les cas où les données contiennent un grand nombre de vrais négatifs. Par exemple, pour modéliser un gène contenant une mutation rare.
Le graphique suivant est un exemple de graphe AUPRC. La précision à sa valeur la plus élevée est de 1 et le rappel est de 0. Dans le coin inférieur droit du graphe, le rappel est sa valeur la plus élevée (1) et la précision est 0. Entre ces deux points, la courbe AUPRC illustre le compromis entre la précision et le rappel à différents seuils.
![\[La courbe précision-rappel illustre le compromis entre précision et rappel à différents seuils.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-binary-precision-recall.png)
#### Tracé des valeurs réelles par rapport aux prédictions
Le tracé des valeurs réelles par rapport aux prédictions montre la différence entre les valeurs réelles et les valeurs prédites du modèle. Dans l’exemple de graphe suivant, la ligne continue est une droite de meilleur ajustement. Si le modèle était précis à 100 %, chaque point prédit serait égal à son point réel correspondant et se situerait sur cette droite de meilleur ajustement. La distance par rapport à la droite de meilleur ajustement est une indication visuelle de l’erreur du modèle. Plus la distance par rapport à la droite de meilleur ajustement est grande, plus l’erreur du modèle est importante.
![\[Exemple avec droite de meilleur ajustement, différenciant le tracé réel du tracé prédit et indiquant l’erreur du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-actual-vs-predicted-plot.png)
#### Tracé résiduel normalisé
Un tracé résiduel normalisé intègre les termes statistiques suivants :
**`residual`**
Un résiduel (brut) indique la différence entre les valeurs réelles et les valeurs prédites par votre modèle. Plus la différence est importante, plus la valeur résiduelle est importante.
**`standard deviation`**
L’écart type est une mesure de la façon dont les valeurs varient par rapport à une valeur moyenne. Un écart type élevé indique que de nombreuses valeurs sont très différentes de leur valeur moyenne. Un écart type faible indique que de nombreuses valeurs sont proches de leur valeur moyenne.
**`standardized residual`**
Un résiduel normalisé divise les résiduels bruts par leur écart type. Les résiduels normalisés comportent des unités d’écart type et sont utiles pour identifier les valeurs aberrantes dans les données, quelle que soit la différence d’échelle des résiduels bruts. Si un résiduel normalisé est beaucoup plus petit ou plus grand que les autres résiduels normalisés, cela indique que le modèle ne correspond pas bien à ces observations.
Le tracé résiduel normalisé mesure la force de la différence entre les valeurs observées et attendues. La valeur réelle prédite est affichée sur l’axe X. Un point dont la valeur est supérieure à la valeur absolue de 3 est généralement considéré comme une valeur aberrante.
L’exemple de graphe suivant montre qu’un grand nombre de résiduels normalisés sont regroupés autour de 0 sur l’axe horizontal. Les valeurs proches de zéro indiquent que le modèle correspond bien à ces points. Les points situés en haut et en bas du tracé ne sont pas bien prédits par le modèle.
![\[Exemple de diagramme des valeurs résiduelles standardisées Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-standardized-residual.png)
#### Histogramme résiduel
Un histogramme résiduel intègre les termes statistiques suivants :
**`residual`**
Un résiduel (brut) indique la différence entre les valeurs réelles et les valeurs prédites par votre modèle. Plus la différence est importante, plus la valeur résiduelle est importante.
**`standard deviation`**
L’écart type est une mesure du degré de variation des valeurs par rapport à une valeur moyenne. Un écart type élevé indique que de nombreuses valeurs sont très différentes de leur valeur moyenne. Un écart type faible indique que de nombreuses valeurs sont proches de leur valeur moyenne.
**`standardized residual`**
Un résiduel normalisé divise les résiduels bruts par leur écart type. Les résiduels normalisés ont des unités d’écart type. Ils sont utiles pour identifier les valeurs aberrantes dans les données, quelle que soit la différence d’échelle des résiduels bruts. Si un résiduel normalisé est beaucoup plus petit ou plus grand que les autres résiduels normalisés, cela indique que le modèle ne correspond pas bien à ces observations.
**`histogram`**
Un histogramme est un graphe qui indique la fréquence d’apparition d’une valeur.
L’histogramme résiduel montre la distribution des valeurs résiduelles normalisées. Un histogramme distribué en forme de cloche centrée sur zéro indique que le modèle ne prédit pas systématiquement trop haut ou trop bas une plage particulière de valeurs cibles.
Dans le graphique suivant, les valeurs résiduelles normalisées indiquent que le modèle correspond bien aux données. Si le graphe montrait des valeurs très éloignées de la valeur centrale, cela indiquerait que ces valeurs ne correspondent pas bien au modèle.
![\[Valeur résiduelle normalisée proche de zéro, indiquant que le modèle correspond bien aux données.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-residual-histogram.png)
# Bloc-notes Autopilot générés pour gérer les tâches AutoML
Amazon SageMaker Autopilot gère les tâches clés d'un processus d'apprentissage automatique (AutoML) à l'aide d'une tâche AutoML. La tâche AutoML crée deux rapports basés sur des blocs-notes qui décrivent le plan suivi par Autopilot pour générer des modèles candidats.
Un modèle candidat se compose d’une paire (pipeline, algorithme). Premièrement, un bloc-notes d’**exploration de données** décrit ce qu’Autopilot a appris sur les données que vous avez fournies. Deuxièmement, un bloc-notes de **définition de candidats **utilise ces informations sur les données pour générer des candidats. Troisièmement, un rapport d’**analyse de modèle** qui peut aider à détailler les caractéristiques de performance du meilleur modèle dans le classement d’une expérience Autopilot.
**Topics**
+ [Rapport Autopilot d’exploration de données](autopilot-data-exploration-report.md)
+ [Recherche et exécution du bloc-notes de définition des candidats](autopilot-candidate-generation-notebook.md)
Vous pouvez exécuter ces blocs-notes dans Amazon SageMaker AI, ou localement, si vous avez installé le [SDK Amazon SageMaker Python](https://sagemaker.readthedocs.io/en/stable). Vous pouvez partager les blocs-notes comme n'importe quel autre bloc-notes SageMaker Studio Classic. Les carnets sont créés pour que vous puissiez effectuer des expériences. Par exemple, vous pouvez modifier les éléments suivants dans les blocs-notes :
+ Préprocesseurs utilisés sur les données
+ Nombre d’exécutions d’optimisation des hyperparamètres et leur parallélisme
+ Algorithmes à essayer
+ Types d’instance utilisés pour les tâches d’optimisation des hyperparamètres
+ Plages des hyperparamètres
Les modifications du bloc-notes de définition des candidats sont encouragées en tant qu’outil d’apprentissage. Grâce à cette capacité, vous apprenez comment les décisions prises au cours du processus de machine learning influencent vos résultats.
**Note**
Lorsque vous exécutez les blocs-notes dans votre instance par défaut, vous payez des coûts de référence. Cependant, lorsque vous exécutez des tâches HPO à partir du bloc-notes des candidats, ces tâches utilisent des ressources de calcul supplémentaires qui entraînent des coûts supplémentaires.
# Rapport Autopilot d’exploration de données
Amazon SageMaker Autopilot nettoie et prétraite automatiquement votre ensemble de données. La qualité élevée des données améliore l’efficacité du machine learning et produit des modèles dont les prédictions sont plus précises.
Il existe des problèmes avec des jeux de données fournis par le client qui ne peuvent pas être résolus automatiquement sans une certaine connaissance du domaine. Par exemples, les valeurs aberrantes importantes dans la colonne cible pour les problèmes de régression peuvent entraîner des prédictions sous-optimales pour les valeurs non aberrantes. Certaines valeurs aberrantes doivent être supprimées selon l’objectif de modélisation. Si une colonne cible est incluse par accident comme l’une des ressources d’entrée, le modèle final sera bien validé, mais n’aura que peu de valeur pour les prédictions à venir.
Pour aider les clients à déceler ce genre de problèmes, Autopilot fournit un rapport d’exploration des données qui contient des informations sur les problèmes potentiels de leurs données. Le rapport suggère également la manière de traiter les problèmes.
Un bloc-notes d’exploration de données contenant le rapport est généré pour chaque tâche Autopilot. Le rapport est stocké dans un compartiment S3 et est accessible depuis votre chemin de sortie. Le chemin du rapport d’exploration de données correspond généralement au schéma suivant.
```
[s3 output path]/[name of the automl job]/sagemaker-automl-candidates/[name of processing job used for data analysis]/notebooks/SageMaker AIAutopilotDataExplorationNotebook.ipynb
```
L'emplacement du carnet d'exploration des données peut être obtenu à partir de l'API Autopilot à l'aide de la réponse à l'[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)opération, qui est stockée dans. [DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html#sagemaker-Type-AutoMLJobArtifacts-DataExplorationNotebookLocation)
Lorsque vous exécutez le pilote automatique depuis SageMaker Studio Classic, vous pouvez ouvrir le rapport d'exploration des données en procédant comme suit :
1. Cliquez sur l'icône **Accueil** dans le *volet ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/studio/icons/house.png) de navigation de gauche* pour afficher le menu de navigation supérieur d'**Amazon SageMaker Studio Classic**.
1. Sélectionnez la carte **AutoML** dans la zone de travail principale. Ceci ouvre un nouvel onglet **Autopilot**.
1. Dans la section **Name** (Nom), sélectionnez la tâche Autopilot qui contient le bloc-notes d’exploration des données que vous souhaitez examiner. Ceci ouvre un nouvel onglet de **Tâche Autopilot**.
1. Sélectionnez **Open data exploration notebook** (Ouvrir le bloc-notes d’exploration de données) dans la section supérieure droite de l’onglet **Autopilot job** (Tâche Autopilot).
Le rapport d’exploration de données est généré à partir de vos données avant le début du processus d’entraînement. Cela vous permet d’arrêter les tâches Autopilot susceptibles d’entraîner des résultats dénués de sens. De même, vous pouvez résoudre l’ensemble des problèmes ou améliorations liés à votre jeu de données avant de réexécuter Autopilot. Vous pouvez ainsi utiliser savoir-faire dans votre domaine pour améliorer manuellement la qualité des données avant d’entraîner un modèle sur un jeu de données mieux organisé.
Le rapport de données ne contient qu’une syntaxe statique et peut être ouvert dans n’importe quel environnement Jupyter. Le bloc-notes contenant le rapport peut être converti en d’autres formats, tels que PDF ou HTML. Pour plus d’informations sur les conversions, consultez [Utilisation du script nbconvert pour convertir les blocs-notes Jupyter vers d’autres formats](https://nbconvert.readthedocs.io/en/latest/usage.html ).
**Topics**
+ [Récapitulatif du jeu de données](#autopilot-data-exploration-report-dataset-summary)
+ [Analyse de la cible](#autopilot-data-exploration-report-target-analysis)
+ [Échantillon de données](#autopilot-data-exploration-report-data-sample)
+ [Lignes dupliquées.](#autopilot-data-exploration-report-duplicate-rows)
+ [Corrélations croisées de colonnes](#autopilot-data-exploration-report-cross-column-correlations)
+ [Lignes anormales](#autopilot-data-exploration-report-cross-anomolous-rows)
+ [Valeurs manquantes, cardinalité et statistiques descriptives](#autopilot-data-exploration-report-description-statistics-and-values)
## Récapitulatif du jeu de données
Ce **Dataset Summary** (Récapitulatif du jeu de données) fournit des statistiques clés caractérisant votre jeu de données, notamment le nombre de lignes, le nombre de colonnes, le pourcentage de lignes dupliquées et les valeurs cibles manquantes. Il est destiné à vous fournir une alerte rapide en cas de problème avec votre ensemble de données détecté par Amazon SageMaker Autopilot et susceptible de nécessiter votre intervention. Ces informations sont présentées sous forme d’avertissements classés comme étant de gravité « élevée » ou « faible ». La classification dépend du niveau de confiance dans le fait que le problème aura un impact négatif sur la performance du modèle.
Les informations sur la gravité élevée et faible apparaissent dans le résumé sous forme de fenêtres contextuelles. Dans la plupart des cas, des recommandations sont proposées pour confirmer qu’il existe un problème avec le jeu de données qui requiert votre attention. Des propositions sont également formulées sur la manière de résoudre les problèmes.
Autopilot fournit d’autres statistiques sur les valeurs cibles manquantes ou non valides dans notre jeu de données pour vous aider à détecter d’autres problèmes qui peuvent ne pas être détectés par des informations de gravité élevée. Un nombre inattendu de colonnes d’un type particulier peut indiquer que certaines colonnes que vous souhaitez utiliser sont peut-être absentes du jeu de données. Cela pourrait également indiquer qu’il y a eu un problème dans la façon dont les données ont été préparées ou stockées. La résolution de ces problèmes de données portés à votre attention par Autopilot peut améliorer les performances des modèles de machine learning entraînés sur vos données.
Les informations de gravité élevée sont présentés dans la section récapitulative et dans d’autres sections pertinentes du rapport. Des exemples d’informations de gravité élevée et faible sont généralement donnés en fonction de la section du rapport de données.
## Analyse de la cible
Diverses informations de gravité élevée et faible sont présentées dans cette section concernant la distribution des valeurs dans la colonne cible. Vérifiez que la colonne cible contient les bonnes valeurs. Des valeurs incorrectes dans la colonne cible donneront probablement lieu à un modèle de machine learning qui ne servira pas l’objectif commercial visé. Plusieurs informations de données de gravité élevée et faible figurent dans cette section. Voici quelques exemples.
+ **Valeurs cibles aberrantes** : distribution des cibles asymétriques ou inhabituelles pour la régression, comme les cibles à ailes lourdes.
+ **Cardinalité de cible élevée ou faible** : nombre peu fréquent d’étiquettes de classe ou grand nombre de classes uniques pour la classification.
Pour les types de problèmes de régression et de classification, des valeurs non valides telles que l’infinité numérique, `NaN` ou un espace vide apparaissent dans la colonne cible. Selon le type de problème, différentes statistiques de jeux de données sont présentées. Une distribution de valeurs de colonne cible pour un problème de régression vous permet de vérifier si la distribution correspond à vos attentes.
La capture d’écran suivante montre un rapport de données Autopilot, qui inclut des statistiques telles que la moyenne, la médiane, le minimum, le maximum et le pourcentage de valeurs aberrantes dans votre jeu de données. La capture d’écran inclut également un histogramme montrant la distribution des étiquettes dans la colonne cible. L’histogramme montre **Valeurs de colonne cible** sur l’axe horizontal et **Nombre** sur l’axe vertical. Un encadré met en évidence la section **Pourcentage de valeurs aberrantes** de la capture d’écran pour indiquer où cette statistique apparaît.
![\[Rapport de données Autopilot sur la distribution des valeurs des colonnes cibles.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis.png)
Plusieurs statistiques sont affichées concernant les valeurs cibles et leur distribution. Si l’une des valeurs aberrantes, des valeurs non valides ou des pourcentages manquants est supérieure à zéro, ces valeurs sont mises en évidence afin que vous puissiez étudier pourquoi vos données contiennent des valeurs cibles inutilisables. Certaines valeurs cibles inutilisables sont mises en évidence par un avertissement de faible gravité.
Dans la capture d’écran suivante, un symbole ` a été ajouté par erreur à la colonne cible, ce qui a empêché l’analyse de la valeur numérique de la cible. Un avertissement **Information de faible gravité : « Valeurs cibles non valides »** s’affiche. Dans cet exemple, l’avertissement indique que « 0,14 % des étiquettes de la colonne cible n’ont pas pu être converties en valeurs numériques. Les valeurs non numériques les plus courantes sont : [« -3,8e-05 »,« -9-05 »,« -4,7e-05 »,« -1,4999999999999999e-05 »,« -4,3e-05 »]. Cela indique généralement qu’il existe des problèmes de collecte ou de traitement des données. Amazon SageMaker Autopilot ignore toutes les observations dont l'étiquette cible n'est pas valide. »
![\[Les données Autopilot transmettent un avertissement de faible gravité concernant des valeurs cibles non valides.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-target-values.png)
Autopilot fournit également un histogramme indiquant la distribution des étiquettes à des fins de classification.
La capture d’écran suivante montre un exemple de statistiques fournies pour votre colonne cible, notamment le nombre de classes, les valeurs manquantes ou non valides. Un histogramme avec **Étiquette cible** sur l’axe horizontal et **Fréquence** sur l’axe vertical montre la distribution de chaque catégorie d’étiquettes.
![\[Les données Autopilot signalent une cardinalité élevée pour la classification.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-classification.png)
**Note**
Vous trouverez des définitions de tous les termes présentés dans cette section et dans d’autres sections dans la section **Définitions** au bas du bloc-notes du rapport.
## Échantillon de données
Autopilot présente un échantillon réel de vos données pour vous aider à identifier les problèmes liés à votre jeu de données. La table d’échantillon défile horizontalement. Inspectez les données de l’échantillon pour vérifier que toutes les colonnes nécessaires sont présentes dans le jeu de données.
Autopilot calcule également une mesure du pouvoir prédictif, qui peut être utilisée pour identifier une relation linéaire ou non linéaire entre une caractéristique et la variable cible. La valeur `0` indique que la caractéristique n’a aucune valeur prédictive dans la prédiction de la variable cible. La valeur `1` indique le pouvoir prédictif le plus élevé pour la variable cible. Pour plus d’informations sur le pouvoir prédictif, consultez **Définitions**.
**Note**
Il n’est pas recommandé d’utiliser le pouvoir prédictif comme substitut à l’importance d’une caractéristique. Ne l’utilisez que si vous êtes certain que le pouvoir prédictif est une mesure appropriée pour votre cas d’utilisation.
La capture d’écran suivante montre un exemple d’échantillon de données. La ligne du haut contient le pouvoir prédictif de chaque colonne dans votre jeu de données. La deuxième ligne contient le type de données de colonne. Les lignes suivantes contiennent les étiquettes. Les colonnes contiennent la colonne cible suivie de chaque colonne de caractéristique. Un pouvoir prédictif est associé à chaque colonne de caractéristique, encadré dans cette capture d’écran. Dans cet exemple, la colonne contenant la caractéristique `x51` a un pouvoir prédictif de `0.68` pour la variable cible `y`. La caractéristique `x55` est légèrement moins prédictive avec un pouvoir prédictif de `0.59`.
![\[Pouvoir de prédiction des échantillons de données du rapport Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-sample-prediction.png)
## Lignes dupliquées.
Si des lignes dupliquées sont présentes dans l'ensemble de données, Amazon SageMaker Autopilot en affiche un échantillon.
**Note**
Il n’est pas recommandé d’équilibrer un jeu de données par sur-échantillonnage avant de le fournir à Autopilot. Cela peut entraîner des scores de validation inexacts pour les modèles entraînés par Autopilot, et les modèles produits peuvent être inutilisables.
## Corrélations croisées de colonnes
Autopilot utilise le coefficient de corrélation de Pearson, une mesure de la corrélation linéaire entre deux caractéristiques, pour remplir une matrice de corrélation. Dans cette matrice de corrélation, les caractéristiques numériques sont tracées sur les axes horizontal et vertical, avec le coefficient de corrélation de Pearson tracé à leurs intersections. Plus la corrélation entre deux caractéristiques est élevée, plus le coefficient est élevé, avec une valeur maximale de `|1|`.
+ La valeur `-1` indique que les caractéristiques présente une parfaite corrélation négative.
+ La valeur `1`, qui apparaît lorsqu’une caractéristique est corrélée à elle-même, indique une parfaite corrélation positive.
Vous pouvez utiliser les informations de la matrice de corrélation pour supprimer les caractéristiques fortement corrélées. Un nombre réduit de ressources diminue les risques de surajustement d’un modèle et peut baisser les coûts de production de deux manières. Cela raccourcit le temps d’exécution d’Autopilot et, pour certaines applications, peut réduire le coût des procédures de collecte de données.
La capture d’écran suivante montre un exemple de matrice de corrélation entre `7` caractéristiques. Chaque caractéristique est affichée dans une matrice sur les axes horizontal et vertical. Le coefficient de corrélation de Pearson est affiché à l’intersection de deux caractéristiques. Une tonalité de couleur est associée à chaque intersection de caractéristiques. Plus la corrélation est élevée, plus la tonalité est foncée. Les tonalités les plus foncées occupent la diagonale de la matrice, où chaque caractéristique est corrélée à elle-même, ce qui représente une parfaite corrélation.
![\[Matrice de corrélation croisée des données du rapport Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-cross-column-statistics.png)
## Lignes anormales
Amazon SageMaker Autopilot détecte les lignes de votre ensemble de données susceptibles de présenter des anomalies. Il attribue ensuite un score d’anomalie à chaque ligne. Les lignes présentant un score d’anomalie négatif sont considérées comme anormales.
La capture d’écran suivante montre le résultat d’une analyse Autopilot pour les lignes contenant des anomalies. Une colonne contenant un score anormal apparaît à côté des colonnes du jeu de données pour chaque ligne.
![\[Jeu de données Autopilot avec des lignes anormales, affichant des scores d’anomalie négatifs.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-anomalous-rows.png)
## Valeurs manquantes, cardinalité et statistiques descriptives
Amazon SageMaker Autopilot examine et génère des rapports sur les propriétés des différentes colonnes de votre ensemble de données. Dans chaque section du rapport de données qui présente cette analyse, le contenu est classé dans l’ordre. Cela vous permet de vérifier en priorité les valeurs les plus « suspectes ». Grâce à ces statistiques, vous pouvez améliorer le contenu des colonnes individuelles et améliorer la qualité du modèle produit par Autopilot.
Autopilot calcule plusieurs statistiques sur les valeurs catégoriques des colonnes qui les contiennent. Celles-ci incluent notamment le nombre d’entrées uniques et, pour le texte, le nombre de mots uniques.
Autopilot calcule plusieurs statistiques standard sur les valeurs numériques des colonnes qui les contiennent. L’image suivante illustre ces statistiques, notamment les valeurs moyennes, médianes, minimales et maximales, ainsi que les pourcentages de types numériques et de valeurs aberrantes.
![\[Les données Autopilot présentent les statistiques sur des colonnes avec des valeurs numériques.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-descriptive-statistics.png)
# Recherche et exécution du bloc-notes de définition des candidats
Le bloc-notes de définition de candidats contient des suggestions sur chaque étape de prétraitement, algorithme et plages d’hyperparamètres.
Vous pouvez choisir le candidat à entraîner et à ajuster de deux manières. La première, en exécutant des sections du bloc-notes. La seconde, en exécutant l’intégralité du bloc-notes pour optimiser tous les candidats afin d’identifier le meilleur candidat. Si vous exécutez l’ensemble du bloc-notes, seul le meilleur candidat s’affiche une fois la tâche terminée.
Pour exécuter le pilote automatique à partir de SageMaker Studio Classic, ouvrez le bloc-notes de définition des candidats en procédant comme suit :
1. Cliquez sur l'icône **Accueil** dans le volet ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/studio/icons/house.png) de navigation de gauche pour afficher le menu de navigation supérieur d'**Amazon SageMaker Studio Classic**.
1. Sélectionnez la carte **AutoML** dans la zone de travail principale. Ceci ouvre un nouvel onglet **Autopilot**.
1. Dans la section **Name** (Nom), sélectionnez la tâche Autopilot qui contient le bloc-notes de définition des candidats que vous souhaitez examiner. Ceci ouvre un nouvel onglet de **Tâche Autopilot**.
1. Choisissez **Ouvrir le bloc-notes de génération des candidats** dans la section supérieure droite de l’onglet **Tâche Autopilot**. Cela ouvre un nouvel aperçu en lecture seule du bloc-notes de définition des candidats **Amazon SageMaker Autopilot.**
Pour exécuter le bloc-notes de définition des candidats, procédez comme suit :
1. Choisissez **Importer un bloc-notes** en haut à droite de l'onglet **Amazon SageMaker Autopilot Candidate Definition Notebook**. Cela ouvre un onglet permettant de configurer un nouvel environnement de bloc-notes pour exécuter celui-ci.
1. Sélectionnez une SageMaker **image** existante ou utilisez une **image personnalisée**.
1. Sélectionnez un **Noyau**, un **Type d’instance** et un **Script de démarrage** facultatif.
Vous pouvez désormais exécuter le bloc-notes dans ce nouvel environnement.
# Configuration de la sortie d’inférence dans les conteneurs générés
Autopilot génère une liste [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html) ordonnée. Elle peut être utilisée pour créer un modèle à déployer dans un pipeline de machine learning. Ce modèle peut être utilisé pour l’hébergement en ligne et l’inférence.
Les clients peuvent répertorier les définitions des conteneurs d’inférence à l’aide de l’API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html). La liste des définitions des conteneurs d’inférence représentant le meilleur candidat est également disponible dans la réponse [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html).
## Définitions des conteneurs d’inférence pour les types de problèmes de régression et de classification
Autopilot génère des conteneurs d’inférence spécifiques au [mode d’entraînement](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode) et au [type de problèmes](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types) de la tâche.
### Définitions de conteneurs pour le mode d’optimisation des hyperparamètres (HPO)
+ **Régression** : HPO génère deux conteneurs :
1. Un conteneur d’ingénierie des caractéristiques qui transforme les caractéristiques d’origine en caractéristiques sur lesquelles les algorithmes de régression peuvent s’entraîner.
1. Un conteneur d’algorithme qui transforme les caractéristiques et génère un score de régression pour le jeu de données.
+ **Classification** : HPO génère trois conteneurs :
1. Un conteneur d’ingénierie des caractéristiques qui transforme les caractéristiques d’origine en caractéristiques sur lesquelles les algorithmes de classification peuvent s’entraîner.
1. Un conteneur d’algorithme qui génère l’étiquette `predicted_label` qui présente la plus forte probabilité. Ce conteneur peut également générer les différentes probabilités associées aux résultats de la classification dans la réponse d’inférence.
1. Un conteneur d’ingénierie des caractéristiques qui effectue le post-traitement de la prédiction de l’algorithme. Par exemple, il peut effectuer une transformation inverse sur l’étiquette prédite et la remplacer par l’étiquette d’origine.
### Définitions de conteneur pour le mode Assemblage
En mode Assemblage, les types de problèmes de régression et de classification n’ont qu’un seul conteneur d’inférence. Ce conteneur d’inférence transforme les caractéristiques et génère les prédictions en fonction du type de problème.
## Réponses d’inférence par type de problèmes
### Réponses d’inférence pour les modèles de classification
Pour les conteneurs d’inférence de classification, vous pouvez sélectionner le contenu de la réponse d’inférence à l’aide de quatre clés prédéfinies :
+ `predicted_label` : étiquette présentant la probabilité la plus élevée de prédire l’étiquette correcte, telle que déterminée par Autopilot.
+ `probability`:
+ **Modèles HPO :** probabilité de la classe `True` pour la classification binaire. La probabilité de l’étiquette `predicted_label` pour la classification multi-classes.
+ **Modèles ensemblistes :** probabilité de l’élément `predicted_label` pour la classification binaire et multi-classes.
+ `probabilities` : liste des probabilités pour toutes les classes correspondantes.
+ `labels` : liste de toutes les étiquettes.
Par exemple, pour un problème de classification binaire, si vous transmettez les clés de réponse d’inférence `['predicted_label', 'probability', 'probabilities', 'labels']` et que la réponse de sortie apparaît sous la forme `[1, 0.1, "[0.9, 0.1]", "['1', '0']"]`, vous devez l’interpréter comme suit :
1. La clé `predicted_label` est égale à `1` parce que l’étiquette « 1 » a une probabilité plus élevée (`0.9` dans ce cas).
1. Pour les modèles HPO, la clé `probability` est égale à `0.1` qui est la probabilité de l’élément `positive_class` (`0` dans ce cas) sélectionné par Autopilot.
Pour les modèles ensemblistes, la clé `probability` est égale à `0.9` qui est la probabilité de l’étiquette `predicted_label`.
1. La clé `probabilities` répertorie la clé `probability` de chaque étiquette dans `labels`.
1. Les éléments `labels` sont les étiquettes uniques du jeu de données, où la deuxième étiquette (« 0 » dans ce cas) est l’élément `positive_class` sélectionné par Autopilot.
Par défaut, les conteneurs d’inférence sont configurés pour générer uniquement les étiquettes `predicted_label`. Pour sélectionner du contenu d’inférence supplémentaire, vous pouvez mettre à jour le paramètre `inference_response_keys` afin d’inclure jusqu’à ces trois variables d’environnement :
+ `SAGEMAKER_INFERENCE_SUPPORTED` : est définie pour vous fournir des conseils sur le contenu pris en charge par chaque conteneur.
+ `SAGEMAKER_INFERENCE_INPUT` : doit être définie sur les clés que le conteneur attend dans les données utiles d’entrée.
+ `SAGEMAKER_INFERENCE_OUTPUT` : doit être renseignée avec le jeu de clés que le conteneur délivre en sortie.
### Réponses d’inférence pour les modèles de classification en mode HPO
Cette section explique comment configurer la réponse d’inférence à partir de modèles de classification à l’aide du mode d’optimisation des hyperparamètres (HPO).
Pour choisir le contenu de la réponse d’inférence en mode HPO : ajoutez les variables `SAGEMAKER_INFERENCE_INPUT` et `SAGEMAKER_INFERENCE_OUTPUT` aux deuxième et troisième conteneurs générés en mode HPO pour les problèmes de classification.
Les clés prises en charge par le deuxième conteneur (algorithme) sont predicted\$1label, probabilité et probabilités. Notez que `labels` n’est délibérément pas ajouté à `SAGEMAKER_INFERENCE_SUPPORTED`.
Les clés prises en charge par le troisième conteneur de modèle de classification sont `predicted_label`, `labels`, `probability` et `probabilities`. Par conséquent, l’environnement `SAGEMAKER_INFERENCE_SUPPORTED` inclut les noms de ces clés.
Pour mettre à jour la définition des conteneurs d’inférence afin de recevoir `predicted_label` et `probability`, utilisez l’exemple de code suivant.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
L’exemple de code suivant met à jour la définition des conteneurs d’inférence afin de recevoir `predicted_label`, `probabilities` et `labels`. Ne passez pas l’étiquette `labels` au deuxième conteneur (conteneur d’algorithme), car elle peut être générée par le troisième conteneur indépendamment.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probabilities,labels'})
```
Les sections démontables suivantes fournissent des exemples de code pour AWS SDK pour Python (Boto3) et pour le SageMaker SDK pour Python. Chaque section montre comment sélectionner le contenu des réponses d’inférence en mode HPO pour l’exemple de code correspondant.
#### AWS SDK pour Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
best_candidate_containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
#### SageMaker SDK pour Python
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
inference_response_keys**=['probabilities', 'labels'])
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
### Réponses d’inférence pour les modèles de classification en mode Assemblage
Cette section explique comment configurer la réponse d’inférence à partir de modèles de classification à l’aide du mode Assemblage.
En **mode Assemblage**, pour choisir le contenu de la réponse d’inférence, mettez à jour la variable d’environnement `SAGEMAKER_INFERENCE_OUTPUT`.
Les clés prises en charge par le conteneur de modèle de classification sont `predicted_label`, `labels`, `probability` et `probabilities`. Ces clés sont incluses dans l’environnement `SAGEMAKER_INFERENCE_SUPPORTED`.
Pour mettre à jour la définition des conteneurs d’inférence afin de recevoir `predicted_label` et `probability`, consultez l’exemple de code suivant.
```
containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
La section réductible suivante fournit un exemple de code permettant de sélectionner le contenu des réponses d’inférence en mode Assemblage. L'exemple utilise AWS SDK pour Python (Boto3).
#### AWS SDK pour Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
*best_candidate_containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
*
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
La section démontable suivante fournit un exemple de code identique à l'exemple du SageMaker SDK pour Python pour HPO. Ces informations sont incluses à titre indicatif.
#### SageMaker SDK pour Python
L'exemple de code HPO suivant utilise le SageMaker SDK pour Python.
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
*inference_response_keys**=['probabilities', 'labels'])*
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
# Création d’une tâche de classification d’images à l’aide de l’API AutoML
Les instructions suivantes montrent comment créer une tâche Amazon SageMaker Autopilot en tant qu'expérience pilote pour les types de problèmes de classification d'images à l'aide d' SageMaker [API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) Reference.
**Note**
Les tâches telles que la classification d’images et de texte, les prévisions de séries temporelles et le peaufinage des grands modèles de langage sont exclusivement disponibles via la version 2 de l’[API REST AutoML](autopilot-reference.md). Si le langage de votre choix est Python, vous pouvez vous référer [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)directement à [MLV2 l'objet Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du SDK Amazon SageMaker Python.
Les utilisateurs qui préfèrent la commodité d'une interface utilisateur peuvent utiliser [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) pour accéder à des modèles préentraînés et à des modèles de base d'IA génératifs, ou créer des modèles personnalisés adaptés à des textes spécifiques, à une classification d'images, à des besoins de prévision ou à une IA générative.
Vous pouvez créer une expérience de classification d'images sur pilote automatique par programmation en appelant l'action [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dans n'importe quel langage pris en charge par Amazon SageMaker Autopilot ou le. AWS CLI
Pour en savoir plus sur la façon dont cette action d’API se traduit par une fonction dans le langage de votre choix, consultez la section [Voir aussi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) de `CreateAutoMLJobV2` et choisissez un kit SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` dans le kit AWS SDK pour Python (Boto3).
Vous trouverez ci-dessous un ensemble de paramètres de demande d'entrée obligatoires et facultatifs pour l'action d'API `CreateAutoMLJobV2` utilisée dans la classification d'image.
## Paramètres requis
Lorsque vous appelez `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` pour créer une expérience Autopilot de classification d'image, vous devez fournir les valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` pour spécifier le nom de votre tâche.
+ Au moins un paramètre `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` dans `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` pour spécifier votre source de données.
+ Un paramètre `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` de type `[ImageClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)`.
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données.
Tous les autres paramètres sont facultatifs.
## Paramètres facultatifs
Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre tâche AutoML de classification d'image.
### Comment spécifier les jeux de données d'entraînement et de validation d'une tâche AutoML
Vous pouvez fournir votre propre jeu de données de validation et un rapport de répartition des données personnalisé, ou laisser Autopilot répartir automatiquement le jeu de données.
Chaque [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objet (voir le paramètre obligatoire [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) possède un`ChannelType`, qui peut être défini sur l'une `training` ou l'autre des `validation` valeurs spécifiant la manière dont les données doivent être utilisées lors de la création d'un modèle d'apprentissage automatique.
Au moins une source de données doit être fournie et deux sources de données maximum sont autorisées : une pour les données d'entraînement et l'autre pour les données de validation. Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
+ Si vous n'avez qu'**une source de données**, `ChannelType` est défini sur `training` par défaut et doit avoir cette valeur.
+ Si la valeur `ValidationFraction` de [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html) n'est pas définie, 0,2 (20 %) des données de cette source sont utilisées pour la validation par défaut.
+ Si `ValidationFraction` est défini sur une valeur comprise entre 0 et 1, le jeu de données est divisé en fonction de la valeur spécifiée, où la valeur spécifie la fraction du jeu de données utilisé pour la validation.
+ Si vous disposez de **deux sources de données**, le `ChannelType` de l'un des objets `AutoMLJobChannel` doit être défini sur `training` (valeur par défaut). Le `ChannelType` de l'autre source de données doit être défini sur `validation`. Les deux sources de données doivent avoir le même format, CSV ou Parquet, et le même schéma. Vous ne devez pas définir la valeur de `ValidationFraction` dans ce cas, car toutes les données de chaque source sont utilisées à des fins d'entraînement ou de validation. La définition de cette valeur provoque une erreur.
### Comment spécifier la configuration de déploiement automatique du modèle pour une tâche AutoML
Pour activer le déploiement automatique pour le meilleur modèle candidat d'une tâche AutoML, incluez un élément `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans la demande de tâche AutoML. Cela permettra de déployer le meilleur modèle sur un point de terminaison basé sur SageMaker l'IA. Vous trouverez ci-dessous les configurations disponibles pour la personnalisation.
+ Pour permettre à Autopilot de générer le nom du point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` sur `True`.
+ Pour fournir votre propre nom pour le point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format des jeux de données et métrique d'objectif pour la classification d'image
Dans cette section, nous découvrons les formats disponibles pour les jeux de données utilisés dans la classification d'image ainsi que la métrique d'objectif utilisée pour évaluer la qualité prédictive des modèles candidats de machine learning. Les métriques calculées pour les candidats sont spécifiées à l'aide d'un tableau de types [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html).
## Formats des jeux de données
Autopilot prend en charge les formats d'image .png, .jpg et .jpeg. Si votre jeu de données contient uniquement des images .png, utilisez `image/png` ; s'il contient uniquement des images .jpg ou .jpeg, utilisez `image/jpeg`, et si votre jeu de données contient divers formats d'image, utilisez `image/*`.
## Métrique d’objectif
La liste suivante contient les noms des métriques qui sont actuellement disponibles pour mesurer les performances des modèles pour la classification d'image.
**`Accuracy`**
Rapport entre le nombre d’éléments correctement classés et le nombre total d’éléments classés (correctement ou non). La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une précision parfaite et 0 indique une imprécision parfaite.
# Déploiement de modèles Autopilot pour l’inférence en temps réel
Après avoir entraîné vos modèles Amazon SageMaker Autopilot, vous pouvez configurer un point de terminaison et obtenir des prédictions de manière interactive. La section suivante décrit les étapes à suivre pour déployer votre modèle sur un point de terminaison d'inférence en temps réel basé sur l' SageMaker IA afin d'obtenir des prédictions à partir de votre modèle.
## Inférence en temps réel
L’inférence en temps réel est idéale pour les charges de travail d’inférence où vous avez des exigences en temps réel, interactives et à faible latence. Cette section montre comment vous pouvez utiliser l’inférence en temps réel pour obtenir des prévisions interactives à partir de votre modèle.
Vous pouvez l'utiliser SageMaker APIs pour déployer manuellement le modèle qui a produit la meilleure métrique de validation dans une expérience de pilote automatique comme suit.
Vous pouvez également choisir l'option de déploiement automatique lors de la création de votre expérience Autopilot. Pour en savoir plus sur la configuration du déploiement automatique de modèles, consultez `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans les paramètres de demande de `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)`. Cela crée automatiquement un point de terminaison.
**Note**
Pour éviter des frais inutiles, vous pouvez supprimer le point de terminaison inutile et les ressources créées dans le cadre du déploiement de modèle. Pour plus d'informations sur la tarification des instances par région, consultez [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
1. **Obtention des définitions de conteneurs candidats**
Obtenez les définitions des conteneurs candidats auprès de [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Une définition de conteneur pour l'inférence fait référence à l'environnement conteneurisé conçu pour déployer et exécuter votre modèle d' SageMaker IA entraîné afin de faire des prédictions.
L'exemple de AWS CLI commande suivant utilise l'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) pour obtenir des définitions de candidats pour le meilleur modèle candidat.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Liste des candidats**
L'exemple de AWS CLI commande suivant utilise l'[ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API pour répertorier tous les modèles candidats.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Création d'un modèle d' SageMaker IA**
Utilisez les définitions de conteneur des étapes précédentes et un candidat de votre choix pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Créer une configuration de point de terminaison**
L'exemple de AWS CLI commande suivant utilise l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API pour créer une configuration de point de terminaison.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Créer le point de terminaison**
L' AWS CLI exemple suivant utilise l'[CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API pour créer le point de terminaison.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Vérifiez la progression du déploiement de votre terminal à l'aide de l'[DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé pour l'inférence en temps réel.
1. **Appeler le point de terminaison**
La structure de commande suivante appelle le point de terminaison pour une inférence en temps réel.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Rapport d'explicabilité
Amazon SageMaker Autopilot fournit un rapport explicatif pour expliquer comment le meilleur modèle candidat fait des prédictions en cas de problèmes de classification d'images. Ce rapport peut aider les ingénieurs ML, les chefs de produit et d'autres intervenants internes à comprendre les caractéristiques du modèle. Les consommateurs et les régulateurs s'appuient sur la transparence du machine learning pour approuver et interpréter les décisions prises sur la base des prédictions du modèle. Vous pouvez utiliser ces explications pour auditer et appliquer les exigences réglementaires, renforcer la confiance dans le modèle, soutenir la prise de décisions humaines, ainsi que déboguer et améliorer les performances du modèle.
La fonctionnalité explicative d'Autopilot pour la classification d'image utilise une approche visuelle de cartographie par activation de classe (CAM) qui génère une carte thermique dans laquelle la distribution et l'intensité de chaque couleur mettent en évidence les zones d'une image qui contribuent le plus à une prédiction spécifique. Cette approche repose sur les composantes principales dérivées d'une implémentation d'[Eigen-CAM](https://arxiv.org/ftp/arxiv/papers/2008/2008.00299.pdf).
Autopilot génère le rapport d'explicabilité sous la forme d'un fichier JSON. Le rapport inclut des détails d'analyse basés sur le jeu de données de validation. Chaque image utilisée pour générer le rapport contient les informations suivantes :
+ `input_image_uri` : URI Amazon S3 de l'image d'entrée prise comme entrée pour la carte thermique.
+ `heatmap_image_uri` : URI Amazon S3 de l'image de carte thermique générée par Autopilot.
+ `predicted_label` : classe d'étiquettes prédite par le meilleur modèle entraîné par Autopilot.
+ `probability` : confiance avec laquelle l'étiquette `predicted_label` est prédite.
Vous trouverez le préfixe Amazon S3 des artefacts d'explicabilité générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`.
Les exemples suivants illustrent des cartes thermiques pour quelques échantillons du jeu de données d'animaux domestiques [Oxford-IIIT Pet Dataset](https://www.robots.ox.ac.uk/~vgg/data/pets/). L'image de carte thermique affiche des dégradés de couleurs qui indiquent l'importance relative des différentes fonctionnalités dans l'image. La couleur rouge représente les régions qui jouent un rôle plus important dans la prédiction de l'étiquette « predicted\$1label » de l'image d'entrée par rapport aux fonctionnalités représentées par la couleur bleue.
****
| Image d'entrée | Image de carte thermique |
| --- | --- |
| ![\[Image originale d'un chien.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-input.png) | ![\[Carte thermique de l’image d’un chien mettant en évidence les régions ayant le plus contribué à l’étiquette prédite.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-output.png) |
| ![\[Image originale d'un chat.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-input.png) | ![\[Carte thermique de l’image d’un chat mettant en évidence les régions ayant le plus contribué à l’étiquette prédite.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-output.png) |
# Rapport de performances d'un modèle
Un rapport sur la qualité du modèle Amazon SageMaker AI (également appelé rapport de performance) fournit des informations et des informations de qualité sur le meilleur modèle candidat généré par une tâche AutoML. Cela inclut des informations sur les détails de la tâche, le type de problème du modèle, la fonction objectif et diverses métriques. Cette section détaille le contenu d'un rapport de performances pour les problèmes de classification d'image et explique comment accéder aux métriques en tant que données brutes dans un fichier JSON.
Vous trouverez le préfixe Amazon S3 des artefacts du rapport de qualité du modèle générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`.
Le rapport de performances contient deux sections :
+ La première section contient des détails sur la tâche Autopilot qui a produit le modèle.
+ La seconde section contient un rapport de qualité du modèle avec différentes métriques de performances.
## Détails de la tâche Autopilot
La première section du rapport fournit des informations générales sur la tâche Autopilot qui a produit le modèle. Ces détails incluent les informations suivantes :
+ Nom du candidat Autopilot : nom du meilleur modèle candidat.
+ Nom de la tâche Autopilot : nom de la tâche.
+ Type de problème : le type de problème. Dans notre cas, *classification d'image*.
+ Métrique d'objectif : métrique d'objectif utilisée pour optimiser les performances du modèle. Dans notre cas, la *précision*.
+ Direction de l'optimisation : indique s'il faut minimiser ou maximiser la métrique d'objectif.
## Rapport de qualité du modèle
Des informations sur la qualité du modèle sont générées par les analyses du modèle Autopilot. Le contenu du rapport généré dépend du type de problème pris en compte. Le rapport spécifie le nombre de lignes incluses dans le jeu de données d’évaluation et le moment auquel l’évaluation a eu lieu.
### Tableaux de métriques
La première partie du rapport sur la qualité du modèle contient des tableaux de métriques. Ils sont adaptés au type de problème traité par le modèle.
L'image suivante est un exemple de table de métriques générée par Autopilot pour un problème de classification d'image ou de texte. Il indique le nom, la valeur et l'écart type de la métrique.
![\[Exemple de rapport de statistiques de classification d'images ou de textes d'Amazon SageMaker Autopilot Model Insights.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informations graphiques sur les performances du modèle
La deuxième partie du rapport sur la qualité du modèle contient des informations graphiques qui vous aident à évaluer les performances du modèle. Le contenu de cette section dépend du type de problème sélectionné.
#### Matrice Confusion
Une matrice de confusion permet de visualiser la précision des prédictions faites par un modèle de classification binaire et multi-classes pour différents problèmes.
Un résumé des composantes du graphe relatives au **taux de faux positifs** (FPR) et au **taux de vrais positifs** (TPR) est défini comme suit.
+ Prédictions correctes
+ **Vrai positif** (TP, True Positive) : la valeur prédite est 1, et la valeur observée est 1.
+ **Vrai négatif** (TN, True Negative) : la valeur prédite est 0, et la valeur observée est 0.
+ Prédictions erronées
+ **Faux positif** (FP) : la valeur prédite est 1, mais la valeur observée est 0.
+ **Faux négatif** (FN) : la valeur prédite est 0, mais la valeur observée est 1.
La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ Le nombre et le pourcentage de prédictions correctes et incorrectes pour les étiquettes réelles
+ Le nombre et le pourcentage de prédictions exactes sur la diagonale, du coin supérieur gauche au coin inférieur droit
+ Le nombre et le pourcentage de prédictions inexactes sur la diagonale, du coin supérieur droit au coin inférieur gauche
Les prédictions incorrectes d’une matrice de confusion sont les valeurs de confusion.
Le diagramme suivant est un exemple de matrice de confusion pour un problème de classification multi-classes. La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ L’axe vertical est divisé en trois rangées contenant trois étiquettes réelles différentes.
+ L’axe horizontal est divisé en trois colonnes contenant des étiquettes prédites par le modèle.
+ La barre de couleur attribue une tonalité plus foncée à un plus grand nombre d'échantillons afin d'indiquer visuellement le nombre de valeurs classées dans chaque catégorie.
Dans l’exemple ci-dessous, le modèle a correctement prédit 354 valeurs réelles pour l’étiquette **f**, 1094 valeurs pour l’étiquette **i** et 852 valeurs pour l’étiquette **m**. La différence de tonalité indique que le jeu de données n’est pas équilibré, car il existe beaucoup plus d’étiquettes pour la valeur **i** que pour **f** ou **m**.
![\[Exemple de matrice de confusion multiclasse Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
La matrice de confusion du rapport sur la qualité du modèle fourni peut prendre en charge un maximum de 15 étiquettes pour les types de problèmes de classification multi-classes. Si une ligne correspondant à une étiquette affiche une valeur `Nan`, cela signifie que le jeu de données de validation utilisé pour vérifier les prédictions modélisées ne contient pas de données portant cette étiquette.
# Création d’une tâche AutoML pour la classification de texte à l’aide de l’API
Les instructions suivantes montrent comment créer une tâche Amazon SageMaker Autopilot en tant qu'expérience pilote pour les types de problèmes de classification de texte à l'aide de SageMaker [API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) Reference.
**Note**
Les tâches telles que la classification d’images et de texte, les prévisions de séries temporelles et le peaufinage des grands modèles de langage sont exclusivement disponibles via la version 2 de l’[API REST AutoML](autopilot-reference.md). Si le langage de votre choix est Python, vous pouvez vous référer [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)directement à [MLV2 l'objet Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du SDK Amazon SageMaker Python.
Les utilisateurs qui préfèrent la commodité d'une interface utilisateur peuvent utiliser [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) pour accéder à des modèles préentraînés et à des modèles de base d'IA génératifs, ou créer des modèles personnalisés adaptés à des textes spécifiques, à une classification d'images, à des besoins de prévision ou à une IA générative.
Vous pouvez créer un test de classification de texte sur pilote automatique par programmation en appelant l'action [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dans n'importe quel langage pris en charge par Amazon SageMaker Autopilot ou le. AWS CLI
Pour en savoir plus sur la façon dont cette action d’API se traduit par une fonction dans le langage de votre choix, consultez la section [Voir aussi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) de `CreateAutoMLJobV2` et choisissez un kit SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` dans le kit AWS SDK pour Python (Boto3).
Vous trouverez ci-dessous un ensemble de paramètres de demande d'entrée obligatoires et facultatifs pour l'action d'API `CreateAutoMLJobV2` utilisée dans la classification de texte.
## Paramètres requis
Lorsque vous appelez `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` pour créer une expérience Autopilot de classification de texte, vous devez fournir les valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` pour spécifier le nom de votre tâche.
+ Au moins un paramètre `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` dans `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` pour spécifier votre source de données.
+ Un paramètre `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` de type `[TextClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextClassificationJobConfig.html)`.
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données.
Tous les autres paramètres sont facultatifs.
## Paramètres facultatifs
Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre tâche AutoML de classification de texte.
### Comment spécifier les jeux de données d'entraînement et de validation d'une tâche AutoML
Vous pouvez fournir votre propre jeu de données de validation et un rapport de répartition des données personnalisé, ou laisser Autopilot répartir automatiquement le jeu de données.
Chaque [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objet (voir le paramètre obligatoire [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) possède un`ChannelType`, qui peut être défini sur l'une `training` ou l'autre des `validation` valeurs spécifiant la manière dont les données doivent être utilisées lors de la création d'un modèle d'apprentissage automatique.
Au moins une source de données doit être fournie et deux sources de données maximum sont autorisées : une pour les données d'entraînement et l'autre pour les données de validation. Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
+ Si vous n'avez qu'**une source de données**, `ChannelType` est défini sur `training` par défaut et doit avoir cette valeur.
+ Si la valeur `ValidationFraction` de [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html) n'est pas définie, 0,2 (20 %) des données de cette source sont utilisées pour la validation par défaut.
+ Si `ValidationFraction` est défini sur une valeur comprise entre 0 et 1, le jeu de données est divisé en fonction de la valeur spécifiée, où la valeur spécifie la fraction du jeu de données utilisé pour la validation.
+ Si vous disposez de **deux sources de données**, le `ChannelType` de l'un des objets `AutoMLJobChannel` doit être défini sur `training` (valeur par défaut). Le `ChannelType` de l'autre source de données doit être défini sur `validation`. Les deux sources de données doivent avoir le même format, CSV ou Parquet, et le même schéma. Vous ne devez pas définir la valeur de `ValidationFraction` dans ce cas, car toutes les données de chaque source sont utilisées à des fins d'entraînement ou de validation. La définition de cette valeur provoque une erreur.
### Comment spécifier la configuration de déploiement automatique du modèle pour une tâche AutoML
Pour activer le déploiement automatique pour le meilleur modèle candidat d'une tâche AutoML, incluez un élément `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans la demande de tâche AutoML. Cela permettra de déployer le meilleur modèle sur un terminal d' SageMaker IA. Vous trouverez ci-dessous les configurations disponibles pour la personnalisation.
+ Pour permettre à Autopilot de générer le nom du point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` sur `True`.
+ Pour fournir votre propre nom pour le point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format des jeux de données et métrique d'objectif pour la classification de texte
Dans cette section, nous découvrons les formats disponibles pour les jeux de données utilisés dans la classification de texte ainsi que la métrique utilisée pour évaluer la qualité prédictive des modèles candidats de machine learning. Les métriques calculées pour les candidats sont spécifiées à l'aide d'un tableau de types [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html).
## Formats des jeux de données
Autopilot prend en charge les données tabulaires sous forme de fichiers CSV ou de fichiers Parquet. Pour les données tabulaires, chaque colonne contient une ressource avec un type de données spécifique et chaque ligne contient une observation. Les propriétés de ces deux formats de fichiers diffèrent considérablement.
+ **CSV** (comma-separated-values) est un format de fichier basé sur des lignes qui stocke les données en texte clair lisible par l'homme. C'est un choix populaire pour l'échange de données car il est pris en charge par un large éventail d'applications.
+ **Parquet** est un format de fichier basé sur les colonnes dans lequel les données sont stockées et traitées plus efficacement que les formats de fichiers basés sur les lignes. Cela en fait une meilleure option pour les problèmes de big data.
Les **types de données** acceptés pour les colonnes incluent les types numériques, catégoriels et textuels.
Le pilote automatique permet de créer des modèles d'apprentissage automatique sur de grands ensembles de données allant jusqu'à des centaines de. GBs Pour en savoir plus sur les limites de ressources par défaut pour les ensembles de données d'entrée et sur la manière de les augmenter, consultez les quotas [Amazon SageMaker Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Métrique d’objectif
La liste suivante contient les noms des métriques qui sont actuellement disponibles pour mesurer les performances des modèles pour la classification de texte.
**`Accuracy`**
Rapport entre le nombre d’éléments correctement classés et le nombre total d’éléments classés (correctement ou non). La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une précision parfaite et 0 indique une imprécision parfaite.
# Déploiement de modèles Autopilot pour l’inférence en temps réel
Après avoir entraîné vos modèles Amazon SageMaker Autopilot, vous pouvez configurer un point de terminaison et obtenir des prédictions de manière interactive. La section suivante décrit les étapes à suivre pour déployer votre modèle sur un point de terminaison d'inférence en temps réel basé sur l' SageMaker IA afin d'obtenir des prédictions à partir de votre modèle.
## Inférence en temps réel
L’inférence en temps réel est idéale pour les charges de travail d’inférence où vous avez des exigences en temps réel, interactives et à faible latence. Cette section montre comment vous pouvez utiliser l’inférence en temps réel pour obtenir des prévisions interactives à partir de votre modèle.
Vous pouvez l'utiliser SageMaker APIs pour déployer manuellement le modèle qui a produit la meilleure métrique de validation dans une expérience de pilote automatique comme suit.
Vous pouvez également choisir l'option de déploiement automatique lors de la création de votre expérience Autopilot. Pour en savoir plus sur la configuration du déploiement automatique de modèles, consultez `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans les paramètres de demande de `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)`. Cela crée automatiquement un point de terminaison.
**Note**
Pour éviter des frais inutiles, vous pouvez supprimer le point de terminaison inutile et les ressources créées dans le cadre du déploiement de modèle. Pour plus d'informations sur la tarification des instances par région, consultez [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
1. **Obtention des définitions de conteneurs candidats**
Obtenez les définitions des conteneurs candidats auprès de [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Une définition de conteneur pour l'inférence fait référence à l'environnement conteneurisé conçu pour déployer et exécuter votre modèle d' SageMaker IA entraîné afin de faire des prédictions.
L'exemple de AWS CLI commande suivant utilise l'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) pour obtenir les définitions du meilleur modèle candidat.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Liste des candidats**
L'exemple de AWS CLI commande suivant utilise l'[ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API pour répertorier tous les modèles candidats.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Création d'un modèle d' SageMaker IA**
Utilisez les définitions de conteneur des étapes précédentes et un candidat de votre choix pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Créer une configuration de point de terminaison**
L'exemple de AWS CLI commande suivant utilise l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API pour créer une configuration de point de terminaison.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Créer le point de terminaison**
L' AWS CLI exemple suivant utilise l'[CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API pour créer le point de terminaison.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Vérifiez la progression du déploiement de votre terminal à l'aide de l'[DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé pour l'inférence en temps réel.
1. **Appeler le point de terminaison**
La structure de commande suivante appelle le point de terminaison pour une inférence en temps réel.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Rapport d'explicabilité
Amazon SageMaker Autopilot fournit un rapport explicatif pour expliquer comment le meilleur modèle candidat fait des prédictions en cas de problèmes de classification de texte. Ce rapport peut aider les ingénieurs ML, les chefs de produit et d'autres intervenants internes à comprendre les caractéristiques du modèle. Les consommateurs et les régulateurs s'appuient sur la transparence du machine learning pour approuver et interpréter les décisions prises sur la base des prédictions du modèle. Vous pouvez utiliser ces explications pour auditer et appliquer les exigences réglementaires, renforcer la confiance dans le modèle, soutenir la prise de décisions humaines, ainsi que déboguer et améliorer les performances du modèle.
La fonctionnalité explicative d'Autopilot pour la classification de texte utilise la méthode d'attribution axiomatique des *gradients intégrés*. Cette approche repose sur une implémentation d'une [attribution axiomatique pour les réseaux profonds](https://arxiv.org/pdf/1703.01365.pdf) (langue française non garantie).
Autopilot génère le rapport d'explicabilité sous la forme d'un fichier JSON. Le rapport inclut des détails d'analyse basés sur le jeu de données de validation. Chaque échantillon utilisé pour générer le rapport contient les informations suivantes :
+ `text` : contenu du texte d'entrée expliqué.
+ `token_scores` : liste des scores pour chaque jeton dans le texte.
+
+ `attribution` : score illustrant l'importance du jeton.
+ `description.partial_text` : sous-chaîne partielle qui représente le jeton.
+ `predicted_label` : classe d'étiquettes prédite par le meilleur modèle candidat.
+ `probability` : confiance avec laquelle l'étiquette `predicted_label` a été prédite.
Vous trouverez le préfixe Amazon S3 des artefacts d'explicabilité générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`.
Voici un exemple de contenu d'analyse que vous pouvez trouver dans les artefacts d'explicabilité.
```
{
"text": "It was a fantastic movie!",
"predicted_label": 2,
"probability": 0.9984835,
"token_scores": [
{
"attribution": 0,
"description": {
"partial_text": "It"
}
},
{
"attribution": -0.022447118861679088,
"description": {
"partial_text": "was"
}
},
{
"attribution": -0.2164326456817965,
"description": {
"partial_text": "a"
}
},
{
"attribution": 0.675,
"description": {
"partial_text": "fantastic"
}
},
{
"attribution": 0.416,
"description": {
"partial_text": "movie!"
}
}
]
}
```
Dans cet échantillon du rapport JSON, la fonctionnalité explicative évalue le texte `It was a fantastic movie!` et note la contribution de chacun de ses jetons à l'étiquette prédite globale. L'étiquette prédite est `2`, ce qui correspond à un fort sentiment positif, avec une probabilité de 99,85 %. L'échantillon JSON détaille ensuite la contribution de chaque jeton individuel à cette prédiction. Par exemple, le jeton `fantastic` a une attribution plus forte que le jeton `was`. C'est le jeton qui a le plus contribué à la prédiction finale.
# Rapport de performances d'un modèle
Un rapport sur la qualité du modèle Amazon SageMaker AI (également appelé rapport de performance) fournit des informations et des informations de qualité sur le meilleur modèle candidat généré par une tâche AutoML. Cela inclut des informations sur les détails de la tâche, le type de problème du modèle, la fonction objectif et diverses métriques. Cette section détaille le contenu d'un rapport de performances pour les problèmes de classification de texte et explique comment accéder aux métriques en tant que données brutes dans un fichier JSON.
Vous trouverez le préfixe Amazon S3 des artefacts du rapport de qualité du modèle générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`.
Le rapport de performances contient deux sections :
+ La première section contient des détails sur la tâche Autopilot qui a produit le modèle.
+ La seconde section contient un rapport de qualité du modèle avec différentes métriques de performances.
## Détails de la tâche Autopilot
La première section du rapport fournit des informations générales sur la tâche Autopilot qui a produit le modèle. Ces détails incluent les informations suivantes :
+ Nom du candidat Autopilot : nom du meilleur modèle candidat.
+ Nom de la tâche Autopilot : nom de la tâche.
+ Type de problème : le type de problème. Dans notre cas, *classification de texte*.
+ Métrique d'objectif : métrique d'objectif utilisée pour optimiser les performances du modèle. Dans notre cas, la *précision*.
+ Direction de l'optimisation : indique s'il faut minimiser ou maximiser la métrique d'objectif.
## Rapport de qualité du modèle
Des informations sur la qualité du modèle sont générées par les analyses du modèle Autopilot. Le contenu du rapport généré dépend du type de problème pris en compte. Le rapport spécifie le nombre de lignes incluses dans le jeu de données d’évaluation et le moment auquel l’évaluation a eu lieu.
### Tableaux de métriques
La première partie du rapport sur la qualité du modèle contient des tableaux de métriques. Ils sont adaptés au type de problème traité par le modèle.
L'image suivante est un exemple de table de métriques générée par Autopilot pour un problème de classification d'image ou de texte. Il indique le nom, la valeur et l'écart type de la métrique.
![\[Exemple de rapport de statistiques de classification d'images ou de textes d'Amazon SageMaker Autopilot Model Insights.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informations graphiques sur les performances du modèle
La deuxième partie du rapport sur la qualité du modèle contient des informations graphiques qui vous aident à évaluer les performances du modèle. Le contenu de cette section dépend du type de problème sélectionné.
#### Matrice Confusion
Une matrice de confusion permet de visualiser la précision des prédictions faites par un modèle de classification binaire et multi-classes pour différents problèmes.
Un résumé des composantes du graphe relatives au **taux de faux positifs** (FPR) et au **taux de vrais positifs** (TPR) est défini comme suit.
+ Prédictions correctes
+ **Vrai positif** (TP, True Positive) : la valeur prédite est 1, et la valeur observée est 1.
+ **Vrai négatif** (TN, True Negative) : la valeur prédite est 0, et la valeur observée est 0.
+ Prédictions erronées
+ **Faux positif** (FP) : la valeur prédite est 1, mais la valeur observée est 0.
+ **Faux négatif** (FN) : la valeur prédite est 0, mais la valeur observée est 1.
La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ Le nombre et le pourcentage de prédictions correctes et incorrectes pour les étiquettes réelles
+ Le nombre et le pourcentage de prédictions exactes sur la diagonale, du coin supérieur gauche au coin inférieur droit
+ Le nombre et le pourcentage de prédictions inexactes sur la diagonale, du coin supérieur droit au coin inférieur gauche
Les prédictions incorrectes d’une matrice de confusion sont les valeurs de confusion.
Le diagramme suivant est un exemple de matrice de confusion pour un problème de classification multi-classes. La matrice de confusion du rapport sur la qualité du modèle contient les éléments suivants.
+ L’axe vertical est divisé en trois rangées contenant trois étiquettes réelles différentes.
+ L’axe horizontal est divisé en trois colonnes contenant des étiquettes prédites par le modèle.
+ La barre de couleur attribue une tonalité plus foncée à un plus grand nombre d'échantillons afin d'indiquer visuellement le nombre de valeurs classées dans chaque catégorie.
Dans l’exemple ci-dessous, le modèle a correctement prédit 354 valeurs réelles pour l’étiquette **f**, 1094 valeurs pour l’étiquette **i** et 852 valeurs pour l’étiquette **m**. La différence de tonalité indique que le jeu de données n’est pas équilibré, car il existe beaucoup plus d’étiquettes pour la valeur **i** que pour **f** ou **m**.
![\[Exemple de matrice de confusion multiclasse Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
La matrice de confusion du rapport sur la qualité du modèle fourni peut prendre en charge un maximum de 15 étiquettes pour les types de problèmes de classification multi-classes. Si une ligne correspondant à une étiquette affiche une valeur `Nan`, cela signifie que le jeu de données de validation utilisé pour vérifier les prédictions modélisées ne contient pas de données portant cette étiquette.
# Création d’une tâche AutoML pour les prévisions de séries temporelles à l’aide de l’API
La prévision en machine learning fait référence au processus de prédiction de résultats ou de tendances futurs sur la base de schémas et de données historiques. En analysant les données de séries temporelles passées et en identifiant les schémas sous-jacents, les algorithmes de machine learning peuvent effectuer des prédictions et fournir des renseignements précieux sur les comportements futurs. En matière de prévision, l’objectif est de développer des modèles capables de saisir avec précision la relation entre les variables d’entrée et la variable cible au fil du temps. Cela implique l’examen de divers facteurs tels que les tendances, la saisonnalité et d’autres schémas pertinents au sein des données. Les informations collectées sont ensuite utilisées pour entraîner un modèle de machine learning. Le modèle entraîné est capable de générer des prédictions en prenant de nouvelles données d’entrée et en appliquant les schémas et les relations appris. Il peut fournir des prévisions pour un large éventail de cas d’utilisation, tels que des prévisions de ventes, des tendances boursières, des prévisions météorologiques, des prévisions de la demande, etc.
[Les instructions suivantes montrent comment créer une tâche Amazon SageMaker Autopilot en tant qu'expérience pilote pour les types de problèmes de prévision de séries chronologiques à l'aide SageMaker d'API Reference.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**Note**
Les tâches telles que la classification d’images et de texte, les prévisions de séries temporelles et le peaufinage des grands modèles de langage sont exclusivement disponibles via la version 2 de l’[API REST AutoML](autopilot-reference.md). Si le langage de votre choix est Python, vous pouvez vous référer [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)directement à [MLV2 l'objet Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du SDK Amazon SageMaker Python.
Les utilisateurs qui préfèrent la commodité d'une interface utilisateur peuvent utiliser [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) pour accéder à des modèles préentraînés et à des modèles de base d'IA génératifs, ou créer des modèles personnalisés adaptés à des textes spécifiques, à une classification d'images, à des besoins de prévision ou à une IA générative.
Vous pouvez créer une expérience de prévision de séries chronologiques sur pilote automatique par programmation en appelant l'[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dans n'importe quel langage pris en charge par Amazon Autopilot ou le. SageMaker AWS CLI
Pour en savoir plus sur la façon dont cette action d’API se traduit par une fonction dans le langage de votre choix, consultez la section [Voir aussi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) de `CreateAutoMLJobV2` et choisissez un kit SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` dans le kit AWS SDK pour Python (Boto3).
Autopilot entraîne plusieurs modèles candidats avec vos séries temporelles cibles, puis sélectionne un modèle de prévision optimal pour une métrique d’objectif donnée. Lorsque vos modèles candidats ont été entraînés, vous pouvez trouver les meilleures métriques de candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)`.
Les sections suivantes définissent les paramètres de demande d’entrée obligatoires et facultatifs pour l’API `CreateAutoMLJobV2` utilisée dans les prévisions de séries temporelles.
**Note**
Reportez-vous au carnet de [prévisions de séries chronologiques avec Amazon SageMaker Autopilot](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb) pour un exemple pratique et concret de prévisions de séries chronologiques. Dans ce bloc-notes, vous utilisez Amazon SageMaker Autopilot pour entraîner un modèle de série chronologique et produire des prédictions à l'aide du modèle entraîné. Le bloc-notes fournit des instructions pour extraire un jeu de données prêt à l’emploi de données historiques tabulaires sur Amazon S3.
## Conditions préalables
Avant d'utiliser le pilote automatique pour créer une expérience de prévision de séries chronologiques dans l' SageMaker IA, assurez-vous de :
+ Préparez votre jeu de données de séries temporelles. La préparation d’un jeu de données implique de collecter les données pertinentes provenant de diverses sources, de les nettoyer et de les filtrer pour éliminer le bruit et les incohérences, et de les organiser dans un format structuré. Consultez [Format des jeux de données de séries temporelles et méthodes de remplissage des valeurs manquantes](timeseries-forecasting-data-format.md) pour en apprendre davantage sur les exigences relatives aux formats de séries temporelles dans Autopilot. Vous pouvez éventuellement compléter votre jeu de données avec le calendrier des jours fériés du pays de votre choix afin de capturer les schémas associés. Pour plus d’informations sur les calendriers des jours fériés, consultez [Calendriers des fêtes nationales](autopilot-timeseries-forecasting-holiday-calendars.md).
**Note**
Nous vous recommandons de fournir au moins 3 à 5 points de données historiques pour chaque futur point de données que vous souhaitez prévoir. Par exemple, pour prévoir 7 jours à l’avance (horizon d’une semaine) sur la base de données quotidiennes, entraînez votre modèle sur un minimum de 21 à 35 jours de données historiques. Assurez-vous de fournir suffisamment de données pour saisir les modèles saisonniers et récurrents.
+ Placez vos données de séries temporelles dans un compartiment Amazon S3.
+ Accordez un accès complet au compartiment Amazon S3 contenant vos données d'entrée pour le rôle d'exécution de l' SageMaker IA utilisé pour exécuter votre expérience. Après cela, vous pouvez utiliser l’ARN de ce rôle d’exécution dans les demandes d’API Autopilot.
+ Pour plus d'informations sur la récupération de votre rôle d'exécution SageMaker AI, consultez[Obtention de votre rôle d’exécution](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Pour plus d'informations sur l'octroi à votre rôle d'exécution SageMaker AI des autorisations pour accéder à un ou plusieurs compartiments spécifiques dans Amazon S3, consultez *Ajouter des autorisations Amazon S3 supplémentaires à un rôle d'exécution SageMaker AI* dans[Créer un rôle d’exécution](sagemaker-roles.md#sagemaker-roles-create-execution-role).
## Paramètres requis
Lorsque vous appelez `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` pour créer une expérience Autopilot de prévision de séries temporelles, vous devez fournir les valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` pour spécifier le nom de votre tâche. Le nom doit être de type `string` et doit avoir une longueur minimale de 1 caractère et une longueur maximale de 32.
+ Au moins un élément `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` dans `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` dans lequel vous spécifiez le nom du compartiment Amazon S3 qui contient vos données. Vous pouvez éventuellement spécifier le contenu (fichiers CSV ou Parquet) et les types de compression (GZip).
+ Un élément `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` de type `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` pour configurer les paramètres de votre tâche de prévision de séries temporelles. Vous devez notamment spécifier :
+ La **fréquence** des prédictions, qui fait référence à la granularité souhaitée (horaire, quotidienne, mensuelle, etc.) de vos prévisions.
Les intervalles valides sont un entier suivi de `Y` (année), `M` (mois), `W` (semaine), `D` (jour), `H` (heure) et `min` (minute). Par exemple, `1D` indique chaque jour et `15min` indique toutes les 15 minutes. La valeur d’une fréquence ne doit pas chevaucher la fréquence supérieure suivante. Par exemple, vous devez utiliser une fréquence de `1H` à la place de `60min`.
Les valeurs valides pour chaque fréquence sont les suivantes :
+ Minute : 1 à 59
+ Heure : 1 à 23
+ Jour : 1 à 6
+ Semaine : 1 à 4
+ Mois : 1 à 11
+ Année : 1
+ L’**horizon** des prédictions de votre prévision, qui fait référence au nombre de pas temporels prédits par le modèle. L’horizon de prévision est également appelé longueur de prédiction. L’horizon de prévision maximal est le moins élevé des 500 pas temporels ou 1/4 des pas temporels figurant dans le jeu de données.
+ A [TimeSeriesConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)dans lequel vous définissez le schéma de votre jeu de données pour mapper les en-têtes de colonne à vos prévisions en spécifiant :
+ Un élément `TargetAttributeName` : colonne contenant les données historiques du champ cible à prévoir.
+ Un élément `TimestampAttributeName` : colonne qui contient un point dans le temps auquel la valeur cible d’un élément donné est enregistrée.
+ Un élément `ItemIdentifierAttributeName` : colonne qui contient les identificateurs d’articles pour lesquels vous souhaitez prédire la valeur cible.
Voici un exemple de ces paramètres de demande. Dans cet exemple, vous configurez une prévision quotidienne de la quantité attendue ou du niveau de demande attendu d’articles spécifiques sur une période de 20 jours.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données. Vous pouvez utiliser l’ARN du rôle d’exécution auquel vous avez accordé l’accès à vos données.
Tous les autres paramètres sont facultatifs. Par exemple, vous pouvez définir des quantiles de prévision spécifiques, choisir une méthode de remplissage des valeurs manquantes dans le jeu de données ou définir comment agréger les données qui ne sont pas alignées sur la fréquence des prévisions. Pour découvrir comment définir ces paramètres supplémentaires, consultez [Paramètres facultatifs](#timeseries-forecasting-api-optional-params).
## Paramètres facultatifs
Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre tâche AutoML de prévision de séries temporelles.
### Spécification d’algorithmes
Par défaut, votre tâche Autopilot entraîne une liste prédéfinie d’algorithmes sur votre jeu de données. Vous pouvez cependant fournir un sous-ensemble de la sélection par défaut d’algorithmes.
Pour les prévisions de séries temporelles, vous devez choisir `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` comme type d’élément `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Ensuite, vous pouvez spécifier un tableau de sélectionnés `AutoMLAlgorithms` dans l'`AlgorithmsConfig`attribut de [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Voici un exemple d’attribut `AlgorithmsConfig` répertoriant exactement trois algorithmes (« cnn-qr », « prophet », « arima ») dans son champ `AutoMLAlgorithms`.
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["cnn-qr", "prophet", "arima"]}
]
},
},
},
}
```
Afin d’obtenir la liste des algorithmes disponibles pour les prévisions de séries temporelles, consultez [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms). Pour plus d'informations sur chaque algorithme, consultez [Prise en charge des algorithmes pour les prévisions de séries temporelles](timeseries-forecasting-algorithms.md).
### Comment spécifier des quantiles personnalisés
Autopilot entraîne 6 modèles candidats avec vos séries temporelles cibles, puis combine ces modèles à l’aide d’une méthode ensembliste par empilement pour créer un modèle de prévision optimal pour une métrique d’objectif donnée. Chaque modèle de prévision Autopilot génère une prévision probabiliste en produisant des prévisions aux quantiles compris entre P1 et P99. Ces quantiles sont utilisés pour tenir compte de l’incertitude des prévisions. Par défaut, des prévisions seront générées pour les valeurs 0,1 (`p10`), 0,5 (`p50`) et 0,9 (`p90`). Vous pouvez choisir de spécifier vos propres quantiles.
Dans Autopilot, vous pouvez spécifier jusqu'à cinq quantiles de prévision compris entre 0,01 (`p1`) et 0,99 (`p99`), par incréments de 0,01 ou plus dans l'attribut de. `ForecastQuantiles` [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
Dans l’exemple suivant, vous configurez une prévision quotidienne des 10e, 25e, 50e, 75e et 90e percentiles pour la quantité attendue ou le niveau de demande attendu d’articles spécifiques sur une période de 20 jours.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"ForecastQuantiles": ["p10", "p25", "p50", "p75", "p90"],
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
### Comment agréger les données pour différentes fréquences de prévision
Pour créer un modèle de prévision (également appelé meilleur modèle candidat issu de votre expérience), vous devez spécifier une fréquence de prévision. La fréquence de prévision détermine la fréquence des prédictions figurant dans vos prévisions. Par exemple, les prévisions de ventes mensuelles. Le meilleur modèle Autopilot peut générer des prévisions pour des fréquences de données supérieures à la fréquence à laquelle vos données sont enregistrées.
Pendant l’entraînement, Autopilot agrège toutes les données qui ne s’alignent pas sur la fréquence de prévision que vous spécifiez. Par exemple, vous pouvez disposer de certaines données quotidiennes mais spécifier une fréquence de prévision hebdomadaire. Autopilot aligne les données quotidiennes en fonction de la semaine à laquelle elles appartiennent. Autopilot les combine ensuite en un seul enregistrement pour chaque semaine.
Lors de l’agrégation, la méthode de transformation par défaut consiste à additionner les données. Vous pouvez configurer l'agrégation lorsque vous créez votre tâche AutoML dans l'`Transformations`attribut de. [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) Les méthodes d’agrégation prises en charge sont `sum` (par défaut) `avg`, `first`, `min`, `max`. L’agrégation n’est prise en charge que pour la colonne cible.
Dans l’exemple suivant, vous configurez l’agrégation pour calculer la moyenne des prévisions promotionnelles individuelles afin de fournir les valeurs de prévision agrégées finales.
```
"Transformations": {
"Aggregation": {
"promo": "avg"
}
}
```
### Comment gérer les valeurs manquantes de vos jeux de données sources.
Autopilot propose diverses méthodes de remplissage pour gérer les valeurs manquantes dans la colonne cible et les autres colonnes numériques de vos jeux de données de séries temporelles. Pour en savoir plus sur la liste des méthodes de remplissage prises en charge et leur logique de remplissage disponible, consultez [Gestion des valeurs manquantes](timeseries-forecasting-data-format.md#timeseries-missing-values).
Vous configurez votre stratégie de remplissage dans l'`Transformations`attribut de [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)lors de la création de votre tâche AutoML.
Pour définir une méthode de remplissage, vous devez fournir une paire clé-valeur :
+ La clé est le nom de la colonne pour laquelle vous souhaitez spécifier la méthode de remplissage.
+ La valeur associée à la clé est un objet qui définit la stratégie de remplissage pour cette colonne.
Vous pouvez définir plusieurs méthodes de remplissage pour une seule colonne.
Pour définir une valeur spécifique pour la méthode de remplissage, vous devez définir le paramètre de remplissage sur la valeur de méthode de remplissage souhaitée (par exemple `"backfill" : "value"`) et définir la valeur de remplissage réelle dans un paramètre supplémentaire suffixé par « \$1value ». Par exemple, pour définir `backfill` sur une valeur de `2`, vous devez inclure deux paramètres : `"backfill": "value"` et `"backfill_value":"2"`.
Dans l’exemple suivant, vous spécifiez la stratégie de remplissage pour la colonne de données incomplète, « price », correspondant aux prix, comme suit : toutes les valeurs manquantes entre le premier point de données d’un article et le dernier sont définies sur `0`, après quoi toutes les valeurs manquantes sont remplies avec la valeur `2` jusqu’à la date de fin du jeu de données.
```
"Transformations": {
"Filling": {
"price": {
"middlefill" : "zero",
"backfill" : "value",
"backfill_value": "2"
}
}
}
```
### Comment spécifier une métrique d’objectif
Autopilot produit des métriques de précision pour évaluer les modèles candidats et vous aider à choisir lequel utiliser pour générer des prévisions. Lorsque vous exécutez une expérience de prévision de séries temporelles, vous pouvez choisir AutoML pour laisser Autopilot optimiser le prédicteur pour vous ou choisir manuellement un algorithme pour votre prédicteur.
Par défaut, Autopilot utilise la perte quantile pondérée moyenne. Cependant, vous pouvez configurer la métrique objective lorsque vous créez votre tâche AutoML dans l'`MetricName`attribut [Auto MLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) Objective.
Pour obtenir la liste des algorithmes disponibles, consultez [Prise en charge des algorithmes pour les prévisions de séries temporelles](timeseries-forecasting-algorithms.md).
### Comment intégrer les informations relatives aux fêtes nationales à votre jeu de données
Dans Autopilot, vous pouvez incorporer à vos séries temporelles un jeu de données obtenu par ingénierie des caractéristiques d’informations sur les fêtes nationales. Autopilot fournit un support natif pour les calendriers des jours fériés de plus de 250 pays. Une fois que vous avez choisi un pays, Autopilot applique le calendrier des jours fériés de ce pays à chaque élément de votre jeu de données pendant l’entraînement. Cela permet au modèle d’identifier les schémas associés à des jours fériés spécifiques.
Vous pouvez activer la fonctionnalité de vacances lorsque vous créez votre tâche AutoML en passant [HolidayConfigAttributes](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)un objet à `HolidayConfig` l'attribut de. [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) L’objet `HolidayConfigAttributes` contient l’attribut `CountryCode` à deux lettres qui détermine le pays du calendrier des fêtes nationales utilisé pour compléter votre jeu de données de séries temporelles.
Reportez-vous à [Codes pays](autopilot-timeseries-forecasting-holiday-calendars.md#holiday-country-codes) pour consulter la liste des calendriers pris en charge et leur code pays correspondant.
### Comment activer le déploiement automatique
Autopilot vous permet de déployer automatiquement votre modèle de prévision sur un point de terminaison. Pour activer le déploiement automatique pour le meilleur modèle candidat d’une tâche AutoML, incluez un élément `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans la demande de tâche AutoML. Cela permet de déployer le meilleur modèle sur un point de terminaison d' SageMaker IA. Vous trouverez ci-dessous les configurations disponibles pour la personnalisation.
+ Pour permettre à Autopilot de générer le nom du point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` sur `True`.
+ Pour fournir votre propre nom pour le point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Comment configurer AutoML afin de lancer une tâche distante sur EMR sans serveur pour des jeux de données volumineux
Vous pouvez configurer votre tâche AutoML V2 afin de lancer automatiquement une tâche distante sur Amazon EMR sans serveur lorsque des ressources de calcul supplémentaires sont nécessaires pour traiter des jeux de données volumineux. Grâce à une transition fluide vers EMR sans serveur lorsque cela est nécessaire, la tâche AutoML peut gérer des jeux de données qui dépasseraient autrement les ressources initialement provisionnées, sans aucune intervention manuelle de votre part. EMR sans serveur est disponible pour les types de problèmes de données tabulaires et de séries temporelles. Nous recommandons de configurer cette option pour les jeux de données des séries temporelles de plus de 30 Go.
Pour permettre à votre tâche AutoML V2 de basculer automatiquement vers EMR sans serveur pour les jeux de données volumineux, vous devez fournir un objet `EmrServerlessComputeConfig`, comprenant un champ `ExecutionRoleARN`, à la classe `AutoMLComputeConfig` de la demande d’entrée de la tâche AutoML V2.
`ExecutionRoleARN` est l’ARN du rôle IAM octroyant à la tâche AutoML V2 les autorisations nécessaires pour exécuter des tâches EMR sans serveur.
Ce rôle doit avoir la relation d’approbation suivante :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Et octroyer les autorisations pour :
+ créer, répertorier et mettre à jour des applications EMR sans serveur ;
+ démarrer, répertorier, obtenir ou annuler des tâches exécutées sur une application EMR sans serveur ;
+ baliser les ressources EMR sans serveur ;
+ transmettre un rôle IAM au service EMR sans serveur pour l’exécution.
En octroyant l’autorisation `iam:PassRole`, la tâche AutoML V2 peut assumer temporairement le rôle `EMRServerlessRuntimeRole-*` et le transmettre au service EMR sans serveur. Il s'agit des rôles IAM utilisés par les environnements d'exécution de tâches EMR sans serveur pour accéder à AWS d'autres services et ressources nécessaires pendant l'exécution, tels qu'Amazon S3 pour l'accès aux données, pour la journalisation CloudWatch , l'accès au catalogue de données ou à AWS Glue d'autres services en fonction de vos exigences en matière de charge de travail.
Consultez [Rôles d’exécution des tâches pour Amazon EMR sans serveur](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) pour plus de détails sur les autorisations associées à ces rôles.
La politique IAM définie dans le document JSON fourni accorde les autorisations suivantes :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
# Format des jeux de données de séries temporelles et méthodes de remplissage des valeurs manquantes
Les données de séries temporelles font référence à un ensemble d’observations ou de mesures enregistrées à intervalles réguliers. Dans ce type de données, chaque observation est associée à un horodatage ou à une période spécifique, ce qui crée une séquence de points de données classés par ordre chronologique.
Les colonnes spécifiques que vous incluez dans votre jeu de données de séries temporelles dépendent des objectifs de votre analyse et des données dont vous disposez. Au minimum, les données de séries temporelles sont composées d’une table à 3 colonnes dans laquelle :
+ Une colonne contient des identifiants uniques attribués à des articles individuels pour faire référence à leur valeur à un moment précis.
+ Une autre colonne représente la point-in-time valeur ou la **cible** pour enregistrer la valeur d'un élément donné à un moment précis. Une fois que le modèle a été entraîné sur ces valeurs cibles, cette colonne cible contient les valeurs que le modèle prédit à une fréquence spécifiée dans un horizon défini.
+ Et une colonne d’horodatage est incluse pour enregistrer la date et l’heure de la mesure de la valeur.
+ Des colonnes supplémentaires peuvent contenir d’autres facteurs susceptibles d’influer sur les performances de prévision. Par exemple, dans un jeu de données de séries temporelles de commerce de détail dont la cible correspond aux ventes ou au chiffre d’affaires, vous pouvez inclure des caractéristiques fournissant des informations sur les unités vendues, l’identifiant du produit, l’emplacement du magasin, le nombre de clients, les niveaux de stock, ainsi que des indicateurs de covariation, tels que des données météorologiques ou des informations démographiques.
**Note**
Vous pouvez ajouter à vos séries temporelles un jeu de données obtenu par ingénierie des caractéristiques d’informations sur les fêtes nationales. En incluant les jours fériés dans votre modèle de séries temporelles, vous pouvez capturer les schémas périodiques créés par les jours fériés. Cela permet à vos prévisions de mieux refléter la saisonnalité sous-jacente de vos données. Pour en savoir plus sur les calendriers disponibles par pays, consultez [Calendriers des fêtes nationales](autopilot-timeseries-forecasting-holiday-calendars.md)
## Format des jeux de données pour les prévisions de séries temporelles
Autopilot prend en charge les types de données numériques, catégoriels, textuels et datetime. Le type de données de la colonne cible doit être numérique.
Autopilot prend en charge les données de séries temporelles sous forme de fichiers CSV (par défaut) ou de fichiers Parquet.
+ **CSV** (comma-separated-values) est un format de fichier basé sur des lignes qui stocke les données en texte clair lisible par l'homme. C'est un choix populaire pour l'échange de données car il est pris en charge par un large éventail d'applications.
+ **Parquet** est un format de fichier basé sur les colonnes dans lequel les données sont stockées et traitées plus efficacement que les formats de fichiers basés sur les lignes. Cela en fait une meilleure option pour les problèmes de big data.
Pour plus d’informations sur les limites de ressources applicables aux jeux de données de séries temporelles pour la prévision dans Autopilot, consultez [Limites des ressources de prévision des séries temporelles pour Autopilot](timeseries-forecasting-limits.md).
## Gestion des valeurs manquantes
Un problème courant dans les données de prévision chronologiques est la présence de valeurs manquantes. Vos données peuvent contenir des valeurs manquantes pour un certain nombre de raisons, notamment des échecs de mesure, des problèmes de formatage, des erreurs humaines ou un manque d’informations à enregistrer. Par exemple, si vous prévoyez la demande d’un produit pour un magasin de vente au détail et qu’un article est épuisé ou indisponible, il n’y aura pas de données de vente à enregistrer tant que cet article sera en rupture de stock. Si elles sont suffisamment importantes, les valeurs manquantes peuvent avoir un impact significatif sur la précision d’un modèle.
Autopilot propose un certain nombre de méthodes de remplissage pour gérer les valeurs manquantes, avec des approches distinctes pour la colonne cible et d’autres colonnes supplémentaires. Le remplissage consiste à ajouter des valeurs normalisées aux entrées manquantes dans votre ensemble de données.
Reportez-vous à [Comment gérer les valeurs manquantes de vos jeux de données sources.](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-fill-missing-values) pour découvrir comment définir la méthode de remplissage des valeurs manquantes dans votre jeu de données de séries temporelles.
Autopilot prend en charge les méthodes de remplissage suivantes :
+ **Remplissage avant :** remplit toutes les valeurs manquantes entre le point de données enregistré le plus tôt parmi tous les éléments et le point de départ de chaque élément (chaque élément peut commencer à un moment différent). Cela garantit que les données de chaque élément sont complètes et s’étendent du point de données enregistré le plus tôt à son point de départ respectif.
+ **Remplissage intermédiaire :** remplit toutes les valeurs manquantes entre la date de début et la date de fin des éléments figurant dans le jeu de données.
+ **Remplissage arrière :** remplit toutes les valeurs manquantes entre le dernier point de données de chaque élément (chaque élément peut s’arrêter à un moment différent) et le dernier point de données enregistré parmi tous les éléments.
+ **Remplissage futur :** remplit toutes les valeurs manquantes entre le dernier point de données enregistré parmi tous les éléments et la fin de l’horizon de prévision.
L’image suivante fournit une représentation visuelle des différentes méthodes de remplissage.
![\[Les différentes méthodes de remplissage pour les prévisions de séries chronologiques dans Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/autopilot/autopilot-forecast-filling-methods.png)
### Choix d'une logique de remplissage
Lorsque vous choisissez une logique de remplissage, vous devez prendre en considération la manière dont la logique sera interprétée par votre modèle. Par exemple, dans un scénario de vente au détail, l’enregistrement de 0 vente d’un article disponible est différent de l’enregistrement de 0 vente d’un article non disponible, car ce dernier n’implique pas un manque d’intérêt du client pour l’article. Pour cette raison, le remplissage par `0` dans la colonne cible de la série temporelle peut entraîner une sous-estimation du biais du prédicteur dans ses prédictions, tandis que le remplissage par `NaN` peut ignorer les occurrences réelles de vente de 0 article disponible et entraîner une surestimation du biais du prédicteur.
### Logique de remplissage
Vous pouvez effectuer le remplissage de la colonne cible et des autres colonnes numériques de vos jeux de données. Les directives et restrictions de remplissage des colonnes cibles sont différentes de celles des autres colonnes numériques.
Instructions de remplissage
| Type de colonne | Remplissage par défaut ? | Méthodes de remplissage prises en charge | Logique de remplissage par défaut | Logique de remplissage acceptée |
| --- | --- | --- | --- | --- |
| Colonne cible | Oui | Remplissage intermédiaire et en amont | 0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
| Autres colonnes numériques | Non | Remplissage intermédiaire, en amont et en aval | Pas de valeur par défaut | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
**Note**
Pour la colonne cible et les autres colonnes numériques, `mean`, `median`, `min` et `max` sont calculés sur la base d'une fenêtre mobile des 64 entrées de données les plus récentes avant les valeurs manquantes.
# Calendriers des fêtes nationales
Autopilot prend en charge un jeu de données obtenu par ingénierie des caractéristiques d’informations sur les fêtes nationales qui donne accès aux calendriers des fêtes de plus de 250 pays. Les fonctionnalités des calendriers des fêtes sont particulièrement utiles dans le domaine de la vente au détail, où les jours fériés peuvent avoir une incidence significative sur la demande. La section suivante répertorie les codes pays que vous pouvez utiliser pour accéder aux calendriers des jours fériés de chaque pays pris en charge.
Consultez [Comment intégrer les informations relatives aux fêtes nationales à votre jeu de données](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-add-holiday-calendar) pour découvrir comment ajouter un calendrier à votre jeu de données.
## Codes pays
Autopilot fournit une prise en charge native pour les calendriers des jours fériés des pays suivants. Utilisez le **code pays** lorsque vous spécifiez un pays avec l’API.
| Country | Code pays |
| --- | --- |
| Afghanistan | AF |
| Îles Åland | AX |
| Albanie | AL |
| Algérie | DZ |
| Samoa américaines | AS |
| Andorre | AD |
| Angola | AO |
| Anguilla | AI |
| Antarctique | AQ |
| Antigua et Barbuda | AG |
| Argentine | AR |
| Arménie | AM |
| Aruba | AW |
| Australie | AU |
| Autriche | AT |
| Azerbaïdjan | AZ |
| Bahamas | BS |
| Bahreïn | BH |
| Bangladesh | BD |
| Barbade | BB |
| Biélorussie | BY |
| Belgique | BE |
| Belize | BZ |
| Bénin | BJ |
| Bermudes | BM |
| Bhoutan | BT |
| Bolivie | BO |
| Bosnie-Herzégovine | BA |
| Botswana | BW |
| Île Bouvet | BV |
| Brésil | BR |
| Territoire Britannique de l’Océan Indien | IO |
| Îles Vierges Britanniques | VG |
| Brunéi Darussalam | BN |
| Bulgarie | BG |
| Burkina Faso | BF |
| Burundi | BI |
| Cambodge | KH |
| Cameroun | CM |
| Canada | CA |
| Cap-Vert | CV |
| Pays-Bas caribéens | BQ |
| Iles Caïmans | KY |
| République centrafricaine | CF |
| Tchad | TD |
| Chili | CL |
| Chine | CN |
| Île Christmas | CX |
| Îles Cocos (Keeling) | CC |
| Colombie | CO |
| Comores | KM |
| Iles Cook | CK |
| Costa Rica | CR |
| Croatie | HR |
| Cuba | CU |
| Curaçao | CW |
| Chypre | CY |
| Tchéquie | CZ |
| République démocratique du Congo | CD |
| Danemark | DK |
| Djibouti | DJ |
| Dominique | DM |
| République Dominicaine | DO |
| Equateur | EC |
| Egypte | EG |
| El Salvador | SV |
| Guinée équatoriale | GQ |
| Érythrée | ER |
| Estonie | EE |
| Eswatini | SZ |
| Ethiopie | ET |
| Îles Malouines | FK |
| Iles Féroé | FO |
| Fidji | FJ |
| Finlande | FI |
| France | FR |
| Guyane française | GF |
| Polynésie française | PF |
| Terres australes et antarctiques françaises | TF |
| Gabon | GA |
| Gambie | GM |
| Géorgie | GE |
| Allemagne | DE |
| Ghana | GH |
| Gibraltar | GI |
| Grèce | GR |
| Groenland | GL |
| Grenade | GD |
| Guadeloupe | GP |
| Guam | GU |
| Guatemala | GT |
| Guernesey | GG |
| Guinée | GN |
| Guinée-Bissau | GW |
| Guyane | GY |
| Haïti | HT |
| Île Heard et McDonald îles | HM |
| Honduras | HN |
| Hong Kong | HK |
| Hongrie | HU |
| Islande | IS |
| Inde | IN |
| Indonésie | ID |
| Iran | IR |
| Irak | IQ |
| Irlande | IE |
| Île de Man | IM |
| Israël | IL |
| Italie | IT |
| Côte d’Ivoire | CI |
| Jamaïque | JM |
| Japon | JP |
| Jersey | JE |
| Jordanie | JO |
| Kazakhstan | KZ |
| Kenya | KE |
| Kiribati | KI |
| Kosovo | XK |
| Koweït | KW |
| Kirghizstan | KG |
| Laos | LA |
| Lettonie | LV |
| Liban | LB |
| Lesotho | LS |
| Liberia | LR |
| Libye | LY |
| Liechtenstein | LI |
| Lituanie | LT |
| Luxembourg | LU |
| Macao | MO |
| Madagascar | MG |
| Malawi | MW |
| Malaisie | MY |
| Maldives | MV |
| Mali | ML |
| Malte | MT |
| Îles Marshall | MH |
| Martinique | MQ |
| Mauritanie | MR |
| Maurice | MU |
| Mayotte | YT |
| Mexique | MX |
| Micronésie | FM |
| Moldavie | MD |
| Monaco | MC |
| Mongolie | MN |
| Monténégro | ME |
| Montserrat | MS |
| Maroc | MA |
| Mozambique | MZ |
| Birmanie | MM |
| Namibie | NA |
| Nauru | NR |
| Népal | NP |
| Pays-Bas | NL |
| Nouvelle-Calédonie | NC |
| Nouvelle-Zélande | NZ |
| Nicaragua | NI |
| Niger | NE |
| Nigeria | NG |
| Niué | NU |
| Île Norfolk | NF |
| Corée du Nord | KP |
| Macédoine du Nord | MK |
| Îles Mariannes du Nord | MP |
| Norvège | NO |
| Oman | OM |
| Pakistan | PK |
| Palaos | PW |
| Palestine | PS |
| Panama | PA |
| Papouasie-Nouvelle-Guinée | PG |
| Paraguay | PY |
| Pérou | PE |
| Philippines | PH |
| Îles Pitcairn | PN |
| Pologne | PL |
| Portugal | PT |
| Porto Rico | PR |
| Qatar | QA |
| République du Congo | CG |
| La Réunion | RE |
| Roumanie | RO |
| Fédération de Russie | RU |
| Rwanda | RW |
| Saint-Barthélemy | BL |
| « Sainte-Hélène, Ascension et Tristan da Cunha » | SH |
| Saint Kitts et Nevis | KN |
| Sainte-Lucie | LC |
| Saint-Martin | MF |
| Saint-Pierre-et-Miquelon | PM |
| Saint-Vincent-et-les-Grenadines | VC |
| Samoa | WS |
| Saint-Marin | SM |
| Sao Tomé et Principe | ST |
| Arabie saoudite | SA |
| Sénégal | SN |
| Serbie | RS |
| Seychelles | SC |
| Sierra Leone | SL |
| Singapour | SG |
| Sint Maarten | SX |
| Slovaquie | SK |
| Slovénie | SI |
| Iles Salomon | SB |
| Somalie | SO |
| Afrique du Sud | ZA |
| Géorgie du Sud et îles Sandwich du Sud | GS |
| Corée du Sud | KR |
| Soudan du Sud | SS |
| Espagne | ES |
| Sri Lanka | LK |
| Soudan | SD |
| Suriname | SR |
| Svalbard et Île Jan Mayen | SJ |
| Suède | SE |
| Suisse | CH |
| République arabe syrienne | SY |
| Taïwan | TW |
| Tadjikistan | TJ |
| Tanzanie | TZ |
| Thaïlande | TH |
| Timor-Leste | TL |
| Togo | TG |
| Tokélaou | TK |
| Tonga | TO |
| Trinidad et Tobago | TT |
| Tunisie | TN |
| Turquie | TR |
| Turkménistan | TM |
| Iles Turks et Caicos | TC |
| Tuvalu | TV |
| Ouganda | UG |
| Ukraine | UA |
| Emirats arabes unis | AE |
| Royaume-Uni | UK |
| Nations Unies | UN |
| États-Unis | US |
| Îles mineures éloignées des États-Unis | UM |
| Îles Vierges des États-Unis | VI |
| Uruguay | UY |
| Ouzbékistan | UZ |
| Vanuatu | VU |
| Cité du Vatican | VA |
| Venezuela | VE |
| Vietnam | VN |
| Wallis et Futuna | WF |
| Sahara occidental | EH |
| Yémen | YE |
| Zambie | ZM |
| Zimbabwe | ZW |
# Métriques d'objectif
Autopilot produit des métriques de précision pour évaluer les modèles candidats et vous aider à choisir lequel utiliser pour générer des prévisions. Vous pouvez laisser Autopilot optimiser le prédicteur pour vous ou vous pouvez choisir manuellement un algorithme pour votre prédicteur. Par défaut, Autopilot utilise la perte quantile pondérée moyenne.
La liste suivante contient les noms des métriques qui sont actuellement disponibles pour mesurer les performances des modèles pour la prévision des séries temporelles.
**`RMSE`**
Racine de l’erreur quadratique moyenne (RMSE, Root Mean Squared Error) : mesure la racine carrée de la différence au carré entre les valeurs prédites et réelles, moyennée sur l’ensemble des valeurs. Cette métrique est importante pour indiquer la présence d'erreurs et de valeurs aberrantes dans les modèles volumineux. Les valeurs vont de zéro (0) à l'infini, les plus petits nombres indiquant une meilleure adéquation du modèle aux données. La RMSE dépend de l'échelle, et ne doit pas être utilisée pour comparer des jeux de données de tailles différentes.
**`wQL`**
Perte quantile pondérée (wQL) : évaluez la précision de la prévision en mesurant les différences absolues pondérées entre les quantiles P10, P50 et P90 prédits et réels, des valeurs plus faibles indiquant une meilleure performance.
**`Average wQL (default)`**
Perte quantile pondérée moyenne (wQL moyen) : évalue la prévision en faisant la moyenne de la précision au niveau des quantiles P10, P50 et P90. Une valeur faible indique un modèle plus précis.
**`MASE`**
Erreur moyenne à l’échelle absolue (MASE) : erreur absolue moyenne de la prédiction normalisée par l’erreur absolue moyenne d’une méthode de prédiction de référence simple. Une valeur inférieure indique un modèle plus précis, où MASE < 1 est estimé comme étant meilleur que la valeur de référence et MASE > 1 est estimé comme étant pire que la valeur de référence.
**`MAPE`**
Erreur moyenne en pourcentage absolu (MAPE) : erreur en pourcentage (différence en pourcentage de la valeur moyenne prévue par rapport à la valeur réelle) calculée sur tous les points temporels. Une valeur inférieure indique un modèle plus précis, où MAPE = 0 est un modèle sans erreur.
**`WAPE`**
Erreur moyenne en pourcentage absolu (WAPE) : somme de l’erreur absolue normalisée par la somme de la cible absolue, qui mesure l’écart global entre les valeurs prédites et les valeurs observées. Une valeur faible indique un modèle plus précis.
# Prise en charge des algorithmes pour les prévisions de séries temporelles
Autopilot entraîne les six algorithmes intégrés suivants avec vos séries temporelles cibles. Ensuite, en utilisant une méthode ensembliste par empilement, il combine ces modèles candidats pour créer un modèle de prévision optimal pour une métrique d’objectif donnée.
+ **Réseau neuronal convolutif - Régression quantile (CNN-QR) — Le CNN-QR** est un algorithme d'apprentissage automatique propriétaire permettant de prévoir des séries chronologiques à l'aide de réseaux neuronaux convolutifs causaux (). CNNs CNN-QR fonctionne de façon optimale avec de grands jeux de données contenant des centaines de séries temporelles.
+ **DeepAr\$1** — DeepAr\$1 est un algorithme d'apprentissage automatique propriétaire permettant de prévoir des séries chronologiques à l'aide de réseaux neuronaux récurrents (). RNNs DeepAR\$1 fonctionne de façon optimale avec de grands jeux de données contenant des centaines de séries temporelles de fonctionnalités.
+ **Prophet** : [Prophet](https://facebook.github.io/prophet/) est un modèle structurel de séries temporelles bayésien local populaire basé sur un modèle additif dans lequel les tendances non linéaires sont adaptées à la saisonnalité annuelle, hebdomadaire et quotidienne. L’algorithme Prophet d’Autopilot utilise la [classe Prophet](https://facebook.github.io/prophet/docs/quick_start.html#python-ap) de l’implémentation Python de Prophet. Il fonctionne de façon optimale avec des séries temporelles présentant de forts effets saisonniers et plusieurs saisons de données historiques.
+ **Séries temporelles non paramétriques (NPTS)** : l’algorithme propriétaire NPTS est un prédicteur évolutif de base de référence probabiliste. Il prévoit la distribution future des valeurs d’une série temporelle donnée par échantillonnage à partir d’observations passées. NPTS est particulièrement utile lorsque vous travaillez avec des séries temporelles fragmentées ou intermittentes.
+ **Moyenne mobile autorégressive intégrée (ARIMA)** : ARIMA est un algorithme de statistiques couramment utilisé pour les prévisions de séries temporelles. Cet algorithme capture les structures temporelles standard (schémas d’organisation temporelle) dans le jeu de données d’entrée. Il est particulièrement utile pour les jeux de données simples comportant moins de 100 séries temporelles.
+ **Lissage exponentiel (ETS)** : ETS est un algorithme de statistiques couramment utilisé pour les prévisions de séries temporelles. Cet algorithme est particulièrement utile pour les jeux de données simples contenant moins de 100 séries temporelles et les jeux de données présentant des schémas de saisonnalité. ETS calcule une moyenne pondérée sur toutes les observations du jeu de données des séries temporelles comme prédiction, avec des poids diminuant de façon exponentielle au fil du temps.
# Prévision d’un modèle Autopilot déployé
Après avoir entraîné vos modèles à l’aide de l’API AutoML, vous pouvez les déployer pour des prévisions en temps réel ou par lots.
L’API AutoML entraîne plusieurs modèles candidats pour vos données de séries temporelles, puis sélectionne un modèle de prévision optimal basé sur votre métrique d’objectif cible. Une fois que vos candidats modèles ont été formés, vous pouvez trouver le meilleur candidat dans la réponse [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) à l'adresse [BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-CandidateName).
Pour obtenir des prévisions à l’aide de ce modèle le plus performant, vous pouvez soit configurer un point de terminaison pour obtenir des prévisions de manière interactive, soit utiliser des prévisions par lots pour établir des prévisions sur un lot d’observations.
**Considérations**
+ Lorsque vous fournissez des données d’entrée pour les prévisions, le schéma de vos données doit rester le même que celui utilisé pour entraîner votre modèle, y compris le nombre de colonnes, les en-têtes de colonne et les types de données. Vous pouvez prévoir un article existant ou nouveau IDs dans une plage d'horodatage identique ou différente pour une période différente.
+ Les modèles de prévision établissent des prévisions pour les points de l’horizon de prévision futurs spécifiés dans la demande d’entrée lors de l’entraînement, c’est-à-dire entre la *date de fin cible* et la *date de fin cible \$1 horizon de prévision*. Pour utiliser le modèle pour prédire des dates spécifiques, vous devez fournir les données dans le même format que les données d’entrée d’origine, jusqu’à une *date de fin cible* spécifiée. Dans ce scénario, le modèle commencera à prédire à partir de la nouvelle date de fin cible.
Par exemple, si votre jeu de données contenait des données mensuelles de janvier à juin avec un horizon de prévision de 2, le modèle prédirait la valeur cible pour les 2 prochains mois, à savoir juillet et août. Si, en août, vous souhaitez effectuer des prévisions pour les deux prochains mois, cette fois, vos données d’entrée devraient être de janvier à août et le modèle effectuera des prévisions pour les 2 prochains mois (septembre et octobre).
+ Lors de la prévision des futurs points de données, il n’existe pas de minimum de données historiques à fournir. Incluez suffisamment de données pour saisir les modèles saisonniers et récurrents de vos séries temporelles.
**Topics**
+ [Prévisions en temps réel](timeseries-forecasting-realtime.md)
+ [Prévisions par lots](timeseries-forecasting-batch.md)
# Prévisions en temps réel
Les prévisions en temps réel sont utiles lorsque vous devez générer des prédictions on-the-fly, par exemple pour les applications qui nécessitent des réponses immédiates ou lorsque vous faites des prévisions pour des points de données individuels.
En déployant votre modèle AutoML en tant que point de terminaison en temps réel, vous pouvez générer des prévisions à la demande et minimiser le temps de latence entre la réception de nouvelles données et l’obtention de prévisions. Les prévisions en temps réel conviennent donc parfaitement aux applications qui nécessitent des capacités de prévision immédiates, personnalisées ou basées sur des événements.
Pour les prévisions en temps réel, le jeu de données doit être un sous-ensemble du jeu de données en entrée. Le point de terminaison en temps réel a une taille de données d’entrée d’environ 6 Mo et un délai de réponse limité à 60 secondes. Nous vous recommandons d’introduire un ou plusieurs articles à la fois.
Vous pouvez l'utiliser SageMaker APIs pour récupérer le meilleur candidat pour une tâche AutoML, puis créer un point de terminaison d' SageMaker IA en utilisant ce candidat.
Vous pouvez également choisir l’option de déploiement automatique lors de la création de votre expérience Autopilot. Pour en savoir plus sur la configuration du déploiement automatique des modèles, consultez [Comment activer le déploiement automatique](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-auto-model-deployment).
**Pour créer un point de terminaison d' SageMaker IA à l'aide de votre meilleur modèle candidat :**
1.
**Extrayez les détails de la tâche AutoML.**
L'exemple de AWS CLI commande suivant utilise l'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) pour obtenir des informations détaillées sur la tâche AutoML, notamment des informations sur le meilleur modèle candidat.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Extrayez la définition du conteneur [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)pour trouver le meilleur modèle candidat.**
Une définition de conteneur est l'environnement conteneurisé utilisé pour héberger le modèle d' SageMaker IA entraîné pour effectuer des prédictions.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Cette commande extrait la définition de conteneur pour le meilleur modèle candidat et la stocke dans la variable `BEST_CANDIDATE`.
1.
**Créez un modèle d' SageMaker IA à l'aide de la meilleure définition de conteneur candidat.**
Utilisez les définitions de conteneur des étapes précédentes pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'your-candidate-name>' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
Le `--execution-role-arn` paramètre indique le rôle IAM assumé par l' SageMaker IA lors de l'utilisation du modèle à des fins d'inférence. Pour plus de détails sur les autorisations requises pour ce rôle, voir [CreateModel API : Autorisations du rôle d'exécution](https://docs.aws.amazon.com/).
1.
**Créez une configuration de point de terminaison SageMaker AI à l'aide du modèle.**
La AWS CLI commande suivante utilise l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API pour créer une configuration de point de terminaison.
```
aws sagemaker create-endpoint-config \
--production-variants file://production-variants.json \
--region 'region'
```
Où le fichier `production-variants.json` contient la configuration du modèle, y compris le nom de ce dernier et le type d’instance.
**Note**
Nous recommandons d’utiliser des instances [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) pour les prévisions en temps réel.
```
[
{
"VariantName": "variant-name",
"ModelName": "model-name",
"InitialInstanceCount": 1,
"InstanceType": "m5.12xlarge"
}
]
}
```
1.
**Créez le point de terminaison SageMaker AI à l'aide de la configuration du point de terminaison.**
L' AWS CLI exemple suivant utilise l'[CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API pour créer le point de terminaison.
```
aws sagemaker create-endpoint \
--endpoint-name 'endpoint-name>' \
--endpoint-config-name 'endpoint-config-name' \
--region 'region'
```
Vérifiez la progression du déploiement de votre point de terminaison d'inférence en temps réel à l'aide de l'[DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region'
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé pour l'inférence en temps réel.
1.
**Invoquez le point de terminaison SageMaker AI pour faire des prédictions.**
```
aws sagemaker invoke-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region' \
--body file://input-data-in-bytes.json \
--content-type 'application/json' outfile
```
Où le fichier `input-data-in-bytes.json` contient les données d’entrée pour la prédiction.
# Prévisions par lots
La prévision par lots, également appelée inférence hors connexion, génère des prédictions modélisées sur un lot d’observations. L'inférence par lots est une bonne option pour les grands jeux de données, ou si vous n'avez pas besoin d'une réponse immédiate à une demande de prédiction de modèle.
En revanche, l’inférence en ligne (inférence en temps réel) génère des prédictions en temps réel.
Vous pouvez l'utiliser SageMaker APIs pour récupérer le meilleur candidat pour une tâche AutoML, puis soumettre un lot de données d'entrée à des fins d'inférence à l'aide de ce candidat.
1.
**Extrayez les détails de la tâche AutoML.**
L'exemple de AWS CLI commande suivant utilise l'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) pour obtenir des informations détaillées sur la tâche AutoML, notamment des informations sur le meilleur modèle candidat.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Extrayez la définition du conteneur [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)pour trouver le meilleur modèle candidat.**
Une définition de conteneur est l'environnement conteneurisé utilisé pour héberger le modèle d' SageMaker IA entraîné pour effectuer des prédictions.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Cette commande extrait la définition de conteneur pour le meilleur modèle candidat et la stocke dans la variable `BEST_CANDIDATE`.
1.
**Créez un modèle d' SageMaker IA à l'aide de la meilleure définition de conteneur candidat.**
Utilisez les définitions de conteneur des étapes précédentes pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'model-name' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
Le `--execution-role-arn` paramètre indique le rôle IAM assumé par l' SageMaker IA lors de l'utilisation du modèle à des fins d'inférence. Pour plus de détails sur les autorisations requises pour ce rôle, voir [CreateModel API : Autorisations du rôle d'exécution](https://docs.aws.amazon.com/).
1.
**Créez une tâche de transformation par lots.**
L'exemple suivant crée une tâche de transformation à l'aide de l'[CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API.
```
aws sagemaker create-transform-job \
--transform-job-name 'transform-job-name' \
--model-name 'model-name'\
--transform-input file://transform-input.json \
--transform-output file://transform-output.json \
--transform-resources file://transform-resources.json \
--region 'region'
```
Les informations liées aux entrées, sorties et ressources sont définies dans des fichiers JSON distincts :
+ `transform-input.json`:
```
{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://my-input-data-bucket/path/to/input/data"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}
```
+ `transform-output.json`:
```
{
"S3OutputPath": "s3://my-output-bucket/path/to/output",
"AssembleWith": "Line"
}
```
+ `transform-resources.json`:
**Note**
Nous vous recommandons d’utiliser des instances [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) pour les charges de travail polyvalentes et des instances `m5.24xlarge` pour les tâches de prévision du big data.
```
{
"InstanceType": "instance-type",
"InstanceCount": 1
}
```
1.
**Surveillez la progression de votre travail de transformation à l'aide de l'[DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API.**
Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-transform-job \
--transform-job-name 'transform-job-name' \
--region region
```
1.
**Extrayez le résultat de la transformation par lots.**
Une fois la tâche terminée, le résultat prédit est disponible dans `S3OutputPath`.
Le nom du fichier de sortie possède le format suivant : `input_data_file_name.out`. Par exemple, si votre fichier d'entrée est `text_x.csv`, le nom de sortie sera `text_x.csv.out`.
```
aws s3 ls s3://my-output-bucket/path/to/output/
```
Les exemples de code suivants illustrent l'utilisation du AWS SDK pour Python (boto3) et AWS CLI pour les prévisions par lots.
------
#### [ AWS SDK for Python (boto3) ]
L'exemple suivant utilise le **kit AWS SDK pour Python (boto3)** pour effectuer des prédictions par lots.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job_v2(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'None'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
La tâche d'inférence par lots renvoie une réponse au format suivant.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Obtention des définitions de conteneurs des meilleurs candidats**.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Créez le modèle**.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Créez une tâche de transformation**.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Vérifiez la progression de la tâche de transformation**.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Voici la réponse de la tâche de transformation.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "None"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Une fois les modifications `TransformJobStatus` apportées à `Completed`, vous pouvez vérifier le résultat de l'inférence dans le `S3OutputPath`.
------
# Carnet d'exploration des données Amazon SageMaker Autopilot
Amazon SageMaker Autopilot nettoie et prétraite automatiquement votre ensemble de données. Pour aider les utilisateurs à comprendre leurs données et à découvrir des modèles, des relations et des anomalies concernant les séries chronologiques, Amazon SageMaker Autopilot génère un rapport statique d'**exploration des données** sous la forme d'un carnet que les utilisateurs peuvent consulter.
Le bloc-notes d’exploration de données est généré pour chaque tâche Autopilot. Ce rapport est stocké dans un compartiment Amazon S3 et est accessible depuis le chemin de sortie de la tâche.
Vous trouverez le préfixe Amazon S3 du bloc-notes d’exploration des données dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[AutoMLJobArtifacts.DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#sagemaker-DescribeAutoMLJobV2-response-AutoMLJobArtifacts)`.
# Rapports générés par Amazon SageMaker Autopilot
Outre le bloc-notes d’exploration des données, Autopilot génère divers rapports pour le meilleur modèle candidat de chaque expérience.
+ Un rapport d’explicabilité fournit des informations sur la manière dont le modèle établit des prévisions.
+ Un rapport de performances fournit une évaluation quantitative des capacités de prévision du modèle.
+ Un rapport sur les résultats du rétro-test est généré après le test des performances du modèle sur des données historiques.
## Rapport d'explicabilité
Le rapport d’explicabilité d’Autopilot vous aide à mieux comprendre l’impact des attributs de vos jeux de données sur les prévisions pour des séries temporelles (combinaisons d’éléments et de dimensions) et des points temporels spécifiques. Autopilot utilise une métrique appelée *scores d’impact* pour quantifier l’impact relatif de chaque attribut et déterminer s’ils augmentent ou diminuent les valeurs de prévision.
Imaginons, par exemple, un scénario de prévisions dans lequel la cible est `sales` (ventes), associée à deux attributs : `price` (prix) et `color` (couleur). Autopilot peut constater que la couleur de l’élément a un impact important sur les ventes de certains articles, mais un effet négligeable pour d’autres articles. Il peut également constater qu’une promotion en été a un impact important sur les ventes, mais qu’une promotion en hiver a peu d’effet.
Le rapport d’explicabilité est généré uniquement lorsque :
+ Le jeu de données de séries temporelles inclut des colonnes de fonctionnalités supplémentaires ou est associé à un calendrier des jours fériés.
+ Les modèles de base CNN-QR et DeepAR\$1 sont inclus dans l’ensemble final.
### Interprétation des scores d’impact
Les scores d’impact mesurent l’impact relatif des attributs sur les valeurs des prévisions. Par exemple, si le score d’impact de l’attribut `price` est deux fois supérieur à celui de l’attribut `store location`, vous pouvez en conclure que le prix d’un article a un impact deux fois plus important sur les valeurs des prévisions que l’emplacement du magasin.
Les scores d’impact fournissent également des informations indiquant si les attributs augmentent ou diminuent les valeurs des prévisions.
Les scores d’impact vont de -1 à 1, le signe indiquant la direction de l’impact. Un score de 0 indique une absence d’impact, tandis que des scores proches de 1 ou de -1 indiquent un impact significatif.
Il est important de noter que les scores d’impact mesurent l’impact relatif des attributs, et non l’impact absolu. Par conséquent, les scores d’impact ne peuvent pas être utilisés pour déterminer si des attributs particuliers améliorent la précision du modèle. Si un attribut a un faible score d’impact, cela ne signifie pas nécessairement qu’il a un faible impact sur les valeurs des prévisions ; cela signifie qu’il a un impact plus faible sur les valeurs des prévisions que les autres attributs utilisés par le prédicteur.
### Recherche du rapport d’explicabilité
Vous trouverez le préfixe Amazon S3 des artefacts d’explicabilité générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`.
## Rapport de performances d'un modèle
Le rapport de qualité du modèle Autopilot (également appelé rapport de performances) fournit des renseignements et des informations de qualité pour le meilleur modèle candidat (meilleur prédicteur) généré par une tâche AutoML. Cela inclut des informations sur les détails de la tâche, la fonction objectif et les métriques de précision (`wQL`, `MAPE`, `WAPE`, `RMSE`, `MASE`).
Vous trouverez le préfixe Amazon S3 des artefacts du rapport de qualité du modèle générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`.
## Rapport sur les résultats des rétro-tests
Les résultats des rétro-tests fournissent des renseignements sur les performances d’un modèle de prévision de séries temporelles en évaluant sa précision et sa fiabilité prédictives. Ils aident les analystes et les scientifiques des données à évaluer les performances du modèle sur les données historiques et à comprendre ses performances potentielles sur de futures données inédites.
Autopilot utilise les rétro-tests pour ajuster les paramètres et générer des métriques de précision. Lors de rétro-tests, Autopilot divise automatiquement vos données de séries temporelles en deux ensembles, un ensemble d’entraînement et un ensemble de test. L’ensemble d’entraînement est utilisé pour entraîner un modèle qui est ensuite utilisé pour générer des prévisions pour les points de données dans l’ensemble de test. Autopilot utilise ce jeu de données de test pour évaluer la précision du modèle en comparant les valeurs prévues aux valeurs observées dans l’ensemble de test.
Vous trouverez le préfixe Amazon S3 des artefacts du rapport de qualité du modèle générés pour le meilleur candidat dans la réponse à `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`, dans `[BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-BacktestResults)`.
# Limites des ressources de prévision des séries temporelles pour Autopilot
Le tableau suivant répertorie les limites de ressources pour les tâches de prévision de séries chronologiques dans Amazon SageMaker Autopilot et indique si vous pouvez ou non ajuster chaque limite.
| **Limites des ressources** | **Limite par défaut** | **Ajustable** |
| --- | --- | --- |
| Taille du jeu de données en entrée | 30 Go | Oui |
| Taille d’un fichier Parquet individuel | 2 Go | Non |
| Nombre maximum d’ensembles de lignes dans un jeu de données | 3 milliards | Oui |
| Nombre maximal de colonnes de groupement | 5 | Non |
| Nombre maximal de fonctionnalités numériques | 13 | Non |
| Nombre maximal de fonctionnalités catégorielles | 10 | Non |
| Nombre maximal de séries temporelles (combinaisons uniques de colonnes d’éléments et de groupement) par jeu de données | 5 000 000 | Oui |
| Horizon de prévision maximal | 500 | Oui |
# Création d’une tâche AutoML pour optimiser les modèles de génération de texte à l’aide de l’API
Les grands modèles linguistiques (LLMs) excellent dans de nombreuses tâches génératives, notamment la génération de texte, la synthèse, la complétion, la réponse aux questions, etc. Leur performance peut être attribuée à leur taille importante et à leur entraînement approfondi sur divers jeux de données et différentes tâches. Cependant, des domaines spécifiques, tels que les soins de santé et les services financiers, peuvent nécessiter un peaufinage personnalisé pour s’adapter à des données et à des cas d’utilisation uniques. En adaptant leur formation à leur domaine particulier, ils LLMs peuvent améliorer leurs performances et fournir des résultats plus précis pour des applications ciblées.
Autopilot permet d’optimiser une sélection de modèles de texte génératifs pré-entraînés. En particulier, Autopilot prend en charge le **réglage fin basé sur des instructions d'**une sélection de grands modèles de langage à usage général () alimentés par. LLMs JumpStart
**Note**
Les modèles de génération de texte qui permettent un réglage précis dans Autopilot sont actuellement accessibles exclusivement dans les régions prises en charge par Canvas. SageMaker Consultez la documentation de SageMaker Canvas pour obtenir la [liste complète des régions prises en charge](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html).
Le peaufinage d’un modèle pré-entraîné nécessite un jeu de données spécifique contenant des instructions claires qui indiquent au modèle comment générer des sorties ou se comporter pour cette tâche. Le modèle apprend du jeu de données et ajuste ses paramètres conformément aux instructions fournies. Le peaufinage sur instructions implique l’utilisation d’exemples étiquetés au format de paires invite-réponse et formulés sous forme d’instructions. Pour plus d’informations sur le peaufinage, consultez [Peaufinage d’un modèle de fondation](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html).
[Les directives suivantes décrivent le processus de création d'une tâche Amazon SageMaker Autopilot dans le cadre d'une expérience pilote visant à affiner la génération de texte à LLMs l'aide de l' SageMaker API Reference.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**Note**
Les tâches telles que la classification d’images et de texte, les prévisions de séries temporelles et le peaufinage des grands modèles de langage sont exclusivement disponibles via la version 2 de l’[API REST AutoML](autopilot-reference.md). Si le langage de votre choix est Python, vous pouvez vous référer [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)directement à [MLV2 l'objet Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du SDK Amazon SageMaker Python.
Les utilisateurs qui préfèrent la commodité d'une interface utilisateur peuvent utiliser [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) pour accéder à des modèles préentraînés et à des modèles de base d'IA génératifs, ou créer des modèles personnalisés adaptés à des textes spécifiques, à une classification d'images, à des besoins de prévision ou à une IA générative.
Pour créer une expérience de pilote automatique par programmation afin de peaufiner un LLM, vous pouvez appeler l'[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dans n'importe quel langage pris en charge par Amazon Autopilot ou le. SageMaker AWS CLI
Pour plus d’informations sur la façon dont cette action d’API se traduit par une fonction dans le langage de votre choix, consultez la section [Voir aussi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) de `CreateAutoMLJobV2`, et choisissez un kit SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` dans le kit AWS SDK pour Python (Boto3).
**Note**
Autopilot optimise les grands modèles de langage sans nécessiter l’entraînement et l’évaluation de plusieurs candidats. Au lieu de cela, à l’aide de votre jeu de données, Autopilot optimise directement votre modèle cible pour améliorer une métrique objective par défaut : la perte d’entropie croisée. Le peaufinage de modèles de langages dans Autopilot ne nécessite pas de définir le champ `AutoMLJobObjective`.
Une fois votre LLM peaufiné, vous pouvez évaluer ses performances en accédant aux différents scores ROUGE via le `[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)` lors d’un appel d’API `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)`. Le modèle fournit également des informations sur sa perte d’entraînement et de validation ainsi que sur sa perplexité. Pour une liste complète des métriques permettant d’évaluer la qualité du texte généré par les modèles peaufinés, consultez [Métriques de peaufinage des grands modèles de langage dans Autopilot](autopilot-llms-finetuning-metrics.md).
## Conditions préalables
Avant d'utiliser le pilote automatique pour créer une expérience de réglage précis dans l' SageMaker IA, assurez-vous de suivre les étapes suivantes :
+ (Facultatif) Choisissez le modèle pré-entraîné que vous souhaitez optimiser.
Pour consulter la liste des modèles préentraînés disponibles pour un réglage précis dans Amazon SageMaker Autopilot, consultez. [Grands modèles de langage pris en charge pour le peaufinage](autopilot-llms-finetuning-models.md) *La sélection d'un modèle n'est pas obligatoire ; si aucun modèle n'est spécifié, le pilote automatique utilise automatiquement par défaut le modèle Falcon7. BInstruct*
+ Créez un jeu de données d’instructions. Consultez [Types de fichiers de jeux de données et format des données d’entrée](autopilot-llms-finetuning-data-format.md) pour en savoir plus sur les exigences de format concernant votre jeu de données basé sur des instructions.
+ Placez votre jeu de données dans un compartiment Amazon S3.
+ Accordez un accès complet au compartiment Amazon S3 contenant vos données d'entrée pour le rôle d'exécution de l' SageMaker IA utilisé pour exécuter votre expérience.
+ Pour plus d'informations sur la récupération de votre rôle d'exécution SageMaker AI, consultez[Obtention de votre rôle d’exécution](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Pour plus d'informations sur l'octroi à votre rôle d'exécution SageMaker AI des autorisations pour accéder à un ou plusieurs compartiments spécifiques dans Amazon S3, consultez *Ajouter des autorisations Amazon S3 supplémentaires à un rôle d'exécution SageMaker AI* dans[Créer un rôle d’exécution](sagemaker-roles.md#sagemaker-roles-create-execution-role).
+ En outre, vous devez fournir à votre rôle d'exécution les autorisations nécessaires pour accéder au compartiment de stockage par défaut utilisé par Amazon S3 JumpStart. Cet accès est requis pour stocker et récupérer des artefacts de modèles préentraînés dans. JumpStart Pour octroyer l’accès à ce compartiment Amazon S3, vous devez créer une nouvelle politique personnalisée intégrée à votre rôle d’exécution.
Voici un exemple de politique que vous pouvez utiliser dans votre éditeur JSON lorsque vous configurez des tâches de peaufinage AutoML dans `us-west-2` :
*JumpStartles noms de bucket suivent un schéma prédéterminé qui dépend du Régions AWS. Vous devez ajuster le nom du compartiment en conséquence.*
```
{
"Sid": "Statement1",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-us-west-2",
"arn:aws:s3:::jumpstart-cache-prod-us-west-2/*"
]
}
```
Après cela, vous pouvez utiliser l’ARN de ce rôle d’exécution dans les demandes d’API Autopilot.
## Paramètres requis
Lorsque vous appelez `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` pour créer une expérience Autopilot de peaufinage des LLM, vous devez fournir les valeurs suivantes :
+ Un paramètre `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` pour spécifier le nom de votre tâche. Le nom doit être de type `string` et doit avoir une longueur minimale de 1 caractère et une longueur maximale de 32.
+ Au moins un `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` de type `training` dans `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)`. Ce canal indique le nom du compartiment Amazon S3 dans lequel votre jeu de données de peaufinage est situé. Vous avez la possibilité de définir un canal de `validation`. Si aucun canal de validation n’est fourni et qu’une `ValidationFraction` est configurée dans [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html), cette fraction est utilisée pour diviser aléatoirement le jeu de données d’entraînement en jeux de données d’entraînement et de validation. En outre, vous pouvez spécifier le type de contenu (fichiers CSV ou Parquet) pour le jeu de données.
+ Une `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` de type `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` pour configurer les paramètres de votre tâche d’entraînement.
Vous pouvez notamment spécifier le nom du modèle de base à optimiser dans le champ `BaseModelName`. Pour consulter la liste des modèles préentraînés disponibles pour un réglage précis dans Amazon SageMaker Autopilot, consultez. [Grands modèles de langage pris en charge pour le peaufinage](autopilot-llms-finetuning-models.md)
+ Un élément `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)` pour spécifier le chemin de sortie Amazon S3 pour stocker les artefacts de votre tâche AutoML.
+ Un élément `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` pour spécifier l'ARN du rôle utilisé pour accéder à vos données.
Voici un exemple du format complet d’une demande utilisée lors d’un appel d’API vers `CreateAutoMLJobV2` pour le peaufinage d’un modèle (`Falcon7BInstruct`).
```
{
"AutoMLJobName": "",
"AutoMLJobInputDataConfig": [
{
"ChannelType": "training",
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3:///.csv"
}
}
}
],
"OutputDataConfig": {
"S3OutputPath": "s3:///output",
"KmsKeyId": "arn:aws:kms:::key/"
},
"RoleArn":"arn:aws:iam:::role/",
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7BInstruct"
}
}
}
```
Tous les autres paramètres sont facultatifs.
## Paramètres facultatifs
Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre tâche de peaufinage AutoML.
### Comment spécifier les jeux de données d’entraînement et de validation d’une tâche AutoML
Vous pouvez fournir votre propre jeu de données de validation et un rapport de répartition des données personnalisé, ou laisser Autopilot répartir automatiquement le jeu de données.
Chaque [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objet (voir le paramètre obligatoire [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) possède un`ChannelType`, qui peut être défini sur l'une `training` ou l'autre des `validation` valeurs spécifiant la manière dont les données doivent être utilisées lors de la création d'un modèle d'apprentissage automatique.
Au moins une source de données doit être fournie et deux sources de données maximum sont autorisées : une pour les données d'entraînement et l'autre pour les données de validation. Le fractionnement des données en jeux de données d'entraînement et de validation varie selon que vous disposiez d'une ou de deux sources de données.
+ Si vous n'avez qu'**une source de données**, `ChannelType` est défini sur `training` par défaut et doit avoir cette valeur.
+ Si la valeur `ValidationFraction` de [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html) n'est pas définie, 0,2 (20 %) des données de cette source sont utilisées pour la validation par défaut.
+ Si `ValidationFraction` est défini sur une valeur comprise entre 0 et 1, le jeu de données est divisé en fonction de la valeur spécifiée, où la valeur spécifie la fraction du jeu de données utilisé pour la validation.
+ Si vous disposez de **deux sources de données**, le `ChannelType` de l'un des objets `AutoMLJobChannel` doit être défini sur `training` (valeur par défaut). Le `ChannelType` de l'autre source de données doit être défini sur `validation`. Les deux sources de données doivent avoir le même format, CSV ou Parquet, et le même schéma. Vous ne devez pas définir la valeur de `ValidationFraction` dans ce cas, car toutes les données de chaque source sont utilisées à des fins d'entraînement ou de validation. La définition de cette valeur provoque une erreur.
### Comment activer le déploiement automatique
Avec Autopilot, vous pouvez déployer automatiquement votre modèle peaufiné sur un point de terminaison. Pour activer le déploiement automatique de votre modèle peaufiné, incluez le paramètre `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` dans la demande de tâche AutoML. Cela permet le déploiement de votre modèle affiné sur un point de terminaison d' SageMaker IA. Vous trouverez ci-dessous les configurations disponibles pour la personnalisation.
+ Pour permettre à Autopilot de générer le nom du point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` sur `True`.
+ Pour fournir votre propre nom pour le point de terminaison, définissez `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Comment définir l’acceptation du CLUF lors du peaufinage d’un modèle à l’aide de l’API AutoML
Pour les modèles nécessitant l’acceptation d’un contrat de licence utilisateur final (CLUF) avant le peaufinage, vous pouvez accepter le CLUF en définissant l’attribut `AcceptEula` du paramètre `[ModelAccessConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelAccessConfig.html)` sur `True` dans `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` lors de la configuration de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
### Comment définir les hyperparamètres pour optimiser le processus d’apprentissage d’un modèle
Vous pouvez optimiser le processus d’apprentissage de votre modèle de génération de texte en définissant des valeurs d’hyperparamètres dans l’attribut `TextGenerationHyperParameters` du paramètre `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` lors de la configuration de `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`.
Autopilot permet de définir quatre hyperparamètres communs à tous les modèles.
+ `epochCount` : sa valeur doit être une chaîne contenant un nombre entier compris entre `1` et `10`.
+ `batchSize` : sa valeur doit être une chaîne contenant un nombre entier compris entre `1` et `64`.
+ `learningRate` : sa valeur doit être une chaîne contenant une valeur à virgule flottante comprise entre `0` et `1`.
+ `learningRateWarmupSteps` : sa valeur doit être une chaîne contenant un nombre entier compris entre `0` et `250`.
Pour plus de détails sur chaque hyperparamètre, consultez [Hyperparamètres d’optimisation du processus d’apprentissage de vos modèles de génération de texte](autopilot-llms-finetuning-hyperparameters.md).
L'exemple JSON suivant montre un `TextGenerationHyperParameters` champ transmis au TextGenerationJobConfig où les quatre hyperparamètres sont configurés.
```
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7B",
"TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
}
}
```
# Grands modèles de langage pris en charge pour le peaufinage
À l'aide de l'API Autopilot, les utilisateurs peuvent affiner les grands modèles de langage (LLMs) développés par Amazon. SageMaker JumpStart
**Note**
Pour le peaufinage des modèles qui nécessitent l’acceptation d’un contrat de licence d’utilisateur final, vous devez déclarer explicitement l’acceptation du CLUF lors de ma création de votre tâche AutoML. Notez qu’après peaufinage d’un modèle pré-entraîné, les poids du modèle d’origine sont modifiés. Vous n’avez donc pas besoin d’accepter un CLUF ultérieurement lors du déploiement du modèle peaufiné.
Pour en savoir plus sur la façon d’accepter le CLUF lors de la création d’une tâche de peaufinage à l’aide de l’API AutoML, consultez [Comment définir l’acceptation du CLUF lors du peaufinage d’un modèle à l’aide de l’API AutoML](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula).
Vous pouvez trouver tous les détails de chaque modèle en recherchant votre **numéro de JumpStart modèle** dans le [tableau des modèles](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) suivant, puis en suivant le lien dans la colonne **Source**. Ces informations peuvent inclure les langages pris en charge par le modèle, les biais qu’il peut présenter, les jeux de données utilisés pour le peaufinage, etc.
Le tableau suivant répertorie les JumpStart modèles pris en charge que vous pouvez affiner à l'aide d'une tâche AutoML.
| JumpStart ID du modèle | `BaseModelName` dans la demande d’API | Description |
| --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | Dolly 3B est un grand modèle de langage à 2,8 milliards de paramètres, basé sur [pythia-2.8b](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) et conçu pour suivre des instructions. Il est formé à l'utilisation du jeu de instruction/response données [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) et peut effectuer des tâches telles que le brainstorming, la classification, les questions et réponses, la génération de texte, l'extraction d'informations et la synthèse. |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | Dolly 7B est un grand modèle de langage à 6,9 milliards de paramètres, basé sur [pythia-6.9b](https://huggingface.co/EleutherAI/pythia-6.9b) et conçu pour suivre des instructions. Il est formé à l'utilisation du jeu de instruction/response données [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) et peut effectuer des tâches telles que le brainstorming, la classification, les questions et réponses, la génération de texte, l'extraction d'informations et la synthèse. |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | Dolly 12B est un grand modèle de langage à 12 milliards de paramètres, basé sur [pythia-12b](https://huggingface.co/EleutherAI/pythia-12b) et conçu pour suivre des instructions. Il est formé à l'utilisation du jeu de instruction/response données [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) et peut effectuer des tâches telles que le brainstorming, la classification, les questions et réponses, la génération de texte, l'extraction d'informations et la synthèse. |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | Falcon 7B est un grand modèle de langage causal à 7 milliards de paramètres, entraîné sur 1 500 milliards de jetons et enrichi par des corpus sélectionnés. Falcon 7B est formé uniquement à partir de données en anglais et en français, et ne répond pas de manière appropriée aux autres langues. Le modèle ayant été entraîné sur de grandes quantités de données Web, il reprend les stéréotypes et les préjugés courants qu’on peut trouver en ligne. |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | Falcon7B Instruct est un grand modèle de langage causal à 7 milliards de paramètres construit sur Falcon7B et affiné sur un mélange de 250 millions de jetons d'ensembles de données. chat/instruct Falcon 7B Instruct est formé principalement à partir de données en anglais, et ne répond pas de manière appropriée aux autres langues. De plus, comme il est formé sur des corpus à grande échelle représentatifs du web, il véhicule les stéréotypes et les préjugés couramment rencontrés en ligne. |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | Falcon 40B est un grand modèle de langage causal à 40 milliards de paramètres, entraîné sur 1 000 milliards de jetons et enrichi par des corpus sélectionnés. Il est formé principalement en anglais, allemand, espagnol et français, avec des capacités limitées en italien, portugais, polonais, néerlandais, roumain, tchèque et suédois. Il ne répond pas de manière appropriée aux autres langues. De plus, comme il est formé sur des corpus à grande échelle représentatifs du web, il véhicule les stéréotypes et les préjugés couramment rencontrés en ligne. |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | Falcon40B Instruct est un grand modèle de langage causal à 40 milliards de paramètres, construit sur Falcon40B et peaufiné sur un mélange jeux de données Baize. Il est formé principalement à partir de données en anglais et en français, et ne répond pas de manière appropriée aux autres langues. De plus, comme il est formé sur des corpus à grande échelle représentatifs du web, il véhicule les stéréotypes et les préjugés couramment rencontrés en ligne. |
| huggingface-text2text-flan-t5-large | FlanT5L | La famille de modèles [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) est un ensemble de grands modèles de langage peaufinés pour de multiples tâches et dont l’entraînement peut être poussé. Ces modèles sont parfaitement adaptés à des tâches telles que la traduction linguistique, la génération de texte, la complétion de phrases, la désambiguïsation du sens des mots, la synthétisation ou la réponse à des questions. Flan T5 L est un grand modèle de langage à 780 millions de paramètres, entraîné dans de nombreuses langues. Vous trouverez la liste des langues prises en charge par le Flan T5 L dans les détails du modèle extraits de votre recherche par numéro de modèle dans JumpStart le tableau des [modèles](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table). |
| huggingface-text2text-flan-t5-xl | FlanT5XL | La famille de modèles [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) est un ensemble de grands modèles de langage peaufinés pour de multiples tâches et dont l’entraînement peut être poussé. Ces modèles sont parfaitement adaptés à des tâches telles que la traduction linguistique, la génération de texte, la complétion de phrases, la désambiguïsation du sens des mots, la synthétisation ou la réponse à des questions. Flan T5 XL est un grand modèle de langage à 3 milliards de paramètres, entraîné dans de nombreuses langues. Vous trouverez la liste des langues prises en charge par le Flan T5 XL dans les détails du modèle extraits de votre recherche par numéro de modèle dans JumpStart le tableau des [modèles](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table). |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | La famille de modèles [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) est un ensemble de grands modèles de langage peaufinés pour de multiples tâches et dont l’entraînement peut être poussé. Ces modèles sont parfaitement adaptés à des tâches telles que la traduction linguistique, la génération de texte, la complétion de phrases, la désambiguïsation du sens des mots, la synthétisation ou la réponse à des questions. Le Flan T5 XXL est un modèle à 11 milliards de paramètres. [Vous trouverez la liste des langues prises en charge par le Flan T5 XXL dans les détails du modèle extraits de votre recherche par numéro de modèle dans JumpStart le tableau des modèles.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| meta-textgeneration-llama-2-7b | Llama2-7B | Llama 2 est une collection de modèles de texte génératifs pré-entraînés et peaufinés, composés de 7 à 70 milliards de paramètres. Llama2-7B est le modèle à 7 milliards de paramètres destiné à être utilisé en anglais et qui peut être adapté à diverses tâches de génération de langage naturel. |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | Llama 2 est une collection de modèles de texte génératifs pré-entraînés et peaufinés, composés de 7 à 70 milliards de paramètres. Llama2-7B est le modèle de chat à 7 milliards de paramètres, optimisé pour les cas d’utilisation de dialogues. |
| meta-textgeneration-llama-2-13b | Llama2-13B | Llama 2 est une collection de modèles de texte génératifs pré-entraînés et peaufinés, composés de 7 à 70 milliards de paramètres. Llama2-13B est le modèle à 13 milliards de paramètres destiné à être utilisé en anglais et qui peut être adapté à diverses tâches de génération de langage naturel. |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | Llama 2 est une collection de modèles de texte génératifs pré-entraînés et peaufinés, composés de 7 à 70 milliards de paramètres. Llama2-13B est le modèle de chat à 13 milliards de paramètres, optimisé pour les cas d’utilisation de dialogues. |
| huggingface-llm-mistral-7b | Mistral7B | Mistral 7B bénéficie d’un code à 7 milliards de paramètres et est un modèle de génération de texte anglais à usage général. Il peut être utilisé dans divers cas d’utilisation, notamment pour la synthétisation de texte, la classification, la complétion de texte ou la complétion de code. |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | Mistral 7B Instruct est la version peaufinée de Mistral 7B pour les cas d’utilisation conversationnels. Il a été spécialisé à l’aide de divers jeux de données de conversation en anglais accessibles au public. |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | MPT 7B est un grand modèle de langage de type décodeur (transformeur) à 6,7 milliards de paramètres, pré-entraîné à partir de zéro sur 1 billion de jetons de code et de texte en anglais. Il est préparé pour gérer d’importantes longueurs de contexte. |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | MPT 7B Instruct est un modèle destiné aux tâches d’exécution d’instructions courtes. Il est construit en peaufinant le modèle MPT 7B sur un jeu de données dérivé des jeux de données [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) et [Anthropic Helpful and Harmless (HH-RLHF)](https://huggingface.co/datasets/Anthropic/hh-rlhf). |
# Types de fichiers de jeux de données et format des données d’entrée
Le réglage précis basé sur les instructions utilise des ensembles de données étiquetés pour améliorer les performances des tâches de traitement du langage naturel ( LLMs NLP) préentraînées. Les exemples étiquetés sont présentés sous forme de paires invite-réponse et formulés comme des instructions.
Pour en savoir plus sur les types de fichiers de jeux de données pris en charge, consultez [Types de fichiers de jeu de données pris en charge](#autopilot-llms-finetuning-dataset-format).
Pour en savoir plus sur le format des données d’entrée, consultez [Format des données d’entrée pour le peaufinage sur instructions](#autopilot-llms-finetuning-input-format).
## Types de fichiers de jeu de données pris en charge
Autopilot prend en charge les jeux de données de peaufinage sur instructions au format de fichiers CSV (par défaut) ou de fichiers Parquet.
+ **CSV** (valeurs séparées par des virgules) est un format de fichier basé sur les lignes qui stocke les données en texte brut lisible par l’utilisateur, un choix populaire pour l’échange de données, car il est pris en charge par un large éventail d’applications.
+ **Parquet** est un format de fichier binaire basé sur des colonnes, dans lequel les données sont stockées et traitées plus efficacement que dans les formats de fichiers basés sur des lignes, comme CSV. Il s’agit d’un meilleure option pour les problèmes de big data.
**Note**
Le jeu de données peut être composé de plusieurs fichiers, dont chacun doit respecter un modèle spécifique. Pour en savoir plus sur la façon de formater vos données d’entrée, consultez [Format des données d’entrée pour le peaufinage sur instructions](#autopilot-llms-finetuning-input-format).
## Format des données d’entrée pour le peaufinage sur instructions
Chaque fichier du jeu de données doit respecter le format suivant :
+ Le jeu de données doit contenir exactement deux colonnes nommées et séparées par des virgules, `input` et `output`. Autopilot n’autorise aucune colonne supplémentaire.
+ La colonne `input` contient les invites, et la colonne `output` correspondante contient la réponse attendue. Les colonnes `input` et `output` sont toutes deux au format chaîne.
L’exemple suivant illustre le format des données d’entrée pour le peaufinage sur instructions dans Autopilot.
```
input,output
"",""
```
**Note**
Nous recommandons d’utiliser de jeux de données d’un minimum de 1 000 lignes pour garantir un apprentissage efficace et des performances optimales du modèle.
En outre, Autopilot définit une limite maximale du nombre de lignes dans le jeu de données et de la longueur du contexte en fonction du type de modèle utilisé.
+ Les limites du nombre de lignes d’un jeu de données s’appliquent au nombre cumulé de lignes dans tous les fichiers du jeu de données, même quand il y a plusieurs fichiers. Si deux [types de canaux](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) sont définis (un pour l’entraînement et un pour la validation), la limite s’applique au nombre total de lignes de l’ensemble des jeux de données des deux canaux. Lorsque le nombre de lignes dépasse le seuil, la tâche échoue avec une erreur de validation.
+ Lorsque la longueur de l’entrée ou de la sortie d’une ligne du jeu de données dépasse la limite définie dans le contexte du modèle de langage, elle est automatiquement tronquée. Si plus de 60 % des lignes du jeu de données sont tronquées, que ce soit en entrée ou en sortie, Autopilot met la tâche en échec avec une erreur de validation.
Le tableau suivant présente ces limites pour chaque modèle.
| JumpStart ID du modèle | `BaseModelName` dans la demande d’API | Limite de ligne | Limite de longueur du contexte |
| --- | --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | 10 000 lignes | 1 024 jetons |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | 10 000 lignes | 1 024 jetons |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | 10 000 lignes | 1 024 jetons |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | 1 000 lignes | 1 024 jetons |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | 1 000 lignes | 1 024 jetons |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | 10 000 lignes | 1 024 jetons |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | 10 000 lignes | 1 024 jetons |
| huggingface-text2text-flan-t5-large | FlanT5L | 10 000 lignes | 1 024 jetons |
| huggingface-text2text-flan-t5-xl | FlanT5XL | 10 000 lignes | 1 024 jetons |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | 10 000 lignes | 1 024 jetons |
| meta-textgeneration-llama-2-7b | Llama2-7B | 10 000 lignes | 2 048 jetons |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | 10 000 lignes | 2 048 jetons |
| meta-textgeneration-llama-2-13b | Llama2-13B | 7 000 lignes | 2 048 jetons |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | 7 000 lignes | 2 048 jetons |
| huggingface-llm-mistral-7b | Mistral7B | 10 000 lignes | 2 048 jetons |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | 10 000 lignes | 2 048 jetons |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | 10 000 lignes | 1 024 jetons |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | 10 000 lignes | 1 024 jetons |
# Hyperparamètres d’optimisation du processus d’apprentissage de vos modèles de génération de texte
Vous pouvez optimiser le processus d’apprentissage de votre modèle de base en ajustant n’importe quelle combinaison des hyperparamètres suivants. Ces paramètres sont disponibles pour tous les modèles.
+ **Nombre d’époques** : l’hyperparamètre `epochCount` détermine le nombre de fois que le modèle parcourt le jeu de données d’entraînement dans son intégralité. Il influence la durée de l’entraînement et peut empêcher le surajustement lorsqu’il est réglé de façon appropriée. Un grand nombre d’époques peut augmenter le temps d’exécution global des tâches de peaufinage. Nous vous recommandons de définir une grande valeur `MaxAutoMLJobRuntimeInSeconds` pour `CompletionCriteria` dans `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` afin d’éviter que les tâches de peaufinage ne s’arrêtent prématurément.
+ **Taille du lot** : l’hyperparamètre `batchSize` définit le nombre d’exemples de données utilisés lors de chaque itération d’entraînement. Il peut affecter la vitesse de convergence et l’utilisation de la mémoire. Lorsque la taille des lots est importante, le risque d’erreurs liées au manque de mémoire (OOM) augmente, ce qui peut se traduire par une erreur interne du serveur dans Autopilot. Pour détecter une telle erreur, consultez le groupe de journaux `/aws/sagemaker/TrainingJobs` des tâches d’entraînement lancées par votre tâche Autopilot. Vous pouvez accéder à ces connexions CloudWatch depuis la console AWS de gestion. Choisissez **Journaux**, puis le **groupe de journaux** `/aws/sagemaker/TrainingJobs`. Pour corriger les erreurs OOM, réduisez la taille du lot.
Nous vous recommandons de commencer par une taille de lot de 1, puis de l’augmenter progressivement jusqu’à ce qu’une erreur de mémoire insuffisante se produise. À titre de référence, le traitement complet de 10 époques prend généralement jusqu’à 72 heures.
+ **Taux d’apprentissage** : l’hyperparamètre `learningRate` contrôle la taille de l’étape à laquelle les paramètres d’un modèle sont mis à jour pendant l’entraînement. Il détermine la rapidité ou la lenteur avec laquelle les paramètres du modèle sont mis à jour pendant l’entraînement. Un taux d’apprentissage élevé signifie que les paramètres sont mis à jour par étapes importantes, ce qui peut accélérer la convergence, mais aussi entraîner le dépassement de la solution optimale et l’instabilité du processus d’optimisation. Un faible taux d’apprentissage signifie que les paramètres sont mis à jour par petites étapes, ce qui peut conduire à une convergence plus stable, mais au prix d’un apprentissage plus lent.
+ **Étapes d’échauffement du taux d’apprentissage** : l’hyperparamètre `learningRateWarmupSteps` indique le nombre d’étapes d’entraînement au cours desquelles le taux d’apprentissage augmente progressivement avant d’atteindre sa valeur cible ou maximale. Cela permet au modèle de converger plus efficacement et d’éviter les problèmes tels que la divergence ou la lenteur de convergence, qui peuvent survenir avec un taux d’apprentissage initialement élevé.
Pour savoir comment ajuster les hyperparamètres pour votre expérience de peaufinage dans Autopilot et découvrir leurs valeurs possibles, consultez [Comment définir les hyperparamètres pour optimiser le processus d’apprentissage d’un modèle](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-hyperparameters).
# Métriques de peaufinage des grands modèles de langage dans Autopilot
La section suivante décrit les indicateurs que vous pouvez utiliser pour comprendre vos grands modèles linguistiques affinés (LLMs). À l’aide de votre jeu de données, Autopilot optimise directement un modèle LLM cible pour améliorer une métrique objective par défaut : la perte d’entropie croisée.
La perte d’entropie croisée est une métrique largement utilisée pour évaluer la dissemblance entre la distribution de probabilité prévue et la distribution réelle des mots dans les données d’entraînement. En minimisant la perte d’entropie croisée, le modèle apprend à faire des prédictions plus précises et pertinentes contextuellement, en particulier dans les tâches liées à la génération de texte.
Après avoir peaufiné un LLM, vous pouvez évaluer la qualité du texte généré à l’aide d’une gamme de scores ROUGE. De plus, vous pouvez analyser la perplexité et les pertes d’entropie croisée de l’entraînement et de la validation dans le cadre du processus d’évaluation.
+ La perte de perplexité mesure la capacité du modèle à prédire le mot suivant dans une séquence de texte, les valeurs les plus faibles indiquant une meilleure compréhension du langage et du contexte.
+ Recall-Oriented Understudy for Gisting Evaluation (ROUGE) est un ensemble de métriques utilisé dans le domaine du traitement du langage naturel (NLP) et du machine learning pour évaluer la qualité du texte généré par la machine, tel que la génération ou la synthétisation de texte. Il évalue principalement les similitudes entre le texte généré et le texte de référence (écrit par des humains) d’un jeu de données de validation. Les mesures ROUGE sont conçues pour évaluer divers aspects de la similitude des textes, notamment la précision et le rappel des n-grammes (séquences contiguës de mots) dans les textes générés par le système et les textes de référence. L’objectif est d’évaluer dans quelle mesure un modèle capture les informations présentes dans le texte de référence.
Il existe plusieurs variantes de métriques ROUGE, en fonction du type de n-grammes utilisé et des aspects spécifiques de la qualité du texte évalué.
La liste suivante contient le nom et la description des métriques ROUGE disponibles après le peaufinage de grands modèles de langage dans Autopilot.
**`ROUGE-1`, `ROUGE-2`**
ROUGE-N, la métrique ROUGE principale, mesure le chevauchement des n-grammes entre les textes générés par le système et les textes de référence. ROUGE-N peut être ajustée à différentes valeurs de `n` (ici `1` ou `2`) pour évaluer dans quelle mesure le texte généré par le système capture les n-grammes du texte de référence.
**`ROUGE-L`**
ROUGE-L (Sous-séquence commune ROUGE-Longest) calcule la plus longue sous-séquence commune entre le texte généré par le système et le texte de référence. Cette variante prend en compte l’ordre des mots en plus du chevauchement du contenu.
**`ROUGE-L-Sum`**
ROUGE-L-SUM (Sous-séquence commune la plus longue pour la synthétisation) est conçue pour l’évaluation des systèmes de synthétisation de texte. Elle se concentre sur la mesure de la sous-séquence commune la plus longue entre le résumé généré par la machine et le résumé de référence. ROUGE-L-SUM prend en compte l’ordre des mots dans le texte, ce qui est important dans les tâches de synthétisation de texte.
# Déploiement et prédictions des modèles Autopilot
Après avoir peaufiné un grand modèle de langage (LLM), vous pouvez le déployer pour générer du texte en temps réel en configurant un point de terminaison afin d’obtenir des prédictions interactives.
**Note**
Pour de meilleures performances, nous vous recommandons d’exécuter des tâches d’inférence en temps réel sur `ml.g5.12xlarge`. Sinon, les instances `ml.g5.8xlarge` conviennent également pour les tâches de génération de texte Falcon-7B-Instruct et MPT-7B-Instruct.
Découvrez les spécificités de ces instances dans la catégorie [Calcul accéléré](https://aws.amazon.com/ec2/instance-types/) de la sélection de types d’instances proposée par Amazon EC2.
## Génération de texte en temps réel
Vous pouvez l'utiliser SageMaker APIs pour déployer manuellement votre modèle affiné sur un point de [terminaison d'inférence en temps réel](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) d' SageMaker AI Hosting, puis commencer à faire des prédictions en invoquant le point de terminaison comme suit.
**Note**
Vous pouvez également choisir l’option de déploiement automatique lors de la création de votre expérience de peaufinage dans Autopilot. Pour en savoir plus sur la configuration du déploiement automatique des modèles, consultez [Comment activer le déploiement automatique](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-auto-model-deployment).
Vous pouvez également utiliser le SDK SageMaker Python et la `JumpStartModel` classe pour effectuer des inférences avec des modèles affinés par Autopilot. Cela peut être fait en spécifiant un emplacement personnalisé pour l’artefact du modèle dans Amazon S3. Pour plus d'informations sur la définition de votre modèle en tant que JumpStart modèle et sur le déploiement de votre modèle à des fins d'inférence, consultez la section [Déploiement à faible code avec la JumpStartModel classe](https://sagemaker.readthedocs.io/en/stable/overview.html#deploy-a-pre-trained-model-directly-to-a-sagemaker-endpoint).
1. **Obtention des définitions de conteneurs d’inférence candidats**
Vous pouvez le trouver `InferenceContainerDefinitions` dans l'`BestCandidate`objet extrait de la réponse à l'appel d'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#API_DescribeAutoMLJobV2_ResponseSyntax). Une définition de conteneur pour l’inférence fait référence à l’environnement conteneurisé conçu pour déployer et exécuter votre modèle entraîné afin d’effectuer des prédictions.
L'exemple de AWS CLI commande suivant utilise l'API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) pour obtenir les définitions de conteneur recommandées pour le nom de votre tâche.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Création d'un modèle d' SageMaker IA**
Utilisez les définitions de conteneur de l'étape précédente pour créer un modèle d' SageMaker IA à l'aide de l'[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Consultez la AWS CLI commande suivante à titre d'exemple. Utilisez `CandidateName` pour le nom de votre modèle.
```
aws sagemaker create-model --model-name '' \
--primary-container '' --region '
```
1. **Créer une configuration de point de terminaison**
L'exemple de AWS CLI commande suivant utilise l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API pour créer une configuration de point de terminaison.
**Note**
Pour éviter que la création du point de terminaison n’expire en raison d’un long téléchargement du modèle, nous vous recommandons de définir `ModelDataDownloadTimeoutInSeconds = 3600` et `ContainerStartupHealthCheckTimeoutInSeconds = 3600`.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \
--region ''
```
1. **Créer le point de terminaison**
L' AWS CLI exemple suivant utilise l'[CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API pour créer le point de terminaison.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Vérifiez la progression du déploiement de votre terminal à l'aide de l'[DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Consultez la AWS CLI commande suivante à titre d'exemple.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Lorsque `EndpointStatus` devient `InService`, le point de terminaison est prêt à être utilisé pour l'inférence en temps réel.
1. **Appeler le point de terminaison**
La commande suivante invoque le point de terminaison pour une inférence en temps réel. Votre invite doit être codée en octets.
**Note**
Le format de votre invite d’entrée dépend du modèle de langage. Pour plus d’informations sur le format des invites de génération de texte, consultez [Format de demande pour l’inférence en temps réel des modèles de génération de texte](#autopilot-llms-finetuning-realtime-prompt-examples).
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] 'application/json'
```
## Format de demande pour l’inférence en temps réel des modèles de génération de texte
Différents grands modèles de langage (LLMs) peuvent avoir des dépendances logicielles, des environnements d'exécution et des exigences matérielles spécifiques qui influencent le conteneur recommandé par Autopilot pour héberger le modèle à des fins d'inférence. De plus, chaque modèle dicte le format de données d’entrée requis et le format attendu pour les prédictions et les sorties.
Voici des exemples d’entrées pour certains modèles et conteneurs recommandés.
+ Pour les modèles Falcon avec le conteneur recommandé `huggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04` :
```
payload = {
"inputs": "Large language model fine-tuning is defined as",
"parameters": {
"do_sample": false,
"top_p": 0.9,
"temperature": 0.1,
"max_new_tokens": 128,
"stop": ["<|endoftext|>", ""]
}
}
```
+ Pour les autres modèles avec le conteneur recommandé `djl-inference:0.22.1-fastertransformer5.3.0-cu118` :
```
payload= {
"text_inputs": "Large language model fine-tuning is defined as"
}
```
# Création d’une expérience de régression ou de classification Autopilot pour des données tabulaires à l’aide de l’interface utilisateur Studio Classic
**Important**
Depuis le 30 novembre 2023, l'interface utilisateur d'Autopilot migre vers [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) dans le cadre de la mise à jour de l'expérience [Amazon SageMaker ](studio-updated.md) Studio. SageMaker Canvas fournit aux analystes et aux scientifiques des données citoyens des fonctionnalités sans code pour des tâches telles que la préparation des données, l'ingénierie des fonctionnalités, la sélection d'algorithmes, la formation et le réglage, l'inférence, etc. Les utilisateurs peuvent tirer parti des visualisations intégrées et des analyses hypothétiques pour explorer leurs données et différents scénarios, grâce à des prédictions automatisées qui leur permettent de produire facilement leurs modèles. Canvas prend en charge divers cas d’utilisation, notamment la vision par ordinateur, la prévision de la demande, la recherche intelligente et l’IA générative.
Les utilisateurs d'[Amazon SageMaker Studio Classic, version](studio.md) précédente de [Studio](studio-updated.md), peuvent continuer à utiliser l'interface utilisateur du pilote automatique dans Studio Classic. Les utilisateurs expérimentés en codage peuvent continuer à utiliser toutes les [Références des API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) de tous les kits SDK pris en charge pour la mise en œuvre technique.
Si vous avez utilisé le pilote automatique dans Studio Classic jusqu'à présent et que vous souhaitez migrer vers SageMaker Canvas, vous devrez peut-être accorder des autorisations supplémentaires à votre profil utilisateur ou à votre rôle IAM afin de pouvoir créer et utiliser l' SageMaker application Canvas. Pour de plus amples informations, veuillez consulter [(Facultatif) Migrer du pilote automatique dans Studio Classic vers Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Toutes les instructions relatives à l'interface utilisateur contenues dans ce guide concernent les fonctionnalités autonomes d'Autopilot avant la migration vers Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Les utilisateurs qui suivent ces instructions doivent utiliser [Studio Classic](studio.md).
Vous pouvez utiliser l'interface utilisateur Amazon SageMaker Studio Classic pour créer des expériences de pilote automatique pour des problèmes de classification ou de régression sur des données tabulaires. L’interface utilisateur vous permet de nommer votre expérience, de fournir des emplacements pour les données d’entrée et de sortie, et de spécifier les données cibles à prédire. Facultatif : Vous pouvez également spécifier le type de problème que vous souhaitez résoudre (régression, classification, classification multi-classes), choisir votre stratégie de modélisation (*ensembles empilés* ou *optimisation des hyperparamètres*), sélectionner la liste des algorithmes utilisés par la tâche Autopilot pour entraîner les données, etc.
L'interface utilisateur contient des descriptions, des boutons à bascule, des menus déroulants, des cases d'options et bien plus encore pour vous aider à créer vos modèles candidats. Après l’exécution de l’expérience, vous pouvez comparer les essais et examiner en détail les étapes de prétraitement, les algorithmes et les plages d’hyperparamètres de chaque modèle. Facultatif : Vous pouvez aussi télécharger leurs rapports d’[explicabilité](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) et de [performance](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html). Utilisez les [blocs-notes](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) fournis pour voir les résultats de l’exploration automatique des données ou les définitions de modèles candidats.
Facultatif : Vous avez également la possibilité d’utiliser l’API AutoML Autopilot dans [Création de tâches de régression ou de classification pour les données tabulaires à l’aide de l’API AutoML](autopilot-automate-model-development-create-experiment.md).
# Configuration des paramètres par défaut d'une expérience Autopilot (pour les administrateurs)
Le pilote automatique prend en charge la définition de valeurs par défaut afin de simplifier la configuration d'Amazon SageMaker Autopilot lorsque vous créez une expérience de pilote automatique à l'aide de l'interface utilisateur de Studio Classic. Les administrateurs peuvent utiliser les [configurations de cycle de vie](studio-lcc.md) (LCC) Studio Classic pour définir les valeurs d’infrastructure, de réseau et de sécurité dans les fichiers de configuration, et préremplir les [paramètres avancés](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) des tâches `AutoML`.
Ce faisant, ils peuvent contrôler entièrement la connectivité réseau et les autorisations d'accès aux ressources associées à Amazon SageMaker Studio Classic, notamment les instances d' SageMaker IA, les sources de données, les données de sortie et les autres services connexes. Plus précisément, les administrateurs peuvent configurer une architecture réseau souhaitée, telle qu’Amazon VPC, les sous-réseaux et les groupes de sécurité, pour un domaine Studio Classic ou des profils utilisateur individuels. Les scientifiques des données peuvent se concentrer sur des paramètres spécifiques à la science des données lorsqu’ils créent leurs expériences Autopilot à l’aide de l’interface utilisateur Studio Classic. En outre, les administrateurs peuvent gérer le chiffrement des données sur l'instance dans laquelle les expériences Autopilot sont exécutées en définissant des clés de chiffrement par défaut.
**Note**
Cette fonctionnalité n'est actuellement pas disponible dans les régions d'adhésion Asie-Pacifique (Hong Kong) et Moyen-Orient (Bahreïn).
Dans les sections suivantes, vous trouverez la liste complète des paramètres permettant de définir des valeurs par défaut lors de la création d’une expérience Autopilot à l’aide de l’interface utilisateur Studio Classic, et vous découvrirez comment définir ces valeurs par défaut.
**Topics**
+ [Liste des paramètres par défaut pris en charge](#autopilot-list-default-parameters-create-experiment)
+ [Définition des paramètres d'expérience Autopilot par défaut](#autopilot-set-default-parameters-create-experiment-howto)
## Liste des paramètres par défaut pris en charge
Les paramètres suivants permettent de définir des valeurs par défaut avec un fichier de configuration pour créer une expérience Autopilot à l’aide de l’interface utilisateur Studio Classic. Une fois définies, ces valeurs remplissent automatiquement leurs champs correspondants dans l’onglet **Créer une expérience** d’Autopilot dans l’interface utilisateur Studio Classic. Consultez [Paramètres avancés (facultatif)](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) pour une description complète de chaque champ.
+ **Sécurité :** Amazon VPC, sous-réseaux et groupes de sécurité.
+ **Accès :** rôle AWS ARNs IAM.
+ **Chiffrement :** AWS KMS clé IDs.
+ **Tags :** paires clé-valeur utilisées pour étiqueter et organiser les ressources d' SageMaker IA.
## Définition des paramètres d'expérience Autopilot par défaut
Les administrateurs peuvent définir des valeurs par défaut dans un fichier de configuration, puis placer manuellement ce fichier dans un emplacement recommandé de l’environnement Studio Classic d’utilisateurs spécifiques, ou ils peuvent transmettre le fichier à un script de configuration du cycle de vie (LCC) afin d’automatiser la personnalisation de l’environnement Studio Classic pour un domaine ou un profil utilisateur donné.
+ Pour configurer le fichier de configuration, commencez par renseigner ses paramètres par défaut.
Pour configurer l'une ou l'ensemble des valeurs par défaut répertoriées dans [Liste des paramètres par défaut pris en charge](#autopilot-list-default-parameters-create-experiment), les administrateurs peuvent créer un fichier de configuration nommé `config.yaml`, dont la structure doit être conforme à cet [exemple de fichier de configuration](https://sagemaker.readthedocs.io/en/stable/overview.html#configuration-file-structure). L'extrait suivant montre un exemple de fichier de configuration avec tous les paramètres `AutoML` pris en charge. Pour plus d'informations sur le format de ce fichier, reportez-vous au [schéma complet](https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/config/config_schema.py).
```
SchemaVersion: '1.0'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
```
+ Placez ensuite le fichier de configuration à l'emplacement recommandé en [le copiant manuellement](#autopilot-intelligent-defaults-manual-setup) dans les chemins recommandés ou en utilisant une [configuration de cycle de vie](#autopilot-intelligent-defaults-lcc-setup) (LCC).
Le fichier de configuration doit être présent dans au moins l’un des emplacements suivants dans l’environnement Studio Classic de l’utilisateur. Par défaut, SageMaker AI recherche un fichier de configuration à deux emplacements :
+ Tout d'abord, dans `/etc/xdg/sagemaker/config.yaml`. Nous appelons ce fichier le *fichier de configuration de l'administrateur*.
+ Ensuite, dans `/root/.config/sagemaker/config.yaml`. Nous appelons ce fichier le *fichier de configuration de l'utilisateur*.
À l'aide du fichier de configuration de l'*administrateur*, les administrateurs peuvent définir un ensemble de valeurs par défaut. En option, ils peuvent utiliser le fichier de configuration de l'*utilisateur* pour remplacer les valeurs définies dans le fichier de configuration de l'*administrateur* ou définir des valeurs de paramètres par défaut supplémentaires.
L’extrait suivant montre un exemple de script qui écrit le fichier de configuration des paramètres par défaut dans l’emplacement de l’*administrateur* dans l’environnement Studio Classic de l’utilisateur. Vous pouvez remplacer `/etc/xdg/sagemaker` par `/root/.config/sagemaker` pour écrire le fichier à l'emplacement de l'*utilisateur*.
```
## Sample script with AutoML intelligent defaults
#!/bin/bash
sudo mkdir -p /etc/xdg/sagemaker
echo "SchemaVersion: '1.0'
CustomParameters:
AnyStringKey: 'AnyStringValue'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
" | sudo tee /etc/xdg/sagemaker/config.yaml
```
+ **Copier les fichiers manuellement** : pour copier les fichiers de configuration manuellement, exécutez le [script](#autopilot-intelligent-defaults-manual-setup) créé à l’étape précédente à partir d’un terminal Studio Classic. Dans ce cas, le profil utilisateur qui a exécuté le script peut créer des expériences Autopilot avec les valeurs par défaut applicables uniquement à ces expériences.
+ **Créez une configuration du cycle de vie de l' SageMaker IA** : vous pouvez également utiliser une [configuration du cycle](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) de vie (LCC) pour automatiser la personnalisation de votre environnement Studio Classic. Les LCC sont des scripts shell déclenchés par des événements du cycle de vie d'Amazon SageMaker Studio Classic, tels que le démarrage d'une application Studio Classic. Cette personnalisation inclut l'installation de packages personnalisés, la configuration d'extensions de bloc-notes, le préchargement de jeux de données, la configuration de référentiels de code source ou, dans notre cas, le préremplissage de paramètres par défaut. Les administrateurs peuvent attacher la LCC à un domaine Studio Classic afin d’automatiser la configuration des valeurs par défaut pour chaque profil utilisateur au sein de ce domaine.
Les sections suivantes expliquent en détail comment créer une configuration de cycle de vie afin que les utilisateurs puissent charger automatiquement les paramètres par défaut Autopilot au lancement de Studio Classic. Vous pouvez choisir de créer un LCC à l'aide de la console SageMaker AI ou du AWS CLI.
------
#### [ Create a LCC from the SageMaker AI Console ]
Suivez les étapes ci-dessous pour créer une LCC contenant vos paramètres par défaut, associer la LCC à un domaine ou à un profil utilisateur, puis lancer une application Studio Classic préremplie avec les paramètres par défaut définis par la LCC à l'aide de l'AI Console. SageMaker
+ **Pour créer une configuration du cycle de vie qui exécute le [script](#autopilot-intelligent-defaults-script) contenant vos valeurs par défaut à l'aide de l' SageMaker AI Console**
+ Ouvrez la console SageMaker AI à l'adresse[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
+ Sur le côté gauche, accédez à **Configurations d’administrateur**, puis à **Configurations de cycle de vie**.
+ Sur la page **Configurations de cycle de vie**, accédez à l’onglet Studio Classic, puis choisissez **Créer une configuration**.
+ Dans **Nom**, saisissez un nom en utilisant des caractères alphanumériques et « - », mais pas d’espaces. Le nom peut comporter un maximum de 63 caractères.
+ Collez votre [script](#autopilot-intelligent-defaults-script) dans la section **Scripts**.
+ Choisissez **Configuration de cycle de vie** pour créer la configuration. Cela crée une LCC de type `Kernel gateway app`.
+ **Pour attacher la configuration de cycle de vie à un domaine Studio Classic, à un espace ou à un profil utilisateur**
Suivez les étapes décrites dans [Attacher la configuration de cycle de vie à un domaine ou à un profil utilisateur](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-console.html#studio-lcc-create-console-step2) pour attacher la LCC à un domaine Studio Classic ou à un profil utilisateur spécifique.
+ **Pour lancer l’application Studio Classic avec la configuration de cycle de vie**
Une fois la LCC attachée à un domaine ou à un profil utilisateur, les utilisateurs concernés peuvent démarrer une application Studio Classic depuis la page de destination Studio Classic dans Studio afin de récupérer les valeurs par défaut définies automatiquement par la LCC. Cela remplit automatiquement l’interface utilisateur Studio Classic lors de la création d’une expérience Autopilot.
------
#### [ Create a LCC from the AWS CLI ]
Utilisez les extraits suivants pour lancer une application Studio Classic qui exécute votre [script](#autopilot-intelligent-defaults-manual-setup) à l’aide de l’ AWS CLI. Notez que `lifecycle_config.sh` est le nom donné à votre script dans cet exemple.
Avant de commencer :
+ Assurez-vous d'avoir effectué la mise à jour et la configuration AWS CLI en remplissant les conditions préalables décrites dans [Créer une configuration de cycle de vie à partir du AWS CLI](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html).
+ Installez la documentation [OpenSSL](https://www.openssl.org/source/). La AWS CLI commande utilise la bibliothèque open source *OpenSSL* pour encoder votre script au format Base64. Cette exigence évite les erreurs dues à l’encodage des espacements et des sauts de ligne.
Vous pouvez désormais suivre les trois étapes suivantes :
+ **Création d’une nouvelle configuration de cycle de vie faisant référence au script de configuration `lifecycle_config.sh`**
```
LCC_CONTENT=`openssl base64 -A -in lifecycle_config.sh`
## Create a new lifecycle config
aws sagemaker create-studio-lifecycle-config --region region \
--studio-lifecycle-config-name lcc-name \
--studio-lifecycle-config-content $LCC_CONTENT \
--studio-lifecycle-config-app-type default
```
Notez l'ARN de la configuration de cycle de vie nouvellement créée qui est renvoyée. Cet ARN est requis pour attacher la configuration du cycle de vie à votre application.
+ **Attachez la configuration de cycle de vie à `JupyterServerApp`.**
L'exemple suivant montre comment créer un nouveau profil utilisateur auquel une configuration de cycle de vie est attachée. Pour mettre à jour un profil utilisateur existant, utilisez la AWS CLI [update-user-profile](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-user-profile.html)commande. Pour créer ou mettre à jour un domaine, consultez [create-domain](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-domain.html) et [update-domain](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-domain.html). Ajoutez l'ARN de la configuration de cycle de vie de l'étape précédente aux paramètres du type d'application `JupyterServerAppSettings`. Vous pouvez ajouter plusieurs configurations de cycle de vie à la fois en utilisant une liste de configurations de cycle de vie.
```
# Create a new UserProfile
aws sagemaker create-user-profile --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--user-settings '{
"JupyterServerAppSettings": {
"LifecycleConfigArns":
["lifecycle-configuration-arn"]
}
}'
```
Une fois que le LCC est associé à un domaine ou à un profil utilisateur, les utilisateurs concernés peuvent fermer et mettre à jour leur application Studio Classic existante en suivant les étapes décrites dans [Arrêter et mettre à jour Amazon SageMaker Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-tasks-update-studio.html), ou démarrer une nouvelle application Studio Classic depuis la AWS console pour récupérer automatiquement les valeurs par défaut définies par le LCC. Cela remplit automatiquement l’interface utilisateur Studio Classic lors de la création d’une expérience Autopilot. Ils peuvent également lancer une nouvelle application Studio Classic en procédant AWS CLI comme suit.
+ **Lancez votre application Studio Classic avec la configuration du cycle de vie à l'aide du AWS CLI**
```
# Create a Jupyter Server application
aws sagemaker create-app --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--app-type JupyterServer \
--resource-spec LifecycleConfigArn=lifecycle-configuration-arn \
--app-name default
```
Pour plus d'informations sur la création d'une configuration de cycle de vie à l'aide d' AWS CLI, consultez [Création d'une configuration de cycle de vie à partir d' AWS CLI](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html).
------
**Pour créer une expérience Autopilot à l’aide de l’interface utilisateur Studio Classic**
1. Connectez-vous à [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/), choisissez **Studio** dans le volet de navigation de gauche, sélectionnez votre domaine et votre profil utilisateur, puis **Ouvrez Studio**.
1. Dans Studio, cliquez sur l’icône Studio Classic dans le panneau de navigation situé en haut à gauche. Cela ouvre une application Studio Classic.
1. Exécutez ou ouvrez une application Studio Classic depuis l’espace de votre choix, ou **créez un espace Studio Classic**. Dans l'onglet **Accueil**, choisissez la carte **AutoML**. Ceci ouvre un nouvel onglet **AutoML**.
1. Choisissez **Créer une expérience AutoML**. Cela ouvre un nouvel onglet **Créer une expérience**.
1. Dans la section **Détails de l'expérience et des données**, entrez les informations suivantes :
1. **Nom de l'expérience** — Il doit être unique à votre compte actuel Région AWS et contenir un maximum de 63 caractères alphanumériques. Peut inclure des traits d'union (-), mais pas d'espaces.
1. **Données d'entrée** : indiquez l'emplacement du compartiment Amazon Simple Storage Service (Amazon S3) où se trouvent vos données d'entrée. Ce compartiment S3 doit se trouver dans votre Région AWS actuelle. L'URL doit être dans un `s3://` format dans lequel Amazon SageMaker AI dispose d'autorisations d'écriture. Le fichier doit être au format CSV ou Parquet, et contenir au moins 500 lignes. Sélectionnez **Parcourir** pour parcourir les chemins disponibles et **Aperçu** pour voir un échantillon de vos données d'entrée.
1. **Is your S3 input a manifest file?** (Votre entrée S3 est-elle un fichier manifeste ?) : un fichier manifeste inclut des métadonnées avec vos données d'entrée. Les métadonnées spécifient l'emplacement de vos données dans Amazon S3. Elles indiquent également comment les données sont formatées et les attributs du jeu de données à utiliser pour entraîner votre modèle. Vous pouvez utiliser un fichier manifeste comme alternative au prétraitement lorsque vos données étiquetées sont en cours de diffusion en mode `Pipe`.
1. **Auto split data?** (Fractionner automatiquement les données ?) : Autopilot peut fractionner vos données et affecter une répartition 80-20 % pour les données d'entraînement et de validation. Si vous préférez un fractionnement personnalisé, vous pouvez choisir **Specify split ratio** (Spécifier le rapport de fractionnement). Pour utiliser un jeu de données personnalisé pour la validation, choisissez **Provide a validation set** (Fournir un ensemble de validation).
1. **Output data location (S3 bucket)** (Emplacement des données de sortie (compartiment S3)) : nom de l'emplacement du compartiment S3 où vous souhaitez stocker les données de sortie. L'URL de ce compartiment doit être au format Amazon S3 dans lequel Amazon SageMaker AI dispose d'autorisations d'écriture. Le compartiment S3 doit se trouver dans la Région AWS actuelle. Autopilot peut également le créer pour vous au même endroit que vos données d'entrée.
1. Choisissez **Suivant : Cible et fonctionnalités**. L'onglet **Target and features** (Cible et fonctionnalités) s'ouvre.
1. Dans la section **Cible et fonctionnalités** :
+ Sélectionnez une colonne à définir comme cible pour les prédictions de modèle.
+ Vous pouvez éventuellement transmettre le nom d'une colonne de poids d'échantillons dans la section **Poids d'échantillon** pour demander que les lignes de votre jeu de données soient pondérées pendant l'entraînement et l'évaluation. Pour plus d'informations sur les métriques d'objectif disponibles, consultez [Métriques pondérées Autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
**Note**
La prise en charge des poids d'échantillons est disponible en [mode ensembliste](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode) uniquement.
+ Vous pouvez également sélectionner des fonctionnalités pour l'entraînement et modifier leur type de données. Les types de données suivants sont disponibles : `Text`, `Numerical`, `Categorical`, `Datetime`, `Sequence` et `Auto`. Toutes les fonctionnalités sont sélectionnées par défaut.
1. Choisissez **Next: Training method** (Suivant : méthode d'entraînement). L'onglet **Training method** (Méthode d'entraînement) s'ouvre.
1. Dans la section **Méthode d'entraînement**, sélectionnez votre option d'entraînement : **Ensembliste**, **Optimisation des hyperparamètres (HPO)** ou **Auto** pour laisser Autopilot choisir la méthode d'entraînement automatiquement en fonction de la taille du jeu de données. Chaque mode d'entraînement exécute un ensemble prédéfini d'algorithmes sur votre jeu de données pour entraîner les modèles candidats. Par défaut, Autopilot présélectionne tous les algorithmes disponibles pour le mode d'entraînement donné. Vous pouvez exécuter une expérience d'entraînement Autopilot avec tous les algorithmes ou choisir votre propre sous-ensemble.
Pour plus d'informations sur les modes d'entraînement et les algorithmes disponibles, consultez la section **Modes d'entraînement Autopilot** dans la page [Modes d'entraînement et algorithmes](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html).
1. Choisissez **Suivant : Déploiement et paramètres avancés** pour ouvrir l'onglet **Déploiement et paramètres avancés**. Ces paramètres incluent l'affichage automatique du nom du point de terminaison, le type de problème de machine learning et des choix supplémentaires d'exécution de votre expérience.
1. **Deployment settings** (Paramètres de déploiement) : Autopilot peut créer automatiquement un point de terminaison et déployer votre modèle pour vous.
Pour déployer automatiquement sur un point de terminaison généré automatiquement ou pour fournir un nom de point de terminaison pour un déploiement personnalisé, réglez le bouton bascule sur **Oui** sous **Déployer automatiquement ?**. Si vous importez des données depuis Amazon SageMaker Data Wrangler, vous disposez d'options supplémentaires pour déployer automatiquement le meilleur modèle avec ou sans les transformations de Data Wrangler.
**Note**
Si votre flux Data Wrangler contient des opérations sur plusieurs lignes, telles que `groupby`, `join` ou `concatenate`, vous ne pouvez pas effectuer de déploiement automatique avec ces transformations. Pour plus d'informations, consultez [Entraînement automatique des modèles sur votre flux de données](https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-autopilot.html).
1. **Paramètres avancés (facultatif)** : Autopilot fournit des contrôles supplémentaires pour définir manuellement les paramètres expérimentaux, tels que la définition de votre type de problème, les contraintes de temps relatives à votre tâche Autopilot et à vos essais, ainsi que les paramètres de sécurité et de chiffrement.
**Note**
Autopilot prend en charge la définition de valeurs par défaut afin de simplifier la configuration des expériences Autopilot à l’aide de l’interface utilisateur Studio Classic. Les administrateurs peuvent utiliser les [configurations de cycle de vie](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) (LCC) Studio Classic pour définir les valeurs d’infrastructure, de réseau et de sécurité dans les fichiers de configuration, et préremplir les *paramètres avancés* des tâches `AutoML`.
Pour découvrir comment les administrateurs peuvent automatiser la personnalisation d'une expérience Autopilot, consultez [Configuration des paramètres par défaut d'une expérience Autopilot (pour les administrateurs)](autopilot-set-default-parameters-create-experiment.md).
1. **Type de problème de machine learning** : Autopilot peut déduire automatiquement le type de problème d'apprentissage supervisé de votre jeu de données. Si vous préférez le choisir manuellement, vous pouvez utiliser le menu déroulant **Sélectionner le type de problème de machine learning**. Notez que la valeur par défaut est **Auto**. Dans certains cas, l' SageMaker IA est incapable de déduire avec précision. Lorsque cela se produit, vous devez fournir la valeur pour que la tâche réussisse. En particulier, vous pouvez choisir parmi les types suivants :
+ **Classification binaire** : la classification binaire affecte les données d'entrée à l'une des deux classes prédéfinies et mutuellement exclusives, en fonction de leurs attributs, tels qu'un diagnostic médical basé sur les résultats de tests de diagnostic qui déterminent si une personne souffre d'une maladie.
+ **Régression** : la régression établit une relation entre les variables d'entrée (également appelées variables indépendantes ou fonctionnalités) et la variable cible (également appelée variable dépendante). Cette relation est capturée par le biais d'une fonction ou d'un modèle mathématique qui mappe les variables d'entrée à une sortie continue. Elle est couramment utilisée pour des tâches telles que la prédiction des prix des maisons en fonction de fonctionnalités telles que la superficie et le nombre de salles de bains, des tendances boursières ou l'estimation de chiffres de vente.
+ **Classification multi-classes** : la classification multi-classes affecte les données d'entrée à l'une des différentes classes en fonction de leurs attributs, tels que la prédiction du sujet le plus pertinent d'un document texte, tel que la politique, la finance ou la philosophie.
1. **Durée d'exécution** : vous pouvez définir une limite de temps maximale. Lorsque la limite de temps est atteinte, les essais et les tâches qui dépassent la contrainte de temps s'arrêtent automatiquement.
1. **Accès** : vous pouvez choisir le rôle qu'Amazon SageMaker Studio Classic assume pour obtenir un accès temporaire Services AWS (en particulier, SageMaker AI et Amazon S3) en votre nom. Si aucun rôle n'est défini explicitement, Studio Classic utilise automatiquement le rôle d'exécution SageMaker AI par défaut associé à votre profil utilisateur.
1. **Chiffrement** : pour renforcer la sécurité de vos données au repos et les protéger contre tout accès non autorisé, vous pouvez spécifier des clés de chiffrement pour chiffrer les données dans vos compartiments Amazon S3 et dans le volume Amazon Elastic Block Store (Amazon EBS) attaché à votre domaine Studio Classic.
1. **Sécurité** — Vous pouvez choisir le cloud privé virtuel (Amazon VPC) dans lequel s'exécute votre tâche d' SageMaker IA. Assurez-vous que le réseau Amazon VPC a accès à vos compartiments Amazon S3 d'entrée et de sortie.
1. **Projet** — Spécifiez le nom du projet d' SageMaker IA à associer à cette expérience de pilote automatique et aux sorties du modèle. Lorsque vous spécifiez un projet, Autopilot associe le projet à une expérience. Cela vous permet de savoir quelles sorties de modèle sont associées à ce projet.
1. **Balises** : les balises sont un tableau de paires clé-valeur. Utilisez des balises pour classer vos ressources Services AWS, par exemple leur objectif, leur propriétaire ou leur environnement.
1. Choisissez **Suivant : Vérification et création** pour obtenir un résumé de votre expérience Autopilot avant sa création.
1. Sélectionnez **Créer une expérience**. La création de l'expérience lance une tâche de pilote automatique dans SageMaker AI. Autopilot fournit le statut de l'expérience, des informations sur le processus d'exploration des données et les modèles candidats dans des blocs-notes, une liste des modèles générés et leurs rapports, ainsi que le profil de tâche utilisé pour les créer.
Pour en savoir plus sur les blocs-notes générés par une tâche Autopilot, consultez [Bloc-notes Autopilot générés pour gérer les tâches AutoML](autopilot-automate-model-development-notebook-output.md). Pour en savoir plus sur les détails de chaque modèle candidat et ses rapports, consultez [Afficher les détails des modèles](autopilot-models-details.md) et [Affichage d’un rapport de performances du modèle Autopilot](autopilot-model-insights.md).
**Note**
Pour éviter des frais inutiles : si vous déployez un modèle qui n'est plus nécessaire, supprimez les points de terminaison et les ressources créées pendant ce déploiement. Les informations relatives aux instances de tarification par région sont disponibles sur [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
# Exemples de blocs-notes sur Amazon SageMaker Autopilot
Les blocs-notes suivants sont des exemples pratiques qui abordent différents cas d'utilisation d'Autopilot.
Vous trouverez tous les blocs-notes d’Autopilot dans le répertoire [https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot) du référentiel d’exemples GitHub de SageMaker AI.
Nous recommandons de cloner l’intégralité du référentiel Git dans Studio Classic pour accéder aux blocs-notes et les exécuter directement. Pour en savoir plus sur la manière de cloner un référentiel Git dans Studio Classic, consultez [Cloner un dépôt Git dans Amazon SageMaker Studio Classic](studio-tasks-git.md).
| **Cas d'utilisation** | **Description** |
| --- | --- |
| [Inférence sans serveur](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/autopilot-serverless-inference) | Par défaut, Autopilot permet de déployer les modèles générés sur des points de terminaison d'inférence en temps réel. Dans ce référentiel, le bloc-notes explique comment déployer des modèles Autopilot entraînés avec les modes `ENSEMBLING` et `HYPERPARAMETER OPTIMIZATION (HPO)` sur des points de terminaison sans serveur. Les points de terminaison sans serveur lancent automatiquement les ressources de calcul et les mettent à l’échelle en fonction du trafic, éliminant ainsi le besoin de choisir des types d’instances ou de gérer des politiques de mise à l’échelle. |
| [Sélection de fonctionnalités personnalisées](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/custom-feature-selection) | Autopilot inspecte votre jeu de données et exécute un certain nombre de candidats pour déterminer la combinaison optimale d'étapes de prétraitement des données, d'algorithmes de machine learning et d'hyperparamètres. Vous pouvez aisément effectuer un déploiement sur un point de terminaison en temps réel ou pour un traitement par lots. Dans certains cas, vous voudrez peut-être avoir la possibilité d'intégrer à Autopilot un code de traitement des données personnalisé. Par exemple, vos jeux de données peuvent contenir un grand nombre de variables indépendantes et vous souhaiterez peut-être incorporer une étape de sélection de fonctionnalité personnalisée afin de supprimer d'abord les variables non pertinentes. Le jeu de données plus petit qui en résulte peut ensuite être utilisé pour lancer une tâche Autopilot. En fin de compte, vous souhaiterez également inclure à la fois le code de traitement personnalisé et les modèles provenant d'Autopilot pour le traitement en temps réel ou par lots. |
| [Exemple de pipeline](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/sagemaker-autopilot-pipelines) | Alors qu'Autopilot rationalise le processus de création de modèles de ML, les ingénieurs MLOps restent responsables de la création, de l'automatisation et de la gestion des flux de travail ML de bout en bout en production. SageMaker Pipelines peut aider à automatiser diverses étapes du cycle de vie de machine learning, telles que le prétraitement des données, l'entraînement des modèles, le réglage des hyperparamètres, l'évaluation des modèles et le déploiement. Ce bloc-notes montre comment incorporer Autopilot dans un flux de travail d'entraînement AutoML de bout en bout de SageMaker Pipelines. Pour lancer une expérience Autopilot dans Pipelines, vous devez créer un flux de travail de création de modèles en écrivant un code d'intégration personnalisé à l'aide de Pipelines [Lambda](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-lambda) ou d'étapes de [traitement](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-processing). Pour plus d'informations, reportez-vous à [Move Amazon SageMaker Autopilot ML models from experimentation to production using Amazon SageMaker Pipelines](https://aws.amazon.com/blogs/machine-learning/move-amazon-sagemaker-autopilot-ml-models-from-experimentation-to-production-using-amazon-sagemaker-pipelines/). Si vous utilisez Autopilot en [mode ensembliste](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html), vous pouvez vous référer à l'exemple de bloc-notes qui montre comment utiliser l'étape AutoML native dans l'[étape AutoML native de SageMaker Pipelines](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/sagemaker-autopilot-pipelines/autopilot_pipelines_demo_notebook.ipynb). Autopilot étant pris en charge en tant qu'étape native dans Pipelines, vous pouvez désormais ajouter une étape d'entraînement automatique ([AutoMLStep](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-automl)) à vos pipelines et invoquer une expérience Autopilot en mode ensembliste. |
| [Direct marketing with Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/sagemaker_autopilot_direct_marketing.html) | Ce bloc-notes montre comment le [jeu de données Bank Marketing](https://archive.ics.uci.edu/ml/datasets/bank+marketing) est utilisé pour prédire si un client va réaliser un dépôt à terme dans une banque. Vous pouvez utiliser Autopilot sur ce jeu de données pour obtenir le pipeline ML le plus précis en explorant les options contenues dans divers pipelines candidats. Autopilot génère chaque candidat selon une procédure en deux étapes. La première étape effectue une ingénierie de fonctionnalité automatisée sur le jeu de données. La deuxième étape entraîne et règle un algorithme pour produire un modèle. Le bloc-notes contient des instructions sur la façon d'entraîner le modèle et de le déployer pour effectuer une inférence par lots à l'aide du meilleur candidat. |
| [Customer Churn Prediction with Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn.html) | Ce bloc-notes décrit l’utilisation du machine learning pour l’identification automatisée des clients mécontents, également connue sous le nom de prédiction de perte de clients. Cet exemple montre comment analyser un jeu de données accessible au public et mener une ingénierie des fonctionnalités dessus. Il montre ensuite comment régler un modèle en sélectionnant le pipeline le plus performant ainsi que les hyperparamètres optimaux pour l'algorithme d'entraînement. Il montre enfin comment déployer le modèle sur un point de terminaison hébergé et comment évaluer ses prédictions par rapport à la vérité du terrain. Cependant, les modèles ML fournissent rarement des prédictions parfaites. C'est pourquoi ce cahier montre également comment intégrer les coûts relatifs des erreurs de prédiction lors de la détermination du résultat financier de l'utilisation de ML. |
| [Top Candidates Customer Churn Prediction with Amazon SageMaker Autopilot and Batch Transform (Python SDK)](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn_high_level_with_evaluation.html) | Ce bloc-notes décrit aussi l’utilisation du machine learning pour l’identification automatisée des clients mécontents, également connue sous le nom de prédiction de perte de clients. Ce bloc-notes montre comment configurer le modèle pour obtenir la probabilité d'inférence, sélectionner les N modèles principaux, et réaliser une transformation par lots sur un jeu de test retenu pour évaluation. Ce bloc-notes fonctionne avec le kit SDK SageMaker Python >= 1.65.1 publié le 19/6/2020. |
| [Bringing your own data processing code to Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/custom-feature-selection/Feature_selection_autopilot.html) | Ce bloc-notes explique comment incorporer et déployer un code de traitement de données personnalisé lors de l’utilisation d’Amazon SageMaker Autopilot. Il ajoute une étape de sélection de fonctions personnalisée pour supprimer des variables non pertinentes d'une tâche Autopilot. Il montre ensuite comment déployer à la fois le code de traitement personnalisé et les modèles générés par Autopilot sur un point de terminaison en temps réel ou pour un traitement par lots. |
| Blocs-notes supplémentaires | Vous trouverez d'autres blocs-notes illustrant d'autres cas d'utilisation tels que la [transformation par lots](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/ap-batch-transform.ipynb), les [prévisions de séries temporelles](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb), etc., dans le répertoire racine. |
# Vidéos : utilisation d’Autopilot pour automatiser et explorer le processus de machine learning
Voici une série de vidéos présentant les fonctionnalités d'Amazon SageMaker Autopilot à l'aide de Studio Classic. Elles montrent comment démarrer une tâche AutoML, analyser et prétraiter les données, comment réaliser l’ingénierie des caractéristiques et l’optimisation des hyperparamètres sur les modèles candidats, et comment visualiser et comparer les métriques du modèle obtenues.
**Topics**
+ [Démarrez une tâche AutoML avec Amazon Autopilot SageMaker](#autopilot-video-start-automl-job)
+ [Passez en revue l’exploration des données et l’ingénierie des caractéristiques automatisées dans Autopilot.](#autopilot-video-generated-notebooks)
+ [Réglez les modèles pour optimiser les performances](#autopilot-video-optimizing-model-performance)
+ [Choisissez et déployez le meilleur modèle](#autopilot-video-choose-and-deploy-the-best-model)
+ [Tutoriel Amazon SageMaker Autopilot](#autopilot-walkthrough)
## Démarrez une tâche AutoML avec Amazon Autopilot SageMaker
Cette vidéo vous montre comment démarrer une tâche AutoML avec Autopilot. (Durée : 8:41)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/qMEtqJPhqpA)
## Passez en revue l’exploration des données et l’ingénierie des caractéristiques automatisées dans Autopilot.
Cette vidéo explique comment consulter les carnets d'exploration des données et de définition des candidats générés par Amazon SageMaker Autopilot. (Durée : 10:04)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/WsfRAeGzgm8)
## Réglez les modèles pour optimiser les performances
Cette vidéo vous montre comment optimiser les performances du modèle lors de l’entraînement à l’aide du réglage de l’hyperparamètre. (Durée : 4:59)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/KZSTsWrDGXs)
## Choisissez et déployez le meilleur modèle
Cette vidéo montre comment utiliser les métriques de la tâche pour choisir le meilleur modèle, puis comment le déployer. (Durée : 5:20)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/vRHyX3kDstI)
## Tutoriel Amazon SageMaker Autopilot
Cette vidéo vous présente une démonstration de bout en bout dans laquelle nous créons d'abord un modèle de classification binaire automatiquement avec Amazon SageMaker Autopilot. Nous voyons comment les modèles candidats ont été créés et optimisés à l’aide de blocs-notres générés automatiquement. Nous examinons également les meilleurs candidats avec Amazon SageMaker Experiments. Enfin, nous déployons le meilleur candidat (sur la base de XGBoost) et configurons la capture des données avec SageMaker Model Monitor.
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/DRjOOaR2prQ)
# Quotas Autopilot
Certains quotas limitent les ressources disponibles lorsque vous utilisez Amazon SageMaker Autopilot. Certaines de ces limites peuvent être augmentées, mais d'autres ne le peuvent pas.
**Note**
Les quotas de ressources documentés dans les sections suivantes sont valides pour les versions d’Amazon SageMaker Studio 3.22.2 et supérieures. Pour en savoir plus sur la mise à jour de votre version de SageMaker Studio Classic, consultez [Arrêter et mettre à jour Amazon SageMaker Studio Classic et ses applications](studio-tasks-update.md).
**Topics**
+ [Les quotas que vous pouvez augmenter](#autopilot-quotas-limits-increasable)
+ [Quotas de ressources](#autopilot-quotas-resource-limits)
## Les quotas que vous pouvez augmenter
Le tableau suivant indique les limites de ressources pour les quotas que vous pouvez augmenter :
| Ressource | Régions | Limites par défaut | Peut être augmentée jusqu'à |
| --- | --- | --- | --- |
| Taille du jeu de données d'entrée | Tous | 100 Go | Centaines de Gb |
| Taille d'un seul fichier Parquet\$1 | Tous | 2 Go | N/A |
| Taille du jeu de données cible pour le sous-échantillonnage\$1\$1 | Tous | 5 Go | Centaines de Gb |
| Nombre de tâches Autopilot simultanées | us-east-1, us-east-2,us-west-2, ap-northeast-1, eu-west-1, eu-central-1 | 4 | Centaines |
| Nombre de tâches Autopilot simultanées | ap-northeast-2, ap-southeast-2, eu-west-2, ap-southeast-1 | 2 | Centaines |
| Nombre de tâches Autopilot simultanées | Toutes les autres régions | 1 | Dizaines |
**Note**
\$1Cette taille limite de 2 Go s'applique à un seul fichier Parquet compressé. Vous pouvez fournir un jeu de données Parquet qui inclut plusieurs fichiers Parquet compressés, dans la limite de la taille maximale autorisée pour le jeu de données d’entrée. Une fois les fichiers décompressés, ils peuvent atteindre une taille supérieure.
\$1\$1Autopilot sous-échantillonne automatiquement les jeux de données d'entrée supérieurs à la taille du jeu de données cible tout en tenant compte du déséquilibre de classe et en préservant les étiquettes de classes rares.
**Pour demander une augmentation de quota :**
1. Ouvrez la [console Service Quotas](https://console.aws.amazon.com/servicequotas/home/services/sagemaker/quotas).
1. Sélectionnez l’augmentation de quota souhaitées, puis choisissez **Demander une augmentation au niveau du compte**.
1. Dans le champ **Augmenter la valeur du quota**, entrez la nouvelle valeur limite que vous demandez.
1. Choisissez **Request** (Demander).
## Quotas de ressources
Le tableau suivant contient les limites de ressources d'exécution pour une tâche Amazon SageMaker Autopilot dans une Région AWS.
| Ressource | Limite par tâche Autopilot |
| --- | --- |
| Durée d'exécution maximale pour une tâche Autopilot | 30 jours |
# Guide de référence des API pour Autopilot
Cette section fournit un sous-ensemble d’interfaces API REST du service HTTP pour la création et la gestion de ressources Amazon SageMaker Autopilot (tâches AutoML) par programmation.
Si le langage de votre choix est Python, vous pouvez également vous référer directement au kit [AWS SDK pour Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html) ou à l’[objet AutoMLV2](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) du kit Amazon SageMaker Python SDK.
## Actions d’API AutoML
Cette liste détaille les opérations disponibles dans la référence des API pour gérer les tâches AutoML par programmation.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html)
**Note**
[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) et [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) sont de nouvelles versions de [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html) et [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html) qui offrent une rétrocompatibilité.
Nous vous recommandons d'utiliser `CreateAutoMLJobV2`. `CreateAutoMLJobV2` peut gérer des types de problèmes tabulaires identiques à ceux de sa version précédente `CreateAutoMLJob`, ainsi que des types de problèmes non tabulaires, tels que la classification d'image ou de texte, et les prédictions de séries temporelles.
Recherchez des instructions sur la façon de migrer une action `CreateAutoMLJob` vers une action `CreateAutoMLJobV2` dans [Migration d'une action CreateAutoMLJob en action CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html#autopilot-create-experiment-api-migrate-v1-v2).
## Types de données de l’API AutoML
Cette liste détaille les objets d'API AutoML utilisés par les actions ci-dessus en tant que demandes entrantes ou réponses sortantes.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html)
# SageMaker JumpStart modèles préentraînés
Amazon SageMaker JumpStart propose des modèles open source préformés pour un large éventail de types de problèmes afin de vous aider à démarrer avec le machine learning. Vous pouvez entraîner et ajuster progressivement ces modèles avant leur déploiement. JumpStart fournit également des modèles de solutions qui configurent l'infrastructure pour les cas d'utilisation courants, ainsi que des exemples de blocs-notes exécutables pour l'apprentissage automatique avec l' SageMaker IA.
Vous pouvez déployer, affiner et évaluer des modèles préentraînés à partir de hubs de modèles populaires via la page d'accueil Models de l'expérience Studio mise à jour.
Vous pouvez également accéder à des modèles préentraînés, à des modèles de solutions et à des exemples via la page d'accueil Modèles d'Amazon SageMaker Studio Classic.
Les étapes suivantes indiquent comment accéder aux JumpStart modèles à l'aide d'Amazon SageMaker Studio et d'Amazon SageMaker Studio Classic.
Vous pouvez également accéder aux JumpStart modèles à l'aide du SDK SageMaker Python. Pour plus d'informations sur l'utilisation des JumpStart modèles par programmation, voir [Utiliser des SageMaker JumpStart algorithmes avec des modèles préentraînés](https://sagemaker.readthedocs.io/en/stable/overview.html#use-sagemaker-jumpstart-algorithms-with-pretrained-models).
## Ouvrir JumpStart dans le studio
Dans Amazon SageMaker Studio, ouvrez la page d'accueil des modèles via la page d'**accueil** ou via l'élément **Modèles** dans le panneau de gauche. Cela ouvre la page d'accueil **SageMaker des modèles**, où vous pouvez explorer les modèles dans le SageMakerPublicHub, les modèles dans les hubs privés ou les hubs sélectionnés, ainsi que les modèles personnalisés.
+ Sur la page d'**accueil**, choisissez **Explorer les modèles** dans le volet **Démarrez le flux de travail de personnalisation de votre modèle**.
+ Dans le menu du panneau de gauche, accédez au nœud **Modèles**.
Pour plus d'informations sur la prise en main d'Amazon SageMaker Studio, consultez[Amazon SageMaker Studio](studio-updated.md).
![\[Interface Amazon SageMaker Studio avec accès à JumpStart.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-studio-nav.png)
## Utilisation JumpStart en studio
**Important**
Avant de télécharger ou d'utiliser un contenu tiers : vous êtes tenu d'examiner et de respecter les conditions de licence applicables et de vous assurer qu'elles sont acceptables pour votre cas d'utilisation.
Le 13 mars 2026, nous avons retiré quelques modèles du JumpStart catalogue par région afin d'améliorer la visibilité et de nous concentrer sur des options de haute qualité et bien prises en charge. Les points de terminaison existants pour les modèles retirés de la liste resteront fonctionnels. Pour obtenir des informations de licence sur les modèles à poids ouvert retirés de la liste, veuillez vous référer à la liste Hugging Face des modèles respectifs.
Sur la page d'accueil **SageMaker des modèles** de Studio, vous pouvez explorer les modèles de JumpStart base proposés par des fournisseurs de modèles propriétaires ou accessibles au public. Vous pouvez rechercher directement des modèles, filtrer par fournisseur de modèles spécifique ou filtrer en fonction d'une liste de cas d'utilisation et d'actions fournis.
![\[Page d'accueil des modèles Amazon SageMaker Studio.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-studio-landing.png)
Choisissez un modèle pour voir sa carte détaillée. Dans le coin supérieur droit de la fiche détaillée du modèle, choisissez **Affiner**, **Personnaliser**, **Déployer** ou **Évaluer** pour commencer à travailler sur les flux de travail de réglage, de déploiement ou d'évaluation, respectivement. Notez que tous les modèles ne sont pas disponibles pour la personnalisation, le réglage ou l'évaluation. Pour plus d’informations sur chacune de ces options, consultez [Utilisation de modèles de fondation dans Studio](jumpstart-foundation-models-use-studio-updated.md).
Vous pouvez également accéder aux modèles **Private ou Curated Hub** via un onglet dédié. Ils fonctionnent exactement comme les modèles de JumpStart base, et en cliquant sur une carte modèle, vous accédez à la page de détails, où les actions sont disponibles.
De plus, sélectionnez **Mes modèles** pour accéder à vos modèles affinés et enregistrés. Les résultats des tâches de personnalisation se trouvent ici, sous l'onglet Modèles **enregistrés**. Des modèles **déployables** peuvent également être trouvés ici.
## Ouvrir et utiliser JumpStart dans Studio Classic
Les sections suivantes fournissent des informations sur la façon d'ouvrir, d'utiliser et JumpStart de gérer à partir de l'interface utilisateur Amazon SageMaker Studio Classic.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
### Ouvrir JumpStart dans Studio Classic
Dans Amazon SageMaker Studio Classic, ouvrez la page de JumpStart destination via la page d'**accueil** ou le menu **principal** sur le panneau de gauche.
+ Sur la page **Home** (Accueil), vous pouvez soit :
+ Choisissez **JumpStart**dans le volet **Solutions prédéfinies et automatisées**. Cela ouvre la page de **SageMaker JumpStart**destination.
+ Choisissez un modèle directement sur la page **SageMaker JumpStart**d'accueil ou choisissez l'option **Tout explorer** pour voir les solutions disponibles ou les modèles d'un type spécifique.
+ Dans le menu **Home** (Accueil) du panneau de gauche, vous pouvez :
+ Accédez au **SageMaker JumpStart**nœud, puis choisissez **Modèles, blocs-notes, solutions**. Cela ouvre la page de **SageMaker JumpStart**destination.
+ Accédez au **JumpStart**nœud, puis choisissez **Launched JumpStart assets**.
La page ** JumpStart Ressources lancées** répertorie les solutions actuellement lancées, les modèles de terminaux déployés et les tâches de formation créées avec JumpStart. Vous pouvez accéder à la page de JumpStart destination depuis cet onglet en cliquant sur le JumpStart bouton **Parcourir** en haut à droite de l'onglet.
La page JumpStart d'accueil répertorie les solutions d'apprentissage end-to-end automatique disponibles, les modèles préentraînés et des exemples de blocs-notes. Depuis n'importe quelle page de solution ou de modèle, vous pouvez JumpStart cliquer sur le bouton **Parcourir** (![\[Button labeled "Browse JumpStart" with an icon indicating a browsing action.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-browse-button.png)) en haut à droite de l'onglet pour revenir à la **SageMaker JumpStart**page.
![\[SageMaker Interface Studio Classic avec accès à JumpStart.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-assets.png)
**Important**
Avant de télécharger ou d'utiliser un contenu tiers : vous êtes tenu d'examiner et de respecter les conditions de licence applicables et de vous assurer qu'elles sont acceptables pour votre cas d'utilisation.
Le 13 mars 2026, nous avons retiré quelques modèles du JumpStart catalogue par région afin d'améliorer la visibilité et de nous concentrer sur des options de haute qualité et bien prises en charge. Les points de terminaison existants pour les modèles retirés de la liste resteront fonctionnels. Pour obtenir des informations de licence sur les modèles à poids ouvert retirés de la liste, veuillez vous référer à la liste Hugging Face des modèles respectifs.
### Utilisation JumpStart dans Studio Classic
Depuis la page **SageMaker JumpStart**d'accueil, vous pouvez rechercher des solutions, des modèles, des blocs-notes et d'autres ressources.
![\[SageMaker Page de JumpStart destination de Studio Classic.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-use.png)
Vous pouvez trouver JumpStart des ressources en utilisant la barre de recherche ou en parcourant chaque catégorie. Utilisez les onglets pour filtrer les solutions disponibles par catégories :
+ **Solutions** — En une seule étape, lancez des solutions complètes d'apprentissage automatique qui relient l' SageMaker IA aux autres Services AWS. Sélectionnez **Explore All Solutions** (Explorer toutes les solutions) pour afficher toutes les solutions disponibles.
+ **Resources** (Ressources) - Utilisez des blocs-notes d'exemples, des blogs et des tutoriels vidéo pour apprendre et vous lancer dans la résolution de vos types de problèmes.
+ **Blogs** : lisez les détails et les solutions des experts en machine learning.
+ **Tutoriels vidéo** — Regardez des didacticiels vidéo sur les fonctionnalités de l' SageMaker IA et les cas d'utilisation de l'apprentissage automatique élaborés par des experts en apprentissage automatique.
+ **Exemples de blocs-notes** : exécutez des exemples de blocs-notes qui utilisent des fonctionnalités d' SageMaker intelligence artificielle telles que la formation par instance Spot et des expériences sur une grande variété de types de modèles et de cas d'utilisation.
+ **Types de données** : recherchez un modèle par type de données (par ex., Vision, Texte, Tabulaire, Audio, Génération de texte). Sélectionnez **Explore All Models** (Explorer tous les modèles) pour afficher tous les modèles disponibles.
+ **ML tasks** (Tâches de ML) : recherchez un modèle par type de problème [par ex., Image Classification, Image Embedding, Object Detection ou Text Generation (Classification d'images, Intégration d'images, Détection d'objets ou Génération de texte)]. Sélectionnez **Explore All Models** (Explorer tous les modèles) pour afficher tous les modèles disponibles.
+ **Ordinateurs portables** : trouvez des exemples de blocs-notes qui utilisent les fonctionnalités de l' SageMaker IA dans différents types de modèles et scénarios d'utilisation. Sélectionnez **Explore All Notebooks** (Explorer tous les blocs-notes) pour afficher tous les exemples de blocs-notes disponibles.
+ **Frameworks** — Trouvez un modèle par framework (par exemple PyTorch TensorFlow, Hugging Face).
### Gérer JumpStart dans Studio Classic
Dans le menu **principal** du panneau de gauche, accédez à **SageMaker JumpStart**, puis choisissez Launched ** JumpStart assets** pour répertorier les solutions actuellement lancées, les modèles de terminaux déployés et les tâches de formation créées avec JumpStart.
**Topics**
+ [Ouvrir JumpStart dans le studio](#jumpstart-open-studio)
+ [Utilisation JumpStart en studio](#jumpstart-use-studio)
+ [Ouvrir et utiliser JumpStart dans Studio Classic](#jumpstart-open-use)
+ [Modèles Amazon SageMaker JumpStart Foundation](jumpstart-foundation-models.md)
+ [Hubs privés sélectionnés pour le contrôle d'accès aux modèles de fondation dans JumpStart](jumpstart-curated-hubs.md)
+ [Amazon SageMaker JumpStart dans Studio Classic](jumpstart-studio-classic.md)
# Modèles Amazon SageMaker JumpStart Foundation
Amazon SageMaker JumpStart propose des modèles de state-of-the-art base pour des cas d'utilisation tels que la rédaction de contenu, la génération de code, la réponse aux questions, la rédaction, la synthèse, la classification, la récupération d'informations, etc. Utilisez des modèles de JumpStart base pour créer vos propres solutions d'IA générative et intégrez des solutions personnalisées avec des fonctionnalités d' SageMaker IA supplémentaires. Pour plus d'informations, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/).
Un modèle de fondation est un grand modèle pré-entraîné qui peut s'adapter à de nombreuses tâches en aval et qui sert souvent de point de départ au développement de modèles plus spécialisés. Parmi les modèles de base, citons le LLa MA-3-70b, le BLOOM 176B, le FLAN-T5 XL ou le GPT-J 6B, qui sont préentraînés sur d'énormes quantités de données textuelles et peuvent être affinés pour des tâches linguistiques spécifiques.
Amazon SageMaker JumpStart intègre et gère des modèles de base accessibles au public auxquels vous pouvez accéder, personnaliser et intégrer à vos cycles de vie de machine learning. Pour de plus amples informations, veuillez consulter [Modèles de fondation accessibles au public](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-publicly-available). Amazon inclut SageMaker JumpStart également des modèles de base propriétaires provenant de fournisseurs tiers. Pour de plus amples informations, veuillez consulter [Modèles de fondation propriétaires](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-proprietary).
Pour commencer à explorer et à tester les modèles disponibles, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md). Tous les modèles de base peuvent être utilisés par programmation avec le SageMaker Python SDK. Pour de plus amples informations, veuillez consulter [Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Pour plus d'informations sur les éléments à prendre en compte lors du choix d'un modèle, consultez [Modèles de sources et de contrats de licence](jumpstart-foundation-models-choose.md).
Pour plus de détails sur la personnalisation et l'optimisation des modèles de fondation, consultez [Personnalisation d’un modèle de fondation](jumpstart-foundation-models-customize.md).
Pour des informations plus générales sur les modèles de fondation, consultez [À propos des opportunités et des risques des modèles de fondation](https://arxiv.org/abs/2108.07258) (langue française non garantie).
**Topics**
+ [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md)
+ [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md)
+ [Modèles de sources et de contrats de licence](jumpstart-foundation-models-choose.md)
+ [Personnalisation d’un modèle de fondation](jumpstart-foundation-models-customize.md)
+ [Évaluation d’un modèle de fondation de génération de texte dans Studio](jumpstart-foundation-models-evaluate.md)
+ [Exemples de blocs-notes](jumpstart-foundation-models-example-notebooks.md)
# Modèles de fondation disponibles
Amazon SageMaker JumpStart propose des modèles de base intégrés state-of-the-art, accessibles au public et propriétaires, à personnaliser et à intégrer à vos flux de travail d'IA générative.
## Modèles de fondation accessibles au public
Amazon SageMaker JumpStart intègre et gère des modèles de base open source issus de sources tierces. Pour commencer à utiliser l'un de ces modèles accessibles au public, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md) ou explorez l'un des [Exemples de blocs-notes](jumpstart-foundation-models-example-notebooks.md) disponibles. Dans un exemple de bloc-notes donné pour un modèle accessible au public, essayez de changer d'ID de modèle pour tester différents modèles au sein d'une même famille de modèles.
Pour plus d'informations sur le modèle IDs et les ressources relatives au déploiement de modèles de JumpStart base accessibles au public avec le SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Par définition, les modèles de fondation sont adaptables à de nombreuses tâches en aval. Les modèles de fondation sont entraînés sur d'énormes quantités de données de domaine générales et le même modèle peut être mis en œuvre ou personnalisé pour plusieurs cas d'utilisation. Lorsque vous choisissez votre modèle de fondation, commencez par définir une tâche spécifique, telle que la génération de texte ou d’images.
### Modèles de prévision de séries temporelles accessibles au public
Les modèles de prévision de séries temporelles sont conçus pour analyser et établir des prédictions sur des données séquentielles au fil du temps. Ces modèles peuvent être appliqués à divers domaines tels que la finance, les prévisions météorologiques ou la prévision de la demande énergétique. Les modèles Chronos sont conçus pour les tâches de prévision de séries temporelles, ce qui permet des prédictions précises basées sur des modèles de données historiques.
| Nom du modèle | ID du modèle | Source du modèle | Réglable |
| --- | --- | --- | --- |
| Chronos T5 Small | autogluon-forecasting-chronos-t5-small | Amazon | Non |
| Chronos T5 Base | autogluon-forecasting-chronos-t5-base | Amazon | Non |
| Chronos T5 Large | autogluon-forecasting-chronos-t5-large | Amazon | Non |
| Chronos-Bolt Small | autogluon-forecasting-chronos-bolt-small | Amazon | Non |
| Chronos-Bolt Base | autogluon-forecasting-chronos-bolt-base | Amazon | Non |
### Modèles de génération de texte accessibles au public
Les modèles de fondation de génération de texte peuvent être utilisés pour diverses tâches en aval, notamment la synthèse de texte, la classification de texte, les réponses aux questions, la génération de contenu long, la rédaction abrégée, l'extraction d'informations, etc.
Pour découvrir les derniers modèles de JumpStart base de génération de texte, utilisez le filtre de **génération de texte** sur la page de description SageMaker JumpStart du produit [Getting Started with Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=ml-task-type%23text-generation&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Vous pouvez également explorer des modèles de base basés sur des tâches directement dans l'interface utilisateur Amazon SageMaker Studio ou dans l'interface utilisateur SageMaker Studio Classic. Seul un sous-ensemble de modèles de génération de texte accessibles au public peut être affiné. JumpStart Pour de plus amples informations, veuillez consulter [Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
### Modèles de génération d’images accessibles au public
JumpStart fournit une grande variété de modèles de base de génération d'images par diffusion stable, notamment des modèles de base de Stability AI ainsi que des modèles préentraînés pour des text-to-image tâches spécifiques provenant deHugging Face. Si vous devez affiner votre modèle de text-to-image base, vous pouvez utiliser la base Stable Diffusion 2.1 de Stability AI. Si vous souhaitez explorer des modèles déjà entraînés à des styles artistiques spécifiques, vous pouvez explorer l'un des nombreux modèles tiers Hugging Face directement depuis l'interface utilisateur Amazon SageMaker Studio ou l'interface utilisateur SageMaker Studio Classic.
Pour découvrir les derniers modèles de JumpStart base en matière de génération d'images, utilisez le filtre **Text to Image** sur la page de description SageMaker JumpStart du produit [Getting Started with Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=ml-task-type%23txt2img&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Pour commencer avec le modèle de text-to-image fondation que vous avez choisi, consultez[JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md).
## Modèles de fondation propriétaires
Amazon SageMaker JumpStart donne accès à des modèles de base propriétaires provenant de fournisseurs tiers tels que [AI21 Labs](https://www.ai21.com/), [Cohere](https://cohere.com/) et [LightOn](https://www.lighton.ai/).
Pour commencer à utiliser l'un de ces modèles propriétaires, consultez [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md). Pour utiliser un modèle de fondation propriétaire, vous devez d'abord vous abonner au modèle dans AWS Marketplace. Après avoir souscrit au modèle, localisez le modèle de base dans Studio ou SageMaker Studio Classic. Pour de plus amples informations, veuillez consulter [SageMaker JumpStart modèles préentraînés](studio-jumpstart.md).
Pour découvrir les derniers modèles de base propriétaires adaptés à divers cas d'utilisation, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
# JumpStart utilisation du modèle de base
Choisissez, formez ou déployez des modèles de base via Amazon SageMaker Studio ou Amazon SageMaker Studio Classic, utilisez des modèles de JumpStart base de manière programmatique avec le SageMaker Python SDK ou découvrez des modèles de JumpStart base directement via la SageMaker console d'intelligence artificielle.
**Topics**
+ [Utilisation de modèles de fondation dans Studio](jumpstart-foundation-models-use-studio-updated.md)
+ [Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md)
+ [Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md)
+ [Découvrez les modèles de base dans l' SageMaker AI Console](jumpstart-foundation-models-use-console.md)
# Utilisation de modèles de fondation dans Studio
Amazon SageMaker Studio vous permet d'affiner, de déployer et d'évaluer des modèles de JumpStart base accessibles au public et propriétaires directement via l'interface utilisateur de Studio.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’expérience Studio mise à jour. Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Pour commencer, accédez à la page JumpStart d'accueil d'Amazon SageMaker Studio. Vous pouvez y accéder depuis la page **Accueil** ou depuis le menu du panneau de gauche. Sur la page **JumpStart**d'accueil, vous pouvez explorer les hubs de modèles proposés par des fournisseurs de modèles accessibles au public et propriétaires, et rechercher des modèles.
Dans chaque hub, vous pouvez trier les modèles en fonction du **plus grand nombre de likes**, du **plus grand nombre de téléchargements**, des **mises à jour récentes**, ou les filtrer par tâche. Choisissez un modèle pour consulter sa carte détaillée. Sur la carte détaillée du modèle, vous pouvez choisir **Ajuster**, **Déployer** ou **Évaluer** le modèle, selon l’option disponible. Notez que tous les modèles ne sont pas disponibles pour le peaufinage ou l’évaluation.
Pour plus d'informations sur la prise en main d'Amazon SageMaker Studio, consultez[Amazon SageMaker Studio](studio-updated.md).
**Topics**
+ [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md)
+ [Déploiement d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-deploy.md)
+ [Évaluation d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-evaluate.md)
+ [Utilisez vos SageMaker JumpStart modèles dans Amazon Bedrock](jumpstart-foundation-models-use-studio-updated-register-bedrock.md)
# Peaufinage d’un modèle dans Studio
Le peaufinage entraîne un modèle pré-entraîné sur un nouveau jeu de données sans partir de zéro. Ce processus, également connu sous le nom d’apprentissage par transfert, peut produire des modèles précis avec des jeux de données plus petits et moins de temps d’entraînement. Pour affiner les modèles de JumpStart base, accédez à une fiche détaillée du modèle dans l'interface utilisateur de Studio. Pour plus d'informations sur la procédure d'ouverture JumpStart dans Studio, consultez[Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio). Après avoir accédé à la carte détaillée du modèle de votre choix, choisissez **Entraîner** dans le coin supérieur droit. Notez que tous les modèles ne sont pas disponibles pour le peaufinage.
**Important**
Certains modèles de fondation nécessitent l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant le peaufinage. Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
## Paramètres du modèle
Lorsque vous utilisez un modèle de JumpStart base préformé dans Amazon SageMaker Studio, l'**emplacement de l'artefact du modèle (URI Amazon S3)** est renseigné par défaut. Pour modifier l’URI Amazon S3 par défaut, choisissez **Saisir l’emplacement d’un artefact de modèle**. Tous les modèles ne prennent pas en charge la modification de l’emplacement d’un artefact de modèle.
## Paramètres des données
Dans le champ **Données**, indiquez un point d’URI Amazon S3 vers l’emplacement de votre jeu de données d’entraînement. L’URI Amazon S3 par défaut pointe vers un exemple de jeu de données d’entraînement. Pour modifier l’URI Amazon S3 par défaut, choisissez **Entrer le jeu de données d’entraînement** et modifiez l’URI. N'oubliez pas de consulter la fiche détaillée du modèle dans Amazon SageMaker Studio pour obtenir des informations sur le formatage des données d'entraînement.
## Hyperparamètres
Vous pouvez personnaliser les hyperparamètres de la tâche d'entraînement utilisés pour affiner le modèle. Les hyperparamètres disponibles pour chaque modèle réglable varient en fonction du modèle.
Les hyperparamètres suivants sont courants parmi les modèles :
+ **Epochs (Époques)** – Une époque est un cycle dans l'ensemble du jeu de données. Plusieurs intervalles complètent un lot, et plusieurs lots finissent par compléter une époque. Plusieurs époques sont exécutées jusqu'à ce que la précision du modèle atteigne un niveau acceptable ou lorsque le taux d'erreur descend en dessous d'un niveau acceptable.
+ **Learning rate (Taux d'apprentissage)** – Quantité de modifications que doivent subir les valeurs d'une époque à l'autre. Au fur et à mesure que le modèle est affiné, ses pondérations internes sont modifiées et les taux d'erreur sont vérifiés pour voir si le modèle s'améliore. Un taux d'apprentissage typique est de 0,1 ou 0,01, où 0,01 est un ajustement beaucoup plus petit et peut faire en sorte que l'entraînement prenne beaucoup de temps pour converger, alors que 0,1 est beaucoup plus grand et peut faire en sorte que l'entraînement dépasse les limites. Il s'agit de l'un des principaux hyperparamètres que vous pouvez ajuster pour l'entraînement de votre modèle. Notez que pour les modèles de texte, un taux d'apprentissage beaucoup plus faible (5e-5 pour BERT) peut donner lieu à un modèle plus précis.
+ **Taille du lot** : nombre d'enregistrements de l'ensemble de données à sélectionner pour chaque intervalle à envoyer à des GPUs fins d'entraînement.
Consultez les invites d’info-bulles et les informations supplémentaires figurant sur la carte détaillée du modèle dans l’interface utilisateur Studio pour en savoir plus sur les hyperparamètres spécifiques au modèle de votre choix.
Pour plus d’informations sur les hyperparamètres disponibles, consultez [Hyperparamètres de peaufinage couramment pris en charge](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Déploiement
Spécifiez le type d’instance d’entraînement et l’emplacement de l’artefact de sortie pour votre tâche d’entraînement. Dans le cadre d’un peaufinage dans l’interface utilisateur Studio, vous ne pouvez choisir que des instances compatibles avec le modèle de votre choix. L'emplacement de l'artefact de sortie par défaut est le bucket par défaut de l' SageMaker IA. Pour modifier l’emplacement de l’artefact de sortie, choisissez **Entrer l’emplacement de l’artefact de sortie**, puis modifiez l’URI Amazon S3.
## Sécurité
Spécifiez les paramètres de sécurité à utiliser pour votre tâche de formation, notamment le rôle IAM que l' SageMaker IA utilise pour former votre modèle, si votre formation doit se connecter à un cloud privé virtuel (VPC) et les clés de chiffrement pour sécuriser vos données.
## Informations supplémentaires
Vous pouvez modifier le nom de la tâche d’entraînement dans le champ **Informations supplémentaires**. Vous pouvez également ajouter et supprimer des balises sous la forme de paires clé-valeur pour organiser et classer vos tâches d’entraînement de peaufinage.
Après avoir fourni des informations pour votre configuration de peaufinage, choisissez **Soumettre**. Si le modèle de fondation pré-entraîné que vous avez choisi d’optimiser nécessite l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant l’entraînement, celui-ci est fourni dans une fenêtre contextuelle. Pour accepter les termes du CLUF, choisissez **Accepter**. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
# Déploiement d’un modèle dans Studio
Pour déployer des modèles de JumpStart base, accédez à une fiche détaillée du modèle dans l'interface utilisateur de Studio. Pour plus d'informations sur la procédure d'ouverture JumpStart dans Studio, consultez[Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio). Après avoir accédé à la page des détails du modèle de votre choix, choisissez **Déployer** dans le coin supérieur droit de l’interface utilisateur Studio. Suivez ensuite les étapes décrites dans [Déployer des modèles avec SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deploy-models.html#deploy-models-studio).
**Important**
Certains modèles de fondation nécessitent l’acceptation explicite d’un contrat de licence d’utilisateur final (CLUF) avant le déploiement. Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
# Évaluation d’un modèle dans Studio
Amazon SageMaker JumpStart propose des intégrations avec les évaluations du modèle de base SageMaker Clarify (FME) dans Studio. Si un JumpStart modèle possède des fonctionnalités d'évaluation intégrées, vous pouvez choisir **Evaluer** dans le coin supérieur droit de la page détaillée du modèle dans l'interface utilisateur de JumpStart Studio. Pour plus d’informations, consultez [Évaluation d’un modèle de fondation](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-evaluate.html).
# Utilisez vos SageMaker JumpStart modèles dans Amazon Bedrock
Vous pouvez enregistrer les modèles que vous avez déployés depuis Amazon SageMaker JumpStart vers Amazon Bedrock. Avec Amazon Bedrock, vous pouvez héberger vos modèles sur plusieurs points de terminaison. Vous pouvez également utiliser les caractéristiques Amazon Bedrock, telles que les agents et les bases de connaissances. Pour plus d’informations sur l’utilisation des modèles Amazon Bedrock, consultez [https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html](https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html).
**Important**
Pour migrer vos modèles vers Amazon Bedrock, nous vous recommandons d'associer une [AmazonBedrockFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html)politique à votre rôle IAM. Si vous ne pouvez pas attacher la politique gérée, assurez-vous que votre rôle IAM dispose des autorisations suivantes :
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:*"
],
"Resource": "*"
},
{
"Sid": "DescribeKey",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": "arn:*:kms:*:::*"
},
{
"Sid": "APIsWithAllResourceAccess",
"Effect": "Allow",
"Action": [
"iam:ListRoles",
"ec2:DescribeVpcs",
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups"
],
"Resource": "*"
},
{
"Sid": "MarketplaceModelEndpointMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:CreateModel",
"sagemaker:CreateInferenceComponent",
"sagemaker:DeleteInferenceComponent",
"sagemaker:DeleteEndpoint",
"sagemaker:UpdateEndpoint"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointTaggingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:DeleteTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
]
},
{
"Sid": "MarketplaceModelEndpointNonMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:DescribeModel",
"sagemaker:DescribeInferenceComponent",
"sagemaker:ListEndpoints",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointInvokingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:InvokeEndpoint",
"sagemaker:InvokeEndpointWithResponseStream"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "DiscoveringMarketplaceModel",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model/*",
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "AllowMarketplaceModelsListing",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
},
{
"Sid": "RetrieveSubscribedMarketplaceLicenses",
"Effect": "Allow",
"Action": [
"license-manager:ListReceivedLicenses"
],
"Resource": [
"*"
]
},
{
"Sid": "PassRoleToSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/*Sagemaker*ForBedrock*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"sagemaker.amazonaws.com",
"bedrock.amazonaws.com"
]
}
}
},
{
"Sid": "PassRoleToBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": "arn:aws:iam::*:role/*AmazonBedrock*",
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"bedrock.amazonaws.com"
]
}
}
}
]
}
```
La stratégie d’accès complet Amazon Bedrock ne fournit des autorisations qu’à l’API Amazon Bedrock. Pour utiliser Amazon Bedrock dans le AWS Management Console, votre rôle IAM doit également disposer des autorisations suivantes :
```
{
"Sid": "AllowConsoleS3AccessForBedrockMarketplace",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": "*"
}
```
Si vous rédigez votre propre politique, vous devez inclure la déclaration de politique autorisant l’action Amazon Bedrock Marketplace pour la ressource. Par exemple, la politique suivante autorise Amazon Bedrock à utiliser l’opération `InvokeModel` pour un modèle que vous avez déployé sur un point de terminaison.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:us-east-1:111122223333:marketplace/model-endpoint/all-access"
]
},
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": ["sagemaker:InvokeEndpoint"],
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/project": "example-project-id",
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
}
]
}
```
Après avoir déployé un modèle, vous pourrez peut-être l’utiliser dans Amazon Bedrock. Pour savoir si vous pouvez l’utiliser dans Amazon Bedrock, accédez à sa carte détaillée dans l’interface utilisateur Studio. Si la carte de modèle indique qu’il s’agit de **Bedrock Ready**, vous pouvez enregistrer le modèle auprès d’Amazon Bedrock.
**Important**
Par défaut, Amazon SageMaker JumpStart désactive l'accès au réseau pour les modèles que vous déployez. Si vous avez activé l’accès au réseau, vous ne pourrez pas utiliser le modèle avec Amazon Bedrock. Si vous souhaitez utiliser le modèle avec Amazon Bedrock, vous devez le redéployer en désactivant l’accès au réseau.
Pour l’utiliser avec Amazon Bedrock, accédez à la page des **détails du point de terminaison** et choisissez **Utiliser avec Bedrock** dans le coin supérieur droit de l’interface utilisateur Studio. Après avoir vu la fenêtre contextuelle, choisissez **Enregistrer auprès de Bedrock**.
# Utiliser des modèles de base dans Amazon SageMaker Studio Classic
Vous pouvez affiner et déployer des modèles de JumpStart base accessibles au public et propriétaires via l'interface utilisateur de Studio Classic.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Pour commencer à utiliser Studio Classic, consultez [Lancez Amazon SageMaker Studio Classic](studio-launch.md).
![\[JumpStart foundation models available in Amazon SageMaker Studio Classic.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-studio.png)
Après avoir ouvert Amazon SageMaker Studio Classic, sélectionnez **Modèles, blocs-notes, solutions** dans la SageMaker JumpStart section du volet de navigation. Faites ensuite défiler la page vers le bas jusqu'à la section **Modèles de fondation : génération de texte** ou **Modèles de fondation : génération d'images**, selon votre cas d'utilisation.
Vous pouvez choisir **Afficher le modèle** sur une carte de modèle de fondation suggérée ou **Explorer tous les modèles** pour voir tous les modèles de fondation disponibles pour la génération de texte ou la génération d'images. Si vous choisissez de voir tous les modèles disponibles, vous pouvez filtrer davantage les modèles disponibles par tâche, type de données, type de contenu ou infrastructure. Vous pouvez également rechercher le nom d'un modèle directement dans la **barre de recherche**. Si vous avez besoin de conseils pour sélectionner un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
**Important**
Certains modèles de fondation nécessitent l'acceptation explicite d'un contrat de licence d'utilisateur final (CLUF). Pour de plus amples informations, veuillez consulter [Acceptation du CLUF dans Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
Après avoir choisi **Afficher le modèle** pour le modèle de fondation de votre choix dans Studio Classic, vous pouvez le déployer. Pour de plus amples informations, veuillez consulter [Déploiement d'un modèle](jumpstart-deploy.md).
Vous pouvez également choisir **Ouvrir le bloc-notes** dans la section **Exécuter dans un bloc-notes** pour exécuter un exemple de bloc-notes pour le modèle de fondation directement dans Studio Classic.
**Note**
Pour déployer un modèle de fondation propriétaire dans Studio Classic, vous devez d’abord vous abonner au modèle dans AWS Marketplace. Le AWS Marketplace lien est fourni dans le bloc-notes d'exemple associé dans Studio Classic.
Si le modèle peut être optimisé, vous pouvez également le faire. Pour de plus amples informations, veuillez consulter [Affiner un modèle](jumpstart-fine-tune.md). Pour obtenir la liste des modèles de JumpStart base pouvant être ajustés avec précision, voir. [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md)
# Utiliser des modèles de base avec le SageMaker Python SDK
Tous les modèles de JumpStart base sont disponibles pour un déploiement programmatique à l'aide du SageMaker Python SDK.
Pour déployer des modèles de fondation accessibles au public, vous pouvez utiliser leur ID de modèle. Vous pouvez trouver le modèle de tous IDs les modèles de base accessibles au public dans le [tableau des algorithmes intégrés avec modèles préentraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html). Recherchez le nom d’un modèle de fondation dans la barre **Search**. Utilisez le menu déroulant **Show entries** ou les commandes de pagination pour parcourir les modèles disponibles.
Les modèles propriétaires doivent être déployés à l'aide des informations du package de modèle après s'être abonné au modèle dans AWS Marketplace.
Vous trouverez la liste des modèles JumpStart disponibles dans[Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
**Important**
Certains modèles de fondation nécessitent l'acceptation explicite d'un contrat de licence d'utilisateur final (CLUF). Pour de plus amples informations, veuillez consulter [Acceptation du CLUF avec le SDK SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk).
Les sections suivantes montrent comment optimiser les modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`, comment les déployer à l’aide de la classe `JumpStartModel`, et comment déployer les modèles de fondation propriétaires à l’aide de la classe `ModelPackage`.
**Topics**
+ [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
+ [Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`](jumpstart-foundation-models-use-python-sdk-model-class.md)
+ [Déploiement de modèles de fondation propriétaires avec la classe `ModelPackage`](jumpstart-foundation-models-use-python-sdk-proprietary.md)
# Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`
**Note**
Pour obtenir des instructions sur le peaufinage des modèles de fondation dans un hub privé organisé, consultez [Peaufinage de modèles dans un hub organisé](jumpstart-curated-hubs-fine-tune.md).
Vous pouvez affiner un algorithme intégré ou un modèle préentraîné en quelques lignes de code à l'aide du SageMaker Python SDK.
1. Commencez par rechercher l’ID de modèle de votre choix dans le [tableau des algorithmes intégrés aux modèles pré-entraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. À l'aide de l'ID du modèle, définissez votre poste de formation en tant qu' JumpStartestimateur.
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "huggingface-textgeneration1-gpt-j-6b"
estimator = JumpStartEstimator(model_id=model_id)
```
1. Exécutez `estimator.fit()` sur votre modèle en pointant vers les données d’entraînement à utiliser pour le peaufinage.
```
estimator.fit(
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
1. Utilisez ensuite la méthode `deploy` pour déployer automatiquement votre modèle à des fins d’inférence. Dans cet exemple, nous utilisons le modèle Hugging Face GPT-J 6B.
```
predictor = estimator.deploy()
```
1. Vous pouvez ensuite exécuter l’inférence avec le modèle déployé, à l’aide de la méthode `predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**Note**
Cet exemple utilise le modèle de fondation GPT-J 6B, qui convient à un large éventail de cas d’utilisation de génération de texte, notamment les réponses à des questions, la reconnaissance d’entités nommées, la synthèse, etc. Pour plus d’informations sur les cas d’utilisation d’un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
Vous pouvez éventuellement spécifier des versions de modèle ou des types d’instances lors de la création de votre `JumpStartEstimator`. Pour plus d'informations sur la `JumpStartEstimator ` classe et ses paramètres, consultez [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
## Vérification de types d’instance par défaut
Vous pouvez éventuellement inclure des versions de modèle ou des types d’instances spécifiques lorsque du peaufinage d’un modèle pré-entraîné à l’aide de la classe `JumpStartEstimator`. Tous les JumpStart modèles ont un type d'instance par défaut. Extrayez le type d’instance d’entraînement par défaut à l’aide du code suivant :
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="training")
print(instance_type)
```
Vous pouvez voir tous les types d'instances pris en charge pour un JumpStart modèle donné avec la `instance_types.retrieve()` méthode.
## Vérification d’hyperparamètres par défaut
Pour vérifier les hyperparamètres par défaut utilisés pour l’entraînement, vous pouvez utiliser la méthode `retrieve_default()` de la classe `hyperparameters`.
```
from sagemaker import hyperparameters
my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)
print(my_hyperparameters)
# Optionally override default hyperparameters for fine-tuning
my_hyperparameters["epoch"] = "3"
my_hyperparameters["per_device_train_batch_size"] = "4"
# Optionally validate hyperparameters for the model
hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)
```
Pour plus d’informations sur les hyperparamètres disponibles, consultez [Hyperparamètres de peaufinage couramment pris en charge](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Vérification de définitions de métriques par défaut
Vous pouvez également vérifier les définitions de métriques par défaut :
```
print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version))
```
# Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`
Vous pouvez déployer un algorithme intégré ou un modèle préentraîné sur un point de terminaison d' SageMaker IA en quelques lignes de code à l'aide du SageMaker Python SDK.
1. Commencez par rechercher l’ID de modèle de votre choix dans le [tableau des algorithmes intégrés aux modèles pré-entraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. À l'aide de l'ID du modèle, définissez votre modèle en tant que JumpStart modèle.
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)
```
1. Utilisez la méthode `deploy` pour déployer automatiquement votre modèle à des fins d’inférence. Dans cet exemple, nous utilisons le modèle Hugging Face FLAN-T5 XL.
```
predictor = my_model.deploy()
```
1. Vous pouvez ensuite exécuter l’inférence avec le modèle déployé, à l’aide de la méthode `predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**Note**
Cet exemple utilise le modèle de fondation FLAN-T5 XL, qui convient à un large éventail de cas d’utilisation de génération de texte, notamment les réponses à des questions, la synthèse, la création de chatbot, etc. Pour plus d’informations sur les cas d’utilisation d’un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
Pour plus d'informations sur la `JumpStartModel ` classe et ses paramètres, consultez [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
## Vérification de types d’instance par défaut
Vous pouvez éventuellement inclure des versions de modèle ou des types d’instances spécifiques lorsque vous déployez un modèle pré-entraîné à l’aide de la classe `JumpStartModel`. Tous les JumpStart modèles ont un type d'instance par défaut. Extrayez le type d’instance de déploiement par défaut à l’aide du code suivant :
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="inference")
print(instance_type)
```
Consultez tous les types d'instances pris en charge pour un JumpStart modèle donné avec la `instance_types.retrieve()` méthode.
## Utilisation de composants d’inférence pour déployer plusieurs modèles vers un point de terminaison partagé
Un composant d'inférence est un objet d'hébergement d' SageMaker IA que vous pouvez utiliser pour déployer un ou plusieurs modèles sur un point de terminaison afin d'accroître la flexibilité et l'évolutivité. Vous devez modifier le point de terminaison `endpoint_type` de votre JumpStart modèle inference-component-based plutôt que le point de terminaison basé sur le modèle par défaut.
```
predictor = my_model.deploy(
endpoint_name = 'jumpstart-model-id-123456789012',
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)
```
Pour plus d'informations sur la création de points de terminaison avec des composants d'inférence et le déploiement de modèles d' SageMaker IA, consultez. [Utilisation partagée des ressources avec plusieurs modèles](realtime-endpoints-deploy-models.md#deployed-shared-utilization)
## Vérification des formats d’inférence d’entrée et de sortie valides
Pour vérifier les formats d’entrée et de sortie de données valides à des fins d’inférence, vous pouvez utiliser la méthode `retrieve_options()` des classes `Serializers` et `Deserializers`.
```
print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))
```
## Vérification du contenu pris en charge et des types d’acceptations
De même, vous pouvez utiliser la méthode `retrieve_options()` pour vérifier le contenu pris en charge et les types d’acceptations pour un modèle.
```
print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))
```
Pour plus d'informations sur les utilitaires, consultez la section [Utilitaire APIs](https://sagemaker.readthedocs.io/en/stable/api/utility/index.html).
# Déploiement de modèles de fondation propriétaires avec la classe `ModelPackage`
Les modèles propriétaires doivent être déployés à l'aide des informations du package de modèle après s'être abonné au modèle dans AWS Marketplace. Pour plus d'informations sur l' SageMaker IA AWS Marketplace, consultez [Buy and Sell Amazon SageMaker AI Algorithms and Models in AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Pour trouver AWS Marketplace des liens vers les derniers modèles propriétaires, consultez [Getting started with Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
Après avoir souscrit au modèle de votre choix dans AWS Marketplace, vous pouvez déployer le modèle de base à l'aide du SageMaker Python SDK et du SDK associés au fournisseur de modèles. Par exemple, AI21 Labs, Cohere et LightOn use the `"ai21[SM]"``cohere-sagemaker`, et `lightonsage` packages, respectivement.
Par exemple, pour définir un JumpStart modèle à l'aide de Jurassic-2 Jumbo Instruct from AI21 Labs, utilisez le code suivant :
```
import sagemaker
import ai21
role = get_execution_role()
sagemaker_session = sagemaker.Session()
model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"
my_model = ModelPackage(
role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)
```
Par step-by-step exemple, recherchez et exécutez le bloc-notes associé au modèle de base propriétaire de votre choix dans SageMaker Studio Classic. Pour plus d’informations, consultez [Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md). Pour plus d'informations sur le SageMaker Python SDK, consultez [https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage).
# Découvrez les modèles de base dans l' SageMaker AI Console
Vous pouvez explorer les modèles de JumpStart base directement via la console Amazon SageMaker AI.
1. Ouvrez la console Amazon SageMaker AI à l'adresse [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Recherchez dans **JumpStart**le panneau de navigation de gauche et choisissez **Foundation models**.
1. Parcourez les modèles ou recherchez un modèle spécifique. Si vous avez besoin de conseils pour sélectionner un modèle, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md). Choisissez **Afficher le modèle** pour afficher la page détaillée du modèle de fondation de votre choix.
1. S’il s’agit d’un modèle propriétaire, choisissez **S’abonner** dans le coin supérieur droit de la page des détails du modèle pour vous abonner au modèle dans AWS Marketplace. Vous devriez recevoir un e-mail de confirmation de votre abonnement au modèle de votre choix. Pour plus d'informations sur l' SageMaker IA AWS Marketplace, consultez [Buy and Sell Amazon SageMaker AI Algorithms and Models in AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Les modèles de fondation accessibles au public ne nécessitent pas d'abonnement.
1. Pour afficher un exemple de bloc-notes dans GitHub, choisissez **Afficher le code** dans le coin supérieur droit de la page détaillée du modèle.
1. Pour afficher et exécuter un exemple de bloc-notes directement dans Amazon SageMaker Studio Classic, choisissez **Ouvrir un bloc-notes dans Studio** dans le coin supérieur droit de la page détaillée du modèle.
# Modèles de sources et de contrats de licence
Amazon SageMaker JumpStart donne accès à des centaines de modèles de fondations propriétaires et accessibles au public provenant de sources et de partenaires tiers. Vous pouvez explorer la sélection du modèle de JumpStart base directement dans la console SageMaker AI, Studio ou Studio Classic.
## Licences et sources de modèle
Amazon SageMaker JumpStart fournit un accès à la fois à des modèles de fondation accessibles au public et à des modèles propriétaires. Les modèles de fondation sont intégrés et gérés par des fournisseurs tiers open source et propriétaires. En tant que tels, ils sont publiés sous différentes licences désignées par la source du modèle. Assurez-vous de consulter la licence de tous les modèles de fondation que vous utilisez. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser le contenu. Voici quelques exemples de licences de modèles de fondation courants :
+ Alexa Teacher Model
+ Apache 2.0
+ BigScience Licence Responsible AI v1.0
+ Licence CreativeML Open RAIL\$1\$1-M
De même, pour les modèles de fondation propriétaires, assurez-vous de consulter et de respecter les conditions d'utilisation et les directives d'utilisation du fournisseur de modèle. Si vous avez des questions concernant les informations de licence pour un modèle propriétaire spécifique, contactez directement le fournisseur de modèle. Vous trouverez les coordonnées du fournisseur de modèle dans l'onglet **Support** sur la page de chaque modèle dans AWS Marketplace.
## Contrats de licence de l'utilisateur final
Certains modèles de JumpStart base nécessitent l'acceptation explicite d'un contrat de licence utilisateur final (EULA) avant utilisation.
### Acceptation du CLUF dans Amazon Studio SageMaker
Vous pouvez être invité à accepter un contrat de licence d'utilisateur final avant de peaufiner, de déployer ou d'évaluer un modèle de JumpStart base dans Studio. Pour commencer à utiliser les modèles de JumpStart base dans Studio, voir[Utilisation de modèles de fondation dans Studio](jumpstart-foundation-models-use-studio-updated.md).
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’expérience Studio mise à jour. Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Certains modèles de JumpStart base nécessitent l'acceptation d'un contrat de licence utilisateur final avant le déploiement. Si cela s’applique au modèle de fondation que vous choisissez d’utiliser, Studio affiche une fenêtre d’invite contenant le contenu du CLUF. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
#### Acceptation du CLUF dans Amazon SageMaker Studio Classic
Vous pouvez être invité à accepter un contrat de licence utilisateur final avant de déployer un modèle de JumpStart base ou d'ouvrir un bloc-notes de modèle de JumpStart base dans Studio Classic. Pour commencer à utiliser les modèles de JumpStart base dans Studio Classic, consultez[Utiliser des modèles de base dans Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Certains modèles de JumpStart base nécessitent l'acceptation d'un contrat de licence utilisateur final avant le déploiement. Si cela s’applique au modèle de fondation que vous choisissez d’utiliser, Studio affiche la fenêtre d’invite **Examiner le contrat de licence d’utilisateur final (CLUF) et la politique d’utilisation acceptable (AUP) ci-dessous** une fois que vous avez choisi **Déployer** ou **Ouvrir le bloc-notes**. Il vous incombe de vérifier et de respecter les contrats de licence applicables et de vous assurer qu'ils sont acceptables pour votre cas d'utilisation avant de télécharger ou d'utiliser un modèle.
### Acceptation du CLUF avec le SDK SageMaker Python
Les sections suivantes expliquent comment déclarer explicitement l'acceptation du CLUF lors du déploiement ou de la mise au point d'un JumpStart modèle avec le SageMaker Python SDK. Pour plus d'informations sur la prise en main des modèles de JumpStart base à l'aide du SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Avant de commencer, assurez-vous d’effectuer les actions suivantes :
+ Effectuez une mise à niveau vers la dernière version du modèle que vous utilisez.
+ Installez la dernière version du SageMaker Python SDK.
**Important**
Pour utiliser le flux de travail suivant, vous devez avoir installé la [version 2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) ou ultérieure du SDK. SageMaker Python
#### Acceptation du CLUF lors du déploiement d'un modèle JumpStart
Pour les modèles qui nécessitent l'acceptation d'un contrat de licence utilisateur final, vous devez déclarer explicitement l'acceptation du CLUF lors du déploiement de votre JumpStart modèle.
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "meta-textgeneration-llama-2-13b"
my_model = JumpStartModel(model_id=model_id)
# Declare EULA acceptance when deploying your JumpStart model
predictor = my_model.deploy(accept_eula=True)
```
La valeur de `accept_eula` est définie sur `None` par défaut et doit être explicitement redéfinie sur `True` afin d'accepter le contrat de licence d'utilisateur final. Pour de plus amples informations, veuillez consulter [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
#### Acceptation du CLUF lors de la mise au point d'un modèle JumpStart
Pour affiner les modèles qui nécessitent l'acceptation d'un contrat de licence utilisateur final, vous devez explicitement déclarer l'acceptation du CLUF lorsque vous exécutez la `fit()` méthode pour votre estimateur. JumpStart Après le peaufinage d’un modèle pré-entraîné, les poids du modèle d’origine sont modifiés. Par conséquent, lorsque vous déployez le modèle peaufiné ultérieurement, il n’est pas nécessaire d’accepter un CLUF.
**Note**
L’exemple suivant indique `accept_eula=False`. Vous devez modifier manuellement la valeur sur `True` afin d’accepter le CLUF.
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "meta-textgeneration-llama-2-13b"
# Declare EULA acceptance when defining your JumpStart estimator
estimator = JumpStartEstimator(model_id=model_id)
estimator.fit(accept_eula=False,
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
La valeur `accept_eula` est définie sur `None` par défaut et doit être explicitement redéfinie sur `"true"` dans la méthode `fit()` afin d’accepter le contrat de licence d’utilisateur final. Pour de plus amples informations, veuillez consulter [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
#### Versions du SageMaker Python SDK d'acceptation du CLUF antérieures à 2.198.0
**Important**
Lorsque vous utilisez des versions antérieures à [2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) du SageMaker Python SDK, vous devez utiliser la SageMaker `Predictor` classe pour accepter un EULA de modèle.
Après avoir déployé un modèle de JumpStart base par programmation à l'aide du SageMaker Python SDK, vous pouvez exécuter une inférence sur votre point de terminaison déployé avec la classe. SageMaker `[Predictor](https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html)` Pour les modèles qui nécessitent l’acceptation d’un contrat de licence d’utilisateur final, vous devez déclarer explicitement l’acceptation du CLUF lors de l’appel de la classe `Predictor` :
```
predictor.predict(payload, custom_attributes="accept_eula=true")
```
La valeur de `accept_eula` est définie sur `false` par défaut et doit être explicitement redéfinie sur `true` afin d'accepter le contrat de licence d'utilisateur final. Le prédicteur renvoie une erreur si vous essayez d’exécuter une inférence alors que `accept_eula` est défini sur `false`. Pour plus d'informations sur la prise en main des modèles de JumpStart base à l'aide du SageMaker Python SDK, consultez[Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
**Important**
Le paramètre `custom_attributes` accepte les paires clé-valeur au format `"key1=value1;key2=value2"`. Si vous utilisez la même clé plusieurs fois, le serveur d'inférence utilise la dernière valeur associée à la clé. Par exemple, si vous transmettez `"accept_eula=false;accept_eula=true"` au paramètre `custom_attributes`, le serveur d'inférence associe la valeur `true` à la clé `accept_eula`.
# Personnalisation d’un modèle de fondation
Les modèles de fondation sont des modèles extrêmement puissants, capables de résoudre un large éventail de tâches. Pour résoudre efficacement la plupart des tâches, ces modèles nécessitent une certaine forme de personnalisation.
La méthode recommandée pour personnaliser un modèle de fondation en fonction d'un cas d'utilisation spécifique consiste à utiliser l'ingénierie rapide. En fournissant à votre modèle de fondation des instructions bien conçues et riches en contexte, vous pourrez obtenir les résultats souhaités sans avoir à optimiser ou à modifier les poids de modèle. Pour de plus amples informations, veuillez consulter [Ingénierie rapide pour les modèles de fondation](jumpstart-foundation-models-customize-prompt-engineering.md).
Si l'ingénierie rapide ne suffit pas à elle seule pour personnaliser votre modèle de fondation en fonction d'une tâche spécifique, vous pouvez optimiser un modèle de fondation sur des données supplémentaires propres au domaine. Pour de plus amples informations, veuillez consulter [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md). Le processus d'optimisation implique de modifier les poids de modèle.
Si vous souhaitez personnaliser votre modèle à l'aide des informations d'une bibliothèque de connaissances sans aucun recyclage, consultez [Génération à enrichissement contextuel (RAG)](jumpstart-foundation-models-customize-rag.md).
# Ingénierie rapide pour les modèles de fondation
L'ingénierie rapide est le processus qui consiste à concevoir et à affiner les instructions ou les stimuli d'entrée d'un modèle de langage afin de générer des types de sorties spécifiques. L'ingénierie rapide implique de sélectionner des mots-clés appropriés, de fournir du contexte et de façonner les entrées de manière à encourager le modèle à produire la réponse souhaitée. Il s'agit d'une technique essentielle pour façonner activement le comportement et le résultat des modèles de fondation.
Une ingénierie rapide et efficace est essentielle pour orienter le comportement du modèle et obtenir les réponses souhaitées. Grâce à l'ingénierie rapide, vous pouvez contrôler le ton, le style et l'expertise du domaine d'un modèle sans avoir à recourir à des mesures de personnalisation supplémentaires, telles que l'optimisation. Nous vous recommandons de consacrer du temps à l'ingénierie rapide avant d'envisager d'optimiser un modèle sur la base de données supplémentaires. L'objectif est de fournir suffisamment de contexte et de conseils au modèle afin qu'il puisse généraliser et fonctionner correctement sur des scénarios de données inconnus ou limités.
## Apprentissage en zéro coup
L'apprentissage en zéro coup consiste à entraîner un modèle pour généraliser et faire des prédictions sur des classes ou des tâches inconnues. Pour effectuer une ingénierie rapide dans des environnements d'apprentissage en zéro coup, nous vous recommandons de construire des invites qui fournissent explicitement des informations sur la tâche cible et le format de sortie souhaité. Par exemple, si vous souhaitez utiliser un modèle de fondation pour la classification de texte en zéro coup sur un ensemble de classes que le modèle n'a pas vues pendant l'entraînement, une invite bien conçue ressemblerait à : `"Classify the following text as either sports, politics, or entertainment: [input text]."` En spécifiant explicitement les classes cibles et le format de sortie attendu, vous pouvez guider le modèle pour qu'il fasse des prédictions précises, même sur des classes inconnues.
## Apprentissage en quelques coups
L'apprentissage en quelques coups consiste à entraîner un modèle avec une quantité limitée de données pour de nouvelles classes ou tâches. L'ingénierie rapide dans les environnements d'apprentissage en quelques coups se concentre sur la conception d'instructions qui utilisent efficacement la quantité limitée de données d'entraînement disponibles. Par exemple, si vous utilisez un modèle de fondation pour une tâche de classification d'image et que vous ne disposez que de quelques exemples d'une nouvelle classe d'images, vous pouvez créer une invite qui inclut les exemples étiquetés disponibles avec un espace réservé pour la classe cible. L'invite ressemblerait à : `"[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]"`. En incorporant les quelques exemples étiquetés et en spécifiant explicitement la classe cible, vous pouvez guider le modèle pour qu'il généralise et fasse des prédictions précises, même avec une quantité minimale de données d'entraînement.
## Paramètres d’inférence pris en charge
La modification des paramètres d’inférence peut également affecter les réponses à vos invites. Vous pouvez essayer d’ajouter autant de spécificités et de contexte que possible à vos invites, mais vous pouvez également effectuer des essais avec les paramètres d’inférence pris en charge. Voici des exemples de paramètres d’inférence couramment pris en charge :
| Paramètres d’inférence | Description |
| --- | --- |
| `max_new_tokens` | Longueur de sortie maximale d’une réponse du modèle de fondation. Valeurs valides : nombre entier, plage : nombre entier positif. |
| `temperature` | Contrôle le caractère aléatoire de la sortie. Une température plus élevée entraîne une séquence de sortie avec des mots à faible probabilité et une température plus basse entraîne une séquence de sortie avec des mots à forte probabilité. Si la valeur est `temperature=0`, la réponse est composée uniquement des mots ayant la plus forte probabilité (décodage gourmand). Valeurs valides : valeur à virgule flottante, plage : valeur à virgule flottante positive. |
| `top_p` | À chaque étape de génération de texte, le modèle échantillonne à partir du plus petit ensemble de mots possible avec une probabilité cumulée correspondant à `top_p`. Valeurs valides : float, plage : 0.0, 1.0. |
| `return_full_text` | Si la valeur est `True`, alors le texte d’entrée fait partie du texte de sortie généré. Valeurs valides : booléenne, par défaut : False. |
Pour plus d’informations sur les inférences de modèles de fondation, consultez [Déploiement de modèles de fondation accessibles au public à l’aide de la classe `JumpStartModel`](jumpstart-foundation-models-use-python-sdk-model-class.md).
Si l'ingénierie rapide ne suffit pas à adapter votre modèle de fondation à des besoins professionnels spécifiques, à un langage spécifique à un domaine, à des tâches cibles ou à d'autres exigences, vous pouvez envisager d'optimiser votre modèle en fonction de données supplémentaires ou d'utiliser la génération augmentée de récupération (RAG) pour enrichir l'architecture de votre modèle avec un contexte amélioré issu de sources de connaissances archivées. Pour plus d’informations, consultez [Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md) ou [Génération à enrichissement contextuel (RAG)](jumpstart-foundation-models-customize-rag.md).
# Modèles de fondation et hyperparamètres pour le peaufinage
Les modèles de fondation sont coûteux en ressources informatiques et sont entraînés sur un vaste corps non étiqueté. L'optimisation d'un modèle de fondation pré-entraîné est un moyen abordable de tirer parti de ses nombreuses fonctionnalités tout en personnalisant un modèle sur votre propre petit corps. L'optimisation est une méthode de personnalisation qui implique un entraînement supplémentaire et qui modifie le poids de votre modèle.
L'optimisation peut vous être utile si vous avez besoin :
+ de personnaliser votre modèle en fonction des besoins spécifiques de votre entreprise
+ que votre modèle fonctionne correctement avec un langage spécifique à un domaine, tel que le jargon de l'industrie, les termes techniques ou tout autre vocabulaire spécialisé
+ de performances améliorées pour certaines tâches
+ de réponses précises, relatives et contextuelles dans les applications
+ de réponses plus factuelles, moins toxiques et mieux adaptées à certaines exigences
Il existe deux approches principales que vous pouvez adopter pour l'optimisation en fonction de votre cas d'utilisation et du modèle de fondation choisi.
1. Si vous souhaitez optimiser votre modèle sur des données spécifiques à un domaine, consultez [Peaufinage d’un grand modèle de langage (LLM) avec l’adaptation de domaine](jumpstart-foundation-models-fine-tuning-domain-adaptation.md).
1. Si vous souhaitez effectuer une optimisation basée sur des instructions à l'aide d'exemples d'invite et de réponse, consultez [Peaufinage d’un grand modèle de langage (LLM) à l’aide d’instructions d’invite](jumpstart-foundation-models-fine-tuning-instruction-based.md).
## Modèles de fondation disponibles pour le peaufinage
Vous pouvez affiner l'un des modèles de JumpStart base suivants :
+ Bloom 3B
+ Bloom 7B1
+ BloomZ 3B FP16
+ Bloom Z 7B1 FP16
+ Code Llama 13B
+ Code Llama 13B Python
+ Code Llama 34B
+ Code Llama 34B Python
+ Code Llama 70B
+ Code Llama 70B Python
+ Code Llama 7B
+ Code Llama 7B Python
+ CyberAgentLM2-7B-Chat (-7B-Chat) CALM2
+ Falcon40 B BF16
+ Falcon40B Instruct BF16
+ Falcon7 B BF16
+ Falcon7B Instruct BF16
+ Flan-T5 Base
+ Flan-T5 Large
+ Flan-T5 Small
+ Flan-T5 XL
+ Flan-T5 XXL
+ Gemma 2B
+ Gemma 2B Instruct
+ Gemma 7B
+ Gemma 7B Instruct
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ LightGPT Instruct 6B
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
+ Mistral 7B
+ Mixtral 8x7B
+ Mixtral 8x7B Instruct
+ RedPajama Base INCITE 3B V1
+ RedPajama Base INCITE 7B V1
+ RedPajama INCITE Chat 3B V1
+ RedPajama INCITE Chat 7B V1
+ RedPajama INCITE Instruct 3B V1
+ RedPajama INCITE Instruct 7B V1
+ Stable Diffusion 2.1
## Hyperparamètres de peaufinage couramment pris en charge
Différents modèles de fondation prennent en charge différents hyperparamètres lors d’un peaufinage. Les hyperparamètres suivants sont couramment pris en charge et permettent de personnaliser davantage votre modèle pendant l’entraînement :
| Paramètres d’inférence | Description |
| --- | --- |
| `epoch` | Nombre de passages effectués par le modèle dans le jeu de données de peaufinage pendant l’entraînement. Doit être un entier supérieur à 1. |
| `learning_rate` | Taux auquel les poids du modèle sont mis à jour après que chaque lot d’exemples d’entraînement de peaufinage a été parcouru. Doit être une valeur flottante positive supérieure à 0. |
| `instruction_tuned` | S’il faut entraîner le modèle sur instruction ou non. Doit être `'True'` ou `'False'`. |
| `per_device_train_batch_size` | Taille du lot par cœur de GPU ou CPU pour l’entraînement. Doit être un nombre entier positif. |
| `per_device_eval_batch_size` | Taille du lot par cœur de GPU ou CPU pour l’évaluation. Doit être un nombre entier positif. |
| `max_train_samples` | À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples d’entraînement à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples d’entraînement. Doit être un nombre entier positif ou -1. |
| `max_val_samples` | À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples de validation à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples de validation. Doit être un nombre entier positif ou -1. |
| `max_input_length` | Longueur totale maximale de la séquence d’entrée après création de jeton. Les séquences plus longues seront tronquées. Si -1, le paramètre `max_input_length` est défini sur le minimum de 1 024 et `model_max_length` est défini par le créateur de jetons. Si le paramètre est défini sur une valeur positive, `max_input_length` est défini sur le minimum de la valeur fournie et `model_max_length` est défini par le créateur de jetons. Doit être un nombre entier positif ou -1. |
| `validation_split_ratio` | S’il n’existe aucun canal de validation, le ratio entraînement-validation est calculé à partir des données d’entraînement. Doit être compris entre 0 et 1. |
| `train_data_split_seed` | Si les données de validation sont absentes, ceci corrige la répartition aléatoire des données d’entraînement d’entrée en données d’entraînement et de validation utilisées par le modèle. Doit être un nombre entier. |
| `preprocessing_num_workers` | Nombre de processus à utiliser pour le prétraitement. Si la valeur est `None`, le processus principal est utilisé pour le prétraitement. |
| `lora_r` | Valeur r d’adaptation de rang inférieur (LoRA) qui sert de facteur de mise à l’échelle pour les mises à jour de poids. Doit être un nombre entier positif. |
| `lora_alpha` | Valeur alpha d’adaptation de rang inférieur (LoRA) qui sert de facteur de mise à l’échelle pour les mises à jour de poids. Généralement 2 à 4 fois la taille de `lora_r`. Doit être un nombre entier positif. |
| `lora_dropout` | La valeur d’abandon pour les couches d’adaptation de rang inférieur (LoRA) doit être une valeur flottante positive comprise entre 0 et 1. |
| `int8_quantization` | Si la valeur est `True`, le modèle est chargé avec une précision de 8 bits pour l’entraînement. |
| `enable_fsdp` | Si la valeur est `True`, l’entraînement utilise le parallélisme entièrement partitionné des données. |
Vous pouvez spécifier les valeurs des hyperparamètres lorsque vous optimisez votre modèle dans Studio. Pour de plus amples informations, veuillez consulter [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md).
Vous pouvez également remplacer les valeurs par défaut des hyperparamètres lorsque vous peaufinez votre modèle à l'aide du SDK. SageMaker Python Pour de plus amples informations, veuillez consulter [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md).
# Peaufinage d’un grand modèle de langage (LLM) avec l’adaptation de domaine
L'optimisation adaptée à un domaine vous permet de tirer parti de modèles de fondation pré-entraînés et de les adapter à des tâches spécifiques en utilisant une quantité limitée de données spécifiques au domaine. Si l'ingénierie rapide ne permet pas une personnalisation suffisante, vous pouvez utiliser l'optimisation adaptée à un domaine pour que votre modèle fonctionne avec un langage spécifique au domaine, tel que le jargon de l'industrie, les termes techniques ou d'autres données spécialisées. Ce processus d'optimisation modifie les poids du modèle.
Pour optimiser votre modèle sur un jeu de données spécifique à un domaine :
1. Préparez vos données d’entraînement. Pour obtenir des instructions, consultez [Préparation et téléchargement des données d’entraînement pour le peaufinage adaptatif à un domaine](#jumpstart-foundation-models-fine-tuning-domain-adaptation-prepare-data).
1. Créez votre tâche d’entraînement de peaufinage. Pour obtenir des instructions, veuillez consulter [Création d’une tâche d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-domain-adaptation-train).
Vous trouverez des end-to-end exemples dans[Exemples de blocs-notes](#jumpstart-foundation-models-fine-tuning-domain-adaptation-examples).
L'optimisation adaptée au domaine est disponible avec les modèles de fondation suivants :
**Note**
Certains modèles de JumpStart base, tels que Llama 2 7B, nécessitent l'acceptation d'un contrat de licence d'utilisateur final avant de peaufiner et d'effectuer des inférences. Pour de plus amples informations, veuillez consulter [Contrats de licence de l'utilisateur final](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Bloom 3B
+ Bloom 7B1
+ BloomZ 3B FP16
+ Bloom Z 7B1 FP16
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
## Préparation et téléchargement des données d’entraînement pour le peaufinage adaptatif à un domaine
Les données d’entraînement pour le peaufinage adaptatif à un domaine peuvent être fournies au format de fichier CSV, JSON ou TXT. Toutes les données d’entraînement doivent se trouver dans un seul fichier dans un seul dossier.
Les données d’entraînement sont extraites de la colonne **Texte** des fichiers de données d’entraînement CSV ou JSON. S’il n’existe aucune colonne nommée **Texte**, les données de la première colonne du fichier de données d’entraînement CSV ou JSON sont utilisées.
Voici un exemple de corps de fichier TXT à utiliser pour le peaufinage :
```
This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....
```
### Fractionnement des données pour l’entraînement et les tests
Vous pouvez éventuellement fournir un autre dossier contenant les données de validation. Ce dossier doit également inclure un fichier CSV, JSON ou TXT. Si aucun jeu de données de validation n’est fourni, une quantité définie de données d’entraînement est mise de côté à des fins de validation. Vous pouvez ajuster le pourcentage de données d’entraînement utilisé pour la validation lorsque vous choisissez les hyperparamètres pour le peaufinage de votre modèle.
### Chargement de données de peaufinage sur Amazon S3
Chargez les données que vous avez préparées sur Amazon Simple Storage Service (Amazon S3) afin de les utiliser lors de la mise au point d'un modèle de base. JumpStart Vous pouvez utiliser les commandes suivantes pour charger vos données :
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Création d’une tâche d’entraînement pour le peaufinage sur instructions
Une fois vos données chargées sur Amazon S3, vous pouvez affiner et déployer votre modèle de JumpStart base. Pour optimiser votre modèle dans Studio, consultez [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md). Pour affiner votre modèle à l'aide du SageMaker Python SDK, consultez. [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Exemples de blocs-notes
Pour plus d’informations sur le peaufinage adaptatif à un domaine, consultez les exemples de blocs-notes suivants :
+ [SageMaker JumpStart Modèles de base - Ajustement du modèle GPT-J 6B de génération de texte sur un ensemble de données spécifique au domaine](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [Réglez avec précision les modèles LLa MA 2 sur JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
# Peaufinage d’un grand modèle de langage (LLM) à l’aide d’instructions d’invite
L'optimisation basée sur les instructions utilise des exemples étiquetés pour améliorer les performances d'un modèle de fondation pré-entraîné sur une tâche spécifique. Les exemples étiquetés sont au format d'invites, de paires de réponses et sont formulés sous forme d'instructions. Ce processus d'optimisation modifie les poids du modèle. Pour plus d'informations sur l'optimisation basée sur les instructions, consultez [Introduction à FLAN : Modèles de langage plus généralisables avec optimisation des instructions](https://ai.googleblog.com/2021/10/introducing-flan-more-generalizable.html) (langue française non garantie) et [Mise à l'échelle des modèles de langage optimisés par les instructions](https://arxiv.org/abs/2210.11416) (langue française non garantie).
Les modèles de LAnguage réseau affiné (FLAN) utilisent le réglage des instructions pour rendre les modèles plus aptes à résoudre les tâches générales de PNL en aval. Amazon SageMaker JumpStart propose un certain nombre de modèles de base dans la famille de modèles FLAN. Par exemple, les modèles FLAN-T5 sont optimisés en fonction d'instructions sur un large éventail de tâches afin d'améliorer les performances zéro coup dans de nombreux cas d'utilisation courants. Grâce aux données supplémentaires et à l'optimisation, les modèles basés sur les instructions peuvent être davantage adaptés à des tâches plus spécifiques qui n'ont pas été prises en compte lors du pré-entraînement.
Pour optimiser un LLM sur une tâche spécifique à l’aide d’instructions de tâche et de paires invite-réponse :
1. Préparez vos instructions dans des fichiers JSON. Pour plus d’informations sur le format requis pour les fichiers de paires invite-réponse et sur la structure du dossier de données, consultez [Préparation et chargement des données d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-instruction-based-prepare-data).
1. Créez votre tâche d’entraînement de peaufinage. Pour obtenir des instructions, veuillez consulter [Création d’une tâche d’entraînement pour le peaufinage sur instructions](#jumpstart-foundation-models-fine-tuning-instruction-based-train).
Vous trouverez des end-to-end exemples dans[Exemples de blocs-notes](#jumpstart-foundation-models-fine-tuning-instruction-based-examples).
Seul un sous-ensemble de modèles de JumpStart base est compatible avec le réglage précis basé sur des instructions. L'optimisation basée sur les instructions est disponible avec les modèles de fondation suivants :
**Note**
Certains modèles de JumpStart base, tels que Llama 2 7B, nécessitent l'acceptation d'un contrat de licence d'utilisateur final avant de peaufiner et d'effectuer des inférences. Pour de plus amples informations, veuillez consulter [Contrats de licence de l'utilisateur final](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Flan-T5 Base
+ Flan-T5 Large
+ Flan-T5 Small
+ Flan-T5 XL
+ Flan-T5 XXL
+ Llama 2 13B
+ Llama 2 13B Chat
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Chat
+ Llama 2 7B
+ Llama 2 7B Chat
+ Llama 2 7B Neuron
+ Mistral 7B
+ RedPajama Base INCITE 3B V1
+ RedPajama Base INCITE 7B V1
+ RedPajama INCITE Chat 3B V1
+ RedPajama INCITE Chat 7B V1
+ RedPajama INCITE Instruct 3B V1
+ RedPajama INCITE Instruct 7B V1
## Préparation et chargement des données d’entraînement pour le peaufinage sur instructions
Les données d’entraînement pour le peaufinage sur instructions doivent être fournies au format de fichier texte JSON Lines, où chaque ligne est un dictionnaire. Toutes les données d’entraînement doivent se trouver dans un seul dossier. Le dossier peut inclure plusieurs fichiers .jsonl.
Le dossier d’entraînement peut également inclure un modèle de fichier JSON (`template.json`) qui décrit les formats d’entrée et de sortie de vos données. Si aucun fichier modèle n’est fourni, le fichier modèle suivant est utilisé :
```
{
"prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{context}",
"completion": "{response}"
}
```
Selon le fichier `template.json`, chaque entrée .jsonl des données d’entraînement doit inclure les champs `{instruction}`, `{context}` et `{response}`.
Si vous fournissez un fichier JSON de modèle personnalisé, utilisez les clés `"prompt"` et `"completion"` pour définir vos propres champs obligatoires. Selon le fichier JSON de modèle personnalisé, chaque entrée .jsonl des données d’entraînement doit inclure les champs `{question}`, `{context}`, et `{answer}` :
```
{
"prompt": "question: {question} context: {context}",
"completion": "{answer}"
}
```
### Fractionnement des données pour l’entraînement et les tests
Vous pouvez éventuellement fournir un autre dossier contenant les données de validation. Ce dossier doit également inclure un ou plusieurs fichiers .jsonl. Si aucun jeu de données de validation n’est fourni, une quantité définie de données d’entraînement est mise de côté à des fins de validation. Vous pouvez ajuster le pourcentage de données d’entraînement utilisé pour la validation lorsque vous choisissez les hyperparamètres pour le peaufinage de votre modèle.
### Chargement de données de peaufinage sur Amazon S3
Chargez les données que vous avez préparées sur Amazon Simple Storage Service (Amazon S3) afin de les utiliser lors de la mise au point d'un modèle de base. JumpStart Vous pouvez utiliser les commandes suivantes pour charger vos données :
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.jsonl"
train_data_location = f"s3://{output_bucket}/dolly_dataset"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Création d’une tâche d’entraînement pour le peaufinage sur instructions
Une fois vos données chargées sur Amazon S3, vous pouvez affiner et déployer votre modèle de JumpStart base. Pour optimiser votre modèle dans Studio, consultez [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md). Pour affiner votre modèle à l'aide du SageMaker Python SDK, consultez. [Peaufinage des modèles de fondation accessibles au public à l’aide de la classe `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Exemples de blocs-notes
Pour plus d’informations sur le peaufinage sur instructions, consultez les exemples de blocs-notes suivants :
+ [Réglez avec précision les modèles LLa MA 2 sur JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Falçon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
+ [SageMaker JumpStart Modèles de base - Réglage précis des HuggingFace instructions Text2Text](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
# Génération à enrichissement contextuel (RAG)
Les modèles de fondation sont généralement entraînés hors connexion, ce qui les rend indépendants des données créées après l'entraînement du modèle. De plus, les modèles de fondation sont entraînés sur des corps de domaines très généraux, ce qui les rend moins efficaces pour les tâches spécifiques à un domaine. Vous pouvez utiliser la génération augmentée de récupération (RAG) pour récupérer des données en dehors d'un modèle de fondation et augmenter vos invites en ajoutant les données récupérées pertinentes dans leur contexte. Pour plus d'informations sur les architectures de modèles RAG, consultez [Génération augmentée de récupération pour les tâches NLP nécessitant beaucoup de connaissances](https://arxiv.org/abs/2005.11401) (langue française non garantie).
Avec RAG, les données externes utilisées pour compléter vos instructions peuvent provenir de plusieurs sources de données, telles que des référentiels de documents, des bases de données ou. APIs La première étape consiste à convertir vos documents et toutes les requêtes utilisateurs dans un format compatible pour effectuer une recherche pertinente. Pour rendre les formats compatibles, une collection de documents, ou bibliothèque de connaissances, et les requêtes soumises par les utilisateurs sont converties en représentations numériques à l'aide de modèles de langue d'incorporation. L'*incorporation* est le processus par lequel le texte est représenté numériquement dans un espace vectoriel. Les architectures de modèles RAG comparent les incorporations des requêtes utilisateurs dans le vecteur de la bibliothèque de connaissances. L'invite utilisateur d'origine est ensuite ajoutée avec le contexte pertinent provenant de documents similaires de la bibliothèque de connaissances. Cette invite augmentée est ensuite envoyée au modèle de fondation. Vous pouvez mettre à jour les bibliothèques de connaissances et leurs incorporations pertinentes de manière asynchrone.
![\[A model architecture diagram of Retrieval Augmented Generation (RAG).\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-rag.jpg)
Le document extrait doit être suffisamment grand pour contenir un contexte utile permettant d’augmenter l’invite, mais suffisamment petit pour être adapté à la longueur de séquence maximale de l’invite. Vous pouvez utiliser des JumpStart modèles spécifiques aux tâches, tels que le modèle General Text Embeddings (GTE) deHugging Face, pour fournir les intégrations de vos instructions et des documents de la bibliothèque de connaissances. Après avoir comparé l’invite et les vectorisations pour trouver les documents les plus pertinents, construisez une nouvelle invite avec le contexte supplémentaire. Transmettez ensuite l’invite augmentée à un modèle de génération de texte de votre choix.
## Exemples de blocs-notes
Pour plus d’informations sur les solutions de modèles de fondation RAG, consultez les exemples de blocs-notes suivants :
+ [Génération augmentée par extraction : réponse aux questions à l'aide de modèles de génération LangChain et d'intégration de Cohere à partir de SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de LLama -2, Pinecone et d'un ensemble de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions basée sur un ensemble de données personnalisé avec une bibliothèque open source LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Génération augmentée de récupération : réponse aux questions en fonction d'un jeu de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html) (langue française non garantie)
+ [Retrieval-Augmented Generation: Question Answering using Llama-2 and Text Embedding Models](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Intégration de texte et similarité de phrases](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)
Vous pouvez cloner le [référentiel d'exemples Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) pour exécuter les exemples de modèles de JumpStart base disponibles dans l'environnement Jupyter de votre choix dans Studio. Pour plus d'informations sur les applications que vous pouvez utiliser pour créer et accéder à Jupyter dans SageMaker AI, consultez. [Applications prises en charge dans Amazon SageMaker Studio](studio-updated-apps.md)
# Évaluation d’un modèle de fondation de génération de texte dans Studio
**Note**
Foundation Model Evaluations (FMEval) est en version préliminaire pour Amazon SageMaker Clarify et est susceptible d'être modifiée.
**Important**
Pour utiliser les évaluations du modèle SageMaker Clarify Foundation, vous devez passer à la nouvelle expérience Studio. Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La caractéristique d’évaluation des modèles de fondation ne peut être utilisée que dans l’expérience mise à jour. Pour en savoir plus sur la façon de mettre à jour Studio, consultez [Migration depuis Amazon SageMaker Studio Classic](studio-updated-migrate.md). Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Amazon SageMaker JumpStart propose des intégrations avec SageMaker Clarify Foundation Model Evaluations (FMEval) dans Studio. Si un JumpStart modèle possède des fonctionnalités d'évaluation intégrées, vous pouvez choisir **Evaluer** dans le coin supérieur droit de la page détaillée du modèle dans l'interface utilisateur de JumpStart Studio. Pour plus d'informations sur la navigation dans l'interface utilisateur de JumpStart Studio, voir [Ouvrir JumpStart dans le studio](studio-jumpstart.md#jumpstart-open-studio)
Utilisez Amazon SageMaker JumpStart pour évaluer des modèles de base basés sur du texte avec. FMEval Vous pouvez utiliser ces évaluations de modèles pour comparer les indicateurs de qualité et de responsabilité d'un modèle, entre deux modèles ou entre différentes versions du même modèle, afin de vous aider à quantifier les risques du modèle. FMEval peut évaluer des modèles basés sur du texte qui exécutent les tâches suivantes :
+ **Génération ouverte** : production de réponses humaines naturelles à un texte qui n’a pas de structure prédéfinie.
+ **Synthétisation de texte** : génération d’un récapitulatif concis et condensé tout en conservant le sens et les informations clés contenus dans un texte plus long.
+ **Réponse à une question** : génération d’une réponse en langage naturel à une question.
+ **Classification** : attribution d’une classe, par exemple `positive` plutôt que `negative`, à un passage de texte en fonction de son contenu.
Vous pouvez l'utiliser FMEval pour évaluer automatiquement les réponses du modèle en fonction de repères spécifiques. Vous pouvez également évaluer les réponses du modèle par rapport à vos propres critères en apportant vos propres ensembles de données instantanés. FMEval fournit une interface utilisateur (UI) qui vous guide tout au long de l'installation et de la configuration d'une tâche d'évaluation. Vous pouvez également utiliser la FMEval bibliothèque dans votre propre code.
Chaque évaluation nécessite un quota pour deux instances :
+ Instance d’hébergement : instance qui héberge et déploie un LLM.
+ Instance d’évaluation : instance utilisée pour effectuer les invites et une évaluation d’un LLM sur l’instance d’hébergement.
Si votre LLM est déjà déployé, fournissez le point de terminaison, et SageMaker AI utilisera votre **instance d'hébergement** pour héberger et déployer le LLM.
Si vous évaluez un JumpStart modèle qui n'est pas encore déployé sur votre compte, vous FMEval créez une **instance d'hébergement** temporaire dans votre compte et ne la maintenez déployée que pendant la durée de votre évaluation. FMEval utilise l'instance par défaut qui JumpStart recommande le LLM choisi comme instance d'hébergement. Vous devez disposer d’un quota suffisant pour cette instance recommandée.
Chaque évaluation utilise également une instance d’évaluation pour fournir les invites et évaluer les réponses du LLM. Vous devez également disposer d’un quota et d’une mémoire suffisants pour exécuter les algorithmes d’évaluation. Les exigences en termes de quota et de mémoire de l’instance d’évaluation sont généralement inférieures à celles requises pour une instance d’hébergement. Nous vous recommandons de sélectionner l’instance `ml.m5.2xlarge`. Pour plus d’informations sur les quotas et la mémoire, consultez [Résoudre les erreurs lors de la création d'une tâche d'évaluation de modèle dans Amazon SageMaker AI](clarify-foundation-model-evaluate-troubleshooting.md).
Les évaluations automatiques peuvent être utilisées pour obtenir LLMs des scores selon les critères suivants :
+ Précision : pour la synthétisation de texte, la réponse aux questions et la classification de texte
+ Robustesse sémantique : pour les tâches de génération ouverte, de synthétisation de texte et de classification de texte
+ Connaissances factuelles : pour la génération ouverte
+ Stéréotypage d’invite : pour la génération ouverte
+ Toxicité : pour la génération ouverte, la synthétisation de texte et la réponse aux questions
Vous pouvez également utiliser des évaluations humaines afin d’évaluer manuellement les réponses du modèle. L' FMEval interface utilisateur vous guide tout au long d'un flux de travail consistant à sélectionner un ou plusieurs modèles, à provisionner des ressources, à rédiger des instructions pour votre personnel et à contacter celui-ci. Une fois l'évaluation humaine terminée, les résultats sont affichés dans FMEval.
Vous pouvez accéder à l'évaluation du modèle via la page JumpStart d'accueil de Studio en sélectionnant un modèle à évaluer, puis en choisissant **Evaluer**. Notez que les fonctionnalités d'évaluation ne sont pas disponibles sur tous les JumpStart modèles. Pour plus d'informations sur la configuration, le provisionnement et l'exécution FMEval, voir [Que sont les évaluations du modèle de base ?](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-foundation-model-evaluate.html)
# Exemples de blocs-notes
Pour step-by-step des exemples d'utilisation de modèles de JumpStart base accessibles au public avec le SageMaker Python SDK, reportez-vous aux blocs-notes suivants sur la génération de texte, la génération d'images et la personnalisation des modèles.
**Note**
Les modèles de JumpStart base propriétaires et accessibles au public ont des flux de travail de déploiement du Python SDK d' SageMaker IA différents. Découvrez des exemples de blocs-notes propriétaires basés sur le modèle de base via Amazon SageMaker Studio Classic ou la console SageMaker AI. Pour de plus amples informations, veuillez consulter [JumpStart utilisation du modèle de base](jumpstart-foundation-models-use.md).
Vous pouvez cloner le [référentiel d'exemples Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) pour exécuter les exemples de modèles de JumpStart base disponibles dans l'environnement Jupyter de votre choix dans Studio. Pour plus d'informations sur les applications que vous pouvez utiliser pour créer et accéder à Jupyter dans SageMaker AI, consultez. [Applications prises en charge dans Amazon SageMaker Studio](studio-updated-apps.md)
## Prédiction de séries temporelles
Vous pouvez utiliser les modèles Chronos pour prévoir des données de séries temporelles. Ils sont basés sur l’architecture du modèle de langage. Utilisez le [ SageMaker JumpStart bloc-notes Introduction à la prévision des séries chronologiques avec Chronos](https://github.com/aws/amazon-sagemaker-examples/blob/default/%20%20%20%20generative_ai/sm-jumpstart_time_series_forecasting.ipynb) pour commencer.
Pour en savoir plus sur les modèles Chronos disponibles, consultez [Modèles de fondation disponibles](jumpstart-foundation-models-latest.md).
## Génération de texte
Découvrez des exemples de bloc-notes de génération de texte, notamment des conseils sur les flux de travail généraux de génération de texte, la classification de textes multilingues, l'inférence par lots en temps réel, l'apprentissage en quelques coups, les interactions avec les chatbots, etc.
+ [SageMaker JumpStart Modèles de base - Génération de HuggingFace texte à deux avec FLAN-T5 XL comme exemple](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-flan-t5.html)
+ [SageMaker JumpStart Modèles de base - BloomZ : classification de texte multilingue, questions et réponses, génération de code, reformulation de paragraphes, etc.](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-bloomz.html)
+ [SageMaker JumpStart Modèles de base - Génération de HuggingFace texte2Text, transformation par lots et inférence par lots en temps réel](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-Batch-Transform.html)
+ [SageMaker JumpStart Modèles de base - GPT-J, GPT-Neo Few-shot learning](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-few-shot-learning.html)
+ [SageMaker JumpStart Modèles de base - Chatbots](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-chatbot.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Présentation de SageMaker JumpStart - Génération de texte avec les modèles Falçon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
## Génération d'images
Commencez avec les modèles text-to-image Stable Diffusion, apprenez à déployer un modèle intégré et testez un flux de travail simple pour générer des images de votre chien.
+ [Présentation de JumpStart - Du texte à l'image](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/Amazon_JumpStart_Text_To_Image.html)
+ [Introduction à la retouche JumpStart d'image - Diffusion stable dans la peinture](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_inpainting/Amazon_JumpStart_Inpainting.html)
+ [Génération d'images amusantes de votre chien](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/custom_dog_image_generator.html) (langue française non garantie)
## Personnalisation de modèles
Votre cas d'utilisation nécessite parfois de personnaliser davantage le modèle de fondation pour certaines tâches. Pour plus d'informations sur les approches de personnalisation des modèles, consultez [Personnalisation d’un modèle de fondation](jumpstart-foundation-models-customize.md) ou explorez l'un des exemples de blocs-notes suivants.
+ [SageMaker JumpStart Modèles de base - Ajustement du modèle GPT-J 6B de génération de texte sur un ensemble de données spécifique au domaine](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [SageMaker JumpStart Modèles de base - Réglage précis des HuggingFace instructions Text2Text](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de modèles de génération LangChain et d'intégration de Cohere à partir de SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions à l'aide de LLama -2, Pinecone et d'un ensemble de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Génération augmentée par extraction : réponse aux questions basée sur un ensemble de données personnalisé avec une bibliothèque open source LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Génération augmentée de récupération : réponse aux questions en fonction d'un jeu de données personnalisé](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html) (langue française non garantie)
+ [Retrieval-Augmented Generation: Question Answering using Llama-2 and Text Embedding Models](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Intégration de texte et similarité de phrases](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)
# Hubs privés sélectionnés pour le contrôle d'accès aux modèles de fondation dans JumpStart
Créez des modèles de JumpStart base préformés pour votre organisation avec des hubs privés. Utilisez les derniers modèles de fondation propriétaires et accessibles au public tout en appliquant des barrières de protection de la gouvernance et en veillant à ce que votre organisation ne puisse accéder qu’aux modèles approuvés.
Utilisez des hubs de modèles privés pour partager des modèles et des blocs-notes, centraliser les artefacts, améliorer la visibilité et rationaliser l’utilisation des modèles au sein de votre organisation. Les administrateurs peuvent créer des hubs privés qui incluent des sous-ensembles de modèles adaptés aux différentes équipes, aux différents cas d’utilisation ou aux exigences de sécurité. Les administrateurs peuvent créer un hub de modèles JumpStart privé à l'aide du SDK SageMaker Python. Les utilisateurs peuvent ensuite parcourir, entraîner et déployer l'ensemble de modèles sélectionnés à l'aide d'Amazon SageMaker Studio ou du SDK SageMaker Python.
Pour plus d’informations sur la création d’un hub de modèles privé, consultez [Guide d'administration pour les hubs de mannequins privés sur Amazon SageMaker JumpStart](jumpstart-curated-hubs-admin-guide.md).
Pour plus d’informations sur le partage de hubs de modèles privés entre comptes, consultez [Partage entre comptes pour les hubs de mannequins privés avec AWS Resource Access Manager](jumpstart-curated-hubs-ram.md).
Pour plus d’informations sur l’accession à un hub de modèles privé, consultez [Guide de l’utilisateur](jumpstart-curated-hubs-user-guide.md).
# Guide d'administration pour les hubs de mannequins privés sur Amazon SageMaker JumpStart
Les administrateurs peuvent effectuer certaines actions liées à des hubs de modèles sélectionnés auxquels les utilisateurs de votre organisation peuvent accéder. Cela inclut la création, l’ajout, la suppression et la gestion des accès aux hubs privés. Cette page inclut également les informations concernant les régions AWS prises en charge pour les hubs privés organisés, ainsi que les prérequis pour utiliser ces derniers.
## AWS Régions prises en charge
Des hubs privés sélectionnés sont actuellement généralement disponibles dans les régions AWS commerciales suivantes :
+ us-east-1
+ us-east-2
+ us-west-2
+ eu-west-1
+ eu-central-1
+ ap-northeast-1
+ ap-northeast-2
+ ap-south-1
+ ap-southeast-1
+ ap-southeast-2
+ il-central-1 (kit SDK uniquement)
Le nombre maximum de hubs autorisés par défaut dans une région est 50.
## Conditions préalables
Pour pouvoir utiliser un hub privé organisé dans Studio, vous devez avoir rempli les prérequis suivants :
+ Un AWS compte avec accès administrateur
+ Un rôle Gestion des identités et des accès AWS (IAM) avec accès à Amazon Studio SageMaker
+ Un domaine Amazon SageMaker AI JumpStart activé
+ Si vos utilisateurs essaient d'utiliser des modèles propriétaires, ils doivent être abonnés à ces modèles AWS sur Marketplace.
+ AWS les comptes qui déploient des modèles propriétaires doivent être abonnés à ces modèles AWS sur Marketplace.
Pour plus d’informations sur la façon de commencer à utiliser Studio, consultez [Amazon SageMaker Studio](studio-updated.md).
# Création d’un hub de modèle privé
Suivez les étapes ci-dessous pour créer un hub privé afin de gérer le contrôle d'accès pour les modèles de JumpStart base préformés pour votre organisation. Vous devez installer le SDK SageMaker Python et configurer les autorisations IAM nécessaires avant de créer un hub de modèles.
**Création d’un hub privé**
1. Installez le SDK SageMaker Python et importez les packages Python nécessaires.
```
# Install the SageMaker Python SDK
!pip3 install sagemaker --force-reinstall --quiet
# Import the necessary Python packages
import boto3
from sagemaker import Session
from sagemaker.jumpstart.hub.hub import Hub
```
1. Initialisez une session SageMaker AI.
```
sm_client = boto3.client('sagemaker')
session = Session(sagemaker_client=sm_client)
session.get_caller_identity_arn()
```
1. Configurez les détails de votre hub privé, tels que son nom interne ainsi que son nom d’affichage et sa description dans l’interface utilisateur.
**Note**
Si vous ne spécifiez pas de nom de compartiment Amazon S3 lors de la création de votre hub, le service du SageMaker hub crée un nouveau compartiment en votre nom. Le nouveau compartiment a la structure de dénomination suivante : `sagemaker-hubs-REGION-ACCOUNT_ID`.
```
HUB_NAME="Example-Hub"
HUB_DISPLAY_NAME="Example Hub UI Name"
HUB_DESCRIPTION="A description of the example private curated hub."
REGION="us-west-2"
```
1. Vérifiez que votre rôle d’**administrateur** IAM dispose des autorisations Amazon S3 nécessaires pour créer un hub privé. Si ce n’est pas le cas, accédez à la page **Rôles** de la console IAM. Choisissez le rôle **Administrateur**, puis choisissez **Ajouter des autorisations** dans le panneau **Politiques d’autorisations** pour créer une politique en ligne avec les autorisations suivantes à l’aide de l’éditeur JSON :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:GetObjectTagging"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-REGION",
"arn:aws:s3:::jumpstart-cache-prod-REGION/*"
],
"Effect": "Allow"
}
]
}
```
------
1. Créez un hub de modèles privé à l’aide de vos configurations de l’**étape 3** avec `hub.create()`.
```
hub = Hub(hub_name=HUB_NAME, sagemaker_session=session)
try:
# Create the private hub
hub.create(
description=HUB_DESCRIPTION,
display_name=HUB_DISPLAY_NAME
)
print(f"Successfully created Hub with name {HUB_NAME} in {REGION}")
# Check that no other hubs with this internal name exist
except Exception as e:
if "ResourceInUse" in str(e):
print(f"A hub with the name {HUB_NAME} already exists in your account.")
else:
raise e
```
1. Vérifiez la configuration de votre nouveau hub privé ave la commande suivante `describe` :
```
hub.describe()
```
# Ajout de modèles à un hub privé
Après avoir créé un hub privé, vous pouvez ajouter les modèles d’une liste d’autorisations. Pour obtenir la liste complète des JumpStart modèles disponibles, consultez le [tableau des algorithmes intégrés avec modèles préentraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html) dans la référence du SDK SageMaker Python.
1. Vous pouvez filtrer les modèles disponibles par programmation à l’aide de la méthode `hub.list_sagemaker_public_hub_models()`. Vous pouvez éventuellement filtrer par catégories telles que le cadre (`"framework == pytorch"`), par tâches telles que la classification d’images (`"task == ic"`), etc. Pour plus d’informations sur les filtres, consultez [https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/jumpstart/notebook_utils.py](https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/jumpstart/notebook_utils.py). La méthode de filtrage est facultative dans la méthode `hub.list_sagemaker_public_hub_models()`.
```
filter_value = "framework == meta"
response = hub.list_sagemaker_public_hub_models(filter=filter_value)
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_sagemaker_public_hub_models(filter=filter_value, next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
print(models)
```
1. Vous pouvez ensuite ajouter les modèles filtrés en spécifiant l’ARN d’un modèle dans la méthode `hub.create_model_reference()`.
```
for model in models:
print(f"Adding {model.get('hub_content_name')} to Hub")
hub.create_model_reference(model_arn=model.get("hub_content_arn"), model_name=model.get("hub_content_name"))
```
# Mettre à jour les ressources dans un hub privé
Vous pouvez mettre à jour les ressources de votre hub privé pour modifier ses métadonnées. Les ressources que vous pouvez mettre à jour incluent des références de modèles à des SageMaker JumpStart modèles Amazon, des modèles personnalisés, des carnets de notes, des ensembles de données et. JsonDoc
Lorsque vous mettez à jour un modèle, un bloc-notes, des ensembles de données ou JsonDoc des ressources, vous pouvez mettre à jour la description du contenu, le nom d'affichage, les mots clés et le statut du support. Lorsque vous mettez à jour les références de JumpStart modèles vers des modèles, vous pouvez uniquement mettre à jour le champ en spécifiant la version minimale du modèle que vous souhaitez utiliser.
+ « Mettre à jour les ressources du modèle ou du bloc-notes » pour inclure DataSet/JsonDoc. Dans la commande CLI, DataSets/JsonDocs doit être ajouté à l' hub-content-typeargument.
Suivez la section spécifique à la ressource que vous souhaitez mettre à jour.
## Mettre à jour les ressources d’un modèle ou d’un carnet
Pour mettre à jour un modèle ou une ressource de bloc-notes, utilisez l'[UpdateHubContent](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContent.html)API.
Les champs de métadonnées valides que vous pouvez mettre à jour avec cette API sont les suivants :
+ `HubContentDescription` : description de la ressource.
+ `HubContentDisplayName` : nom d’affichage de la ressource.
+ `HubContentMarkdown` : description de la ressource, au format Markdown.
+ `HubContentSearchKeywords` : mots clés de la ressource pouvant faire l’objet d’une recherche.
+ `SupportStatus` : statut actuel de la ressource.
Dans votre demande, incluez une modification pour un ou plusieurs des champs précédents. Quand vous tentez de mettre à jour d’autres champs, tels que le type de contenu du hub, vous recevez un message d’erreur.
------
#### [ AWS SDK pour Python (Boto3) ]
L'exemple suivant montre comment vous pouvez utiliser le AWS SDK pour Python (Boto3) pour envoyer une [ UpdateHubContent](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContent.html)demande.
**Note**
La valeur `HubContentVersion` que vous spécifiez dans la demande signifie que les métadonnées de cette version spécifique sont mises à jour. Pour trouver toutes les versions disponibles du contenu de votre hub, vous pouvez utiliser l'[ ListHubContentVersions](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListHubContentVersions.html)API.
```
import boto3
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
sagemaker_client.update_hub_contents(
HubName=,
HubContentName=,
HubContentType=<"Model"|"Notebook">,
HubContentVersion='1.0.0', # specify the correct version that you want to update
HubContentDescription=
)
```
------
#### [ AWS CLI ]
L'exemple suivant montre comment vous pouvez utiliser le AWS CLI pour envoyer une [ update-hub-content](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-hub-content.html)demande.
```
aws sagemaker update-hub-content \
--hub-name \
--hub-content-name \
--hub-content-type <"Model"|"Notebook"> \
--hub-content-version "1.0.0" \
--hub-content-description
```
------
## Mise à jour des références de modèle
Pour mettre à jour une référence de modèle vers un JumpStart modèle, utilisez l'[ UpdateHubContentReference](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContentReference.html)API.
Vous ne pouvez mettre à jour le champ `MinVersion` que pour les références de modèles.
------
#### [ AWS SDK pour Python (Boto3) ]
L'exemple suivant montre comment vous pouvez utiliser le AWS SDK pour Python (Boto3) pour envoyer une [ UpdateHubContentReference](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContentReference.html)demande.
```
import boto3
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
update_response = sagemaker_client.update_hub_content_reference(
HubName=,
HubContentName=,
HubContentType='ModelReference',
MinVersion='1.0.0'
)
```
------
#### [ AWS CLI ]
L'exemple suivant montre comment vous pouvez utiliser le AWS CLI pour envoyer une [ update-hub-content-reference](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-hub-content-reference.html)demande.
```
aws sagemaker update-hub-content-reference \
--hub-name \
--hub-content-name \
--hub-content-type "ModelReference" \
--min-version "1.0.0"
```
------
# Partage entre comptes pour les hubs de mannequins privés avec AWS Resource Access Manager
Après avoir créé un hub de modèles privé, vous pouvez partager le hub avec les comptes nécessaires à l'aide de AWS Resource Access Manager (AWS RAM). Pour plus d’informations sur la création d’un hub privé, consultez [Création d’un hub de modèle privé](jumpstart-curated-hubs-admin-guide-create.md). La page suivante fournit des informations détaillées sur les autorisations gérées liées aux hubs privés dans AWS RAM. Pour plus d'informations sur la création d'un partage de ressources au sein AWS RAM de[Configuration du partage de hubs entre comptes](jumpstart-curated-hubs-ram-setup.md).
## Autorisations gérées pour les hubs privés organisés
Les autorisations d’accès disponibles sont celles de lecture, de lecture et d’utilisation, ainsi que les autorisations d’accès complet. Le nom de l'autorisation, la description et la liste des informations spécifiques APIs disponibles pour chaque autorisation sont répertoriés ci-dessous :
+ Autorisation de lecture (`AWS RAMPermissionSageMaker AIHubRead`) : ce privilège autorise les comptes consommateurs de ressources à lire les contenus figurant dans les hubs partagés et à afficher les informations et les métadonnées.
+ `DescribeHub` : extrait les informations relatives à un hub et à sa configuration
+ `DescribeHubContent` : extrait les informations d’un modèle disponible dans un hub spécifique
+ `ListHubContent` : répertorie tous les modèles disponibles dans un hub
+ `ListHubContentVersions` : répertorie la version de tous les modèles disponibles dans un hub
+ Autorisation de lecture et d’utilisation (`AWS RAMPermissionSageMaker AIHubReadAndUse`) : ce privilège autorise les comptes consommateurs de ressources à lire les contenus figurant dans les hubs partagés et à déployer les modèles disponibles à des fins d’inférence.
+ `DescribeHub` : extrait les informations relatives à un hub et à sa configuration
+ `DescribeHubContent` : extrait les informations d’un modèle disponible dans un hub spécifique
+ `ListHubContent` : répertorie tous les modèles disponibles dans un hub
+ `ListHubContentVersions` : répertorie la version de tous les modèles disponibles dans un hub
+ `DeployHubModel` : permet de déployer les modèles de hub à poids ouvert disponibles à des fins d’inférence
+ Autorisation d’accès complet (`AWS RAMPermissionSageMaker AIHubFullAccessPolicy`) : ce privilège autorise les comptes consommateurs de ressources à lire les contenus figurant dans les hubs partagés, à ajouter et supprimer le contenu des hubs, et à déployer les modèles disponibles à des fins d’inférence.
+ `DescribeHub` : extrait les informations relatives à un hub et à sa configuration
+ `DescribeHubContent` : extrait les informations d’un modèle disponible dans un hub spécifique
+ `ListHubContent` : répertorie tous les modèles disponibles dans un hub
+ `ListHubContentVersions` : répertorie la version de tous les modèles disponibles dans un hub
+ `ImportHubContent` : importe le contenu du hub
+ `DeleteHubContent` : supprime le contenu du hub
+ `CreateHubContentReference`: crée une référence de contenu de hub qui partage un modèle entre le hub de **modèles publics** d' SageMaker IA et un hub privé
+ `DeleteHubContentReference`: Supprimer une référence de contenu de hub qui partage un modèle du hub de **modèles publics SageMaker ** AI vers un hub privé
+ `DeployHubModel` : permet de déployer les modèles de hub à poids ouvert disponibles à des fins d’inférence
Les autorisations `DeployHubModel` ne sont pas requises pour les modèles propriétaires.
# Configuration du partage de hubs entre comptes
SageMaker utilise [AWS Resource Access Manager (AWS RAM)](https://docs.aws.amazon.com/ram/latest/userguide/what-is.html) pour vous aider à partager en toute sécurité vos hubs privés entre différents comptes. Configurez le partage de hub entre comptes en suivant les instructions suivantes ainsi que les instructions relatives au [partage de vos AWS ressources](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-sharing.html#getting-started-sharing-create) du *guide de l'AWS RAM utilisateur*.
**Création d’un partage de ressources**
1. Sélectionnez **Créer un partage de ressources** via la [console AWS RAM](https://console.aws.amazon.com/ram/home).
1. Lorsque vous spécifiez les détails du partage des ressources, choisissez le type de ressource **SageMaker Hubs** et sélectionnez un autre hub privé que vous souhaitez partager. Lorsque vous partagez un hub avec un autre compte, l’ensemble de son contenu est également partagé implicitement.
1. Associez des autorisations à votre partage de ressources. Pour plus d’informations sur les autorisations gérées, consultez [Autorisations gérées pour les hubs privés organisés](jumpstart-curated-hubs-ram.md#jumpstart-curated-hubs-ram-permissions).
1. Utilisez AWS compte IDs pour spécifier les comptes auxquels vous souhaitez accorder l'accès à vos ressources partagées.
1. Vérifiez la configuration de votre partage de ressources et sélectionnez **Create resource share** (Créer un partage de ressources). Les associations entre le partage de ressources et le principal peuvent prendre quelques minutes.
Pour plus d'informations, consultez la section [Partage de vos AWS ressources](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-sharing.html) dans le *guide de AWS Resource Access Manager l'utilisateur*.
Une fois que les associations entre le partage de ressources et le principal ont été définies, les comptes AWS spécifiés reçoivent une invitation à rejoindre le partage de ressources. Les AWS comptes doivent accepter l'invitation pour accéder à toutes les ressources partagées.
Pour plus d'informations sur l'acceptation d'une invitation au partage de ressources AWS RAM, consultez la section [Utilisation de AWS ressources partagées](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-shared.html) dans le *guide de AWS Resource Access Manager l'utilisateur*.
# Suppression de modèles d’un hub privé
Vous pouvez supprimer des modèles d’un hub privé utilisé par votre organisation en spécifiant l’ARN du modèle dans la méthode `hub.delete_model_reference()`. Cela supprime l’accès au modèle depuis le hub privé.
```
hub.delete_model_reference(model-name)
```
# Restreindre l'accès JumpStart aux modèles sécurisés
Amazon SageMaker JumpStart fournit un accès à la fois à des modèles de fondation accessibles au public et à des modèles propriétaires. Certains modèles à accès contrôlé placés dans des compartiments Amazon S3 privés nécessitent que vous ayez accepté le CLUF (contrat de licence d’utilisateur final) du modèle pour y accéder. Pour de plus amples informations, veuillez consulter [Acceptation du CLUF avec le SDK SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk).
Le comportement par défaut actuel est que si un utilisateur accepte le CLUF d’un modèle, il peut accéder au modèle et créer des tâches d’[entraînement de peaufinage](jumpstart-foundation-models-use-python-sdk-estimator-class.md). Toutefois, si vous êtes administrateur et que vous souhaitez restreindre l’accès de peaufinage à ces modèles à accès contrôlé, vous pouvez définir une politique qui refuse l’autorisation d’utiliser l’action `CreateTrainingJob` chaque fois que la demande concerne un modèle à accès contrôlé.
Voici un exemple de politique Gestion des identités et des accès AWS (IAM) qu'un administrateur peut ajouter au rôle IAM d'un utilisateur :
```
{
"Effect": "Deny",
"Action": "sagemaker:CreateTrainingJob",
"Resource": "*",
"Condition": {
"Bool": {
"sagemaker:DirectGatedModelAccess": "true"
}
}
}
```
Si vous souhaitez accorder aux utilisateurs l’accès à des modèles spécifiques sans fournir un accès illimité aux modèles à accès contrôlé, configurez un hub organisé et ajoutez-y les modèles spécifiques. Pour de plus amples informations, veuillez consulter [Hubs privés sélectionnés pour le contrôle d'accès aux modèles de fondation dans JumpStart](jumpstart-curated-hubs.md).
# Supprimer l'accès au hub **des modèles SageMaker publics**
Outre l'ajout d'un hub privé organisé JumpStart dans Studio, vous pouvez également supprimer l'accès au hub des **modèles SageMaker publics** pour vos utilisateurs. Le hub de **modèles SageMaker publics** a accès à tous les modèles de JumpStart base disponibles.
Si vous supprimez l'accès au hub des **modèles SageMaker publics** et qu'un utilisateur n'a accès qu'à un seul hub privé, l'utilisateur est dirigé directement vers ce hub privé lorsqu'il le souhaite **JumpStart**dans le volet de navigation de gauche de Studio. Si un utilisateur a accès à plusieurs hubs privés, il est redirigé vers une page de menu **Hubs** lorsqu'il le souhaite **JumpStart**dans le volet de navigation de gauche de Studio.
Supprimez l'accès au hub **des modèles SageMaker publics** pour vos utilisateurs en appliquant la politique intégrée suivante :
**Note**
Vous pouvez spécifier tout compartiment Amazon S3 supplémentaire auquel votre hub doit accéder dans la politique ci-dessous. N’oubliez pas de remplacer *`REGION`* par la région de votre hub.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": "s3:*",
"Effect": "Deny",
"NotResource": [
"arn:aws:s3:::jumpstart-cache-prod-us-east-1/*.ipynb",
"arn:aws:s3:::jumpstart-cache-prod-us-east-1/*eula*",
"arn:aws:s3:::amzn-s3-demo-bucket/*"
]
},
{
"Action": "sagemaker:*",
"Effect": "Deny",
"Resource": [
"arn:aws:sagemaker:us-east-1:aws:hub/SageMakerPublicHub",
"arn:aws:sagemaker:us-east-1:aws:hub-content/SageMakerPublicHub/*/*"
]
}
]
}
```
------
# Suppression d’un hub privé
Vous pouvez supprimer un hub privé de votre compte administrateur. Avant de supprimer un hub privé, vous devez d’abord supprimer tout son contenu. Supprimez le contenu des hubs et les hubs à l’aide des commandes suivantes :
```
# List the model references in the private hub
response = hub.list_models()
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_models(next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
# Delete all model references in the hub
for model in models:
hub.delete_model_reference(model_name=model.get('HubContentName'))
# Delete the private hub
hub.delete()
```
# Résolution des problèmes
Les sections suivantes fournissent des informations sur les problèmes d’autorisations IAM susceptibles de survenir lors de la création d’un hub de modèles privé, ainsi que des informations sur la façon de les résoudre.
**Erreur `ValidationException` lors de l’appel de l’opération `CreateModel` : Could not access model data**
Cette exception survient lorsque vous ne disposez pas des autorisations Amazon S3 appropriées configurées pour votre rôle d’**administrateur**. Pour plus d’informations sur les autorisations Amazon S3 nécessaires pour créer un hub privé, consultez l’**étape 3** dans [Création d’un hub de modèle privé](jumpstart-curated-hubs-admin-guide-create.md).
**Erreur `Access Denied` ou `Forbidden` lors de l’appel `create()`**
L'accès vous est refusé lors de la création d'un hub privé si vous ne disposez pas des autorisations appropriées pour accéder au compartiment Amazon S3 associé au hub de **modèles SageMaker publics**. Pour plus d’informations sur les autorisations Amazon S3 nécessaires pour créer un hub privé, consultez l’**étape 3** dans [Création d’un hub de modèle privé](jumpstart-curated-hubs-admin-guide-create.md).
# Guide de l’utilisateur
Les rubriques suivantes traitent de l'accès et de l'utilisation des modèles dans vos hubs de modèles SageMaker JumpStart sélectionnés par Amazon. Découvrez comment accéder à vos modèles de hub sélectionnés via l'interface Amazon SageMaker Studio ou par programmation avec le SDK Python SageMaker . Découvrez également comment optimiser les modèles dans des hub organisés pour les adapter à vos cas d’utilisation spécifiques et aux besoins de votre entreprise.
**Topics**
+ [Accédez à des hubs de modèles sélectionnés sur Amazon SageMaker JumpStart](jumpstart-curated-hubs-access-hubs.md)
+ [Peaufinage de modèles dans un hub organisé](jumpstart-curated-hubs-fine-tune.md)
# Accédez à des hubs de modèles sélectionnés sur Amazon SageMaker JumpStart
Vous pouvez accéder à un hub de modèles privé via Studio ou via le SDK SageMaker Python.
## Accès à votre hub de modèles privé dans Studio
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’expérience Studio mise à jour. Pour en savoir plus sur l’utilisation de l’application Studio Classic, consultez [Amazon SageMaker Studio classique](studio.md).
Dans Amazon SageMaker Studio, ouvrez la page de JumpStart destination via la page d'**accueil** ou le menu **principal** sur le panneau de gauche. Cela ouvre la page **SageMaker JumpStart**d'accueil où vous pouvez explorer les hubs de modèles et rechercher des modèles.
+ Sur la page d'**accueil**, choisissez **JumpStart**dans le volet **Solutions prédéfinies et automatisées**.
+ Dans le **menu** principal du panneau de gauche, accédez au **JumpStart**nœud.
Pour plus d'informations sur la prise en main d'Amazon SageMaker Studio, consultez[Amazon SageMaker Studio](studio-updated.md).
Depuis la page **SageMaker JumpStart**d'accueil de Studio, vous pouvez découvrir tous les hubs de modèles privés qui incluent des modèles autorisés pour votre organisation. Si vous n'avez accès qu'à un seul hub de modèles, la page de **SageMaker JumpStart**destination vous amène directement à ce hub. Si vous avez accès à plusieurs hubs, vous êtes redirigé vers la page **Hubs**.
Pour plus d’informations sur le peaufinage, le déploiement et l’évaluation des modèles auxquels vous avez accès dans Studio, consultez [Utilisation de modèles de fondation dans Studio](jumpstart-foundation-models-use-studio-updated.md).
## Accédez à votre hub de modèles privé à l'aide du SDK SageMaker Python
Vous pouvez accéder à votre hub de modèles privé à l'aide du SDK SageMaker Python. L’accès pour lire, utiliser ou modifier un hub organisé est fourni par votre administrateur.
**Note**
Si un hub est partagé entre plusieurs comptes, `HUB_NAME` doit correspondre à l’ARN du hub. Si un hub n’est pas partagé entre plusieurs comptes, `HUB_NAME` peut correspondre au nom du hub.
1. Installez le SDK SageMaker Python et importez les packages Python nécessaires.
```
# Install the SageMaker Python SDK
!pip3 install sagemaker --force-reinstall --quiet
# Import the necessary Python packages
import boto3
from sagemaker import Session
from sagemaker.jumpstart.hub.hub import Hub
from sagemaker.jumpstart.model import JumpStartModel
from sagemaker.jumpstart.estimator import JumpStartEstimator
```
1. Initialisez une session d' SageMaker IA et connectez-vous à votre hub privé à l'aide du nom du hub et de la région.
```
# If a hub is shared across accounts, then the HUB_NAME must be the hub ARN
HUB_NAME="Example-Hub-ARN"
REGION="us-west-2"
# Initialize a SageMaker session
sm_client = boto3.client('sagemaker')
sm_runtime_client = boto3.client('sagemaker-runtime')
session = Session(sagemaker_client=sm_client,
sagemaker_runtime_client=sm_runtime_client)
# Initialize the private hub
hub = Hub(hub_name=HUB_NAME, sagemaker_session=session)
```
1. Une fois connecté à un hub privé, vous pouvez répertorier tous les modèles qui y sont disponibles à l’aide des commandes suivantes :
```
response = hub.list_models()
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_models(next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
print(models)
```
1. Vous pouvez obtenir plus d’informations sur un modèle spécifique en utilisant son nom avec la commande suivante :
```
response = hub.describe_model(model_name="example-model")
print(response)
```
Pour plus d'informations sur le réglage précis et le déploiement des modèles auxquels vous avez accès à l'aide du SDK SageMaker Python, consultez. [Utiliser des modèles de base avec le SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md)
# Peaufinage de modèles dans un hub organisé
Dans votre hub de modèles privé organisé, vous pouvez exécuter des tâches d’entraînement de peaufinage à l’aide de vos références de modèles. Les références de modèles indiquent un JumpStart modèle accessible au public dans le hub public d' SageMaker IA, mais vous pouvez affiner le modèle sur vos propres données pour votre cas d'utilisation spécifique. Une fois le travail de peaufinage effectué, vous avez accès aux poids du modèle que vous pouvez ensuite utiliser ou déployer sur un point de terminaison.
Vous pouvez affiner des modèles de hub sélectionnés en quelques lignes de code à l'aide du SDK SageMaker Python. Pour des informations plus générales sur le réglage précis des JumpStart modèles accessibles au public, voir[Modèles de fondation et hyperparamètres pour le peaufinage](jumpstart-foundation-models-fine-tuning.md).
## Conditions préalables
Pour affiner une référence de JumpStart modèle dans votre hub sélectionné, procédez comme suit :
1. Assurez-vous que l'`TrainHubModel`autorisation SageMaker AI est attachée au rôle IAM de votre utilisateur. Pour plus d’informations, consultez [Ajout et suppression d’autorisations basées sur l’identité IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) dans le *Guide de l’utilisateur AWS IAM*.
Vous pouvez attacher l’exemple de politique suivant à votre rôle IAM :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": "sagemaker:TrainHubModel",
"Resource": "arn:aws:sagemaker:*:111122223333:hub/*"
}
]
}
```
------
**Note**
Si votre hub organisé est partagé entre plusieurs comptes et que son contenu appartient à un autre compte, assurez-vous que votre `HubContent` (la ressource de référence du modèle) dispose d’une politique IAM basée sur les ressources, qui accorde également l’autorisation `TrainHubModel` au compte demandeur, comme illustré dans l’exemple suivant.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowCrossAccountSageMakerAccess",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": [
"sagemaker:TrainHubModel"
],
"Resource": [
"arn:aws:sagemaker:*:111122223333:hub/*"
]
}
]
}
```
1. Disposez d'un hub privé organisé avec une référence de modèle à un JumpStart modèle que vous souhaitez peaufiner. Pour plus d’informations sur la création d’un hub privé, consultez [Création d’un hub de modèle privé](jumpstart-curated-hubs-admin-guide-create.md). Pour savoir comment ajouter des JumpStart modèles accessibles au public à votre hub privé, consultez[Ajout de modèles à un hub privé](jumpstart-curated-hubs-admin-guide-add-models.md).
**Note**
Le JumpStart modèle que vous choisissez doit être paramétrable avec précision. Vous pouvez vérifier si un modèle peut être optimisé en consultant le [tableau des algorithmes intégrés aux modèles pré-entraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. Disposez du jeu de données d’entraînement que vous souhaitez utiliser pour le peaufinage du modèle. Le jeu de données doit être dans le format d’entraînement approprié pour le modèle que vous souhaitez optimiser.
## Peaufinage d’une référence de modèle dans un hub organisé
La procédure suivante explique comment affiner une référence de modèle dans votre hub privé organisé à l'aide du SDK SageMaker Python.
1. Assurez-vous que la dernière version (au moins`2.242.0`) du SDK SageMaker Python est installée. Pour plus d'informations, consultez [Utiliser la version 2.x du SDK SageMaker Python](https://sagemaker.readthedocs.io/en/stable/v2.html).
```
!pip install --upgrade sagemaker
```
1. Importez AWS SDK pour Python (Boto3) les modules dont vous aurez besoin à partir du SDK SageMaker Python.
```
import boto3
from sagemaker.jumpstart.estimator import JumpStartEstimator
from sagemaker.session import Session
```
1. Initialisez une session Boto3, un client SageMaker AI et une session du SDK SageMaker Python.
```
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)
```
1. Créez un `JumpStartEstimator` et fournissez l'ID du JumpStart modèle, le nom de votre hub contenant la référence du modèle et votre session SDK SageMaker Python. Pour obtenir la liste des modèles IDs, consultez le [tableau des algorithmes intégrés avec des modèles préentraînés](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
Vous pouvez éventuellement spécifier les champs `instance_type` et `instance_count` lors de la création de l’estimateur. Si vous ne le faites pas, la tâche d’entraînement utilise le type et le nombre d’instances par défaut pour le modèle que vous utilisez.
Facultatif : vous pouvez également spécifier le paramètre `output_path` sur l’emplacement Amazon S3 où vous souhaitez stocker les poids des modèles peaufinés. Si vous ne spécifiez pas le`output_path`, utilise un compartiment SageMaker AI Amazon S3 par défaut pour la région de votre compte, nommé au format suivant :`sagemaker--`.
```
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-3-2-1b",
hub_name=,
sagemaker_session=sm_session, # If you don't specify an existing session, a default one is created for you
# Optional: specify your desired instance type and count for the training job
# instance_type = "ml.g5.2xlarge"
# instance_count = 1
# Optional: specify a custom S3 location to store the fine-tuned model artifacts
# output_path: "s3://"
)
```
1. Créez un dictionnaire avec la clé `training`, dans lequel vous spécifiez l’emplacement de votre jeu de données de peaufinage. Cet exemple renvoie à un URI Amazon S3. Si vous avez d'autres considérations, telles que l'utilisation du mode local ou de plusieurs canaux de données d'entraînement, consultez [ JumpStartEstimator.fit ()](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.jumpstart.estimator.JumpStartEstimator.fit) dans la documentation du SDK SageMaker Python pour plus d'informations.
```
training_input = {
"training": "s3://"
}
```
1. Appelez la méthode `fit()` de l’estimateur, puis transmettez vos données d’entraînement et votre acceptation du CLUF (le cas échéant).
**Note**
L’exemple suivant définit la valeur sur `accept_eula=False.` Vous devez la modifier sur `True` afin d’accepter le CLUF.
```
estimator.fit(inputs=training_input, accept_eula=False)
```
Votre tâche de peaufinage devrait maintenant commencer.
Vous pouvez vérifier votre travail de peaufinage en consultant vos tâches de formation, soit dans la console d' SageMaker IA, soit à l'aide de l'[ListTrainingJobs](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListTrainingJobs.html)API.
Vous pouvez accéder à vos artefacts de modèle affinés sur l'Amazon S3 `output_path` spécifié dans l'`JumpStartEstimator`objet (soit le compartiment Amazon S3 SageMaker AI par défaut pour la région, soit un chemin Amazon S3 personnalisé que vous avez spécifié, le cas échéant).
# Amazon SageMaker JumpStart dans Studio Classic
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Les JumpStart fonctionnalités suivantes ne sont disponibles que dans Amazon SageMaker Studio Classic.
+ [Modèles spécifiques aux tâches](jumpstart-models.md)
+ [Modèles et blocs-notes partagés](jumpstart-content-sharing.md)
+ [End-to-end JumpStart modèles de solutions](jumpstart-solutions.md)
+ [Amazon SageMaker JumpStart Industry : finance](studio-jumpstart-industry.md)
# Modèles spécifiques aux tâches
JumpStart prend en charge des modèles spécifiques aux tâches pour 15 des types de problèmes les plus courants. Parmi les types de problèmes pris en charge, les types liés à la vision et à au PNL sont au nombre de treize. Il existe huit types de problèmes qui permettent un entraînement progressif et un réglage fin. Pour plus d'informations sur l'entraînement incrémentiel et le réglage des hyperparamètres, consultez la section Réglage [automatique des modèles par SageMaker IA](https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning.html). JumpStart prend également en charge quatre algorithmes populaires pour la modélisation des données tabulaires.
Vous pouvez rechercher et parcourir les modèles depuis la page JumpStart d'accueil de Studio ou de Studio Classic. Lorsque vous sélectionnez un modèle, la page de détails du modèle fournit des informations sur le modèle et vous pouvez entraîner et déployer votre modèle en quelques étapes. La section de description décrit ce que vous pouvez faire avec le modèle, les types d'entrées et de sorties attendus, et le type de données nécessaire pour affiner votre modèle.
Vous pouvez également utiliser des modèles par programmation avec le SDK [SageMaker Python](https://sagemaker.readthedocs.io/en/stable/overview.html#use-prebuilt-models-with-sagemaker-jumpstart). Pour une liste de tous les modèles disponibles, consultez le [tableau des modèles JumpStart disponibles](https://sagemaker.readthedocs.io/en/v2.132.0/doc_utils/pretrainedmodels.html).
La liste des types de problèmes et les liens vers leurs exemples de bloc-notes Jupyter sont résumés dans le tableau suivant.
| Types de problèmes | Prise en charge de l'inférence avec des modèles pré-entraînés | Entraînable sur un jeu de données personnalisé | Cadres pris en charge | Exemples de blocs-notes |
| --- | --- | --- | --- | --- |
| Classification d’images | Oui | Oui | PyTorch, TensorFlow | [Présentation de la JumpStart classification des images](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_image_classification/Amazon_JumpStart_Image_Classification.ipynb) |
| Détection d'objets | Oui | Oui | PyTorch, TensorFlow, MXNet | [Présentation de la JumpStart détection d'objets](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_object_detection/Amazon_JumpStart_Object_Detection.ipynb) |
| Segmentation sémantique | Oui | Oui | MXNet | [Présentation de JumpStart - Segmentation sémantique](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_semantic_segmentation/Amazon_JumpStart_Semantic_Segmentation.ipynb) |
| Segmentation d'instances | Oui | Oui | MXNet | [Présentation de JumpStart - Segmentation des instances](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_instance_segmentation/Amazon_JumpStart_Instance_Segmentation.ipynb) |
| Intégration d'images | Oui | Non | TensorFlow, MXNet | [Présentation de l' JumpStart intégration d'images](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_image_embedding/Amazon_JumpStart_Image_Embedding.ipynb) |
| Classification de texte | Oui | Oui | TensorFlow | [Présentation de JumpStart - Classification de textes](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_classification/Amazon_JumpStart_Text_Classification.ipynb) |
| Classification des paires de phrases | Oui | Oui | TensorFlow, Hugging Face | [Introduction à la JumpStart classification par paires de phrases](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_sentence_pair_classification/Amazon_JumpStart_Sentence_Pair_Classification.ipynb) |
| Réponse aux questions | Oui | Oui | PyTorch, Hugging Face | [Introduction à JumpStart — Réponses aux questions](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_question_answering/Amazon_JumpStart_Question_Answering.ipynb) |
| Reconnaissance des entités nommées (NER) | Oui | Non | Hugging Face | [Introduction à la JumpStart reconnaissance des entités nommées](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_named_entity_recognition/Amazon_JumpStart_Named_Entity_Recognition.ipynb) |
| Synthèse de texte | Oui | Non | Hugging Face | [Introduction à JumpStart - Récapitulatif de texte](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_summarization/Amazon_JumpStart_Text_Summarization.ipynb) |
| Génération de texte | Oui | Non | Hugging Face | [Présentation de JumpStart - Génération de texte](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_generation/Amazon_JumpStart_Text_Generation.ipynb) |
| Algorithme de traduction | Oui | Non | Hugging Face | [Introduction à JumpStart la traduction automatique](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_machine_translation/Amazon_JumpStart_Machine_Translation.ipynb) |
| Intégration de texte | Oui | Non | TensorFlow, MXNet | [Présentation de l' JumpStart incorporation de texte](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_embedding/Amazon_JumpStart_Text_Embedding.ipynb) |
| Classification tabulaire | Oui | Oui | LightGBM,,, AutoGluon -Tabular CatBoost XGBoost, Linear Learner TabTransformer | [Introduction à la JumpStart classification tabulaire - LightGBM, CatBoost](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/lightgbm_catboost_tabular/Amazon_Tabular_Classification_LightGBM_CatBoost.ipynb) [Présentation de JumpStart - Classification tabulaire - XGBoost, Linear Learner](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/xgboost_linear_learner_tabular/Amazon_Tabular_Classification_XGBoost_LinearLearner.ipynb) [Introduction à la JumpStart classification tabulaire - Apprenant AutoGluon](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/autogluon_tabular/Amazon_Tabular_Classification_AutoGluon.ipynb) [Introduction à la JumpStart classification tabulaire - Apprenant TabTransformer](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/tabtransformer_tabular/Amazon_Tabular_Classification_TabTransformer.ipynb) |
| Régression tabulaire | Oui | Oui | LightGBM,,, AutoGluon -Tabular CatBoost XGBoost, Linear Learner TabTransformer | [Introduction à la JumpStart régression tabulaire - LightGBM, CatBoost](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/lightgbm_catboost_tabular/Amazon_Tabular_Regression_LightGBM_CatBoost.ipynb) [Introduction à JumpStart — Régression tabulaire - XGBoost, Linear Learner](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/xgboost_linear_learner_tabular/Amazon_Tabular_Regression_XGBoost_LinearLearner.ipynb) [Introduction à la JumpStart régression tabulaire - Learner AutoGluon ](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/autogluon_tabular/Amazon_Tabular_Regression_AutoGluon.ipynb) [Introduction à la JumpStart régression tabulaire - Learner TabTransformer](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/tabtransformer_tabular/Amazon_Tabular_Regression_TabTransformer.ipynb) |
# Déploiement d'un modèle
Lorsque vous déployez un modèle depuis JumpStart, l' SageMaker IA héberge le modèle et déploie un point de terminaison que vous pouvez utiliser à des fins d'inférence. JumpStart fournit également un exemple de bloc-notes que vous pouvez utiliser pour accéder au modèle après son déploiement.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
**Note**
Pour plus d'informations sur le déploiement de JumpStart modèles dans Studio, voir [Déploiement d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-deploy.md)
## Configuration du déploiement de modèle
Une fois que vous avez choisi un modèle, l'onglet du modèle s'ouvre. Dans le volet **Deploy Model** (Déployer le modèle), choisissez **Deployment Configuration** (Configuration du déploiement) pour configurer le déploiement de votre modèle.
![\[The Deploy Model pane.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy.png)
La valeur par défaut Instance type (Type d'instance) pour déployer un modèle dépend du modèle. Le type d'instance est le matériel sur lequel la tâche d'entraînement s'exécute. Dans l'exemple suivant, l'instance `ml.p2.xlarge` est la valeur par défaut pour ce modèle BERT particulier.
Vous pouvez également modifier le nom du point de terminaison, ajouter `key;value` des balises de ressource, activer ou désactiver le `jumpstart-` préfixe pour toutes les JumpStart ressources liées au modèle et spécifier un compartiment Amazon S3 pour stocker les artefacts du modèle utilisés par votre point de terminaison d' SageMaker IA.
![\[JumpStart Deploy Model pane with Deployment Configuration open to select its settings.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-config.png)
Choisissez **Security Settings** pour spécifier le rôle Gestion des identités et des accès AWS (IAM), Amazon Virtual Private Cloud (Amazon VPC) et les clés de chiffrement pour le modèle.
![\[JumpStart Deploy Model pane with Security Settings open to select its settings.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security.png)
## Sécurité du déploiement de modèle
Lorsque vous déployez un modèle avec JumpStart, vous pouvez spécifier un rôle IAM, Amazon VPC et des clés de chiffrement pour le modèle. Si vous ne spécifiez aucune valeur pour ces entrées : le rôle IAM par défaut correspond à votre rôle d’exécution Studio Classic ; le chiffrement par défaut est utilisé ; aucun VPC Amazon n’est utilisé.
### Rôle IAM
Vous pouvez sélectionner un rôle IAM qui est transmis dans le cadre des tâches de formation et d'hébergement de tâches. SageMaker L'IA utilise ce rôle pour accéder aux données d'entraînement et aux artefacts du modèle. Si vous ne sélectionnez aucun rôle IAM, SageMaker AI déploie le modèle à l'aide de votre rôle d'exécution Studio Classic. Pour plus d’informations sur les rôles IAM, consultez [Gestion des identités et des accès AWS pour Amazon SageMaker AI](security-iam.md).
Le rôle que vous transmettez doit avoir accès aux ressources dont le modèle a besoin et doit inclure tous les éléments suivants.
+ Pour les tâches de formation : [CreateTrainingJob API : Execution Role Permissions](https://docs.aws.amazon.com//sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createtrainingjob-perms).
+ Pour les tâches d'hébergement : [CreateModel API : autorisations du rôle d'exécution](https://docs.aws.amazon.com//sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createmodel-perms).
**Note**
Vous pouvez examiner les autorisations Amazon S3 accordées dans chacun des rôles suivants. Pour ce faire, utilisez l'ARN de votre compartiment Amazon Simple Storage Service (Amazon S3) et du compartiment Amazon JumpStart S3.
```
[
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-/*",
"arn:aws:s3:::jumpstart-cache-prod-",
"arn:aws:s3:::/*"
]
},
{
"Effect": "Allow",
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"ecr:GetAuthorizationToken"
],
"Resource": [
"*"
]
},
{
"Effect": "Allow",
"Action": [
"ecr:BatchGetImage",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer"
],
"Resource": [
"*"
]
},
]
}
```
**Trouver le rôle IAM**
Si vous choisissez cette option, vous devez sélectionner un rôle IAM existant dans la liste déroulante.
![\[JumpStart Security Settings IAM section with Find IAM role selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findiam.png)
**Rôle IAM d'entrée**
Si vous sélectionnez cette option, vous devez saisir manuellement l'ARN d'un rôle IAM existant. Si votre rôle d’exécution Studio Classic ou votre VPC Amazon bloque l’appel `iam:list* `, vous devez utiliser cette option pour utiliser un rôle IAM existant.
![\[JumpStart Security Settings IAM section with Input IAM role selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputiam.png)
### Amazon VPC
Tous les JumpStart modèles fonctionnent en mode d'isolation du réseau. Une fois le conteneur de modèle créé, aucun autre appel ne peut être effectué. Vous pouvez sélectionner un Amazon VPC qui sera accepté dans le cadre des tâches de formation et d'hébergement. SageMaker L'IA utilise cet Amazon VPC pour transférer et extraire des ressources de votre compartiment Amazon S3. Ce VPC Amazon est différent du VPC Amazon qui limite l’accès à l’Internet public depuis votre instance Studio Classic. Pour plus d’informations sur le VPC Amazon Studio Classic, consultez [Connexion des blocs-notes Studio d’un VPC à des ressources externes](studio-notebooks-and-internet-access.md).
Le VPC Amazon que vous transmettez n'a pas besoin d'accéder à l'Internet public, mais il doit avoir accès à Amazon S3. Le point de terminaison Amazon VPC pour Amazon S3 doit autoriser l'accès aux ressources suivantes (a minima) dont le modèle a besoin.
```
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListMultipartUploadParts",
"s3:ListBucket"
],
"Resources": [
"arn:aws:s3:::jumpstart-cache-prod-/*",
"arn:aws:s3:::jumpstart-cache-prod-",
"arn:aws:s3:::bucket/*"
]
}
```
Si vous ne sélectionnez pas un VPC Amazon, aucun VPC Amazon n'est utilisé.
**Trouver un VPC**
Si vous choisissez cette option, vous devez sélectionner un VPC Amazon existant dans la liste déroulante. Après avoir choisi un VPC Amazon, vous devez sélectionner un sous-réseau et un groupe de sécurité pour votre VPC Amazon. Pour plus d'informations sur les sous-réseaux et les groupes de sécurité, consultez la section [Présentation des sous-réseaux VPCs et sous-réseaux](https://docs.aws.amazon.com//vpc/latest/userguide/VPC_Subnets.html).
![\[JumpStart Security Settings VPC section with Find VPC selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findvpc.png)
**VPC d'entrée**
Si vous sélectionnez cette option, vous devez sélectionner manuellement le sous-réseau et le groupe de sécurité qui composent votre Amazon VPC. Si votre rôle d’exécution Studio Classic ou votre VPC Amazon bloque l’appel `ec2:list*`, vous devez utiliser cette option pour sélectionner le sous-réseau et le groupe de sécurité.
![\[JumpStart Security Settings VPC section with Input VPC selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputvpc.png)
### Clés de chiffrement
Vous pouvez sélectionner une AWS KMS clé qui est transmise dans le cadre des tâches de formation et d'hébergement des tâches. SageMaker L'IA utilise cette clé pour chiffrer le volume Amazon EBS du conteneur, ainsi que le modèle reconditionné dans Amazon S3 pour les tâches d'hébergement et les résultats pour les tâches de formation. Pour plus d'informations sur AWS KMS les clés, consultez la section [AWS KMS clés](https://docs.aws.amazon.com//kms/latest/developerguide/concepts.html#kms_keys).
La clé que vous transmettez doit faire confiance au rôle IAM transmis. Si vous ne spécifiez aucun rôle IAM, la AWS KMS clé doit faire confiance à votre rôle d'exécution Studio Classic.
Si vous ne sélectionnez aucune AWS KMS clé, SageMaker AI fournit un chiffrement par défaut pour les données du volume Amazon EBS et les artefacts Amazon S3.
**Trouver des clés de chiffrement**
Si vous sélectionnez cette option, vous devez sélectionner les AWS KMS clés existantes dans la liste déroulante.
![\[JumpStart Security Settings encryption section with Find encryption keys selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findencryption.png)
**Clés de chiffrement d'entrée**
Si vous sélectionnez cette option, vous devez saisir les AWS KMS clés manuellement. Si votre rôle d'exécution Studio Classic ou Amazon VPC bloque l'`kms:list* `appel, vous devez utiliser cette option pour sélectionner les clés existantes AWS KMS .
![\[JumpStart Security Settings encryption section with Input encryption keys selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputencryption.png)
## Configuration des valeurs par défaut pour les JumpStart modèles
Vous pouvez configurer des valeurs par défaut pour des paramètres tels que les rôles IAM et les VPCs clés KMS à prérenseigner pour le déploiement et la formation des JumpStart modèles. Après avoir configuré les valeurs par défaut, l'interface utilisateur de Studio Classic fournit automatiquement les paramètres de sécurité et les balises que vous avez spécifiés aux JumpStart modèles afin de simplifier les flux de travail de déploiement et de formation. Les administrateurs et les utilisateurs finaux peuvent initialiser les valeurs par défaut spécifiées dans un fichier de configuration au format YAML.
Par défaut, le SDK SageMaker Python utilise deux fichiers de configuration : un pour l'administrateur et un pour l'utilisateur. À l'aide du fichier de configuration de l'administrateur, les administrateurs peuvent définir un ensemble de valeurs par défaut. Les utilisateurs finaux peuvent remplacer les valeurs définies dans le fichier de configuration de l'administrateur et définir des valeurs par défaut supplémentaires à l'aide du fichier de configuration de l'utilisateur final. Pour plus d'informations, consultez [Emplacement du fichier de configuration par défaut](https://sagemaker.readthedocs.io/en/stable/overview.html#default-configuration-file-location).(langue française non garantie)
L'exemple de code suivant répertorie les emplacements par défaut des fichiers de configuration lors de l'utilisation du SDK SageMaker Python dans Amazon SageMaker Studio Classic.
```
# Location of the admin config file
/etc/xdg/sagemaker/config.yaml
# Location of the user config file
/root/.config/sagemaker/config.yaml
```
Les valeurs spécifiées dans le fichier de configuration de l'utilisateur remplacent les valeurs définies dans le fichier de configuration de l'administrateur. Le fichier de configuration est propre à chaque profil utilisateur au sein d'un domaine Amazon SageMaker AI. L’application Studio Classic du profil utilisateur est directement associée au profil utilisateur. Pour de plus amples informations, veuillez consulter [Profils utilisateur d’un domaine](domain-user-profile.md).
Les administrateurs peuvent éventuellement définir des paramètres de configuration par défaut pour la formation et le déploiement des JumpStart modèles par le biais de configurations `JupyterServer` du cycle de vie. Pour de plus amples informations, veuillez consulter [Création et association d'une configuration de cycle de vie avec Amazon SageMaker Studio Classic](studio-lcc-create.md).
### Fichier YAML de configuration des valeurs par défaut
Votre fichier de configuration doit respecter la [structure du fichier de configuration du](https://sagemaker.readthedocs.io/en/stable/overview.html#configuration-file-structure) SDK SageMaker Python. Notez que les champs spécifiques des `EndpointConfig` configurations `TrainingJob``Model`, et s'appliquent aux valeurs par défaut de formation et de déploiement des JumpStart modèles.
```
SchemaVersion: '1.0'
SageMaker:
TrainingJob:
OutputDataConfig:
KmsKeyId: example-key-id
ResourceConfig:
# Training configuration - Volume encryption key
VolumeKmsKeyId: example-key-id
# Training configuration form - IAM role
RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
VpcConfig:
# Training configuration - Security groups
SecurityGroupIds:
- sg-1
- sg-2
# Training configuration - Subnets
Subnets:
- subnet-1
- subnet-2
# Training configuration - Custom resource tags
Tags:
- Key: Example-key
Value: Example-value
Model:
EnableNetworkIsolation: true
# Deployment configuration - IAM role
ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
VpcConfig:
# Deployment configuration - Security groups
SecurityGroupIds:
- sg-1
- sg-2
# Deployment configuration - Subnets
Subnets:
- subnet-1
- subnet-2
EndpointConfig:
AsyncInferenceConfig:
OutputConfig:
KmsKeyId: example-key-id
DataCaptureConfig:
# Deployment configuration - Volume encryption key
KmsKeyId: example-key-id
KmsKeyId: example-key-id
# Deployment configuration - Custom resource tags
Tags:
- Key: Example-key
Value: Example-value
```
# Affiner un modèle
L'affinage entraîne un modèle pré-entraîné sur un nouveau jeu de données sans entraînement et à partir de zéro. Ce processus, également connu sous le nom d'apprentissage par transfert, peut produire des modèles précis avec des jeux de données plus petits et moins de temps d'entraînement. Vous pouvez affiner un modèle si l'attribut **Fine-tunable** (Réglable) est défini sur **Yes** (Oui) sur sa carte.
![\[JumpStart fine-tunable Image Classification - TensorFlow model\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-finetune-model.png)
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
**Note**
Pour plus d'informations sur le réglage précis des JumpStart modèles dans Studio, voir [Peaufinage d’un modèle dans Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md)
## Affinage de la source de données
Lorsque vous affinez un modèle, vous pouvez utiliser le jeu de données par défaut ou choisir vos propres données, situées dans un compartiment Amazon S3.
Pour parcourir les compartiments à votre disposition, choisissez **Find S3 bucket (Rechercher un compartiment S3)**. Ces compartiments sont limités par les autorisations utilisées pour configurer votre compte Studio Classic. Vous pouvez également spécifier un URI Amazon S3 en choisissant **Enter Amazon S3 bucket location** (Entrer l'emplacement du compartiment Amazon S3).
![\[JumpStart data source settings with default dataset selected.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-dataset.png)
**Astuce**
Pour savoir comment formater les données dans votre compartiment, choisissez **Learn more (En savoir plus)**. La section de description du modèle contient des informations détaillées sur les entrées et les sorties.
Pour les modèles de texte :
+ Le compartiment doit comporter un fichier data.csv.
+ La première colonne doit correspondre à un nombre entier unique pour l'étiquette de classe. Par exemple : `1`, `2`, `3`, `4`, `n`
+ La seconde colonne doit être une chaîne.
+ La seconde colonne doit contenir le texte correspondant qui correspond au type et à la langue du modèle.
Pour les modèles de vision :
+ Le compartiment doit contenir autant de sous-répertoires que le nombre de classes.
+ Chaque sous-répertoire doit contenir des images appartenant à cette classe au format .jpg.
**Note**
Le compartiment Amazon S3 doit se trouver dans le même emplacement que celui dans Région AWS lequel vous exécutez SageMaker Studio Classic, car l' SageMaker IA n'autorise pas les requêtes interrégionales.
## Affiner la configuration du déploiement
La famille p3 est recommandée, car elle est considérée comme la plus rapide pour l'entraînement en deep learning, ce qui est recommandé pour affiner un modèle. Le graphique suivant indique le nombre de GPUs dans chaque type d'instance. Il existe d'autres options disponibles que vous pouvez choisir, y compris les types d'instance p2 et g4.
| Type d’instance | GPUs |
| --- | --- |
| p3.2xlarge | 1 |
| p3.8xlarge | 4 |
| p3.16xlarge | 8 |
| p3dn.24xlarge | 8 |
## Hyperparamètres
Vous pouvez personnaliser les hyperparamètres de la tâche d'entraînement utilisés pour affiner le modèle. Les hyperparamètres disponibles pour chaque modèle réglable varient en fonction du modèle. Pour plus d'informations sur chaque hyperparamètre disponible, consultez la documentation relative aux hyperparamètres du modèle de votre choix dans [Algorithmes intégrés et modèles préentraînés dans Amazon SageMaker](algos.md). Par exemple, voir [Classification des images - TensorFlow Hyperparamètres](IC-TF-Hyperparameter.md) pour plus de détails sur la classification des images réglable avec précision - TensorFlow hyperparamètres.
Si vous utilisez le jeu de données par défaut pour les modèles de texte sans modifier les hyperparamètres, vous obtenez un modèle presque identique. Pour les modèles de vision, le jeu de données par défaut est différent du jeu de données utilisé pour entraîner les modèles pré-entraînés. Par conséquent, votre modèle est différent.
Les hyperparamètres suivants sont courants parmi les modèles :
+ **Epochs (Époques)** – Une époque est un cycle dans l'ensemble du jeu de données. Plusieurs intervalles complètent un lot, et plusieurs lots finissent par compléter une époque. Plusieurs époques sont exécutées jusqu'à ce que la précision du modèle atteigne un niveau acceptable ou lorsque le taux d'erreur descend en dessous d'un niveau acceptable.
+ **Learning rate (Taux d'apprentissage)** – Quantité de modifications que doivent subir les valeurs d'une époque à l'autre. Au fur et à mesure que le modèle est affiné, ses pondérations internes sont modifiées et les taux d'erreur sont vérifiés pour voir si le modèle s'améliore. Un taux d'apprentissage typique est de 0,1 ou 0,01, où 0,01 est un ajustement beaucoup plus petit et peut faire en sorte que l'entraînement prenne beaucoup de temps pour converger, alors que 0,1 est beaucoup plus grand et peut faire en sorte que l'entraînement dépasse les limites. Il s'agit de l'un des principaux hyperparamètres que vous pouvez ajuster pour l'entraînement de votre modèle. Notez que pour les modèles de texte, un taux d'apprentissage beaucoup plus faible (5e-5 pour BERT) peut donner lieu à un modèle plus précis.
+ **Taille du lot** : nombre d'enregistrements de l'ensemble de données à sélectionner pour chaque intervalle à envoyer à des GPUs fins d'entraînement.
Dans un exemple d'image, vous pouvez envoyer 32 images par GPU,. 32 est donc votre taille de lot. Si vous choisissez un type d'instance avec plusieurs processeurs graphiques, le lot est divisé par le nombre de GPUs. La taille du lot suggérée varie en fonction des données et du modèle que vous utilisez. Par exemple, la façon dont vous optimisez les données d'image diffère de la façon dont vous traitez les données de langue.
Dans le tableau des types d'instance de la section de configuration du déploiement, vous pouvez voir le nombre de GPUs par type d'instance. Commencez par une taille de lot standard recommandée (par exemple, 32 pour un modèle de vision). Multipliez ensuite ce chiffre par le nombre de GPUs dans le type d'instance que vous avez sélectionné. Par exemple, si vous utilisez un`p3.8xlarge`, ce serait 32 (taille du lot) multiplié par 4 (GPUs), pour un total de 128, car la taille de votre lot s'ajuste au nombre de GPUs. Pour un modèle de texte comme BERT, essayez de commencer par une taille de lot de 64, puis réduisez-la au besoin.
## Sortie de l'entraînement
Lorsque le processus de réglage est terminé, JumpStart fournit des informations sur le modèle : modèle parent, nom de la tâche de formation, ARN de la tâche de formation, durée de formation et chemin de sortie. Le chemin de sortie est l'endroit où vous pouvez trouver votre nouveau modèle dans un compartiment Amazon S3. La structure de dossier utilise le nom de modèle que vous avez fourni et le fichier de modèle se trouve dans un sous-dossier `/output`. Il est toujours nommé `model.tar.gz`.
Exemple : `s3://bucket/model-name/output/model.tar.gz`
## Configuration des valeurs par défaut pour l'entraînement de modèles
Vous pouvez configurer des valeurs par défaut pour des paramètres tels que les rôles IAM et les VPCs clés KMS à prérenseigner pour le déploiement et la formation des JumpStart modèles. Pour plus d'informations, consultez, [Configuration des valeurs par défaut pour les JumpStart modèles](jumpstart-deploy.md#jumpstart-config-defaults).
# Share Models (Partager des modèles)
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Vous pouvez partager JumpStart des modèles via l'interface utilisateur de Studio Classic directement depuis la page ** JumpStart Ressources lancées** en suivant la procédure suivante :
1. Ouvrez Amazon SageMaker Studio Classic et choisissez **Launched JumpStart assets** dans la **JumpStart**section du volet de navigation de gauche.
1. Sélectionnez l'onglet **Training jobs** (Tâches d'entraînement) pour afficher la liste de vos tâches d'entraînement de modèles.
1. Dans la liste **Training jobs** (Tâches d'entraînement), sélectionnez la tâche d'entraînement que vous souhaitez partager. La page de détails de la tâche d'entraînement s'ouvre. Vous ne pouvez pas partager plusieurs tâches de formation à la fois.
1. Dans l’en-tête de la tâche d’entraînement, choisissez **Partager**, puis sélectionnez **Partager avec mon organisation**.
Pour plus d’informations sur le partage de modèles avec votre organisation, consultez [Modèles et blocs-notes partagés](jumpstart-content-sharing.md).
# Modèles et blocs-notes partagés
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
Partagez vos modèles et vos blocs-notes pour centraliser les artefacts des modèles, faciliter leur découverte et accroître la réutilisation des modèles au sein de votre organisation. Lorsque vous partagez vos modèles, vous pouvez fournir des informations sur l'environnement de formation et d'inférence, et autoriser les collaborateurs à utiliser ces environnements pour leurs propres tâches de formation et d'inférence.
Tous les modèles que vous partagez et les modèles partagés avec vous sont consultables dans un emplacement centralisé directement dans Amazon SageMaker Studio Classic. Pour plus d'informations sur les étapes d'intégration pour se connecter à Amazon SageMaker Studio Classic, consultez la section [Intégration au domaine Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html).
**Topics**
+ [Partage de modèles et de blocs-notes](jumpstart-content-sharing-access.md)
+ [Accès au contenu partagé](jumpstart-content-sharing-access-filter.md)
+ [Ajouter un modèle](jumpstart-content-sharing-add-model.md)
# Partage de modèles et de blocs-notes
Pour partager des modèles et des carnets de notes, accédez à la section **Modèles partagés** d'Amazon SageMaker Studio Classic, choisissez **Partagé par mon organisation**, puis sélectionnez la liste déroulante **Ajouter**. Choisissez d’ajouter un modèle ou un bloc-notes.
![\[Le menu auquel ajouter des modèles ou des blocs-notes partagés. JumpStart\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-shared-models.png)
# Accès au contenu partagé
Depuis l'interface utilisateur Amazon SageMaker Studio Classic, vous pouvez accéder au contenu partagé et filtrer ce que vous voyez.
Il existe trois options principales pour filtrer les modèles et blocs-notes partagés :
1. **Partagé par moi** — Modèles et carnets de notes que vous avez partagés avec. JumpStart
1. **Shared with me** (Partagé avec moi) : modèles et blocs-notes partagés avec vous
1. **Shared by my organization** (Partagé par mon organisation) : tous les modèles et blocs-notes partagés avec tous les membres de votre organisation
Vous pouvez également trier vos modèles et blocs-notes en fonction de l'heure à laquelle ils ont été mis à jour pour la dernière fois ou par ordre alphabétique croissant ou décroissant. Cliquez sur l’icône de filtre (![\[Funnel or filter icon representing data filtering or narrowing down options.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-filter-icon.png)) pour trier davantage vos sélections.
# Ajouter un modèle
Pour ajouter un modèle, choisissez **Partagés par mon organisation**, puis sélectionnez **Ajouter un modèle** dans la liste déroulante **Ajouter**. Entrez les informations de base de votre modèle et ajoutez toutes les informations de formation ou d'inférence que vous souhaitez partager avec des collaborateurs, pour former ou déployer votre modèle. Après avoir saisi toutes les informations nécessaires, choisissez **Ajouter un modèle** dans le coin inférieur droit.
**Topics**
+ [Ajout d’informations de base](jumpstart-content-sharing-info.md)
+ [Activer l'entraînement](jumpstart-content-sharing-training.md)
+ [Activer le déploiement](jumpstart-content-sharing-deployment.md)
+ [Ajouter un bloc-notes](jumpstart-content-sharing-notebooks.md)
# Ajout d’informations de base
L'ajout d'un modèle JumpStart implique de fournir des informations de base sur le modèle que vous souhaitez entraîner. Ces informations permettent de définir les caractéristiques et les capacités de votre modèle, et de le rendre plus facile à découvrir et à rechercher. Pour créer un modèle, procédez comme suit :
1. Ajoutez un titre pour ce modèle. L'ajout d'un titre renseigne automatiquement un identifiant unique dans le champ ID en fonction du titre du modèle.
1. Ajouter une description du modèle.
1. Sélectionnez un type de données parmi les options : *texte* (texte), *vision*, *tabular* (tabulaire) ou *audio*.
1. Sélectionnez une tâche de machine learning dans la liste des tâches disponibles, comme *image classification* (classification d'images) ou *text generation* (génération de texte).
1. Sélectionnez un cadre de machine learning.
1. Ajoutez des informations de métadonnées avec des mots clés ou des expressions à utiliser lors de la recherche d'un modèle. Séparez les mots clés à l'aide de virgules. Tous les espaces sont automatiquement remplacés par des virgules.
# Activer l'entraînement
Lorsque vous ajoutez un modèle à partager, vous pouvez fournir un environnement d'entraînement et permettre aux collaborateurs de votre organisation d'entraîner le modèle partagé.
**Note**
Si vous ajoutez un modèle tabulaire, vous devez également spécifier un format de colonne et une colonne cible pour activer l'entraînement.
Après avoir fourni les informations de base concernant votre modèle, vous devez configurer les paramètres de la tâche d’entraînement qui sera utilisée pour l’entraîner. Cela implique de spécifier l’environnement du conteneur, les scripts de code, les jeux de données, les emplacements de sortie et divers autres paramètres permettant de contrôler comment la tâche d’entraînement est exécutée. Pour configurer les paramètres de la tâche d’entraînement, procédez comme suit :
1. Ajoutez un conteneur à utiliser pour l'entraînement des modèles. Vous pouvez sélectionner un conteneur utilisé pour un poste de formation existant, apporter votre propre conteneur dans Amazon ECR ou utiliser un conteneur Amazon SageMaker Deep Learning.
1. Ajoutez des variables d'environnement.
1. Indiquez l'emplacement du script d'entraînement.
1. Fournissez un point d'entrée en mode script.
1. Fournissez un URI Amazon S3 pour les artefacts du modèle générés pendant l'entraînement.
1. Fournissez l'URI Amazon S3 au jeu de données d'entraînement par défaut.
1. Fournissez un chemin de sortie du modèle. Le chemin de sortie du modèle doit être le chemin de l'URI Amazon S3 pour tous les artefacts de modèle générés lors de l'entraînement. SageMaker L'IA enregistre les artefacts du modèle dans un seul fichier TAR compressé dans Amazon S3.
1. Fournissez un jeu de données de validation à utiliser pour évaluer votre modèle pendant l'entraînement. Les jeux de données de validation doivent contenir le même nombre de colonnes et les mêmes en-têtes de fonctions que le jeu de données d'entraînement.
1. Activez l'isolation du réseau. L'isolation du réseau isole le conteneur du modèle afin qu'aucun appel réseau entrant ou sortant ne puisse être effectué vers le conteneur modèle ou à partir de celui-ci.
1. Fournissez des canaux de formation par le biais desquels l' SageMaker IA peut accéder à vos données. Par exemple, vous pouvez spécifier les canaux d'entrée nommés `train` ou `test`. Pour chaque canal, spécifiez un nom de canal et un URI indiquant l'emplacement de vos données. Choisissez **Browse** (Parcourir) pour rechercher des emplacements Amazon S3.
1. Fournissez des hyperparamètres. Ajoutez tous les hyperparamètres que les collaborateurs devraient tester pendant l'entraînement. Fournissez une plage de valeurs valides pour ces hyperparamètres. Cette plage est utilisée pour la validation des hyperparamètres des tâches d'entraînement. Vous pouvez définir des plages en fonction du type de données de l'hyperparamètre.
1. Sélectionnez un type d'instance. Nous recommandons d'utiliser une instance de GPU avec davantage de mémoire pour l'entraînement avec de grandes tailles de lot. Pour obtenir une liste complète des instances de SageMaker formation dans toutes AWS les régions, consultez le tableau **des tarifs à la demande** dans [Amazon SageMaker Pricing.](https://aws.amazon.com/sagemaker/pricing/)
1. Fournissez des métriques. Définissez les métriques d'une tâche d'entraînement en spécifiant un nom et une expression régulière pour chaque métrique surveillée par votre entraînement. Concevez les expressions régulières de manière à ce qu'elles capturent les valeurs des métriques émises par votre algorithme. Par exemple, la métrique `loss` peut contenir l'expression régulière `"Loss =(.*?);"`.
# Activer le déploiement
Lorsque vous ajoutez un modèle à partager, vous pouvez fournir un environnement d'inférence dans lequel les collaborateurs de votre organisation peuvent déployer le modèle partagé pour l'inférence.
Après avoir entraîné votre modèle d'apprentissage automatique, vous devrez le déployer sur un point de terminaison Amazon SageMaker AI à des fins d'inférence. Cela implique de fournir un environnement de conteneur, un script d’inférence, les artefacts du modèle générés pendant l’entraînement, et de sélectionner un type d’instance de calcul approprié. Une bonne configuration de ces paramètres est essentielle pour garantir que votre modèle déployé peut effectuer des prédictions précises et traiter efficacement les demandes d’inférence. Pour configurer votre modèle à des fins d’inférence, procédez comme suit :
1. Ajoutez un conteneur à utiliser pour l'inférence. Vous pouvez apporter votre propre conteneur dans Amazon ECR ou utiliser un conteneur Amazon SageMaker Deep Learning.
1. Fournissez l'URI Amazon S3 à un script d'inférence. Des scripts d'inférence personnalisés s'exécutent dans le conteneur de votre choix. Votre script d'inférence doit inclure une fonction de chargement du modèle et, éventuellement, des fonctions générant des prédictions et traitant les entrées et les sorties. Pour plus d'informations sur la création de scripts d'inférence pour le framework de votre choix, consultez [Frameworks](https://sagemaker.readthedocs.io/en/stable/frameworks/index.html) dans la documentation du SDK SageMaker Python. Par exemple, pour TensorFlow, voir [Comment implémenter le ou les gestionnaires de and/or pré-post-traitement.](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/deploying_tensorflow_serving.html#how-to-implement-the-pre-and-or-post-processing-handler-s)
1. Fournissez un URI Amazon S3 pour les artefacts de modèle. Les artefacts de modèle sont les résultats de l'entraînement d'un modèle. Ils se composent généralement de paramètres entraînés, d'une définition de modèle décrivant comment calculer les inférences et d'autres métadonnées. Si vous avez entraîné votre modèle à l' SageMaker IA, les artefacts du modèle sont enregistrés dans un seul fichier TAR compressé dans Amazon S3. Si vous avez entraîné votre modèle en dehors de l' SageMaker IA, vous devez créer ce fichier TAR compressé unique et l'enregistrer dans un emplacement Amazon S3.
1. Sélectionnez un type d'instance. Nous recommandons d'utiliser une instance de GPU avec davantage de mémoire pour l'entraînement avec de grandes tailles de lot. Pour obtenir une liste complète des instances de SageMaker formation dans toutes AWS les régions, consultez le tableau **des tarifs à la demande** dans [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
# Ajouter un bloc-notes
Pour ajouter un bloc-notes, choisissez **Partagés par mon organisation**, puis sélectionnez **Ajouter un bloc-notes** dans la liste déroulante **Ajouter**. Entrez les informations de base de votre bloc-notes et fournissez un URI Amazon S3 pour l'emplacement de ce bloc-notes.
Tout d'abord, ajoutez les informations descriptives de base sur votre bloc-notes. Ces informations permettent d'améliorer la facilité de recherche de votre bloc-notes.
1. Ajoutez un titre à ce bloc-notes. L'ajout d'un titre renseigne automatiquement un identifiant unique dans le champ ID en fonction du titre du bloc-notes.
1. Ajoutez une description du bloc-notes.
1. Sélectionnez un type de données parmi les options : *texte* (texte), *vision*, *tabular* (tabulaire) ou *audio*.
1. Sélectionnez une tâche de machine learning dans la liste des tâches disponibles, comme *image classification* (classification d'images) ou *text generation* (génération de texte).
1. Sélectionnez un framework de machine learning.
1. Ajoutez des informations de métadonnées avec des mots clés ou des expressions à utiliser lors de la recherche d'un bloc-notes. Séparez les mots clés à l'aide de virgules. Tous les espaces sont automatiquement remplacés par des virgules.
Après avoir spécifié les informations de base de ce bloc-notes, vous pouvez fournir un URI Amazon S3 pour son emplacement. Vous pouvez sélectionner **Browse** (Parcourir) pour parcourir vos compartiments Amazon S3 pour l'emplacement de votre fichier de votre bloc-notes. Une fois que vous avez trouvé votre bloc-notes, copiez l'URI Amazon S3, choisissez **Cancel** (Annuler), puis ajoutez l'URI Amazon S3 dans le champ **Notebook Location** (Emplacement du bloc-notes).
Après avoir saisi toutes les informations nécessaires, choisissez **Add notebook** (Ajouter un bloc-notes) dans le coin inférieur droit.
# End-to-end JumpStart modèles de solutions
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
**Note**
JumpStart Les solutions ne sont disponibles que dans Studio Classic.
SageMaker JumpStart fournit des end-to-end solutions en un clic conçues pour répondre aux cas d'utilisation courants de l'apprentissage automatique. Elles utilisent des algorithmes éprouvés pour leurs domaines et fournissent un flux de travail complet qui inclut généralement le traitement des données, l’entraînement des modèles, le déploiement, l’inférence et la surveillance. Explorez les cas d'utilisation suivants pour plus d'informations sur les modèles de solutions disponibles.
+ [Prédiction de la demande](#jumpstart-solutions-demand-forecasting)
+ [Prédiction de la cote de crédit](#jumpstart-solutions-credit-prediction)
+ [Détection des fraudes](#jumpstart-solutions-fraud-detection)
+ [Reconnaissance d’image](#jumpstart-solutions-computer-vision)
+ [Extraire et analyser les données des documents](#jumpstart-solutions-documents)
+ [Maintenance prédictive](#jumpstart-solutions-predictive-maintenance)
+ [Prédiction du taux de désabonnement](#jumpstart-solutions-churn-prediction)
+ [Recommandations personnalisées](#jumpstart-solutions-recommendations)
+ [Apprentissage par renforcement](#jumpstart-solutions-reinforcement-learning)
+ [Santé et sciences de la vie](#jumpstart-solutions-healthcare-life-sciences)
+ [Tarification financière](#jumpstart-solutions-financial-pricing)
+ [Inférence causale](#jumpstart-solutions-causal-inference)
Choisissez le modèle de solution qui correspond le mieux à votre cas d'utilisation sur la page de JumpStart destination. Lorsque vous choisissez un modèle de solution, un nouvel onglet contenant une description de la solution et un bouton de **lancement JumpStart ** s'ouvre. Lorsque vous sélectionnez **Launch**, il JumpStart crée toutes les ressources dont vous avez besoin pour exécuter la solution, y compris les instances de formation et d'hébergement de modèles. Pour plus d'informations sur le lancement d'une JumpStart solution, consultez[Lancement d'une solution](jumpstart-solutions-launch.md).
Après avoir lancé la solution, vous pouvez explorer les fonctionnalités de la solution et tous les artefacts générés dans JumpStart. Utilisez le menu ** JumpStart Ressources lancées** pour trouver votre solution. Sélectionnez **Open Notebook** (Ouvrir le bloc-notes) dans l'onglet de votre solution pour utiliser les blocs-notes fournis et explorer les fonctionnalités de la solution. Lorsque des artefacts sont générés pendant le lancement ou après l'exécution des blocs-notes fournis, ils sont répertoriés dans le tableau **Generated Artifacts** (Artefacts générés). Vous pouvez supprimer des artefacts individuels à l'aide de l'icône Corbeille (![\[The trash icon for JumpStart.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-trash.png)). Vous pouvez supprimer toutes les ressources de la solution en choisissant **Delete solution resources (Supprimer les ressources de la solution)**.
## Prédiction de la demande
La prévision de la demande utilise des données de séries temporelles historiques afin d'effectuer des estimations futures par rapport à la demande des clients sur une période spécifique et de rationaliser le processus de prise de décision entre offre et demande au sein des entreprises.
Les cas d'utilisation de la prévision de la demande incluent la prédiction des ventes de billets dans le secteur des transports, du cours des actions, du nombre de visites à l'hôpital, du nombre de chargés de clientèle à embaucher pour plusieurs sites au cours du mois suivant, des ventes de produits dans plusieurs régions au cours du trimestre suivant, de l'utilisation des serveurs cloud le jour suivant pour un service de streaming vidéo, de la consommation d'électricité pour plusieurs régions au cours de la semaine à venir, du nombre de capteurs et d'appareils IoT tels que la consommation d'énergie, etc.
Les données de séries temporelles sont classées comme *univariées* et *multivariées*. Par exemple, la consommation totale d'électricité d'un ménage est une série temporelle univariée sur une période donnée. Lorsque plusieurs séries temporelles univariées sont empilées les unes sur les autres, on parle de série temporelle multivariée. Par exemple, la consommation totale d'électricité de 10 ménages différents (mais corrélés) d'un même quartier constitue un jeu de données de série temporelle multivariée.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Prédiction de la demande | Prévision de la demande pour les données de séries chronologiques multivariées à l'aide de trois algorithmes de prévision de séries state-of-the-art chronologiques : [LSTNet](https://ts.gluon.ai/stable/api/gluonts/gluonts.mx.model.lstnet.html)[Prophet](https://facebook.github.io/prophet/) et AI [SageMaker DeePar](https://docs.aws.amazon.com/sagemaker/latest/dg/deepar.html). | [GitHub »](https://github.com/awslabs/sagemaker-deep-demand-forecast) |
## Prédiction de la cote de crédit
Utilisez les solutions JumpStart de prédiction des notations de crédit pour prévoir les notations de crédit des entreprises ou pour expliquer les décisions de prédiction de crédit prises à l'aide de modèles d'apprentissage automatique. Par rapport aux méthodes traditionnelles de modélisation des notations de crédit, les modèles de machine learning peuvent automatiser et améliorer la précision de la prédiction de crédit.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Prédiction de la cote de crédit des entreprises | [Apprentissage automatique multimodal (texte long et tabulaire) pour des prévisions de crédit de qualité à l'aide AWS AutoGluon de Tabular.](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html) | [GitHub »](https://github.com/awslabs/sagemaker-corporate-credit-rating) |
| Cote de crédit basée sur des graphes | Prédisez les notations de crédit des entreprises à l'aide de données tabulaires et d'un réseau d'entreprise en formant un [réseau de neurones Graph (GraphSage](https://cs.stanford.edu/people/jure/pubs/graphsage-nips17.pdf)) et un modèle AWS [AutoGluon tabulaire](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html). | Trouvez dans Amazon SageMaker Studio Classic. |
| Expliquer les décisions de crédit | Prédisez le défaut de crédit dans les demandes de crédit et fournissez des explications à l'aide de [LightGBM](https://lightgbm.readthedocs.io/en/latest/) et [SHAP (SHapleyAdditive](https://shap.readthedocs.io/en/latest/index.html) Explanations). | [GitHub »](https://github.com/awslabs/sagemaker-explaining-credit-decisions) |
## Détection des fraudes
De nombreuses entreprises perdent des milliards chaque année en raison de la fraude. Les modèles de détection des fraudes basés sur le machine learning peuvent aider à identifier systématiquement les activités frauduleuses probables à partir d'une énorme quantité de données. Les solutions suivantes utilisent des jeux de données de transaction et d'identité utilisateur pour identifier les transactions frauduleuses.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Détectez les utilisateurs et les transactions malveillants | Détectez automatiquement les activités potentiellement frauduleuses dans les transactions à l'aide de l'[SageMaker IA XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) grâce à la technique de suréchantillonnage [Synthetic Minority Oversampling](https://arxiv.org/abs/1106.1813) (SMOTE). | [GitHub »](https://github.com/awslabs/fraud-detection-using-machine-learning) |
| Détection des fraudes dans les transactions financières à l'aide d'une bibliothèque de graphes profonds | Détectez les fraudes dans les transactions financières en formant un [réseau convolutif de graphes](https://arxiv.org/pdf/1703.06103.pdf) à l'aide de la [bibliothèque de graphes approfondie](https://www.dgl.ai/) et d'un modèle d'[SageMaker IA XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). | [GitHub »](https://github.com/awslabs/sagemaker-graph-fraud-detection) |
| Classification des paiements financiers | Classez les paiements financiers en fonction des informations relatives aux transactions à l'aide de l'[SageMaker IA XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). Utilisez ce modèle de solution comme étape intermédiaire dans la détection des fraudes, la personnalisation ou la détection des anomalies. | Trouvez dans Amazon SageMaker Studio Classic. |
## Reconnaissance d’image
Avec l'augmentation des cas d'utilisation commerciaux tels que les véhicules autonomes, la vidéosurveillance intelligente, le monitoring des soins de santé et diverses tâches de comptage d'objets, les systèmes de détection d'objets rapides et précis sont de plus en plus demandés. Ces systèmes impliquent non seulement de reconnaître et de classer chaque objet d'une image, mais aussi de localiser chacun d'eux en traçant le cadre de délimitation approprié autour de celui-ci. Au cours de la dernière décennie, les progrès rapides des techniques de deep learning ont considérablement accéléré la dynamique de la détection d'objets.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Détection des défauts visuels des produits | Identifiez les zones défectueuses sur les images des produits, soit en entraînant un [modèle de détection d'objets à partir de zéro](https://ieeexplore.ieee.org/document/8709818), soit en affinant des modèles d' SageMaker IA préentraînés. | [GitHub »](https://github.com/awslabs/sagemaker-defect-detection) |
| Reconnaissance de l'écriture manuscrite | Reconnaîssez du texte manuscrit dans des images en entraînant un [modèle de détection d'objets](https://mxnet.apache.org/versions/1.0.0/api/python/gluon/model_zoo.html#mxnet.gluon.model_zoo.vision.resnet34_v1) et un [modèle de reconnaissance de l'écriture manuscrite](https://arxiv.org/abs/1910.00663). Étiquetez vos propres données à l'aide de [SageMaker Ground Truth](https://aws.amazon.com/sagemaker/data-labeling/). | [GitHub »](https://github.com/awslabs/sagemaker-handwritten-text-recognition) |
| Détection d'objets pour les espèces d'oiseaux | Identifiez les espèces d'oiseaux dans une scène à l'aide d'un [modèle de détection d'objets basé sur l'SageMaker IA](https://docs.aws.amazon.com/sagemaker/latest/dg/object-detection.html). | Trouvez dans Amazon SageMaker Studio Classic. |
## Extraire et analyser les données des documents
JumpStart fournit des solutions qui vous permettent de découvrir des informations et des connexions précieuses dans des documents critiques pour l'entreprise. Les cas d'utilisation incluent la classification de textes, la synthèse de documents, la reconnaissance de l'écriture manuscrite, l'extraction de relations, les questions et réponses et le remplissage des valeurs manquantes dans les enregistrements tabulaires.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Confidentialité pour la classification des sentiments | [Anonymisez le texte](https://www.amazon.science/blog/preserving-privacy-in-analyses-of-textual-data) pour mieux préserver la vie privée des utilisateurs dans la classification des sentiments. | [GitHub »](https://github.com/awslabs/sagemaker-privacy-for-nlp) |
| Compréhension des documents | Synthèse de documents, extraction d'entités et de relations à l'aide de la bibliothèque [Transformers](https://huggingface.co/docs/transformers/index) dans. PyTorch | [GitHub »](https://github.com/awslabs/sagemaker-document-understanding) |
| Reconnaissance de l'écriture manuscrite | Reconnaîssez du texte manuscrit dans des images en entraînant un [modèle de détection d'objets](https://mxnet.apache.org/versions/1.0.0/api/python/gluon/model_zoo.html#mxnet.gluon.model_zoo.vision.resnet34_v1) et un [modèle de reconnaissance de l'écriture manuscrite](https://arxiv.org/abs/1910.00663). Étiquetez vos propres données à l'aide de [SageMaker Ground Truth](https://aws.amazon.com/sagemaker/data-labeling/). | [GitHub »](https://github.com/awslabs/sagemaker-handwritten-text-recognition) |
| Remplissage des valeurs manquantes dans les enregistrements tabulaires | Complétez les valeurs manquantes dans les enregistrements tabulaires en entraînant un modèle de [SageMaker pilote automatique](https://aws.amazon.com/sagemaker/autopilot/). | [GitHub »](https://github.com/awslabs/filling-in-missing-values-in-tabular-records) |
## Maintenance prédictive
La maintenance prédictive vise à optimiser l'équilibre entre la maintenance corrective et la maintenance préventive en facilitant le remplacement des composants en temps voulu. Les solutions suivantes utilisent les données des capteurs d'actifs industriels pour prédire les défaillances des machines, les temps d'arrêt non planifiés et les coûts de réparation.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Maintenance prédictive pour les flottes de véhicules | Prévoyez les défaillances d'une flotte de véhicules à l'aide de capteurs et d'informations sur la maintenance des véhicules, avec un modèle de réseau neuronal convolutif. | [GitHub »](https://github.com/awslabs/aws-fleet-predictive-maintenance/) |
| Maintenance prédictive pour la fabrication | Prédire la durée de vie utile restante pour chaque capteur en entraînant un modèle [stacked Bidirectional LSTM neural network](https://arxiv.org/pdf/1801.02143.pdf) (Réseau neuronal LSTM bidirectionnel empilé) à l'aide des relevés historiques des capteurs. | [GitHub »](https://github.com/awslabs/predictive-maintenance-using-machine-learning) |
## Prédiction du taux de désabonnement
La perte de clientèle, ou taux d'attrition, est un problème coûteux auquel sont confrontées de nombreuses entreprises. Dans le but de réduire le taux de désabonnement, les entreprises peuvent identifier les clients susceptibles de quitter leur service afin de concentrer leurs efforts sur la fidélisation de la clientèle. Utilisez une solution de prévision du taux de JumpStart désabonnement pour analyser les sources de données telles que le comportement des utilisateurs et les journaux de discussion du service client afin d'identifier les clients présentant un risque élevé d'annulation d'un abonnement ou d'un service.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Prédiction du taux de désabonnement grâce au texte | Prédisez le taux de désabonnement à l'aide de fonctionnalités numériques, catégoriques et textuelles avec l'encodeur [BERT](https://huggingface.co/) et. [RandomForestClassifier](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html) | [GitHub »](https://github.com/awslabs/sagemaker-churn-prediction-text) |
| Prédiction du taux de désabonnement des clients de téléphonie mobile | Identifiez les clients de téléphonie mobile mécontents à l'aide de l'[SageMaker IA XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). | Trouvez dans Amazon SageMaker Studio Classic. |
## Recommandations personnalisées
Vous pouvez utiliser JumpStart des solutions pour analyser les graphes d'identité des clients ou les sessions utilisateur afin de mieux comprendre et prévoir le comportement des clients. Utilisez les solutions suivantes pour obtenir des recommandations personnalisées afin de modéliser l'identité du client sur plusieurs appareils, de déterminer la probabilité qu'un client effectue un achat ou de créer un système de recommandation de films personnalisé basé sur les anciens comportements des clients.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Résolution d'entités dans les graphes d'identité avec la bibliothèque de graphes profonds | Établissez des liens entre les appareils pour la publicité en ligne en entraînant un [réseau convolutif de graphes](https://arxiv.org/pdf/1703.06103.pdf) avec une [bibliothèque de graphes profonds](https://www.dgl.ai/). | [GitHub »](https://github.com/awslabs/sagemaker-graph-entity-resolution) |
| Modélisation d'achat | Prédisez si un client effectuera un achat en formant un XGBoost modèle d'[SageMaker IA](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). | [GitHub »](https://github.com/awslabs/sagemaker-purchase-modelling) |
| Système de recommandation personnalisé | Formez et déployez un système de recommandation personnalisé qui génère des suggestions de films pour un client en fonction de son comportement antérieur à l'aide du filtrage collaboratif neuronal intégré à l' SageMaker IA. | Trouvez dans Amazon SageMaker Studio Classic. |
## Apprentissage par renforcement
L'apprentissage par renforcement (RL) est un type d'apprentissage basé sur l'interaction avec l'environnement. Ce type d'apprentissage est utilisé par un agent qui doit apprendre le comportement par le biais d' trial-and-errorinteractions avec un environnement dynamique dans lequel l'objectif est de maximiser les récompenses à long terme que l'agent reçoit du fait de ses actions. Les récompenses sont maximisées en échangeant des actions qui ont des récompenses incertaines avec des actions qui ont des récompenses connues.
Le RL est adapté à la résolution de problèmes d’envergure et complexes tels que la gestion de la chaîne d’approvisionnement, les systèmes de chauffage, ventilation et climatisation, la robotique industrielle, l’intelligence artificielle ludique, les systèmes de dialogue et les véhicules autonomes.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Apprentissage par renforcement pour les concours d'IA Battlesnake | Fournissez un flux de travail d'apprentissage par renforcement pour l'entraînement et l'inférence dans le cadre des compétitions d'[BattleSnake](https://play.battlesnake.com/)IA. | [GitHub »](https://github.com/awslabs/sagemaker-battlesnake-ai) |
| Apprentissage par renforcement distribué pour le défi Procgen | Kit de démarrage d'apprentissage par renforcement distribué pour le défi d'apprentissage par renforcement [NeurIPS 2020 Procgen](https://www.aicrowd.com/challenges/neurips-2020-procgen-competition). | [GitHub »](https://github.com/aws-samples/sagemaker-rl-procgen-ray) |
## Santé et sciences de la vie
Les cliniciens et les chercheurs peuvent utiliser JumpStart des solutions pour analyser l'imagerie médicale, les informations génomiques et les dossiers médicaux cliniques.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Prédicion de survie au cancer du poumon | [Prédisez l'état de survie des patients atteints d'un cancer du poumon non à petites cellules grâce à la tomographie pulmonaire informatisée (TDM) tridimensionnelle, aux données génomiques et aux dossiers médicaux cliniques à l'aide de l'IA. SageMaker XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) | [GitHub »](https://github.com/aws-samples/machine-learning-pipelines-for-multimodal-health-data/tree/sagemaker-soln-lcsp) |
## Tarification financière
De nombreuses entreprises ajustent régulièrement leurs prix de manière dynamique afin de maximiser leur rendement. Utilisez les JumpStart solutions suivantes pour les cas d'utilisation de l'optimisation des prix, de la tarification dynamique, de la tarification des options ou de l'optimisation du portefeuille.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Optimisation des prix | Estimez l'élasticité des prix à l'aide du double machine learning pour l'inférence causale et de la procédure de prévision [Prophet](https://facebook.github.io/prophet/) Utilisez ces estimations pour optimiser les prix quotidiens. | Trouvez dans Amazon SageMaker Studio Classic. |
## Inférence causale
Les chercheurs peuvent utiliser des modèles de machine learning, comme les réseaux bayésiens, pour représenter les dépendances causales et tirer des conclusions causales à partir des données. Utilisez la JumpStart solution suivante pour comprendre la relation de cause à effet entre l'application d'engrais à base d'azote et le rendement des cultures de maïs.
| Nom de la solution | Description | Mise en route |
| --- | --- | --- |
| Données de référence sur le rendement des cultures | Générez une analyse de référence sur la réaction du maïs à l'azote. Cette solution apprend le cycle phénologique des cultures dans son intégralité à l'aide d'images satellites multispectrales et d'[observations au niveau du sol](https://www.sciencedirect.com/science/article/pii/S2352340921010283#tbl0001). | Trouvez dans Amazon SageMaker Studio Classic. |
# Lancement d'une solution
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
**Note**
JumpStart Les solutions ne sont disponibles que dans Studio Classic.
Choisissez d'abord une solution via la page SageMaker JumpStart d'accueil de l'interface utilisateur Amazon SageMaker Studio Classic. Pour plus d'informations sur les étapes d'intégration pour se connecter à Amazon SageMaker Studio Classic, consultez la section [Intégration au domaine Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html). Pour plus de détails sur l'accès à la page de SageMaker JumpStart destination, consultez[Ouvrir et utiliser JumpStart dans Studio Classic](studio-jumpstart.md#jumpstart-open-use).
Une fois que vous avez choisi une solution, son onglet s'ouvre et affiche une description de la solution, avec un bouton `Launch`. Pour lancer une solution, sélectionnez-la `Launch` dans la section **Lancer la solution**. JumpStart crée ensuite toutes les ressources nécessaires pour exécuter la solution. Cela inclut les instances d'entraînement et d'hébergement de modèles.
## Paramètres avancés
La solution que vous choisissez peut comporter des paramètres avancés que vous pouvez sélectionner. Choisissez **Paramètres avancés** pour spécifier le Gestion des identités et des accès AWS rôle de la solution.
Les solutions sont capables de lancer des ressources sur 9 AWS services qui interagissent les uns avec les autres. Pour que la solution fonctionne comme prévu, les composants nouvellement créés à partir d'un service doivent être en mesure d'agir sur les composants nouvellement créés à partir d'un autre service. Nous vous recommandons d'utiliser le rôle IAM par défaut pour vous assurer que toutes les autorisations nécessaires sont ajoutées. Pour plus d’informations sur les rôles IAM, consultez [Gestion des identités et des accès AWS pour Amazon SageMaker AI](security-iam.md).
**Default IAM role** (Rôle IAM par défaut)
Si vous sélectionnez cette option, les rôles IAM par défaut requis par cette solution sont utilisés. Chaque solution nécessite des ressources différentes. La liste suivante décrit les rôles par défaut utilisés pour les solutions en fonction du service requis. Pour obtenir une description des autorisations requises pour chaque service, consultez [AWS Politiques gérées pour les SageMaker projets et JumpStart](security-iam-awsmanpol-sc.md).
+ **API Gateway** — AmazonSageMakerServiceCatalogProductsApiGatewayRole
+ **CloudFormation** – AmazonSageMakerServiceCatalogProductsCloudformationRole
+ **CodeBuild** – AmazonSageMakerServiceCatalogProductsCodeBuildRole
+ **CodePipeline** – AmazonSageMakerServiceCatalogProductsCodePipelineRole
+ **Événements** – AmazonSageMakerServiceCatalogProductsEventsRole
+ **Firehose —** AmazonSageMakerServiceCatalogProductsFirehoseRole
+ **Glue** — AmazonSageMakerServiceCatalogProductsGlueRole
+ **Lambda** – AmazonSageMakerServiceCatalogProductsLambdaRole
+ **SageMaker IA** — AmazonSageMakerServiceCatalogProductsExecutionRole
Si vous utilisez un nouveau domaine SageMaker AI avec des modèles de JumpStart projet activés, ces rôles sont automatiquement créés dans votre compte.
Si vous utilisez un domaine SageMaker AI existant, il est possible que ces rôles n'existent pas dans votre compte. Si tel est le cas, vous recevrez le message d'erreur suivant lors du lancement de la solution.
```
Unable to locate the updated roles required to launch this solution, a general role '/service-role/AmazonSageMakerServiceCatalogProductsUseRole' will be used. Please update your studio domain to generate these roles.
```
Vous pouvez toujours lancer une solution sans le rôle nécessaire, mais avec le rôle par défaut hérité `AmazonSageMakerServiceCatalogProductsUseRole` est utilisé à la place du rôle nécessaire. L'ancien rôle par défaut entretient des relations de confiance avec tous les services avec lesquels les JumpStart solutions doivent interagir. Pour une sécurité optimale, nous vous recommandons de mettre à jour votre domaine afin qu'il intègre les rôles par défaut nouvellement créés pour chaque AWS service.
Si vous êtes déjà intégré à un domaine SageMaker AI, vous pouvez mettre à jour votre domaine pour générer les rôles par défaut à l'aide de la procédure suivante.
1. Ouvrez la console Amazon SageMaker AI à l'adresse [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Choisissez ** Control Panel ** (Panneau de configuration) en haut à gauche de la page.
1. À partir de la page **Domaine**, cliquez sur l’icône **Paramètres** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/icons/Settings_squid.png)) pour modifier les paramètres du domaine.
1. Dans **General Settings** (Paramètres généraux), choisissez **Next** (Suivant).
1. Sous **SageMaker Projets et JumpStart**, sélectionnez **Activer les modèles de SageMaker projets Amazon et Amazon SageMaker JumpStart pour ce compte** et **Activer les modèles de SageMaker projets Amazon et les utilisateurs d'Amazon SageMaker JumpStart pour Studio Classic**, choisissez **Suivant**.
1. Sélectionnez **Soumettre**.
Vous devriez pouvoir voir les rôles par défaut répertoriés dans **Projets - Modèles de SageMaker projets Amazon activés pour ce compte** sous l'onglet **Apps - Studio**.
**Trouver le rôle IAM**
Si vous sélectionnez cette option, vous devez sélectionner un rôle IAM existant dans la liste déroulante pour chacun des services requis. Le rôle sélectionné doit disposer au moins des autorisations minimales requises pour le service correspondant. Pour obtenir une description des autorisations requises pour chaque service, consultez [AWS Politiques gérées pour les SageMaker projets et JumpStart](security-iam-awsmanpol-sc.md).
**Rôle IAM d'entrée**
Si vous sélectionnez cette option, vous devez saisir manuellement l'ARN d'un rôle IAM existant. Le rôle sélectionné doit disposer au moins des autorisations minimales requises pour le service correspondant. Pour obtenir une description des autorisations requises pour chaque service, consultez [AWS Politiques gérées pour les SageMaker projets et JumpStart](security-iam-awsmanpol-sc.md).
# Amazon SageMaker JumpStart Industry : finance
Utilisez SageMaker JumpStart l'industrie : solutions financières, modèles et exemples de blocs-notes pour en savoir plus sur les fonctionnalités et les capacités de l' SageMaker IA grâce à des solutions en une étape sélectionnées et à des exemples de blocs-notes illustrant des problèmes d'apprentissage automatique (ML) axés sur le secteur. Les carnets expliquent également comment utiliser le SDK SageMaker JumpStart Industry Python pour améliorer les données textuelles de l'industrie et affiner les modèles préentraînés.
**Topics**
+ [SDK Python pour Amazon SageMaker JumpStart Industry](#studio-jumpstart-industry-pysdk)
+ [Amazon SageMaker JumpStart Industry : solution financière](#studio-jumpstart-industry-solutions)
+ [Amazon SageMaker JumpStart Industry : modèles financiers](#studio-jumpstart-industry-models)
+ [Amazon SageMaker JumpStart Industry : exemples de carnets financiers](#studio-jumpstart-industry-examples)
+ [Amazon SageMaker JumpStart Industry : articles de blog financiers](#studio-jumpstart-industry-blogs)
+ [Amazon SageMaker JumpStart Industry : recherches liées à la finance](#studio-jumpstart-industry-research)
+ [Amazon SageMaker JumpStart Industry : ressources financières supplémentaires](#studio-jumpstart-industry-resources)
## SDK Python pour Amazon SageMaker JumpStart Industry
SageMaker Runtime JumpStart fournit des outils de traitement pour organiser les ensembles de données du secteur et affiner les modèles préentraînés par le biais de sa bibliothèque cliente appelée Industry SageMaker JumpStart Python SDK. Pour une documentation API détaillée du SDK et pour en savoir plus sur le traitement et l'amélioration des ensembles de données textuels industriels afin d'améliorer les performances des state-of-the-art modèles SageMaker JumpStart, consultez la documentation [open source du SDK Industry SageMaker JumpStart Python](https://sagemaker-jumpstart-industry-pack.readthedocs.io).
## Amazon SageMaker JumpStart Industry : solution financière
SageMaker JumpStart Secteur d'activité : Financial fournit les solutions de blocs-notes suivants :
+ **Corporate Credit Rating Prediction** (Prédiction de la cote de crédit des entreprises)
Cette solution dédiée au SageMaker JumpStart secteur financier fournit un modèle pour un modèle de notation de crédit d'entreprise enrichi en texte. Elle montre comment prendre un modèle basé sur des fonctions numériques (dans ce cas, les 5 fameux ratios financiers d'Altman) combiné à des textes issus de dossiers SEC pour améliorer la prédiction des cotes de crédit. En plus des 5 ratios d'Altman, vous pouvez ajouter d'autres variables selon vos besoins ou définir des variables personnalisées. Ce bloc-notes de solutions explique comment le SDK SageMaker JumpStart Industry Python aide à traiter la notation par traitement automatique du langage naturel (NLP) des textes déposés auprès de la SEC. En outre, la solution montre comment entraîner un modèle à l'aide de l'ensemble de données amélioré pour obtenir un best-in-class modèle, déployer le modèle sur un point de terminaison d' SageMaker IA pour la production et recevoir des prévisions améliorées en temps réel.
+ **Graph-Based Credit Scoring **(Cote de crédit basée sur des graphes)
Les notations de crédit sont généralement générées à l'aide de modèles qui utilisent des données des états financiers et de marché, qui sont uniquement tabulaires (numériques et catégorielles). Cette solution construit un réseau d'entreprises à l'aide de [documents déposés auprès de la SEC](https://www.sec.gov/edgar/searchedgar/companysearch.html) et montre comment utiliser le réseau de relations entre entreprises à l'aide de données tabulaires pour générer des prévisions de notation précises. Cette solution présente une méthodologie permettant d'utiliser des données sur les liens entre entreprises afin d'étendre les modèles de notation de crédit traditionnellement basés sur des tableaux, utilisés par le secteur des notations depuis des décennies, à la classe des modèles de machine learning sur les réseaux.
**Note**
Les blocs-notes de solution sont fournis uniquement à des fins de démonstration. Ils ne doivent pas être considérés comme des conseils financiers ou d'investissement.
Vous trouverez ces solutions de services financiers sur la SageMaker JumpStart page de Studio Classic.
**Important**
Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La section suivante est spécifique à l’utilisation de l’application Studio Classic. Pour en savoir plus sur l’utilisation de l’expérience Studio mise à jour, consultez [Amazon SageMaker Studio](studio-updated.md).
Studio Classic est toujours maintenu pour les charges de travail existantes, mais n'est plus disponible pour l'intégration. Vous pouvez uniquement arrêter ou supprimer des applications Studio Classic existantes et vous ne pouvez pas en créer de nouvelles. Nous vous recommandons de [migrer votre charge de travail vers la nouvelle expérience Studio](studio-updated-migrate.md).
**Note**
Le SageMaker JumpStart secteur : les solutions financières, les modèles de cartes et les exemples de blocs-notes sont hébergés et exécutables uniquement via SageMaker Studio Classic. Connectez-vous à la [console SageMaker AI](https://console.aws.amazon.com/sagemaker) et lancez SageMaker Studio Classic. Pour plus d'informations sur la façon de trouver la carte de solution, consultez la rubrique précédente à l'adresse [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html).
## Amazon SageMaker JumpStart Industry : modèles financiers
SageMaker JumpStart Secteur : Le secteur financier propose les modèles d'[approche BERT (RoBERTa) préentraînés et optimisés robustes](https://arxiv.org/pdf/1907.11692.pdf) suivants :
+ **Intégration de textes financiers (BERTaRo-SEC-Base)**
+ **RoBERTa-SEC-WIKI-Base **
+ **RoBERTa-SEC-Large **
+ **RoBERTa-SEC-WIKI-Large **
Les RoBERTa-SEC-Large modèles RoBERTa-SEC-Base et sont des modèles d'intégration de texte basés sur le [BERTa modèle Ro de GluonNLP](https://nlp.gluon.ai/api/model.html#gluonnlp.model.RoBERTaModel) et préentraînés sur la base des rapports S&P 500 SEC 10-K/10-Q de la décennie des années 2010 (de 2010 à 2019). En outre, SageMaker AI JumpStart Industry : Financial propose deux autres BERTa variantes de Ro RoBERTa-SEC-WIKI-Large, RoBERTa-SEC-WIKI-Base qui sont préformées sur les dossiers déposés auprès de la SEC et les textes courants de Wikipédia.
Vous pouvez trouver ces modèles en SageMaker JumpStart accédant au nœud **Modèles de texte**, en choisissant **Explorer tous les modèles de texte**, puis en filtrant pour l'**intégration du texte** des tâches ML. Vous pouvez accéder à tous les blocs-notes correspondants après avoir sélectionné le modèle de votre choix. Les blocs-notes associés vous expliqueront comment les modèles préentraînés peuvent être affinés pour des tâches de classification spécifiques sur des ensembles de données multimodaux, qui sont améliorés par le SDK Industry Python. SageMaker JumpStart
**Note**
Les blocs-notes de modèle sont fournis uniquement à des fins de démonstration. Ils ne doivent pas être considérés comme des conseils financiers ou d'investissement.
La capture d'écran suivante montre les modèles de cartes préentraînés fournis via la JumpStart page SageMaker AI de Studio Classic.
![\[Les modèles de cartes préentraînés fournis via la JumpStart page SageMaker AI de Studio Classic.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/jumpstart/jumpstart-finance-models.png)
**Note**
Le SageMaker JumpStart secteur : les solutions financières, les modèles de cartes et les exemples de blocs-notes sont hébergés et exécutables uniquement via SageMaker Studio Classic. Connectez-vous à la [console SageMaker AI](https://console.aws.amazon.com/sagemaker) et lancez SageMaker Studio Classic. Pour plus d'informations sur la recherche des modèles de cartes, consultez la rubrique précédente à l'adresse [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html).
## Amazon SageMaker JumpStart Industry : exemples de carnets financiers
SageMaker JumpStart Secteur : Financial fournit les exemples de blocs-notes suivants pour démontrer des solutions aux problèmes de machine learning spécifiques au secteur :
+ **Construction de TabText données financières** — Cet exemple explique comment utiliser le SDK SageMaker JumpStart Industry Python pour traiter les dossiers déposés auprès de la SEC, tels que le résumé de texte et la notation de textes en fonction des types de scores NLP et des listes de mots correspondantes. Pour prévisualiser le contenu de ce bloc-notes, consultez [Création simple d’un jeu de données multimodal à partir de dossiers SEC et de scores NLP](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook1/SEC_Retrieval_Summarizer_Scoring.html).
+ **ML multimodal sur les TabText données** : cet exemple montre comment fusionner différents types d'ensembles de données en une seule trame de données appelée TabText et exécuter un ML multimodal. Pour prévisualiser le contenu de ce bloc-notes, voir [Machine Learning on a TabText Dataframe — An Example Based on the Paycheck](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook2/PPP_TabText_ML.html) Protection Program.
+ **ML multicatégoriel sur les données de dépôt auprès de la SEC** : cet exemple montre comment entraîner un modèle AutoGluon NLP sur les ensembles de données multimodaux (TabText) sélectionnés à partir des dossiers déposés auprès de la SEC pour une tâche de classification multiclasse. [SEC 10K/Q Filings to Industry Codes Based on the MDNA Text Column](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook3/SEC_MNIST_ML.html) (Classer les dossiers SEC 10K/Q en codes du secteur en fonction de la colonne de texte MDNA).
**Note**
Les exemples de blocs-notes sont fournis uniquement à des fins de démonstration. Ils ne doivent pas être considérés comme des conseils financiers ou d'investissement.
**Note**
Le SageMaker JumpStart secteur : les solutions financières, les modèles de cartes et les exemples de blocs-notes sont hébergés et exécutables uniquement via SageMaker Studio Classic. Connectez-vous à la [console SageMaker AI](https://console.aws.amazon.com/sagemaker) et lancez SageMaker Studio Classic. Pour plus d'informations sur la façon de trouver les exemples de blocs-notes, consultez la rubrique précédente à [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html)l'adresse.
Pour prévisualiser le contenu des exemples de blocs-notes, consultez la documentation du *SDK Python [Tutorials — Finance](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/index.html) in the SageMaker JumpStart Industry*.
## Amazon SageMaker JumpStart Industry : articles de blog financiers
Pour des applications complètes liées à SageMaker JumpStart l'utilisation de Industry : solutions financières, modèles, exemples et SDK, consultez les articles de blog suivants :
+ [Utilisez des modèles de langage financier préformés pour l'apprentissage par transfert sur Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/use-pre-trained-financial-language-models-for-transfer-learning-in-amazon-sagemaker-jumpstart/)
+ [Utilisez le texte SEC pour la classification des notations à l'aide du ML multimodal sur Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/use-sec-text-for-ratings-classification-using-multimodal-ml-in-amazon-sagemaker-jumpstart/)
+ [Créez un tableau de bord avec du texte SEC pour le NLP financier sur Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/create-a-dashboard-with-sec-text-for-financial-nlp-in-amazon-sagemaker-jumpstart/)
+ [Créez un classificateur de notations de crédit d'entreprise à l'aide de l'apprentissage automatique par graphes sur Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/build-a-corporate-credit-ratings-classifier-using-graph-machine-learning-in-amazon-sagemaker-jumpstart/)
+ [Adaptation au domaine Affinement des modèles de base dans Amazon sur les données financières SageMaker JumpStart ](https://aws.amazon.com/blogs/machine-learning/domain-adaptation-fine-tuning-of-foundation-models-in-amazon-sagemaker-jumpstart-on-financial-data/)
## Amazon SageMaker JumpStart Industry : recherches liées à la finance
Pour les recherches liées à SageMaker JumpStart l'industrie : solutions financières, consultez les articles suivants :
+ [Context (Contexte), Language Modeling (Modélisation linguistique) et Multimodal Data in Finance (Données multimodales dans le domaine de la finance)](https://www.pm-research.com/content/iijjfds/3/3/52)
+ [Multimodal Machine Learning for Credit Modeling](https://www.amazon.science/publications/multimodal-machine-learning-for-credit-modeling) (Machine learning multimodal pour la modélisation du crédit)
+ [On the Lack of Robust Interpretability of Neural Text Classifiers](https://www.amazon.science/publications/on-the-lack-of-robust-interpretability-of-neural-text-classifiers) (À propos du manque d'interprétabilité robuste des classificateurs de textes neuronaux)
+ [FinLex: Une utilisation efficace des intégrations de mots pour la génération de lexiques financiers](https://www.sciencedirect.com/science/article/pii/S2405918821000131)
## Amazon SageMaker JumpStart Industry : ressources financières supplémentaires
Pour obtenir de la documentation et des didacticiels supplémentaires, consultez les ressources suivantes :
+ [L' SageMaker JumpStart industrie : le SDK pour le Python financier](https://pypi.org/project/smjsindustry/)
+ [SageMaker JumpStart Secteur : Tutoriels du SDK pour le Python financier](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/index.html#)
+ [L' SageMaker JumpStart industrie : GitHub référentiel financier](https://github.com/aws/sagemaker-jumpstart-industry-pack/)
+ [Commencer à utiliser Amazon SageMaker AI - Tutoriels de Machine Learning](https://aws.amazon.com/sagemaker/getting-started/)