Déployer un modèle - Amazon Bedrock

Déployer un modèle

Après avoir souscrit à un modèle, vous le déployez sur un point de terminaison SageMaker AI. Vous effectuez des appels d’inférence vers le point de terminaison. Le modèle est hébergé par SageMaker AI. Pendant le processus de déploiement, vous devez fournir les informations suivantes :

  • le nom du point de terminaison SageMaker AI ;

  • le nombre d’instances prenant des appels d’inférence vers le point de terminaison ;

  • le type d’instance du point de terminaison.

Vous pouvez également configurer des options avancées facultatives telles que les balises.

Un rôle de service SageMaker AI est automatiquement créé pour que SageMaker AI assume et exécute des actions en votre nom. Pour plus d’informations sur les autorisations Amazon SageMaker AI, consultez Comment utiliser les rôles d’exécution SageMaker AI.

Vous pouvez également choisir un rôle existant ou en créer un nouveau. Pour savoir comment déployer un modèle Amazon Bedrock Marketplace, sélectionnez l’onglet correspondant à la méthode de votre choix et suivez les étapes.

Pour déployer un modèle

  1. Connectez-vous à la AWS Management Console à l’aide d’un rôle IAM avec les autorisations Amazon Bedrock.

  2. Dans la barre de recherche, spécifiez « Amazon Bedrock » et choisissez Amazon Bedrock dans la liste déroulante.

  3. Dans le volet de navigation, choisissez Catalogue de modèles.

  4. Choisissez la carte de modèle pour le modèle que vous déployez.

  5. Choisissez Déployer.

  6. Pour Nom du point de terminaison, spécifiez le nom du point de terminaison.

  7. Choisissez le nombre d’instances et sélectionnez le type d’instance.

  8. Dans Paramètres avancés, vous pouvez éventuellement :

    1. Configurer votre VPC

    2. Configurer le rôle d’accès au service

    3. Personnaliser vos paramètres de chiffrement

    4. Ajouter des balises

  9. Choisissez Déployer pour déployer votre modèle Amazon Bedrock Marketplace sur un point de terminaison SageMaker AI. Ce processus prend généralement 10 à 15 minutes.

Utilisez l’opération CreateMarketplaceModelEndpoint pour créer un point de terminaison. Certains modèles disposent d’un contrat de licence d’utilisateur final (CLUF). Pour accepter le CLUF, vous devez définir le AcceptEula sur True.

L’exemple suivant utilise un exemple de commande AWS Command Line Interface pour créer un point de terminaison :

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Note

Les réponses aux opérations CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint et RegisterMarketplaceModelEndpoint sont les mêmes.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Vous pouvez modifier le point de terminaison dans Amazon Bedrock Marketplace et Amazon SageMaker AI. Nous recommandons de modifier uniquement le point de terminaison dans Amazon Bedrock. Si vous modifiez le point de terminaison dans SageMaker AI, vous ne pourrez peut-être pas l’utiliser dans Amazon Bedrock. Les modifications suivantes peuvent entraîner la défaillance du point de terminaison dans Amazon Bedrock :

Pour que le point de terminaison soit opérationnel, il doit être enregistré et en service. Vous pouvez utiliser la commande AWS Command Line Interface suivante pour rechercher le statut du point de terminaison.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

Le point de terminaison doit avoir le statut suivant pour que vous puissiez l’utiliser avec Amazon Bedrock :


endpointStatus: InService
status: REGISTERED

Si vous avez apporté une modification qui a entraîné l’échec du point de terminaison, vous pouvez annuler son enregistrement et le réenregistrer. Utilisez l’opération DeregisterEndpoint pour annuler l’enregistrement du point de terminaison. Utilisez l’opération RegisterEndpoint pour le réenregistrer.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn