Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Distribuzione di un modello
Dopo esserti abbonato a un modello, lo distribuisci su un endpoint SageMaker AI. Effettui chiamate di inferenza verso l'endpoint. Il modello è ospitato dall' SageMaker IA. Durante il processo di distribuzione, fornisci le seguenti informazioni:
-
Il nome dell'endpoint SageMaker AI
-
Il numero di istanze che effettuano chiamate di inferenza verso l'endpoint
-
Il tipo di istanza dell'endpoint
Puoi anche configurare opzioni avanzate opzionali come i tag.
Viene creato automaticamente un ruolo di servizio SageMaker SageMaker AI per consentire all'IA di assumere ed eseguire azioni per tuo conto. Per ulteriori informazioni sulle autorizzazioni di Amazon SageMaker AI, consulta Come usare i ruoli di esecuzione SageMaker AI.
In alternativa, puoi scegliere un ruolo esistente o crearne uno nuovo. Per scoprire come implementare un modello Amazon Bedrock Marketplace, seleziona la scheda corrispondente al metodo che preferisci e segui i passaggi.
Per distribuire un modello
-
Accedi all' AWS Management Console utilizzo di un ruolo IAM con autorizzazioni Amazon Bedrock.
-
Nella barra di ricerca, specifica «Amazon Bedrock» e scegli Amazon Bedrock dall'elenco a discesa.
-
Dal pannello di navigazione, scegli Model Catalog.
-
Scegli la scheda del modello per il modello che stai distribuendo.
-
Seleziona Deploy (Implementa).
-
Per Endpoint Name, specifica il nome dell'endpoint.
-
Scegliete il numero di istanze e selezionate il tipo di istanza.
-
In Impostazioni avanzate, puoi facoltativamente:
-
Configura il tuo VPC
-
Configura il ruolo di accesso al servizio
-
Personalizza le impostazioni di crittografia
-
Aggiunta di tag
-
-
Scegli Deploy per distribuire il tuo modello Amazon Bedrock Marketplace su SageMaker un endpoint AI. Questo processo richiede in genere 10-15 minuti.
Utilizzate l'CreateMarketplaceModelEndpointoperazione per creare un endpoint. Alcuni modelli hanno un contratto di licenza con l'utente finale (EULA). Per accettare l'EULA, devi impostare su. AcceptEula True
L'esempio seguente utilizza un AWS Command Line Interface comando di esempio per creare un endpoint:
aws bedrock create-marketplace-model-endpoint --model-source-identifierHubContentArn--endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Nota
Le risposte per CreateMarketplaceModelEndpoint le RegisterMarketplaceModelEndpoint operazioni UpdateMarketplaceModelEndpoint e sono le stesse.
{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}
Puoi modificare l'endpoint sia in Amazon Bedrock Marketplace che in Amazon SageMaker AI. Consigliamo di modificare l'endpoint solo all'interno di Amazon Bedrock. Se modifichi l'endpoint all'interno dell' SageMaker IA, potresti non essere in grado di utilizzare l'endpoint in Amazon Bedrock. Di seguito sono riportate le modifiche che possono causare il malfunzionamento dell'endpoint in Amazon Bedrock:
-
Impostazione su EnableNetworkIsolation
False -
Modifica della definizione del modello all'interno dell'oggetto PrimaryContainer
Affinché l'endpoint sia operativo, deve essere registrato e in servizio. È possibile utilizzare il seguente AWS Command Line Interface comando per verificare lo stato dell'endpoint.
aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
L'endpoint deve avere il seguente stato per poterlo utilizzare con Amazon Bedrock:
endpointStatus: InService status: REGISTERED
Se hai apportato una modifica che ha causato il fallimento dell'endpoint, puoi annullare la registrazione e registrare nuovamente l'endpoint. Utilizza l'operazione per annullare la registrazione dell'endpoint. DeregisterEndpoint Utilizzate l'RegisterEndpointoperazione per registrarlo nuovamente.
aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name--model-source-identifierHubContentArn
