Implementa modelli di base disponibili pubblicamente con la classe JumpStartModel - Amazon SageMaker AI
Controlla i tipi di istanza predefinitiUsa i componenti di inferenza per distribuire più modelli su un endpoint condivisoVerifica i formati di inferenza di input e output validiControlla i contenuti supportati e accetta i tipi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa modelli di base disponibili pubblicamente con la classe JumpStartModel

Puoi implementare un algoritmo integrato o un modello pre-addestrato su un endpoint di SageMaker intelligenza artificiale in poche righe di codice utilizzando l'SDK. SageMaker Python

  1. Innanzitutto, trova l'ID del modello per il modello di tua scelta nella Tabella degli algoritmi integrati con modelli preaddestrati.

  2. Utilizzando l'ID del modello, definisci il tuo modello come JumpStart modello.

    from sagemaker.jumpstart.model import JumpStartModel

model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)

  3. Utilizzate il deploy metodo per implementare automaticamente il modello per l'inferenza. In questo esempio, utilizziamo il modello FLAN-T5 XL di. Hugging Face

    predictor = my_model.deploy()

  4. È quindi possibile eseguire l'inferenza con il modello distribuito utilizzando il metodo. predict

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
Nota

Questo esempio utilizza il modello base FLAN-T5 XL, adatto a un'ampia gamma di casi d'uso per la generazione di testo, tra cui risposta a domande, riepilogo, creazione di chatbot e altro ancora. Per ulteriori informazioni sui casi d'uso del modello, vedere. Modelli di base disponibili

Per ulteriori informazioni sulla JumpStartModel classe e i relativi parametri, consultate JumpStartModel.

Controlla i tipi di istanza predefiniti

Facoltativamente, puoi includere versioni o tipi di istanza specifici del modello quando distribuisci un modello preaddestrato utilizzando la classe. JumpStartModel Tutti i JumpStart modelli hanno un tipo di istanza predefinito. Recuperate il tipo di istanza di distribuzione predefinito utilizzando il codice seguente:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Visualizza tutti i tipi di istanza supportati per un determinato JumpStart modello con il instance_types.retrieve() metodo.

Usa i componenti di inferenza per distribuire più modelli su un endpoint condiviso

Un componente di inferenza è un oggetto di hosting SageMaker AI che puoi utilizzare per distribuire uno o più modelli su un endpoint per aumentare la flessibilità e la scalabilità. È necessario modificare il endpoint_type JumpStart modello in modo che diventi l'endpoint predefinito inference-component-based basato sul modello. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Per ulteriori informazioni sulla creazione di endpoint con componenti di inferenza e sulla distribuzione SageMaker di modelli di intelligenza artificiale, consulta. Utilizzo condiviso delle risorse con più modelli

Verifica i formati di inferenza di input e output validi

Per verificare i formati di input e output dei dati validi per l'inferenza, puoi utilizzare il retrieve_options() metodo delle classi Serializers andDeserializers.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Controlla i contenuti supportati e accetta i tipi

Allo stesso modo, è possibile utilizzare il retrieve_options() metodo per verificare il contenuto supportato e accettare i tipi per un modello.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Per ulteriori informazioni sulle utilità, vedere Utility APIs.