View a markdown version of this page

Implementazione dei modelli di fondazione disponibili al pubblico con la classe JumpStartModel - Amazon SageMaker AI
Controllo dei tipi di istanza predefinitiUtilizzo dei componenti di inferenza per implementare più modelli su un endpoint condivisoVerifica dei formati di inferenza di input e output validiVerifica dei contenuti supportati e dei tipi di accettazione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione dei modelli di fondazione disponibili al pubblico con la classe JumpStartModel

Puoi implementare un algoritmo integrato o un modello pre-addestrato su un endpoint di SageMaker intelligenza artificiale in poche righe di codice utilizzando l'SDK. SageMaker Python

  1. Innanzitutto, trova l'ID del modello per il modello di tua scelta nella tabella Built-in Algorithms with pre-training Model Table.

  2. Utilizzando l'ID del modello, definisci il tuo modello come JumpStart modello.

    from sagemaker.jumpstart.model import JumpStartModel

model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)

  3. Utilizza il metodo deploy per implementare automaticamente il modello per l’inferenza. In questo esempio, utilizziamo il modello FLAN-T5 XL diHugging Face.

    predictor = my_model.deploy()

  4. È quindi possibile eseguire l’inferenza con il modello implementato utilizzando il metodo predict.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
Nota

Questo esempio utilizza il modello base FLAN-T5 XL, adatto a un'ampia gamma di casi d'uso per la generazione di testo, tra cui la risposta a domande, il riepilogo, la creazione di chatbot e altro ancora. Per ulteriori informazioni sui casi d’uso dei modelli, consulta Modelli di fondazione disponibili.

Per ulteriori informazioni sulla JumpStartModel classe e i relativi parametri, consultate. JumpStartModel

Controllo dei tipi di istanza predefiniti

Se lo desideri, durante l’implementazione di un modello preaddestrato puoi includere versioni di modello o tipi di istanza specifici utilizzando la classe JumpStartModel. Tutti i JumpStart modelli hanno un tipo di istanza predefinito. Recupera il tipo di istanza di implementazione predefinita utilizzando il seguente codice:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Visualizza tutti i tipi di istanza supportati per un determinato JumpStart modello con il instance_types.retrieve() metodo.

Utilizzo dei componenti di inferenza per implementare più modelli su un endpoint condiviso

Un componente di inferenza è un oggetto di hosting SageMaker AI che puoi utilizzare per distribuire uno o più modelli su un endpoint per aumentare la flessibilità e la scalabilità. È necessario modificare il JumpStart modello in modo che sia endpoint_type basato su componenti di inferenza anziché sull'endpoint predefinito basato sul modello. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Per ulteriori informazioni sulla creazione di endpoint con componenti di inferenza e sulla distribuzione di modelli di intelligenza artificiale, consulta. SageMaker Utilizzo condiviso delle risorse con più modelli

Verifica dei formati di inferenza di input e output validi

Per verificare i formati di input e output dei dati validi per l’inferenza, puoi utilizzare il metodo retrieve_options() delle classi Serializers e Deserializers.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Verifica dei contenuti supportati e dei tipi di accettazione

Allo stesso modo, è possibile utilizzare il metodo retrieve_options() per verificare i contenuti supportati e i tipi di accettazione per un modello.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Per ulteriori informazioni sulle utility, consulta API Utility.