Implementazione di modelli da JumpStart con Amazon SageMaker Studio - Amazon SageMaker AI
PrerequisitiCreazione di un’implementazione HyperPodModifica di un’implementazione HyperPodEliminazione di un’implementazione HyperPod

Implementazione di modelli da JumpStart con Amazon SageMaker Studio

Le fasi seguenti mostrano come implementare i modelli da JumpStart con Amazon SageMaker Studio.

Prerequisiti

Verifica di aver configurato le funzionalità di inferenza sui cluster Amazon SageMaker HyperPod. Per ulteriori informazioni, consulta Configurazione dei cluster HyperPod per l’implementazione dei modelli.

Creazione di un’implementazione HyperPod

  1. In Amazon SageMaker Studio, apri la pagina di destinazione JumpStart dal riquadro di navigazione a sinistra.

  2. In Tutti i modelli pubblici, scegli un modello da implementare.

    Nota

    Se hai selezionato un modello gated, dovrai accettare il Contratto di licenza con l’utente finale (EULA).

  3. Scegli SageMaker HyperPod.

  4. In Impostazioni di implementazione, JumpStart consiglierà un’istanza per l’implementazione. Se necessario, puoi modificare queste impostazioni.

    1. Se modifichi il tipo di istanza, assicurati che sia compatibile con il cluster HyperPod scelto. Se non ci sono istanze compatibili, dovrai selezionare un nuovo cluster HyperPod o contattare l’amministratore per aggiungere istanze compatibili al cluster.

    2. Per dare priorità all’implementazione del modello, installa il componente aggiuntivo per la governance delle attività, crea allocazioni delle risorse di calcolo e imposta le classificazioni delle attività per la policy del cluster. Una volta completata questa operazione, dovrebbe apparire un’opzione per selezionare una priorità per l’implementazione del modello, che può essere utilizzata per la prelazione di altre implementazioni e attività nel cluster.

    3. Inserisci il namespace al quale l’amministratore ti ha fornito l’accesso. Potrebbe essere necessario contattare direttamente l’amministratore per ottenere il namespace esatto. Una volta fornito un namespace valido, il pulsante Implementa dovrebbe diventare attivo per implementare il modello.

  5. Scegli Implementa e attendi la creazione dell’endpoint.

  6. Dopo aver creato l’endpoint, seleziona Testa inferenza.

Modifica di un’implementazione HyperPod

  1. In Amazon SageMaker Studio, seleziona Calcolo e Cluster HyperPod dal riquadro di navigazione a sinistra.

  2. In Implementazioni, scegli l’implementazione del cluster HyperPod da modificare.

  3. Dall’icona con tre puntini verticali (⋮), scegli Modifica.

  4. In Impostazioni di implementazione, puoi abilitare o disabilitare il dimensionamento automatico e modificare il numero massimo di repliche.

  5. Seleziona Salva.

  6. Lo stato diventa Aggiornamento in corso. Quando viene visualizzato di nuovo lo stato In servizio, le modifiche sono complete e viene visualizzato un messaggio di conferma.

Eliminazione di un’implementazione HyperPod

  1. In Amazon SageMaker Studio, seleziona Calcolo e Cluster HyperPod dal riquadro di navigazione a sinistra.

  2. In Implementazioni, scegli l’implementazione del cluster HyperPod da modificare.

  3. Dall’icona con tre puntini verticali (⋮), scegli Elimina.

  4. Nella finestra Elimina implementazione HyperPod, seleziona la casella di controllo.

  5. Scegliere Delete (Elimina).

  6. Lo stato diventa Eliminazione in corso. Una volta eliminata l’implementazione di HyperPod, vedrai un messaggio di conferma.