Distribuisci modelli JumpStart utilizzando Amazon Studio SageMaker - Amazon SageMaker AI
PrerequisitiCrea una distribuzione HyperPod Modifica una distribuzione HyperPod Eliminare una distribuzione HyperPod

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Distribuisci modelli JumpStart utilizzando Amazon Studio SageMaker

I passaggi seguenti illustrano come distribuire modelli JumpStart utilizzando Amazon SageMaker Studio.

Prerequisiti

Verifica di aver configurato le funzionalità di inferenza sui tuoi SageMaker HyperPod cluster Amazon. Per ulteriori informazioni, consulta HyperPod Configurazione dei cluster per la distribuzione dei modelli.

Crea una distribuzione HyperPod

  1. In Amazon SageMaker Studio, apri la pagina di JumpStartdestinazione dal riquadro di navigazione a sinistra.

  2. In Tutti i modelli pubblici, scegli un modello che desideri implementare.

    Nota

    Se hai selezionato un modello chiuso, dovrai accettare l'End User License Agreement (EULA).

  3. Scegli SageMaker HyperPod.

  4. In Impostazioni di distribuzione, JumpStart consiglierò un'istanza per la distribuzione. È possibile modificare queste impostazioni se necessario.

    1. Se modifichi il tipo di istanza, assicurati che sia compatibile con il HyperPod cluster scelto. Se non ci sono istanze compatibili, dovrai selezionare un nuovo HyperPod cluster o contattare l'amministratore per aggiungere istanze compatibili al cluster.

    2. Per dare priorità alla distribuzione del modello, installa il componente aggiuntivo per la governance delle attività, crea allocazioni di calcolo e imposta le classificazioni delle attività per la politica del cluster. Una volta completata questa operazione, dovrebbe apparire un'opzione per selezionare una priorità per l'implementazione del modello, che può essere utilizzata per dare priorità ad altre implementazioni e attività nel cluster.

    3. Inserisci lo spazio dei nomi a cui l'amministratore ti ha fornito l'accesso. Potrebbe essere necessario contattare direttamente l'amministratore per ottenere lo spazio dei nomi esatto. Una volta fornito uno spazio dei nomi valido, il pulsante Deploy dovrebbe essere abilitato per distribuire il modello.

  5. Scegli Deploy e attendi che l'Endpoint venga creato.

  6. Dopo aver creato l'endpoint, seleziona Test inference.

Modifica una distribuzione HyperPod

  1. In Amazon SageMaker Studio, seleziona Compute e poi HyperPodCluster dal riquadro di navigazione a sinistra.

  2. In Implementazioni, scegli la distribuzione del HyperPod cluster che desideri modificare.

  3. Dall'icona con i puntini di sospensione verticali (⋮), scegli Modifica.

  4. In Impostazioni di distribuzione, puoi abilitare o disabilitare la scalabilità automatica e modificare il numero massimo di repliche.

  5. Seleziona Salva.

  6. Lo stato verrà modificato in Aggiornamento. Quando tornerà in servizio, le modifiche saranno complete e vedrai un messaggio di conferma.

Eliminare una distribuzione HyperPod

  1. In Amazon SageMaker Studio, seleziona Compute e poi HyperPodCluster dal riquadro di navigazione a sinistra.

  2. In Implementazioni, scegli la distribuzione del HyperPod cluster che desideri modificare.

  3. Dall'icona con i puntini di sospensione verticali (⋮), scegli Elimina.

  4. Nella finestra Elimina HyperPod distribuzione, seleziona la casella di controllo.

  5. Scegliere Delete (Elimina).

  6. Lo stato verrà modificato in Eliminazione. Una volta eliminata la HyperPod distribuzione, verrà visualizzato un messaggio di conferma.