Implementazione di un modello in Studio

Per distribuire i modelli di JumpStart base, accedi a una scheda dettagliata del modello nell'interfaccia utente di Studio. Per ulteriori informazioni su come aprire JumpStart in Studio, consultaApri in Studio JumpStart. Dopo aver esplorato la scheda dei dettagli del modello che preferisci, scegli Implementa nell’angolo in alto a destra. Quindi, segui i passaggi descritti in Distribuisci modelli con SageMaker Studio.

Amazon offre SageMaker JumpStart anche implementazioni ottimizzate, che forniscono configurazioni di distribuzione predefinite progettate per casi d'uso specifici come la generazione di contenuti, il riepilogo o le interazioni in stile chat. Quando distribuisci un modello supportato, puoi selezionare il caso d'uso di destinazione e scegliere un'ottimizzazione dei vincoli (ottimizzazione dei costi, ottimizzata per il throughput, ottimizzata per la latenza o bilanciata) e Amazon configura SageMaker JumpStart automaticamente l'endpoint per quello scenario. Ciò ti offre visibilità su parametri prestazionali chiave come la latenza P50 time-to-first-token (TTFT) e la velocità effettiva, garantendo al contempo che l'implementazione sia ottimizzata per il tuo carico di lavoro. Per iniziare, apri la pagina dei dettagli di un modello supportato in Studio, scegli Deploy e usa il pannello Performance per configurare la distribuzione ottimizzata.