Scelta di modelli studente e insegnante per la distillazione

Scelta di un modello insegnante

Scegli un modello insegnante che sia significativamente più grande e più capace del modello studente e di cui desideri la precisione per il tuo caso d’uso. Per rendere la distillazione più efficace, scegli un modello che sia già stato addestrato su attività simili al tuo caso d’uso.

Per alcuni modelli insegnante, puoi scegliere un profilo di inferenza interregionale (Aumentare il throughput con l’inferenza tra Regioni). L’inferenza interregionale seleziona automaticamente la Regione AWS ottimale all’interno della geografica per elaborare la richiesta di inferenza. Ciò migliora l’esperienza del cliente massimizzando le risorse disponibili e la disponibilità del modello. Per utilizzare un profilo di inferenza interregionale, il ruolo di servizio deve disporre delle autorizzazioni per invocare il profilo di inferenza in una Regione AWS, oltre al modello in ogni Regione del profilo di inferenza. Per un esempio di policy, consulta (Facoltativo) Autorizzazioni per creare un processo di distillazione con un profilo di inferenza interregionale.

Scegli un modello studente

Scegli un modello studente che sia significativamente più piccolo rispetto al modello insegnante. Il modello studente deve essere uno dei modelli studente abbinati al modello insegnante nella tabella seguente.