Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Prerequisiti per la distillazione modello
Prima di iniziare, assicurati di aver compreso i controlli di accesso e di sicurezza per la distillazione di modelli. Devi anche scegliere un modello per insegnante e studente per il tuo lavoro di distillazione.
Permissions
Prima di iniziare, assicurati di aver compreso i controlli di accesso e di sicurezza per la distillazione di modelli. È necessario disporre di un ruolo di servizio IAM in grado di accedere al bucket Amazon S3 in cui si desidera archiviare i dati di addestramento e convalida della distillazione di modelli. Amazon Bedrock offre inoltre le opzioni per crittografare e proteggere ulteriormente i processi e gli artefatti di distillazione. Per ulteriori informazioni, consulta Accesso e sicurezza per la personalizzazione del modello.
Per utilizzare un profilo di inferenza interregionale per un modello di insegnante in un lavoro di Distillation, il ruolo di servizio deve disporre delle autorizzazioni per richiamare il profilo di inferenza in un Regione AWS, oltre al modello in ogni regione del profilo di inferenza. Per un esempio di policy, consulta (Facoltativo) Autorizzazioni per creare un processo di distillazione con un profilo di inferenza interregionale. Per ulteriori informazioni sull’inferenza tra Regioni, consulta Aumentare il throughput con l’inferenza tra Regioni.
Scelta di modelli studente e insegnante per la distillazione
| Tipo di modello | Criteri di selezione | Considerazioni chiave | Requisiti |
|---|---|---|---|
| Modello di insegnante | Scegli un modello insegnante che sia significativamente più grande e più capace del modello studente e di cui desideri la precisione per il tuo caso d’uso. | Per rendere la distillazione più efficace, scegli un modello che sia già stato addestrato su attività simili al tuo caso d’uso. Per alcuni modelli di insegnanti, puoi scegliere un profilo di inferenza interregionale. | È necessario disporre delle autorizzazioni per richiamare profili e modelli di inferenza in ogni regione. Consulta la documentazione sull'inferenza interregionale per esempi di politiche. |
| Modello studentesco | Scegli un modello studente che sia significativamente più piccolo rispetto al modello insegnante. | Il modello di studente deve essere uno dei modelli di studente abbinati al tuo modello di insegnante nella tabella dei modelli supportati. | Deve essere compatibile con il modello di insegnante selezionato, come mostrato nella tabella seguente. |
Nella sezione seguente vengono elencati i modelli e le Regioni supportati per Amazon Bedrock Model Distillation. Dopo aver scelto i modelli insegnante e studente, prepara e ottimizza i set di dati di addestramento per la distillazione. Per ulteriori informazioni, consulta Preparare i set di dati di addestramento per la distillazione.
Modelli e Regioni supportati per Amazon Bedrock Model Distillation
La tabella seguente mostra quali modelli e Regioni AWS Amazon Bedrock Model Distillation sono supportati per i modelli di insegnanti e studenti. Se utilizzi un profilo di inferenza tra Regioni, per la distillazione di modelli sono supportati solo i profili di inferenza di sistema. Per ulteriori informazioni, consulta Aumentare il throughput con l’inferenza tra Regioni.
| Provider | Insegnante | ID insegnante | Supporto per profili di inferenza | Studente | ID studente | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon. nova-pro-v1:0 | Entrambi | Nova Lite Nova Micro |
amazzone. nova-lite-v1:0:300 k amazzone. nova-micro-v1:01:28 K |
Stati Uniti orientali (Virginia settentrionale) |
| Nova Premier | amazzone. nova-premier-v1:0 | Solo profilo di inferenza | Nova Lite Nova Micro Nova Pro |
amazzone. nova-lite-v1:0:300 k amazzone. nova-micro-v1:01:28 K amazzone. nova-pro-v1:0:300 k |
Stati Uniti orientali (Virginia settentrionale) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | Entrambi | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Stati Uniti occidentali (Oregon) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | Entrambi | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Stati Uniti occidentali (Oregon) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405 1:0 b-instruct-v | On demand | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
b-instruct-vmeta.llama3-1-8 1:01:128 k meta.llama3-1-70 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-3-70 1:0:128 k b-instruct-v |
Stati Uniti occidentali (Oregon) |
| Llama 3.1 70B | meta.llama3-1-70 1:0 b-instruct-v | Entrambi | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:01:128 k meta.llama3-2-1 1:0:128k b-instruct-v meta.llama3-2-3 1:0:128k b-instruct-v |
Stati Uniti occidentali (Oregon) | |
| Llama 3.3 70B | meta.llama3-3-70 1:0 b-instruct-v | Solo profilo di inferenza | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128k b-instruct-v meta.llama3-2-3 1:0:128k b-instruct-v |
Stati Uniti occidentali (Oregon) |
Nota
-
Per i modelli Claude e Llama, il processo di distillazione viene eseguito negli Stati Uniti occidentali (Oregon). Puoi acquistare il throughput assegnato negli Stati Uniti occidentali (Oregon) o copiare il modello distillato in un’altra Regione e quindi acquistare il throughput assegnato.
-
Per i modelli Nova, esegui un processo di distillazione negli Stati Uniti orientali (Virginia settentrionale). Per inferenza, è necessario acquistare il throughput assegnato negli Stati Uniti orientali (Virginia settentrionale). Non puoi copiare modelli Nova in altre Regioni.
