Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa l'importazione di modelli personalizzati per importare un modello open source personalizzato in Amazon Bedrock
Puoi creare un modello personalizzato in Amazon Bedrock utilizzando la funzione Amazon Bedrock Custom Model Import per importare modelli Foundation che hai personalizzato in altri ambienti, come Amazon SageMaker AI. Ad esempio, potresti avere un modello che hai creato in Amazon SageMaker AI con pesi di modello proprietari. Ora puoi importare quel modello in Amazon Bedrock e quindi sfruttare le funzionalità di Amazon Bedrock per effettuare chiamate di inferenza al modello.
Puoi utilizzare un modello importato con velocità effettiva su richiesta. Utilizzate le InvokeModelWithResponseStreamoperazioni InvokeModelo per effettuare chiamate di inferenza al modello. Per ulteriori informazioni, consulta Invia una sola richiesta con InvokeModel.
Amazon Bedrock Custom Model Import è supportato nelle seguenti regioni (per ulteriori informazioni sulle regioni supportate in Amazon Bedrock, consulta Endpoint e quote Amazon Bedrock):
-
Stati Uniti orientali (Virginia settentrionale)
-
US West (Oregon)
-
Europa (Francoforte)
Nota
Assicurati che l'importazione e l'utilizzo dei modelli in Amazon Bedrock siano conformi ai termini o alle licenze applicabili ai modelli.
Non puoi utilizzare Custom Model Import con le seguenti funzionalità di Amazon Bedrock.
Inferenza in batch
AWS CloudFormation
Con Custom Model Import è possibile creare un modello personalizzato che supporti i seguenti modelli.
-
Modello di formazione preliminare perfezionato o continuo: è possibile personalizzare i pesi del modello utilizzando dati proprietari, ma mantenendo la configurazione del modello base.
-
Adattamento È possibile personalizzare il modello in base al proprio dominio per i casi d'uso in cui il modello non viene generalizzato correttamente. L'adattamento del dominio modifica un modello per generalizzarlo per un dominio di destinazione e gestire le discrepanze tra i domini, ad esempio un settore finanziario che desidera creare un modello che generalizzi bene i prezzi. Un altro esempio è l'adattamento linguistico. Ad esempio, è possibile personalizzare un modello per generare risposte in portoghese o tamil. Molto spesso, ciò comporta modifiche al vocabolario del modello che si sta utilizzando.
-
Preformato partendo da zero: oltre a personalizzare i pesi e il vocabolario del modello, potete anche modificare i parametri di configurazione del modello, come il numero di punti di attenzione, i livelli nascosti o la lunghezza del contesto.
Per informazioni sui prezzi per l'importazione di modelli personalizzati, seleziona la scheda Importazione di modelli personalizzati nella sezione Dettagli sui prezzi dei modelli dei prezzi di Amazon Bedrock
Architetture supportate
Il modello importato deve essere in una delle seguenti architetture.
-
Mistral— Un'architettura basata solo su decoder Transformer con Sliding Window Attention (SWA) e opzioni per Grouped Query Attention (GQA). Per ulteriori informazioni, consulta la Mistral
documentazione di Hugging Face. -
Mixtral— Un modello di trasformatore con solo decoder con modelli sparsi di Mixture of Experts (MoE). Per ulteriori informazioni, consulta Mixtral nella documentazione
di Hugging Face. -
Flan— Una versione migliorata dell'architettura T5, un modello di trasformatore basato su encoder-decoder. Per ulteriori informazioni, consulta la Flan T5
documentazione di Hugging Face. -
Llama 2,,Llama3, Llama3.1 Llama3.2Llama 3.3, e Mllama — Una versione migliorata di Llama Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Llama 2
, Llama 3 , Llama 3.1 , Llama 3.2Llama 3.3 , e Mllama nella Hugging Face documentazione. -
GPTBigCode— Una versione ottimizzata di GPT-2 con azione Multi-Query. Per ulteriori informazioni, consulta GPTBigCode nella documentazione
. Hugging Face -
Qwen2,, Qwen2.5Qwen2-VL, Qwen2.5-VL — Una famiglia LLM con percezione multimodale completa e codifica visiva ad alta velocità. È possibile importare qualsiasi modello che utilizzi le Qwen2.5-VL architetture Qwen2Qwen2-VL, e. Per ulteriori informazioni, vedere Qwen2, Qwen2.5, Qwen2-vl
e Qwen2.5-vl nella documentazione. Hugging Face
Nota
La dimensione dei pesi dei modelli importati deve essere inferiore a 100 GB per i modelli multimodali e a 200 GB per i modelli di testo.
Gli incorporamenti posizionali massimi o la lunghezza massima del contesto supportati dal modello devono essere inferiori a 128K.
Amazon Bedrock supporta la versione 4.45.2 del trasformatore. Assicurati di utilizzare la versione 4.45.2 del trasformatore durante la messa a punto del modello.
Importazione di un modello sorgente da Amazon S3
Importi un modello in Amazon Bedrock creando un processo di importazione del modello nella console o nell'API Amazon Bedrock. Nel job specifichi l'URI di Amazon S3 per l'origine dei file del modello. Durante l'addestramento del modello, il processo di importazione rileva automaticamente l'architettura del modello.
È necessario fornire i file del modello nel formato Hugging Face pesi. È possibile creare i file utilizzando la libreria di trasformatori Hugging Face. Per creare file di modello per un Llama modello, vedete convert_llama_weights_to_hf.py.
Per importare il modello da Amazon S3, sono necessari almeno i seguenti file creati dalla libreria di trasformatori Hugging Face.
-
.safetensor: i pesi del modello in formato Safetensor. Safetensors è un formato creato da che memorizza i pesi di un modello come tensori. Hugging Face È necessario memorizzare i tensori del modello in un file con estensione.
.safetensorsPer ulteriori informazioni, vedete Safetensors.Per informazioni sulla conversione dei pesi dei modelli nel formato Safetensor, consultate Convertire i pesi in sensori di sicurezza. Nota
Attualmente, Amazon Bedrock supporta solo pesi dei modelli con FP32 e FP16 BF16 precisione. Amazon Bedrock rifiuterà i pesi dei modelli se li fornisci con qualsiasi altra precisione. Internamente Amazon Bedrock convertirà FP32 i modelli in modo BF16 preciso.
Amazon Bedrock non supporta l'importazione di modelli quantizzati.
config.json: per esempi, consulta e. LlamaConfigMistralConfig
Nota
Amazon Bedrock sostituisce il llama3
rope_scalingvalore con i seguenti valori:-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Per un esempio, vedi. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokenizzatori supportati
Amazon Bedrock Custom Model Import supporta i seguenti tokenizzatori. Puoi utilizzare questi tokenizzatori con qualsiasi modello.
Tokenizzatore T5
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizzatore
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerVeloce
PreTrainedTokenizer
PreTrainedTokenizerFast
Tokenizzatore Qwen2
Qwen 2 TokenizerFast
