Usare Custom Model Import per importare un modello open source personalizzato in Amazon Bedrock - Amazon Bedrock
Architetture supportateImportare un origine del modello da Amazon S3

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usare Custom Model Import per importare un modello open source personalizzato in Amazon Bedrock

Puoi creare un modello personalizzato in Amazon Bedrock utilizzando la funzione Amazon Bedrock Custom Model Import per importare modelli Foundation che hai personalizzato in altri ambienti, come Amazon SageMaker AI. Ad esempio, potresti avere un modello che hai creato in Amazon SageMaker AI con pesi di modello proprietari. ora è possibile importarlo in Amazon Bedrock e sfruttare le funzionalità di Amazon Bedrock per effettuare chiamate di inferenza al modello.

È possibile utilizzare un modello importato con throughput su richiesta. Usa le InvokeModelWithResponseStreamoperazioni InvokeModelo per effettuare chiamate di inferenza al modello. Per ulteriori informazioni, consulta Invia una sola richiesta con InvokeModel.

L'importazione di modelli personalizzati è supportata nelle seguenti regioni:

  • eu-central-1

  • us-east-1

  • us-east-2

  • us-west-2

Nota

Assicurarsi che l’importazione e l’utilizzo dei modelli in Amazon Bedrock siano conformi ai termini o alle licenze applicabili ai modelli.

Non è possibile utilizzare Custom Model Import con le seguenti funzionalità di Amazon Bedrock.

  • Inferenza in batch

  • CloudFormation

Con Custom Model Import è possibile creare un modello personalizzato che supporti i seguenti modelli.

  • Modello di pre-addestramento ottimizzato o continuo: è possibile personalizzare i pesi del modello utilizzando dati proprietari, mantenendo però la configurazione del modello base.

  • Adattamento: è possibile personalizzare il modello in base al dominio per i casi d’uso in cui il modello non si generalizza bene. L’adattamento del dominio modifica un modello per generalizzarlo per un dominio di destinazione e gestire le discrepanze tra i domini, ad esempio un settore finanziario che vuole creare un modello che generalizzi bene i prezzi. Un altro esempio è l’adattamento linguistico. Ad esempio, è possibile personalizzare un modello per generare risposte in portoghese o tamil. Molto spesso, ciò comporta modifiche al vocabolario del modello che si sta utilizzando.

  • Pre-addestrato da zero: oltre a personalizzare i pesi e il vocabolario del modello, puoi anche modificare i parametri di configurazione del modello come il numero di punti di attenzione, i livelli nascosti o la lunghezza del contesto.

Per informazioni sui prezzi per l’importazione di modelli personalizzati, selezionare la scheda Importazione di modelli personalizzati nella sezione Dettagli sui prezzi dei modelli dei prezzi di Amazon Bedrock.

Argomenti

Architetture supportate

Il modello da importare deve trovarsi in una delle seguenti architetture.

  • Mistral: un’architettura con trasformatore basata solo su decodificatore con Sliding Window Attention (SWA) e opzioni per Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Mistral nella documentazione di Hugging Face.

  • Mixtral: un modello di trasformatore basato solo su decodificatore con modelli Mixture of Experts (MoE) di tipo sparse. Per ulteriori informazioni, consulta Mixtral nella documentazione di Hugging Face.

  • Flan: una versione migliorata dell’architettura T5, un modello di trasformatore basato su codificatore-decodificatore. Per ulteriori informazioni, consulta la sezione Flan T5 nella documentazione di Hugging Face.

  • Llama 2, Llama3, Llama3.1, Llama3.2, Llama 3.3 e Mllama: una versione migliorata di Llama con Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3 e Mllama nella documentazione di Hugging Face.

  • GPTBigCode: una versione ottimizzata di GPT-2 con azione Multi-Query. Per ulteriori informazioni, consulta GPTBigCode nella Hugging Face documentazione.

  • Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL, Qwen3: una famiglia di LLM con percezione multimodale completa e codifica visiva ad alta velocità. È possibile importare qualsiasi modello che utilizza le architetture Qwen2, Qwen2-VL e Qwen2.5-VL. Per l’architettura Qwen3 sono supportati solo Qwen3ForCausalLM e Qwen3MoeForCausalLM. Anche Converse non è supportata per i modelli Qwen3. Per ulteriori informazioni, consulta Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL e Qwen3 nella documentazione di Hugging Face.

  • GPT-OSS— Architettura basata su GPT-OSS OpenAI. Amazon Bedrock supporta modelli personalizzati basati su 20B e 120B. GPT-OSSl'architettura del modello è supportata solo nella regione Stati Uniti orientali (Virginia settentrionale).

Nota

  • La dimensione dei pesi dei modelli importati deve essere inferiore a 100 GB per i modelli multimodali e a 200 GB per i modelli testuali.

  • Gli embedding posizionali massimi o la lunghezza massima del contesto supportati dal modello devono essere inferiori a 128.000.

  • Amazon Bedrock supporta la versione 4.51.3 del trasformatore. Assicurarsi di utilizzare la versione 4.51.3 del trasformatore per il fine-tuning dei modelli.

  • Custom Model Import non supporta l'incorporamento di modelli.

Importare un origine del modello da Amazon S3

Per importare un modello in Amazon Bedrock, creare un processo di importazione del modello nella console o nell’API Amazon Bedrock. Nel processo viene specificato l’URI di Amazon S3 per l’origine dei file modello. Durante l’addestramento dei modelli, il processo di importazione rileva automaticamente l’architettura del modello.

È necessario fornire i file modello nel formato dei pesi di Hugging Face. È possibile creare i file utilizzando la libreria del trasformatore di Hugging Face. Per creare file modello per un modello Llama, vedere convert_llama_weights_to_hf.py. Per creare file modello per un modello Mistral AI, vedere convert_mistral_weights_to_hf.py.

Per importare il modello da Amazon S3, sono necessari almeno i seguenti file creati dalla libreria del trasformatore di Hugging Face.

  • .safetensor: i pesi del modello in formato Safetensors. Safetensors è un formato creato da Hugging Face che memorizza i pesi di un modello come tensori. È necessario memorizzare i tensori del modello in un file con estensione .safetensors. Per ulteriori informazioni, vedete Safetensors. Per informazioni sulla conversione dei pesi dei modelli nel formato safetensors, consultare Convertire i pesi in formato safetensors.

  • config.json: per esempi, vedere e. LlamaConfigMistralConfig

    Nota

    Amazon Bedrock sostituisce il valore rope_scaling di llama3 con i seguenti valori:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Per un esempio, vedi. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Tokenizzatori supportati

Amazon Bedrock Custom Model Import supporta i seguenti tokenizzatori utilizzabili con qualsiasi modello.

  • T5Tokenizer

  • T5 TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizzatore

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerVeloce

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen 2 TokenizerFast