Usare Custom Model Import per importare un modello open source personalizzato in Amazon Bedrock - Amazon Bedrock
Architetture supportateImportare un origine del modello da Amazon S3

Usare Custom Model Import per importare un modello open source personalizzato in Amazon Bedrock

È possibile creare un modello personalizzato in Amazon Bedrock utilizzando la funzionalità Amazon Bedrock Custom Model Import per importare i modelli di fondazione personalizzati in altri ambienti, come Amazon SageMaker AI. Ad esempio, se si dispone di un modello creato in Amazon SageMaker AI con pesi del modello proprietari, ora è possibile importarlo in Amazon Bedrock e sfruttare le funzionalità di Amazon Bedrock per effettuare chiamate di inferenza al modello.

È possibile utilizzare un modello importato con throughput su richiesta. Per effettuare chiamate di inferenza al modello, utilizzare le operazioni InvokeModel o InvokeModelWithResponseStream. Per ulteriori informazioni, consulta Inviare un singolo prompt con InvokeModel.

Amazon Bedrock Custom Model Import è supportato nelle seguenti Regioni. Per ulteriori informazioni sulle Regioni supportate in Amazon Bedrock, consultare Endpoint e quote di Amazon Bedrock:

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti orientali (Ohio)

  • Stati Uniti occidentali (Oregon)

  • Europa (Francoforte)

Nota

Assicurarsi che l’importazione e l’utilizzo dei modelli in Amazon Bedrock siano conformi ai termini o alle licenze applicabili ai modelli.

Non è possibile utilizzare Custom Model Import con le seguenti funzionalità di Amazon Bedrock.

  • Inferenza in batch

  • CloudFormation

Con Custom Model Import è possibile creare un modello personalizzato che supporti i seguenti modelli.

  • Modello di pre-addestramento ottimizzato o continuo: è possibile personalizzare i pesi del modello utilizzando dati proprietari, mantenendo però la configurazione del modello base.

  • Adattamento: è possibile personalizzare il modello in base al dominio per i casi d’uso in cui il modello non si generalizza bene. L’adattamento del dominio modifica un modello per generalizzarlo per un dominio di destinazione e gestire le discrepanze tra i domini, ad esempio un settore finanziario che vuole creare un modello che generalizzi bene i prezzi. Un altro esempio è l’adattamento linguistico. Ad esempio, è possibile personalizzare un modello per generare risposte in portoghese o tamil. Molto spesso, ciò comporta modifiche al vocabolario del modello che si sta utilizzando.

  • Pre-addestrato da zero: oltre a personalizzare i pesi e il vocabolario del modello, puoi anche modificare i parametri di configurazione del modello come il numero di punti di attenzione, i livelli nascosti o la lunghezza del contesto.

Per informazioni sui prezzi per l’importazione di modelli personalizzati, selezionare la scheda Importazione di modelli personalizzati nella sezione Dettagli sui prezzi dei modelli dei prezzi di Amazon Bedrock.

Argomenti

Architetture supportate

Il modello da importare deve trovarsi in una delle seguenti architetture.

  • Mistral: un’architettura con trasformatore basata solo su decodificatore con Sliding Window Attention (SWA) e opzioni per Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Mistral nella documentazione di Hugging Face.

  • Mixtral: un modello di trasformatore basato solo su decodificatore con modelli Mixture of Experts (MoE) di tipo sparse. Per ulteriori informazioni, consulta Mixtral nella documentazione di Hugging Face.

  • Flan: una versione migliorata dell’architettura T5, un modello di trasformatore basato su codificatore-decodificatore. Per ulteriori informazioni, consulta la sezione Flan T5 nella documentazione di Hugging Face.

  • Llama 2, Llama3, Llama3.1, Llama3.2, Llama 3.3 e Mllama: una versione migliorata di Llama con Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3 e Mllama nella documentazione di Hugging Face.

  • GPTBigCode: una versione ottimizzata di GPT-2 con azione Multi-Query. Per ulteriori informazioni, consulta GPTBigCode nella documentazione di Hugging Face.

  • Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL, Qwen3: una famiglia di LLM con percezione multimodale completa e codifica visiva ad alta velocità. È possibile importare qualsiasi modello che utilizza le architetture Qwen2, Qwen2-VL e Qwen2.5-VL. Per l’architettura Qwen3 sono supportati solo Qwen3ForCausalLM e Qwen3MoeForCausalLM. Anche Converse non è supportata per i modelli Qwen3. Per ulteriori informazioni, consulta Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL e Qwen3 nella documentazione di Hugging Face.

Nota

  • La dimensione dei pesi dei modelli importati deve essere inferiore a 100 GB per i modelli multimodali e a 200 GB per i modelli testuali.

  • Gli embedding posizionali massimi o la lunghezza massima del contesto supportati dal modello devono essere inferiori a 128.000.

  • Amazon Bedrock supporta la versione 4.51.3 del trasformatore. Assicurarsi di utilizzare la versione 4.51.3 del trasformatore per il fine-tuning dei modelli.

Importare un origine del modello da Amazon S3

Per importare un modello in Amazon Bedrock, creare un processo di importazione del modello nella console o nell’API Amazon Bedrock. Nel processo viene specificato l’URI di Amazon S3 per l’origine dei file modello. Durante l’addestramento dei modelli, il processo di importazione rileva automaticamente l’architettura del modello.

È necessario fornire i file modello nel formato dei pesi di Hugging Face. È possibile creare i file utilizzando la libreria del trasformatore di Hugging Face. Per creare file modello per un modello Llama, vedere convert_llama_weights_to_hf.py. Per creare file modello per un modello Mistral AI, vedere convert_mistral_weights_to_hf.py.

Per importare il modello da Amazon S3, sono necessari almeno i seguenti file creati dalla libreria del trasformatore di Hugging Face.

  • .safetensor: i pesi del modello in formato Safetensors. Safetensors è un formato creato da Hugging Face che memorizza i pesi di un modello come tensori. È necessario memorizzare i tensori del modello in un file con estensione .safetensors. Per ulteriori informazioni, vedete Safetensors. Per informazioni sulla conversione dei pesi dei modelli nel formato safetensors, consultare Convertire i pesi in formato safetensors.

    Nota

    • Attualmente Amazon Bedrock supporta solo pesi dei modelli con precisione FP32, FP16 e BF16. Amazon Bedrock rifiuta i pesi dei modelli se forniti con qualsiasi altra precisione. Internamente Amazon Bedrock converte i modelli FP32 in precisione BF16.

    • Amazon Bedrock non supporta l’importazione di modelli quantizzati.

  • config.json: per esempi vedere LlamaConfig e MistralConfig.

    Nota

    Amazon Bedrock sostituisce il valore rope_scaling di llama3 con i seguenti valori:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json: per un esempio, vedere LlamaTokenizer.

  • tokenizer.json

  • tokenizer.model

Tokenizzatori supportati

Amazon Bedrock Custom Model Import supporta i seguenti tokenizzatori utilizzabili con qualsiasi modello.

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen2TokenizerFast