Uso de la importación de modelos personalizados para importar un modelo de código abierto personalizado a Amazon Bedrock - Amazon Bedrock
Arquitectura compatibleImportación de un origen de modelos desde Amazon S3

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de la importación de modelos personalizados para importar un modelo de código abierto personalizado a Amazon Bedrock

Puede crear un modelo personalizado en Amazon Bedrock mediante la función de importación de modelos personalizados de Amazon Bedrock para importar modelos de base que haya personalizado en otros entornos, como Amazon SageMaker AI. Por ejemplo, es posible que tenga un modelo que haya creado en Amazon SageMaker AI que tenga pesos de modelo patentados. Ahora puede importar ese modelo a Amazon Bedrock y, a continuación, aprovechar las características de Amazon Bedrock para realizar llamadas de inferencia al modelo.

Puede utilizar un modelo importando con rendimiento bajo demanda. Utilice las InvokeModelWithResponseStreamoperaciones InvokeModelo para realizar llamadas de inferencia al modelo. Para obtener más información, consulte Envíe un único mensaje con InvokeModel.

La importación de modelos personalizados se admite en las siguientes regiones:

  • eu-central-1

  • us-east-1

  • us-east-2

  • us-west-2

nota

Asegúrese de que la importación y el uso de los modelos en Amazon Bedrock cumplan con los términos o licencias aplicables a los modelos.

No puede usar Importación de modelos personalizados con las siguientes características de Amazon Bedrock.

  • Inferencia por lotes

  • CloudFormation

Importación de modelos personalizados permite crear un modelo personalizado que admite los siguientes patrones.

  • Modelo de entrenamiento previo ajustado o continuo: puede personalizar los pesos del modelo con datos propios, pero conservando la configuración del modelo base.

  • Adaptación: puede personalizar el modelo para adaptarlo a su dominio para casos de uso en los que el modelo no se generalice bien. La adaptación del dominio modifica un modelo para generalizarlo para un dominio de destino y abordar las discrepancias entre dominios, por ejemplo, un sector financiero que quiere crear un modelo que generalice bien los precios. Otro ejemplo es la adaptación del idioma. Por ejemplo, puede personalizar un modelo para que genere respuestas en portugués o tamil. En la mayoría de los casos, esto implica cambios en el vocabulario del modelo que está utilizando.

  • Entrenamiento previo desde cero: además de personalizar los pesos y el vocabulario del modelo, también puede cambiar los parámetros de configuración del modelo, como el número de puntos de atención, las capas ocultas o la longitud del contexto.

Para obtener información sobre los precios de la importación de modelos personalizados, seleccione la pestaña Importación de modelos personalizados en la sección Detalles de precios de los modelos de Precios de Amazon Bedrock.

Temas

Arquitectura compatible

El modelo que se va a importar debe tener una de las siguientes arquitecturas.

  • Mistral: una arquitectura basada en transformador solo para decodificador con Sliding Window Attention (SWA) y opciones para Grouped Query Attention (GQA). Para obtener más información, consulte Mistral en la documentación de Hugging Face.

  • Mixtral: un modelo de transformador solo para decodificador con modelos de mezcla de expertos (MoE) dispersos. Para obtener más información, consulte Mixtral en la documentación de Hugging Face.

  • Flan: una versión mejorada de la arquitectura T5, un modelo de transformador basado en codificador-decodificador. Para obtener más información, consulte Flan T5 en la documentación de Hugging Face.

  • Llama 2, Llama3, Llama3.1, Llama3.2, Llama 3.3 y Mllama: una versión mejorada de Llama con atención de consulta agrupada (GQA). Para obtener más información, consulte Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3 y Mllama en la documentación de Hugging Face.

  • GPTBigCode: una versión optimizada de GPT-2 con acción de consulta múltiple. Para obtener más información, consulte el GPTBigcódigo en la Hugging Face documentación.

  • Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL, Qwen3: una familia de LLM con percepción multimodal integral y codificación de visión de alta velocidad. Se puede importar cualquier modelo que utilice las arquitecturas Qwen2, Qwen2-VL y Qwen2.5-VL. Para la arquitectura Qwen3, solo se admiten los modelos Qwen3ForCausalLM y Qwen3MoeForCausalLM. Converse tampoco es compatible con los modelos Qwen3. Para obtener más información, consulte Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL y Qwen3 en la documentación de Hugging Face.

  • GPT-OSS— Arquitectura basada GPT-OSS en OpenAI. Amazon Bedrock admite modelos personalizados basados en 20B y 120B. GPT-OSSLa arquitectura modelo solo se admite en la región EE.UU. Este (Norte de Virginia).

nota

  • El tamaño de los pesos del modelo importado debe ser inferior a 100 GB para los modelos multimodales y a 200 GB para los modelos de texto.

  • Las incrustaciones de posición máximas o la longitud de contexto máxima admitida por el modelo deben ser inferiores a 128 000.

  • Amazon Bedrock es compatible con la versión 4.51.3 del transformador. Asegúrese de utilizar la versión 4.45.2 del transformador al refinar el modelo.

  • La importación de modelos personalizados no admite la incrustación de modelos.

Importación de un origen de modelos desde Amazon S3

Para importar un modelo a Amazon Bedrock, debe crear un trabajo de importación de modelos en la consola o la API de Amazon Bedrock. En el trabajo, debe especificar el URI de Amazon S3 para el origen de los archivos del modelo. Durante el entrenamiento del modelo, el trabajo de importación detecta automáticamente la arquitectura del modelo.

Debe proporcionar los archivos del modelo en el formato de ponderación de Hugging Face. Puede crear los archivos con la biblioteca de transformadores de Hugging Face. Para crear archivos de modelo para un modelo Llama, consulte convert_llama_weights_to_hf.py. Para crear archivos para un modelo Mistral AI, consulte convert_mistral_weights_to_hf.py.

Para importar el modelo desde Amazon S3, necesitará como mínimo los siguientes archivos que crea la biblioteca de transformadores de Hugging Face.

  • .safetensor: son los pesos del modelo en formato Safetensor. Safetensors es un formato creado por Hugging Face que almacena los pesos de un modelo como tensores. Debe almacenar los tensores del modelo en un archivo con la extensión .safetensors. Para obtener más información, consulte Safetensors. Para obtener más información sobre cómo convertir los pesos de los modelos al formato Safetensor, consulte Convert weights to safetensors.

  • config.json: para ver ejemplos, consulte y. LlamaConfigMistralConfig

    nota

    Amazon Bedrock reemplaza el valor llama3 rope_scaling con los siguientes valores:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Para ver un ejemplo, consulte. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Tokenizadores compatibles

Importación de modelos personalizados de Amazon Bedrock admite los siguientes tokenizadores. Puede utilizar estos tokenizadores con cualquier modelo.

  • T5Tokenizer

  • T5 TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizador

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerRápido

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen 2 TokenizerFast