Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Utilice la importación de modelos personalizados para importar un modelo de código abierto personalizado a Amazon Bedrock
Puede crear un modelo personalizado en Amazon Bedrock mediante la función de importación de modelos personalizados de Amazon Bedrock para importar modelos de base que haya personalizado en otros entornos, como Amazon SageMaker AI. Por ejemplo, es posible que tenga un modelo que haya creado en Amazon SageMaker AI que tenga pesos de modelo patentados. Ahora puede importar ese modelo a Amazon Bedrock y, a continuación, aprovechar las características de Amazon Bedrock para realizar llamadas de inferencia al modelo.
Puede utilizar un modelo importando con rendimiento bajo demanda. Utilice las InvokeModelWithResponseStreamoperaciones InvokeModelo para realizar llamadas de inferencia al modelo. Para obtener más información, consulte Envíe un único mensaje con InvokeModel.
La importación de modelos personalizados de Amazon Bedrock se admite en las siguientes regiones (para obtener más información sobre las regiones compatibles con Amazon Bedrock, consulte los puntos de destino y las cuotas de Amazon Bedrock):
-
Este de EE. UU. (Norte de Virginia)
-
Oeste de EE. UU. (Oregón)
-
Europa (Fráncfort)
nota
Asegúrese de que la importación y el uso de los modelos en Amazon Bedrock cumplan con los términos o licencias aplicables a los modelos.
No puede usar Importación de modelos personalizados con las siguientes características de Amazon Bedrock.
Inferencia por lotes
AWS CloudFormation
Importación de modelos personalizados permite crear un modelo personalizado que admite los siguientes patrones.
-
Modelo de entrenamiento previo ajustado o continuo: puede personalizar los pesos del modelo con datos propios, pero conservando la configuración del modelo base.
-
Adaptación: puede personalizar el modelo para adaptarlo a su dominio para casos de uso en los que el modelo no se generalice bien. La adaptación del dominio modifica un modelo para generalizarlo para un dominio de destino y abordar las discrepancias entre dominios, por ejemplo, un sector financiero que quiere crear un modelo que generalice bien los precios. Otro ejemplo es la adaptación del idioma. Por ejemplo, puede personalizar un modelo para que genere respuestas en portugués o tamil. En la mayoría de los casos, esto implica cambios en el vocabulario del modelo que está utilizando.
-
Entrenamiento previo desde cero: además de personalizar los pesos y el vocabulario del modelo, también puede cambiar los parámetros de configuración del modelo, como el número de puntos de atención, las capas ocultas o la longitud del contexto.
Para obtener información sobre los precios de la importación de modelos personalizados, seleccione la pestaña Importación de modelos personalizados en la sección de detalles de precios de modelos de los precios de Amazon Bedrock
Arquitectura compatible
El modelo que se va a importar debe tener una de las siguientes arquitecturas.
-
Mistral: una arquitectura basada en transformador solo para decodificador con Sliding Window Attention (SWA) y opciones para Grouped Query Attention (GQA). Para obtener más información, consulte Mistral
en la documentación de Hugging Face. -
Mixtral: un modelo de transformador solo para decodificador con modelos de mezcla de expertos (MoE) dispersos. Para obtener más información, consulte Mixtral
en la documentación de Hugging Face. -
Flan: una versión mejorada de la arquitectura T5, un modelo de transformador basado en codificador-decodificador. Para obtener más información, consulte Flan T5
en la documentación de Hugging Face. -
Llama 2,Llama3, Llama3.1 Llama3.2Llama 3.3, y Mllama: versión mejorada de Grouped Query Llama Attention (GQA). Para obtener más información Llama 2
, consulte Llama 3 , Llama 3.1 , Llama 3.2Llama 3.3 , y Mllama en la Hugging Face documentación. -
GPTBigCode— Una versión optimizada del GPT-2 con acción de consulta múltiple. Para obtener más información, consulte el GPTBigcódigo
en la documentación. Hugging Face -
Qwen2,, Qwen2.5Qwen2-VL, Qwen2.5-VL — Una familia LLM con una percepción multimodal integral y una codificación de visión de alta velocidad. Se puede importar cualquier modelo que utilice las Qwen2 Qwen2.5-VL arquitecturasQwen2-VL, y. Para obtener más información, consulte Qwen2, Qwen2.5
, Qwen2-vl y Qwen2.5-vl en la documentación . Hugging Face
nota
El tamaño de los pesos del modelo importado debe ser inferior a 100 GB para los modelos multimodales y a 200 GB para los modelos de texto.
Las incrustaciones posicionales máximas o la longitud de contexto máxima admitida por el modelo deben ser inferiores a 128 K.
Amazon Bedrock admite la versión de transformador 4.45.2. Asegúrese de utilizar la versión 4.45.2 del transformador al ajustar el modelo.
Importar una fuente de modelo de Amazon S3
Para importar un modelo a Amazon Bedrock, debe crear un trabajo de importación de modelos en la consola o la API de Amazon Bedrock. En el trabajo, debe especificar el URI de Amazon S3 para el origen de los archivos del modelo. Durante el entrenamiento del modelo, el trabajo de importación detecta automáticamente la arquitectura del modelo.
Debe proporcionar los archivos del modelo en el formato de Hugging Face pesos. Puede crear los archivos con la biblioteca de transformadores de Hugging Face. Para crear archivos de modelo para un modelo Llama, consulte convert_llama_weights_to_hf.py
Para importar el modelo desde Amazon S3, necesitará como mínimo los siguientes archivos que crea la biblioteca de transformadores de Hugging Face.
-
.safetensor: son los pesos del modelo en formato Safetensor. Safetensors es un formato creado por Hugging Face que almacena los pesos de un modelo como tensores. Debe almacenar los tensores del modelo en un archivo con la extensión
.safetensors. Para obtener más información, consulte Safetensors. Para obtener más información sobre cómo convertir los pesos de los modelos al formato Safetensor, consulte Convert weights to safetensors . nota
Actualmente, Amazon Bedrock solo admite los pesos de los modelos con FP32 BF16 precisión y precisión. FP16 Amazon Bedrock rechazará los pesos de los modelos de cualquier otra precisión. Internamente, Amazon Bedrock convertirá FP32 los modelos en modelos de BF16 precisión.
Amazon Bedrock no admite la importación de modelos cuantificados.
config.json: para ver ejemplos, consulte y. LlamaConfigMistralConfig
nota
Amazon Bedrock reemplaza el valor llama3
rope_scalingcon los siguientes valores:-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Para ver un ejemplo, consulte. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokenizadores compatibles
Importación de modelos personalizados de Amazon Bedrock admite los siguientes tokenizadores. Puede utilizar estos tokenizadores con cualquier modelo.
T5Tokenizer
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizador
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerRápido
PreTrainedTokenizer
PreTrainedTokenizerFast
Tokenizador Qwen2
Qwen2 TokenizerFast
