Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configuración avanzada
El adaptador de SageMaker HyperPod recetas se basa en los marcos Nvidia Nemo y Pytorch-Lightning. Si ya ha utilizado estos marcos, integrar sus modelos o funciones personalizados en el adaptador de SageMaker HyperPod recetas es un proceso similar. Además de modificar el adaptador de fórmulas, puede cambiar su propio script de entrenamiento previo o de refinamiento. Para obtener orientación sobre cómo escribir su script de entrenamiento personalizado, consulte examples
Usa el SageMaker HyperPod adaptador para crear tu propio modelo
Dentro del adaptador de fórmulas, puede personalizar los siguientes archivos en las siguientes ubicaciones:
-
collections/data: contiene un módulo responsable de cargar los conjuntos de datos. Actualmente, solo admite conjuntos de datos de HuggingFace. Si tiene requisitos más avanzados, la estructura de código le permite añadir módulos de datos personalizados dentro de la misma carpeta. -
collections/model: incluye las definiciones de varios modelos de lenguaje. Actualmente, es compatible con los modelos de lenguaje de gran tamaño más comunes, como Llama, Mixtral y Mistral. Además, puede introducir sus propias definiciones de modelos en esta carpeta. -
collections/parts: esta carpeta contiene estrategias para entrenar modelos de forma distribuida. Un ejemplo es la estrategia de Paralelismo de datos totalmente particionados (FSDP), que permite particionar un modelo de lenguaje de gran tamaño en varios aceleradores. Además, las estrategias admiten diversas formas de paralelismo de modelos. También tiene la opción de introducir sus propias estrategias de entrenamiento personalizadas para el entrenamiento del modelo. -
utils: contiene varias utilidades para facilitar la administración de un trabajo de entrenamiento. Sirve de repositorio donde puede guardar sus propias herramientas. Puede utilizar sus propias herramientas para tareas como la resolución de problemas o la evaluación comparativa. También puede añadir sus propias llamadas PyTorch Lightning personalizadas dentro de esta carpeta. Puede utilizar PyTorch Lightning Callbacks para integrar sin problemas funcionalidades u operaciones específicas en el ciclo de vida de la formación. -
conf: contiene las definiciones del esquema de configuración que se utilizan para validar parámetros específicos en un trabajo de entrenamiento. Si introduce nuevos parámetros o configuraciones, puede añadir su esquema personalizado a esta carpeta. Puede utilizar el esquema personalizado para definir las reglas de validación. Puede validar los tipos de datos, los rangos o cualquier otra restricción de parámetros. También puede definir su propio esquema personalizado para validar los parámetros.
