As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurações avançadas
O adaptador de SageMaker HyperPod receitas é construído com base nas estruturas Nvidia Nemo e PyTorch-Lightning. Se você já usou essas estruturas, integrar seus modelos ou recursos personalizados ao adaptador de SageMaker HyperPod receitas é um processo semelhante. Além de modificar o adaptador de fórmulas, é possível alterar seu próprio script de pré-treinamento ou de ajuste fino. Para ter orientação sobre como escrever seu script de treinamento personalizado, consulte exemplos
Use o SageMaker HyperPod adaptador para criar seu próprio modelo
No adaptador de fórmulas, é possível personalizar os arquivos abaixo nos seguintes locais:
-
collections/data: contém um módulo responsável pelo carregamento de conjuntos de dados. Atualmente, ele suporta apenas conjuntos de dados de HuggingFace. Se seus requisitos forem mais avançados, a estrutura de código permite adicionar módulos de dados personalizados na mesma pasta. -
collections/model: inclui as definições de vários modelos de linguagem. No momento, é possível usar grandes modelos de linguagem comuns, como Llama, Mixtral e Mistral. Você tem flexibilidade para introduzir suas próprias definições de modelo nessa pasta. -
collections/parts: essa pasta contém estratégias para modelos de treinamento de forma distribuída. Um exemplo é a estratégia Fully Sharded Data Parallel (FSDP), que permite fragmentar um grande modelo de linguagem em vários aceleradores. Além disso, as estratégias permitem usar várias formas de paralelismo de modelos. Você também tem a opção de criar estratégias de treinamento personalizadas para o treinamento de modelo. -
utils: contém vários utilitários destinados a facilitar o gerenciamento de uma tarefa de treinamento. Serve como um repositório para suas próprias ferramentas. Você pode usar suas próprias ferramentas para determinadas tarefas, como solução de problemas ou avaliação comparativa. Você também pode adicionar seus próprios retornos de chamada personalizados PyTorch do Lightning nessa pasta. Você pode usar os retornos de chamada do PyTorch Lightning para integrar perfeitamente funcionalidades ou operações específicas ao ciclo de vida do treinamento. -
conf: contém as definições do esquema de configuração usadas para validar parâmetros específicos em uma tarefa de treinamento. Se você criar outros parâmetros ou configurações, poderá adicionar seu esquema personalizado a essa pasta. É possível usar o esquema personalizado para definir as regras de validação. Você pode validar tipos de dados, intervalos ou qualquer outra restrição de parâmetro. Também é possível definir seu esquema personalizado para validar os parâmetros.
