Treinamento
Com treinamento de precisão mista, você pode implantar redes maiores com a mesma quantidade de memória ou reduzir o uso de memória em comparação com sua rede de precisão única ou dupla, e você verá aumentos de desempenho de computação. Você também pode obter o benefício de transferências de dados menores e mais rápidas, um fator importante em um treinamento distribuído em vários nós. Para aproveitar o treinamento de precisão mista, você precisa ajustar a conversão de dados e a escalabilidade de perdas. Veja a seguir os guias que descrevem como fazer isso para as estruturas que oferecem suporte à precisão mista.
-
SDK do NVIDIA Deep Learning
: documentos no site da NVIDIA descrevendo a implementação de precisão mista para MXNet, PyTorch e TensorFlow.
dica
Verifique se o site oferece a estrutura de sua preferência e procure por "precisão mista" ou "fp16" para encontrar as técnicas de otimização mais recentes. Veja a seguir alguns guias sobre precisão mista que podem ser úteis:
-
Treinamento de precisão mista com o TensorFlow (vídeo)
- no site do blog da NVIDIA. -
Treinamento de precisão mista usando float16 com MXNet
- um artigo de perguntas frequentes no site do MXNet. -
NVIDIA Apex: uma ferramenta para treinamento fácil com precisão mista com PyTorch
- um artigo de blog no site da NVIDIA.
Você pode estar interessado nesses outros tópicos sobre monitoramento e otimização de GPU: