Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Soporte para FlashAttention
El soporte para FlashAttention es una característica de la biblioteca solo aplicable para el modelo de transformador distribuido, que es un modelo de Transformer encapsulado por smp.DistributedModel()
La biblioteca FlashAttentionattention_head_size se establece en un valor múltiplo de 8 e inferior a 128. Por lo tanto, cuando entrene un transformador distribuido y se asegure de que FlashAttention funciona correctamente, deberá ajustar los parámetros para que el tamaño de head (cabeza) de atención cumpla con los requisitos. Para obtener más información, consulte también Instalación y características
Por ejemplo, supongamos que configura un modelo de Transformer con hidden_width=864 y num_heads=48. El tamaño de head (cabeza) de FlashAttention se calcula como attention_head_size = hidden_width / num_heads = 864 / 48 = 18. Para activar FlashAttention, debe ajustar el parámetro num_heads a 54, de modo que attention_head_size = hidden_width / num_heads = 864
/ 54 = 16 sea un múltiplo de 8.
