Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dukungan untuk FlashAttention
Dukungan untuk FlashAttention adalah fitur perpustakaan yang hanya berlaku untuk model transformator terdistribusi, yang merupakan model Transformer yang dibungkus smp.DistributedModel()
P FlashAttention attention_head_size bila disetel ke nilai yang kelipatan 8 dan kurang dari 128. Oleh karena itu, ketika Anda melatih transformator terdistribusi dan memastikannya FlashAttention berfungsi dengan baik, Anda harus menyesuaikan parameter untuk membuat ukuran kepala perhatian memenuhi persyaratan. Untuk informasi selengkapnya, lihat juga Instalasi dan fitur
Misalnya, asumsikan bahwa Anda mengkonfigurasi model Transformer dengan hidden_width=864 dannum_heads=48. Ukuran kepala FlashAttention dihitung sebagaiattention_head_size = hidden_width / num_heads = 864 / 48 = 18. Untuk mengaktifkan FlashAttention, Anda perlu menyesuaikan num_heads parameter ke54, sehinggaattention_head_size = hidden_width / num_heads = 864
/ 54 = 16, yang merupakan kelipatan dari 8.
