View a markdown version of this page

FLUX.2 Penyetelan halus Klein LoRa dan pembuatan gambar - Batas Waktu Cloud
IkhtisarPrasyaratStruktur bundel JobSiapkan data pelatihanKirimkan pekerjaan pelatihanKirimkan pekerjaan pembuatan gambarVarian modelRekomendasi pelatihanBersihkanSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

FLUX.2 Penyetelan halus Klein LoRa dan pembuatan gambar

Contoh ini menunjukkan cara menyempurnakan model pembuatan gambar FLUX.2 Klein menggunakan LoRa (Low-Rank Adaptasi) dan menghasilkan gambar dalam skala besar di Deadline Cloud. Alur kerja melatih adaptor ringan dari kumpulan data gambar kecil. Kemudian menggunakan adaptor itu untuk menghasilkan gambar baru dari permintaan teks, semuanya diatur sebagai pekerjaan Deadline Cloud pada armada GPU.

Kode sumber untuk contoh ini tersedia di repositori deadline-cloud-samples pada. GitHub

Video berikut menunjukkan alur kerja FLUX.2 Klein LoRa di Deadline Cloud.

Perkiraan waktu: 30-60 menit (termasuk 15-45 menit untuk pelatihan).

Ikhtisar

Contohnya terdiri dari dua bundel pekerjaan:

  1. lora_training — Fine-tunes FLUX.2Klein pada dataset gambar Anda menggunakan LoRa, menghasilkan file adaptor. .safetensors

  2. image_generation - Memuat model dasar dengan adaptor terlatih Anda dan menghasilkan gambar dari petunjuk teks. Saat menghasilkan banyak gambar, pekerjaan diparalelkan di seluruh pekerja.

LoRa adalah teknik fine-tuning hemat parameter yang melatih adaptor kecil alih-alih memodifikasi bobot model lengkap. Pendekatan ini membuat pelatihan cepat (15-45 menit pada satu GPU) dan adaptor yang dihasilkan portabel dan mudah untuk versi.

Bundel pekerjaan menggunakan diffusers dan peft library untuk pelatihan dan inferensi.

Untuk melengkapi contoh ini, ikuti langkah-langkah berikut:

  1. Lengkapi prasyarat.

  2. Siapkan data pelatihan.

  3. Kirimkan pekerjaan pelatihan.

  4. Kirimkan pekerjaan pembuatan gambar.

  5. Pembersihan sumber daya

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki yang berikut:

  • Peternakan Cloud Deadline dengan armada GPU (Linux, GPU NVIDIA A10G, 13 GB+VRAM, 64 GiB+ memori sistem direkomendasikan).

  • Antrian yang terkait dengan armada GPU.

  • The Deadline Cloud CLI diinstal pada workstation Anda.

  • 20—50 gambar pelatihan subjek Anda (.jpg,, .png.jpeg, atau.webp).

Struktur bundel Job

flux2_klein_lora/
├── lora_training/
│   ├── template.yaml       # OpenJD job template
│   └── train_lora.py       # Training script
└── image_generation/
    ├── template.yaml       # OpenJD job template
    └── generate_image.py   # Inference script

Siapkan data pelatihan

Untuk mempersiapkan data pelatihan Anda

  1. Buat direktori yang berisi gambar subjek Anda. Untuk hasil terbaik, gunakan 20-50 gambar dengan beragam pose, pencahayaan, dan latar belakang.

  2. Secara opsional, sediakan file .txt teks di samping setiap gambar untuk pelatihan yang lebih bernuansa:

    training_images/
├── IMG_001.jpeg
├── IMG_001.txt    # "a photo of ohwx dog sitting on grass"
├── IMG_002.jpeg
├── IMG_002.txt    # "a photo of ohwx dog running on beach"

    Jika tidak ada file teks yang ada, skrip pelatihan menghasilkannya secara otomatis menggunakan parameter prompt instance. Teks khusus menghasilkan hasil berkualitas lebih tinggi karena mengajarkan model asosiasi yang lebih spesifik antara kata pemicu dan fitur visual Anda.

  3. Pilih kata pemicu yang unik (sepertiohwx). Ini mengikat konsep yang dipelajari ke token yang tidak bertentangan dengan pengetahuan model yang ada.

Kirimkan pekerjaan pelatihan

Untuk mengirimkan pekerjaan pelatihan

  1. Arahkan ke flux2_klein_lora direktori di deadline-cloud-samples repositori kloning Anda.

  2. Untuk mengirimkan pekerjaan pelatihan dengan GUI, jalankan perintah berikut:

    deadline bundle gui-submit ./lora_training

    Atau, untuk mengirimkan pekerjaan pelatihan langsung dengan CLI, jalankan perintah berikut:

    deadline bundle submit ./lora_training \
  --queue-id gpu-queue-id \
  --parameter DatasetPath=~/training_images \
  --parameter InstancePrompt="a photo of ohwx dog" \
  --parameter OutputDir=/tmp/lora_output \
  --parameter MaxTrainSteps=1500 \
  --parameter Resolution=512

  3. Pantau status pekerjaan di konsol Deadline Cloud atau dengan menggunakan deadline job get perintah.

Parameter pelatihan

Parameter pelatihan
Parameter Deskripsi Default
Versi Model flux.2-klein-base-4b atau flux.2-klein-4b flux.2-klein-base-4b
Jalur Dataset Direktori yang berisi gambar pelatihan —
Contoh Prompt Teks yang menjelaskan subjek Anda —
Resolusi Melatih resolusi gambar dalam piksel 512
Jaringan Dim Peringkat LoRa (lebih tinggi = lebih banyak kapasitas) 16
Jaringan Alpha Faktor penskalaan alfa LoRa 16
Langkah Pelatihan Maks Jumlah iterasi pelatihan 1500
Direktori Keluaran Tempat menyimpan beban terlatih —

Output pelatihan

Pekerjaan pelatihan menghasilkan artefak berikut:

  • flux2_klein_lora.safetensors— Adaptor LoRa terlatih dengan metadata tertanam.

  • Pos pemeriksaan disimpan setiap 300 langkah.

Untuk mengunduh output setelah pelatihan selesai, jalankan perintah berikut:

deadline job download-output \
  --job-id training-job-id \
  --queue-id gpu-queue-id

Kirimkan pekerjaan pembuatan gambar

Untuk mengirimkan pekerjaan pembuatan gambar

  1. Arahkan ke flux2_klein_lora direktori di deadline-cloud-samples repositori kloning Anda.

  2. Untuk mengirimkan pekerjaan pembuatan gambar dengan GUI, jalankan perintah berikut:

    deadline bundle gui-submit ./image_generation

    Atau, untuk mengirimkan pekerjaan pembuatan gambar secara langsung dengan CLI, jalankan perintah berikut:

    deadline bundle submit ./image_generation \
  --queue-id gpu-queue-id \
  --parameter LoRAPath=/tmp/lora_output/flux2_klein_lora.safetensors \
  --parameter Prompt="a photo of ohwx dog wearing a tuxedo" \
  --parameter OutputDir=/tmp/generated_images \
  --parameter NumImages=4

  3. Pantau status pekerjaan di konsol Deadline Cloud atau dengan menggunakan deadline job get perintah.

Ketika NumImages lebih besar dari 1, Deadline Cloud mendistribusikan pekerjaan di beberapa pekerja untuk generasi yang lebih cepat.

Parameter generasi

Parameter generasi
Parameter Deskripsi Default
Jalan LoRa Jalur ke .safetensors file terlatih —
Prompt Deskripsi teks (sertakan kata pemicu Anda) —
Jumlah Gambar Total gambar yang akan dihasilkan 1
Lebar Lebar keluaran dalam piksel 1024
Tinggi Tinggi output dalam piksel 1024
Langkah Inferensi Jumlah langkah denoising 50
Skala Bimbingan Classifier-free skala bimbingan 4.0

Output generasi

Gambar disimpan sebagaiimage_0001.png,image_0002.png, dan sebagainya. Untuk mengunduhnya, jalankan perintah berikut:

deadline job download-output \
  --job-id generation-job-id \
  --queue-id gpu-queue-id

Varian model

FLUX.2 Varian model Klein
Model Parameter Terbaik untuk
flux.2-klein-base-4b 4B Fine-tuning, penggunaan komersial
flux.2-klein-4b 4B Inferensi cepat (4 langkah denoising)

Rekomendasi pelatihan

Rekomendasi berikut dapat membantu Anda mendapatkan hasil terbaik:

  • Ukuran dataset — 20—50 gambar berkualitas tinggi bekerja dengan baik untuk sebagian besar subjek.

  • Resolusi - Gunakan 512 untuk GPU dengan 24 GB VRAM. Resolusi yang lebih tinggi membutuhkan lebih banyak memori.

  • Langkah pelatihan — Mulai dengan 1500. Tingkatkan jika output tidak menyerupai subjek Anda.

  • Network dim — 16 adalah default yang baik. Gunakan 32 untuk konsep kompleks atau abstrak.

  • Tingkat pembelajaran — Default 1e-4 berfungsi dengan baik untuk sebagian besar kasus.

Bersihkan

Untuk menghindari tagihan yang sedang berlangsung, bersihkan sumber daya yang Anda buat untuk contoh ini:

Untuk membersihkan sumber daya contoh

  1. Di konsol Deadline Cloud, hentikan atau hapus armada GPU yang Anda gunakan untuk contoh ini.

  2. Hapus objek Amazon Simple Storage Service (Amazon S3) yang dibuat oleh lampiran pekerjaan jika tidak lagi diperlukan.

  3. Hapus file output lokal jika tidak lagi diperlukan:

    rm -rf /tmp/lora_output /tmp/generated_images

Sumber daya berikut memberikan informasi tambahan: