Краткое содержание

GitHub:https://github.com/MatthewK78/RosePrevious post:https://www.reddit.com/r/StableDiffusion/comments/1sokmqw/new_optimizer_rose_low_vram_easy_to_use_great/Здесь приведено часто запрашиваемое сравнение обучения между AdamW (не 8-битной версией) и моим оптимизатором Rose.И моя жена, и мой сын согласны: мой образ улавливается оптимизатором Rose быстрее и лучше.Для генерации изображений использовался ddim с ddim_uniform на 50 шагах. Оба были обучены с помощью ai-toolkit, используя экспорт SEED=314159.Я предоставил файлы конфигурации ниже. Примечание: я убрал такую информацию, как раздел образцов (sample section), метаданные (meta), задание (job) и т. д.[AdamW] yaml config: name: f1dev_adamw process: - type: sd_trainer train: optimizer: AdamW lr: 3e-4 lr_scheduler: cosine lr_scheduler_params: eta_min: 3e-5 optimizer_params: weight_decay: 0 dtype: bf16 batch_size: 1 steps: 512 gradient_checkpointing: true train_unet: true train_text_encoder: false noise_scheduler: flowmatch network: type: lora linear: 32 linear_alpha: 32 save: use_ema: false dtype: bfloat16 save_every: