Finetuning Stable Diffusion

Kohya SS

Wat is Kohya SS?

Kohya-SS is een Python-bibliotheek voor het verfijnen van het stabiele diffusiemodel dat vriendelijk is voor eenvoudige GPU's van en compatibel is met de web-UI van AUTOMATIC1111.

Installeer Kohya SS

• Maak een nieuwe Runpod aan met Pytorch
• Volg deze instructies
  • Je hoeft niet aan te melden met SSH, maar je kan gewoon via Jupyter een terminal starten
  • Eenmaal in een terminal:

• Dit proces kan een tijdje duren
• Je kan ook deze template installeren
• Open de URL die je leest in de terminal

Finetuning Stable Diffusion

Pre-processing

Preparing the data

Finetuning Stable Diffusion

Finetuning

Folders

• Maak via een Juypter Notebook volgende folders aan in je workspace:
  • models: download hier je base model waarop we trainen (met wget)
  • w0ut1: dit is de naam van ons Lora
• In de folder w0ut1 maak je volgende folders:
  • img: hier komen onze trainingsafbeeldingen
  • log: hier komt de logging tijdens training
  • model: hier komen onze epochs en uiteindelijke training
• In de folder img maak je de folder:
  • 10_w0ut:
    • de 10 staat voor het aantal iteraties we zullen doen
    • w0ut is de naam van onze Lora (belangrijk!)

Afbeeldingen

• Gebruik je eigen afbeeldingen of download deze demo afbeeldingen
• Upload ze in de 10_w0ut folder

Training Settings

Het base model waarop we willen trainen

De naam van het Lora model

De afbeelding folder, let op niet 10_w0ut

Training Settings

De folder waar ons model in terecht zal komen

De folder waar onze logging naartoe gaat

Neural Networks, Epochs and Learning Rate

Training Settings

• Training Batch Size: de hoeveelheid afbeeldingen die tegelijkertijd getraind worden, (gebruik een waarde tussen 1 en 4)
• Epoch: hoeveel loras zullen er getraind worden, elke keer een epoch klaar is wordt deze gemaakt als voorbeeld voor de volgende epoch (gebruik de waarde die je in je naam hebt geschreven, in ons geval 10)
• Save every N epoch: bewaar een epoch na X aantal afgewerkte epochs
• Mixed precision: fp16
• Save precision: fp16
• Learning Rate: default
• Max resolution: 512x512 OF 768x768
• Klik nu op Start Training en ga in je terminal na of alles is gestart

Gebruik je Lora

• In /workspace/w0ut/model vind je nu een model een model die je kan gebruiken in Automatic1111
• Gebruik je Lora verwijzing, en trigger het Lora model met w0ut

positive
raw photo, looking at viewer,short hair, muscular male, dimmed light, professional shot of w0ut  <lora:w0ut1:1>​

negative

drawing, painting, digital art, hat, crown