Automatic1111 met Stable Diffusion

Automatic1111

Automatic1111

• Automatic1111 is open source en dus gratis software
• Gemaakt met Gradio
• De software bestaat uit een user interface om Stable Diffusion modellen te draaien en afbeeldingen te generen
• Werkt in de browser

Automatic1111

NMKD

Dreamstudio

Invoke AI

Diffusers

Download in de App Store

Automatic1111

• Automatic1111 is prima voor beginners en professionals
• Vele updates dankzij een grote community
• Je kan text prompts of afbeeldingen gebruiken om nieuwe afbeeldingen te genereren
• Je kan een deel van de afbeelding genereren d.m.v. een masker
• Is heel goed voor experimenteren met recente modellen

Installeren

Je kan Automatic1111

• Lokaal installeren, maar hou er rekening mee dat je de nodige hardware nodig hebt en snelle GPU kracht
• Via GitHub Colab
• Via een cloud oplossing zoals Runpod

Lokaal

• Voor een lokale installatie heb je git nodig:
  • Download voor Windows
  • Download voor macOS
• Je heb ook Python 3.10 nodig
  • Te installeren via miniconda, zie Getting Started
• Clone de Automatic1111 repository via

• Navigeer via je terminal in de stable-diffusion-webui folder en:
  • Voor Windows loop je webui-user.bat
  • Voor macOS loop je ​./webui.sh
• ​Automatic1111 opent zicht in de browser

Runpod via Pytorch

• Je kan Automatic1111 handmatig installeren via een Pytorch instantie
  • Zorg dat je in customize deployment je harde schijf groter maakt (bijv. 50 GB). Modellen nemen veel plaats in beslag
  • Start je Jupyter notebook op
  • Open de Terminal en clone de stable-diffusion-webui repository in je workspace

Runpod via Pytorch

• Pas de file webui-user.sh aan

• --share: we krijgen een publieke Gradio URL
• --xformers: versnelt het genereren van afbeeldingen 
• --autolaunch: opent Automatic1111 automatisch
• Start Automatic1111 met bash webui.sh -f
• Open de gradio link, je hebt nu Automatic1111 geïnstalleerd

Runpod via Template

• Je kan Automatic1111 installeren met een vooraf gebouwde template
  • Dit is waarschijnlijk de snelste en meest makkelijke manier
  • Deploy deze template op een pod
  • Kies ook hier voor voldoende schijfruimte
  • Neem de tijd om alles te laten opstarten (kan een tijdje duren)
  • Eenmaal klaar klik je op Connect to HTTP Service [Port 3001] om Automatic1111 te starten

Automatic1111 met Stable Diffusion

The art of prompting

Wat zijn prompts?

Woorden die je geeft aan de AI om te zeggen wat die moet genereren

We voeren prompts in in dit tekstveld (wat we willen)

We voeren negatieve prompts in in dit tekstveld (wat we niet willen)

Positive prompts

• Vraag jezelf af:
  • Wat is het onderwerp van je afbeelding?
  • Wat zijn de details of de eigenschappen van je onderwerp?
  • Wat zijn bijkomende details die je kan toevoegen aan je onderwerp?
  • Welk medium wil je gebruiken: olieverf, illustratie, een foto,...
  • Gaat het over een close-up portret, een full body portret of een landschapsfoto? Met andere woorden, welk cadrage?
  • Welke stijl wil je, misschien geïnspireerd door een specifieke kunstenaar of esthetiek?
  • Beschrijf de omgeving
  • Hoe moet het licht en de sfeer van je afbeelding eruitzien?
  • Beschrijf welk kleurschema je afbeelding heeft, zoals bijv. oranje of paars

Positive prompts

• Gebruik kwaliteitswoorden:
  • masterpiece
  • best quality
  • intricate details
  • high resolution
  • etc.

Positive prompts

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background

subject

details

medium

style

framing

context

color scheme

light

atmosphere

extra details

Positive prompts

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background

* je kan meerdere keren proberen

** zet je afbeelding vast door de Seed parameter op 1 te zetten

Positive prompts

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background, masterpiece, best quality, intricate details, high resolution

Negative prompts

• Negative prompts worden gebruikt
  • voor dingen die we niet in ons eindresultaat willen.
  • om een stijl aan te passen
  • om bepaalde features te vermijden (zoals bijv. handen, haar, een kleur)
  • om de AI te helpen in het genereren van betere resultaten

Negative prompts

Positive

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background, masterpiece, best quality, intricate details, high resolution

Negative

pink

Negative prompts

• Je kan ook hier omgekeerde kwaliteitswoorden gebruiken:
  • blurry
  • normal quality
  • lowres
  • monochrome
  • mutated
  • low quality
  • ... ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face ...

Negative prompts

Positive

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background, masterpiece, best quality, intricate details, high resolution

Negative

green leaves, brown trees, blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Prompt weight

Benadruk woorden in de prompt:

• (keyword)
• ((keyword))
• (((keyword)))
• Elk ronde haakje staat voor 1.1 keer verhogen in gewicht
  • (keyword) = 1,1
  • ((keyword)) = 1,21
  • (((keyword))) = 1,33
• Imperfecties kunnen ook opgelost worden inpainting
• Tip: voeg niet te veel gewicht toe, het kan leiden tot vreemde resultaten, het is beter om de prompt te verbeteren

Negative prompts

Positive

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, a flock of birds, masterpiece, best quality, intricate details, high resolution

Negative

(((pink))), blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Volgorde van keywords

Positive

close up shot, golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, a flock of birds, masterpiece, best quality, intricate details, high resolution

Negative

(((pink))), blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

close up shot is een associatie met fotografie, vandaar dat we hier eerder een foto zien dan een tekening

Volgorde van keywords

Positive

macro perspective of a dogs nose, golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, a flock of birds, masterpiece, best quality, intricate details, high resolution

Negative

(((pink))), blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Volgorde van keywords

• Bovenstaande voorbeelden zijn gegeneerd met Stable Diffusion 1.5
  • Enkel voor demonstratieve doeleinden
  • Model kan worden gefinetuned

Prompt types

• Gefragmenteerd (meestal beter)
  • golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background
• Talig, minder strikt
  • an illustration of a golden retriever dog with big black eyes and big ears, in a park on a sunny day with morning light shining through the trees, and birds flying in the background, drawn in a masterpiece colorful style of a vivid children’s cartoon, in best quality, with intricate details, and high resolution:

Prompt types

Talig, minder strikt

Gefragmenteerd

Keyword blending

• Laat twee keywords in elkaar overvloeien
  • [keyword1 : keyword2: number]
  • Het nummer heeft aan hoe veel overvloeiing er is
    • 0.1: vermindert de sterkte van keyword1
    • 0.5: mixt beide keywords
    • 0.75: legt meer nadruk op keyword2

Keyword blending

[billie eilish : harry styles: 0.1]

0.1

0.5

0.75

Prompts bewaren

Inspiratie

• CivitAI
• Midjourney Showcase
• Klik op de verschillende afbeeldingen om te zien welke prompts er werden gebruikt

Automatic1111 met Stable Diffusion

Stable Diffusion Modellen

Modellen

• Modellen bevatten alle informatie die nodig is om afbeeldingen te genereren
• Het onderwerp en de stijl van de afbeeldingen die we genereren hangen af van het model dat we gebruiken.
• We bouwen verder op de bestaande Stable Difussion Modellen voor een flavor.
• Er zijn veel modellen te downloaden via het internet
• We gebruiken niet altijd Stable Diffusion 1.5, maar we gebruiken custom modellen
• We vinden deze modellen op civitai.com, huggingface of 4chan (nooit doen)

Model Types

• .Ckpt
  • ​Een checkpoint van het model
• .Safetensors
  • Bij voorkeur te downloaden, deze is veilig
• SDXL (Stable Diffusion XL)
  • ​Getraind op grotere afbeeldingen (768x768)
  • Foto realistische afbeeldingen
  • Duurt langer om iets te genereren
  • Is niet persé beter en heeft een refiner model nodig
  • We blijven bij de SD1.5 modellen

Meerdere varianten

Base Model (SD 1.5)

Safetensors Download

Pruned VS Non-pruned

•  Pruned Modellen bevatten de data die nodig is voor enkel het genereren van afbeeldingen. Bij voorkeur te gebruiken.
• Non-Pruned Modellen bevatten ook nog eens de trainingsdata (veel groter)

FP16 vs FP32

• FP16 modellen hebben een lagere precisie vergeleken met FP32-modellen, maar ze vereisen minder geheugen en kunnen sneller zijn in bepaalde hardwareconfiguraties, vooral bij het gebruik van gespecialiseerde hardware zoals GPU's of TPU's die geoptimaliseerd zijn voor gemengde precisieberekeningen.
• Bij voorkeur te downloaden

Modellen downloaden

• Plaat je modellen in de folder /stable-diffusion-webui/models/Stable-diffusion
• Ga via de Jupyter notebook naar een terminal
• Gebruik het wget commando om modellen te downloaden

Modellen downloaden

• Wijzig de naam naar iets relevants, bijv. realistic-vision-6.safetensors of realistic-vision-6.ckpt
• De extensies safetensors en ckpt zijn belangrijk! 

• Refresh de modellen in Automatic1111 en selecteer je model

Golden Retriever

Positive

golden retriever dog, with big black eyes and big ears, illustration in a style of cartoon, close up shot, children cartoon, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background, masterpiece, best quality, intricate details, high resolution

Negative

green leaves, brown trees, blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Golden Retriever

Base SD1.5 Model

Realistic Vision

Hergebruik prompts

Foto realisme

Positive

close up raw photograph of a golden retriever dog, with big black eyes and big ears, camera photography in a style of Annie Leibovitz, (Getty Images:1.2), Canon 6D, iso100, 35mm f/3.5, in a park, vivid colors, colorful, on a sunny day, morning light shining through the trees, birds flying in the background, masterpiece, best quality, intricate details, high resolution, 4K, highres

Negative

purple trees, red trees, collar, anime, blurry, normal quality, lowres, monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Foto realisme

Modellen vinden

• Een model dat getraind is door de auteur
• Een model dat bestaat uit meerdere modellen (merged)

• Fotorealisme of animated styles (anime)
• Ethniciteit

Modellen vinden

• Trigger keywords
• Zitten in de beschrijving van het model

Modellen vinden

Hier kan je een document vinden met fotorealistische modellen en anime modellen, alsook prompts die goed werken

Cyberpunk

Positive

closeup frame of a golden retriever dog in (Cyberpunk 2077 style:1.2), (dog:1.2), wet
pavement, rain reflections, dark brooding atmosphere, urban samurai, chinatown, (cybernetic
implants), neon lights in the background, vivid colors, colorful, Night City, masterpiece, best quality,
intricate details, high resolution, high resolution, 4k, highres

Negative

people, human, purple trees, red trees, collar, anime, blurry, normal quality, lowres,
monochrome, mutated, low quality, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn
face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark,
signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face

Automatic1111 met Stable Diffusion

Modellen uitbreiden

Inhoud

1. Model Merging
2. Uitbreiden
3. Textual Inversion
4. LORA
5. Lycoris
6. Hypernetworks

Model Merging

• Je kan twee of meerdere modellen samenvoegen
• Samenvoegen kan modellen versterken

Model Merging

Realistic Vision 6

Merged

SDVN8

Uitbreiden

• Onderwerpen of personages (fictional en real-life)
• Kunst stijlen (anime, Studio Ghibli, Van Gogh, lineart)
• Kleding elementen (hoodie, Lolita, high fashion)
• Gezichtsuitdrukkingen (smiling, open mouth, surprised)
• Props zoals weapons of tools
• Poses
• Objecten (cars, or a specific car model, planes)
• Fotografische stijlen (polaroid, Afga Vista, black and white)
• Interieur en exterieur (Indonesian interior, gothic bedroom, schoolyard)
• ...

Uitbreiden

• Sharpness
• Level of detail
• Contrast
• How dark the black tones are
• Overall quality of your image generations
• Skin detail or level of skin imperfections
• Help you keep a generation detail the same across multiple generations (keeping hair color, body type, skin color the same)

Textual Inversion

• Ook wel embeddings genoemd
• 10-100 kilobytes
• Vaak gebruikt om een nieuw personage of concept te intrduceren
• Je traint in Automatic1111
• Instagram modellen, bekende mensen
• Plaats in de embeddings folder
• Zet je textual inversion aan het begin van je prompt (!)

Textual Inversion

Realistic Vision 6 (met haze light)

Realistic Vision 6 (zonder haze light)

Textual Inversion

• Negative embeddings
• Zijn getraind op slechte afbeeldingen
• Om de kwaliteit te verhogen, zoals handen, dijen

Textual Inversion

Emma Watson

Julia Roberts

LORA

• 10-100 megabytes
• Kunnen zo goed als alle soorten nieuwe dingen introduceren
• Kwaliteit, personage, etc. bijv.
  • Detail tweaker
  • Noise offset
• Gebruik ze met een checkpoint model (bijv. Stable Difussion 1.5)
• Plaatse ze in de Lora folder (/stable-diffusion-webui/models/Lora)
• Kies je Lora model in het Lora tabblad
• Lora werken
  • standalone door ze toe te voegen aan de prompt <lora:naam:1>
  • via trigger words, waardoor je het Lora model activeert

LORA

• Voorbeeld: Kids Illustration
• Je kan eender wel base model gebruiken
• Het base model van de voorbeelden staat in de meta data op civitai

Zonder Lora

Met Lora

LORA

• Voorbeeld: Zdzislaw Beksinski Style
• Gebruik het base model (in dit geval SD 1.5)
• Prompt: High detail painting of a golden retriever  in the style of (b3ks1nsk1:1.1)  <lora:Beksinski2:1>
• (b3ks1nsk1:1.1): dit is het trigger woord
• <lora:Beksinski2:1>: dit is nodig voor het inladen van het Lora model
• De 1 achteraan is hoe hard het Lora model doorweegt (waarde tussen 0.1 en 1)

LORA

• Je kan meedere Lora modellen combineren met elkaar
• Combinatie van Coolkids met Zdzislaw Beksinski Style
• Prompt:High detail painting of a golden retriever  in the style of (b3ks1nsk1:1.1) <lora:Beksinski2:0.4> <lora:Coolkids:0.6>
• Hier wordt Coolkids met een sterkte van 0.6 toegepast, wat de stijl van Zdzislaw goed laat doorschemeren.
• Optelsom niet hoger dan 1 (anders raakt het model in de war)

LORA

• Alternatief
• Prompt: golden retriever dog in the style of <lora:Zdzislaw_Beksinski_ArtStyle_selected:1> with big black eyes and big ears, cosmic horror,  sharp translucent crystals, gothic, lovecraftian, cold hues, warm tone gradient background, concept art, digital painting, masterpiece, 8 k, uhd, close up shot, vivid colors, colorful, morning light shining through the trees, masterpiece, best quality, intricate details, high resolution

Lycoris

• Nieuwer
• Heel gelijkaardig aan Lora
• Download proces en gebruik is exact hetzelfde
• Installeer
• Onthoud dat de plaats van een Lycoris of Lora statement of trigger word in de prompt belangrijk is om je afbeelding te genereren

Hypernetworks

• Rond 80MB
• Heel gelijkaardig aan Lora
• Geen trigger woord nodig, enkel de verwijzing
• Download proces en gebruik is exact hetzelfde
• Installeer in de models/hypernetworks folder
• Voorbeeld van Vintage Synthwave

Automatic1111 met Stable Diffusion

Settings

Inhoud

1. Image Size
2. Sampling Methods
3. Sampling Steps
4. CFG Scale
5. Seed Value
6. Seed Variation
7. Seed Resize
8. Batch Count
9. Batch Size
10. Upscalers
11. Hires.Fix

Image Size

De standaard afbeeldingsgrootte waarop modellen getraind zijn is:

• Voor SD 1.5: 512 x 512 pixels
• Voor SD 2.0: 768 x 768 pixels
• Voor SDXL: 1024 x 1024 pixels

• We noemen dit de "native" resolutie.
• De grotere modellen doen er meestal langer over om afbeeldingen te genereren.
• Belangrijk om te weten is dat dit de initiële grootte is, we vergroten later de resolutie met Hires.fix en Upscalers.

Image Size

De afbeeldingsgrootte aanpassen met dezelfde prompt en zelfde seed heeft invloed op je afbeelding.

520 x 520

512 x 512

a photorealistic cat in the woods, close up

Image Size

Als we een grootte kiezen die ver buiten de native resolution van het model ligt, dan krijgen we twinning. Blijf dus zo dicht mogelijk bij de native resolutie.

520 x 1024

a photorealistic cat in the woods, close up

2048 x 2048

Sampling Methods

• Elke Sampling Method werk evengoed
• Zie het als "een AI kunstenaar die jouw kunstwerk maakt"
• Sampling methods vertalen een tekst prompt naar een unieke afbeelding

Sampling Methods

Een sampling method heeft ook invloed op de snelheid waarmee een afbeelding wordt gemaakt 

Sampling steps

• Sampling steps zijn het aantal stappen die genomen worden voor het maken van een afbeelding.
• Het is zoals het aantal penseel lijnen die een schilder gebruikt voor het maken van zijn schilderij
• Groter is niet altijd beter
• Hoe lager, hoe sneller
• Een goeie maatstaf is om tussen de 20 à 40 steps te blijven

Sampling steps

Euler, 20 steps

Euler, 80 steps

Euler, 40 steps

CFG Scale

• Classifier-Free Guidance Scale
• Is een parameter dat aanduidt hoe hard het generatie proces moet aanleunen bij je prompt
• Creativiteit vs letterlijk je prompt overnemen

CFG Scale

• 1 - Negeer zo goed als de prompt en laat Stable Diffusion beslissen
• 3 - Relatief vrij, blijf een beetje bij de prompt
• 6 - Iets experimenteler en creatiever, goed bij korte prompt
• 7-10 - Mooie balans tussen prompt en vrijheid
• 15 - Blijf bij de prompt, optimaal wanneer je heel zeker bent
• 20 - Wordt zelden gebruikt, levert weinig goed resultaat op

Low Values

Medium Values

High Values

A lot of freedom

Low freedom

CFG Scale

female, close-up, cute human face, beautiful smile, purple hair, outside, forest, 8K, HD photorealistic, very detailed, sharp, focus, octane render, unreal engine, dynamic lighting, portrait lighting, rim lighting

Seed Value

• AI generated afbeeldingen beginnen bij ruis
• De waarde van de seed bepaalt het ruispatroon waarmee het genereren start
• Bepaalt heel erg de uiteindelijk afbeelding
• Je zou het kunnen zien als een ID van je afbeelding
• De seed value wordt willekeurig aangemaakt
• Gebruik je om je afbeeldingen te finetunen of om gelijkaardige afbeeldingen te produceren dan de afbeeldingen die je al eerder had.
• -1 is een willekeurig ruispatroon dat door Automatic1111 iedere keer wordt aangemaakt
• Wil je de compositie vast zetten dan kan je een getal hoger dan nul gebruiken.

Seed Value

• Seed: -1
• Prompt: a photorealistic cat in [...], close up

the woods

the park

nature

Seed Value

• Seed: 1
• Prompt: a photorealistic cat in [...], close up

the woods

the park

nature

Seed Value

Zelfde prompt, zelfde seed resulteert in dezelfde afbeelding

Klikken op het dobbelsteentje betekent terug seed -1 gebruiken

Klikken op de refresh knop betekent een willekeurige waarde genereren bijv. 3590462934

Seed Variation

• Ben je blij met je huidige seed, maar je wil toch nog aanpassingen dan kan dat met de variation seed
• Een seed in een seed
• Zet je Variation Seed op -1: willekeurige aanpassing
• Zet je Variation Strength op een waarde tussen 0 en 1

Activeer de Variation Seed

Seed Variation

• Seed: 2
• Variation Seed: -1
• Variation Strength: 0.1

Seed Resize

Twee afbeeldingen met een verschillende grootte zorgen voor andere afbeeldingen, ook al gebruiken we dezelfde prompt

Seed Resize

512 x 1024

512 x 800

512 x 600

512 x 512

Met Seed Resize kunnen we onze afbeelding wel vergroten of de aspect ratio aanpassen.

Batch Count

• Je kan meerdere afbeelding meteen genereren
• Genereer 4 of 5 afbeeldingen na je prompt zodat je ongeveer weet of je prompt hetgeen is wat je zoekt

Batch Size

• Het aantal afbeeldingen die je wil genereren in één batch
• Dit kan de performance verhogen, maar je hebt meer VRAM geheugen nodig
• Het totaal aantal gegenereerde afbeeldingen = batch count * batch size

Upscalers

• De standaard resolutie voor SD 1.5 afbeeldingen zijn 512x512
• Met een upscaler kunnen de resolutie verhogen met AI
• Upscalen op de traditionele manier is de bestaande pixels gebruiken en via wiskunde deze proberen te verhogen
• Je kan de upscaler gebruiker
  • Als deel van het generatie proces (oude versie A1111)
  • In post-processing, via het Extra's tabblad
• Je kan met twee upscalers tegelijkertijd werken

Geeft aan hoeveel upscaler 2 blend met upscaler 1

Upscalers

• Een gegenereerde afbeelding kan je sturen naar de Extras tab via
• Je kan meerdere afbeeldingen in een wachtrij plaatsen via Batch from Directory

Upscalers

512x512 naar 2048x2048 d.m.v. traditionele upscalers

Upscalers

Traditionele manier

Met Artificiële Intelligentie

Upscalers

• De standaard schaal-waarde is 4, dat kan je verlagen (Scale to)
• Je kan ook schaken tot een bepaalde resolutie (Scale by)

• Een goeie upscaler is R-ESRGAN 4x+
• Voor foto's is Remacri een hele goeie upscaler
  • kan je installeren in de /models/ESRGAN
  • wijzig de naam in 4x_foolhardy_Remacri.pth
  • herstart Automatic1111
• Upscalers hebben pas effect wanneer er eentje geselecteerd is in de upscalers dropdown

Upscalers

Origineel

Upscaler 1: 4x_foolhardy_Remacri

Upscaler 2: R-ESRGAN 4x+

Scale by: 4

Upscalers

• Goeie upscalers voor fotografie zijn:
  • LDSR (traag maar levert goeie resultaten op, kleur wijzigt een klein beetje)
  • ESRGAN 4x+
  • 4x UltraSharp
  • SwinIR
  • Foolhardy Remacri
• Goeie upscalers voor tekeningen:
  • ESRGAN 4x+
  • General-WDN voor natuur foto's, panoramas
• Anime
  • Anime6B

Hires.fix

Met de Hires.fix kan je upscalers gebruiken tijdens het generatieproces:

1. We genereren een afbeelding zoals ingesteld, doorgaans 512x512
2. We upscalen naar een resolutie die we instellen
3. We passen nog een aantal post-processing stappen uit zoals Hires steps en Denoising strength om tot en gedetailleerd resultaat te komen

Hires.fix

• Hires steps werken zoals sampling steps. Het zijn het aantal stappen die gebruikt wordt om bijkomende details toe te voegen.
  • Op nul zullen er evenveel steps worden genomen als sampling steps
  • Een specifiek nummer zal dit nummer worden gebruikt
  • 15 steps is een goede norm
• Denoising strength bepaalt hoeveel vrijheid de upscale slider krijgt
  • Lagere waarden zal de prompt proberen genereren
  • Hogere waarden is meer vrijheid voor de AI om te interpreteren en kan extra wijzigingen introduceren
• Doordat we meteen upscalen zullen we problemen zoals twinning vermijden

Hires.fix

1336 x 1664 - Zonder Hires.fix

1336 x 1664 - Met  Hires.fix

Hires.fix

512 x 750 - Zonder Hires.fix

Hires.fix

Denoising Strength - 0,2

Upscale: 1.5, Hires Steps: 15, Upscaler: Latent, model: DreamShaper 8

Denoising Strength - 0,5

Denoising Strength - 0,8

Hires.fix

Denoising Strength - 0,2

Upscale: 1.5, Hires Steps: 15, Upscaler: R-ESRGAN 4x+, model: DreamShaper 8

Denoising Strength - 0,5

Denoising Strength - 0,8

Hires.fix

• De optimale instellingen hangen af van de upscaler
• Sommig werken best met een denoising waarde van 0.5
• Andere werken best met een denoising waarde van 0.3 - 0.5
• Helemaal herinterpreteren kan met een denoising waarde van 1:

Automatic1111 met Stable Diffusion

Image To Image Generation

Inhoud

1. Img2Img
2. Resize Modes
3. Sketch
4. Batch

Img2Img

• We transformeren een bestaande afbeelding (foto, sketch, alles aan afbeelding wat je kan vinden)
• Proces is hetzelfde:
  1. Voeg een prompt toe
  2. Voeg een afbeelding toe
  3. Bepaal de afmetingen
  4. En geef mee hoe vrij Automatic1111 mag zijn via de Denoising Strength optie (zoals Hires.Fix)
  5. Hogere denoising strength levert grotere aanpassingen op dan kleine waarden, een kleine waarde blijft bij de originele afbeelding en vervaagt de afbeelding

Img2Img

Positive

photorealistic picture of a house, front garden, flowers, sunny day, clouds in the sky, photographed on a Fujifilm GFX 100S, 80mm lens, F1.7, masterpiece, best quality, 4k, high-res, masterpiece, best quality, sharp focus, (cinematic lighting), dynamic angle, Canon 5D, 50mm f/1.8, ISO 320

Negative

easynegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale), cartoon, painting, illustration, (worst quality, low quality, normal quality:2)

Img2Img

Denoising Strength: 0.2

Denoising Strength: 0.3

Denoising Strength: 0.5

Img2Img

Denoising Strength: 0.7

Denoising Strength: 0.8

Denoising Strength: 0.9

Img2Img

• Hoe sterker het contrast in de afbeeldingen, hoe sterker deze aanwezig zullen zijn in het resultaat.
• Er is geen "goeie" waarde voor denoising values, het hangt ervan af.
• Paar kapstokken:
  • Als je iets wil laten baseren of een referentie, kies dan voor een denoising value onder 0.6
  • Als je een tekenachtige kwaliteit wil geven aan je foto, dan kan je al goeie resultaten hebben met waarden onder 0.15

Resize Modes

• Just resize: dit zal de afbeelding transformeren naar de breedte en hoogte die je instelt. Als de breedte en/of hoogte anders is dan zal jouw afbeelding uitgerokken worden.
• Crop and resize: dit zal de afbeelding bijknippen tot een bepaalde afmeting en daarna de generatie uitvoeren
• Resize and fill: herschaalt een afbeelding naar een andere afmeting en vult de lege ruimte met kleuren uit de afbeelding
• Just resize (latent upscale): zelfde als just resize maar gebruikt een latent upscaler

Resize Modes

• De Resize by en Resize to opties kan je gebruiken om te herschalen met een factor of naar een bepaalde afmeting.
• Je moet wel een Upscaler kiezen. 

Sketch

Positive

photo of 24 y.o  woman standing in front of a brick wall, pale skin

Negative

nude, naked, (deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime, mutated hands and fingers:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, disconnected limbs, mutation, mutated, ugly, disgusting, amputation,

Sketch is een kleur tool

model: epicRealism

Sketch

denoising strength: 0.6

Positive

photo of 24 y.o  woman standing in front of a yellow brick wall, pale skin, red skirt

Sketch

denoising strength: 0.9

Positive

photo of 24 y.o  woman standing in front of a yellow brick wall, pale skin, red skirt

denoising strength: 0.8

denoising strength: 0.7

Sketch

• Om zeker te zijn dat van je generation, gebruik dezelfde prompt als toen je gebruikte bij het genereren van je originele afbeelding
• Je kan de prompt aanpassen door expliciet de kleuren te vermelden die je wenst te bereiken

Batch

Met de batch tab kan je een groot aantal afbeeldingen tegelijkertijd aanpassen

Automatic1111 met Stable Diffusion

Inpainting

Inhoud

1. Inpainting
2. Inpainting Upload
3. Inpainting Sketch

Inpainting

• Inpainting wordt gebruikt om
  • Een deel van een afbeelding te wijzigen
  • Een deel van een vorig gegenereerde afbeelding te herstellen 
  • Genereer iets rond een bepaalde omgeving
• Werkt evengoed met een deel van een niet-gegenereerde afbeelding
• Vergelijkbaar met de generative fill van Photoshop maar niet beperkt in soort content
• Hetgeen je genereert kan nog steeds aangevuld worden met Lora, Text Embeddings, etc.
• In plaats van kleur toe te voegen, zoals bij Sketch, voeg je nu nieuwe content toe

Inpainting

Prompt

jeans pants

Inpainting

• Mask Blur: deze slider bepaalt de zachtheid van de inpainting brush
  • Laag: de inpainting lijkt in de afbeelding geplakt
  • Groter: de inpainting blend beter in de afbeelding
• Padding: bepaalt de zone rond het masker dat gebruikt zal worden als referentie
  • Probeer eens met grotere waarden
• Masked Mode: 
  • Inpaint mask: genereert iets in het masker
  • Inpaint not masked: genereert iets buiten het masker
• Masked Content: bepaalt hoe de content zal worden gegenereerd, dit hangt af van wat je wil bereiken

Inpainting

• Masked Content: 
  • Fill: gebruikt de naburige kleuren
  • Original: wanneer je zaken wil wijzigen ipv dingen toe te voegen
  • Latent noise: goed voor als je nieuwe dingen wil toevoegen
• Inpaint Area:
  • Whole picture
  • Only masked area

Inpaint Upload

Hiemee kan je je masker uploaden vanuit Photoshop

Inpaint Upload

Inpaint Sketch

Met inpaint sketch wordt enkel de gemaskeerde zone gerenderd, zonder de rest van de afbeelding te wijzigen. Bij de gewone sketch wordt de afbeelding wel gewijzigd.