Transformers & Diffusers

Wat zijn transformers?

Transformer models

Transformer models

• Geïntroduceerd in 2017
• Paper van Google Attention Is All You Need
• Baanbrekend en bepalend voor ontwikkeling taalmodellen

Transformer models

Transformer models

• GPT-like (ofwel auto-regressive Transformer modellen)
• BERT-like (ofwel auto-encoding Transformer modellen)
• BART/T5-like (ofwel sequence-to-sequence Transformer modellen)
• Alle bovenstaande modellen zijn taalmodellen.

Taalmodellen

• Zijn getraind via self-supervised learning
  • Geen mensen nodig om data te labelen
• Een voor-getraind model moet worden gefine-tuned met behulp van supervised learning
• Masked language modeling

Taalmodellen

• Causal language modeling

Transfer Learning

• Voor-trainen (pretraining) van een model op heel veel data

Transfer Learning

• Fine-tuning nadat een model is voorgetraind

Transfer Learning

Voordelen van fine-tuning:

• Fine-tuning dataset heeft overeenkomsten
• Kennisoverdracht
• Data-efficiëntie
• Tijd- en resourcebesparing
• Goede resultaten
• Minimale gegevensvereisten
   

De kennis die het vooraf getrainde model heeft verworven, wordt "overgedragen", vandaar de term transfer learning.

Transformer Architectuur

De originele architecture, zoals voorgesteld in Attention is all you need

Transformer Architectuur

• Encoder: de encoder ontvangt een invoer en bouwt daar een representatie van (features) op, in vectoren. Dit betekent dat het model geoptimaliseerd is om inzicht te krijgen in de invoer.
• Decoder: de decoder gebruikt de representatie (features) van de encoder samen met andere invoer om een doelsequentie te genereren. Dit betekent dat het model geoptimaliseerd is voor het genereren van uitvoer.

Transformer Architectuur

Encoder-only models: Geschikt voor taken die begrip van de invoer vereisen, zoals zinsclassificatie en herkenning van benoemde entiteiten. Bijv. BERT

Transformer Architectuur

Decoder-only models: Geschikt voor generatieve taken zoals tekstgeneratie. Bijv. GPT

Transformer Architectuur

Encoder-decoder models of sequence-to-sequence models: Geschikt voor generatieve taken die een invoer vereisen, zoals vertaling of samenvatting.

Architectuur vs Checkpoints

• Architectuur: Dit is het skelet van het model, de definitie van elke laag en elke operatie die binnen het model plaatsvindt.
• Checkpoints: Dit zijn de gewichten die in een gegeven architectuur worden geladen.
• Model: Dit is een overkoepelende term die niet zo precies is als "architectuur" of "checkpoint"; het kan beide betekenen.

Bijvoorbeeld, BERT is een architectuur, terwijl bert-base-cased, een set gewichten getraind door het Google-team voor de eerste release van BERT, een checkpoint is. Men kan echter zeggen "het BERT-model" en "het bert-base-cased-mode

Tokenizers

More information

Tokenizers

Tokenizers

Transformers & Diffusers

Natural Language Processing

Wat is NLP?

NLP is een vakgebied van de taalkunde en machine learning gericht op het begrijpen van alles wat met menselijke taal te maken heeft. Het doel van NLP taken is niet alleen om afzonderlijke woorden te begrijpen, maar ook om de context van die woorden te begrijpen.

NLP Taken

Encoder taken

• Sentiment Analysis
• Zero-shot Classification
• Named Entity Recognition (NER)
• Mask Filling
• (extractive) Question Answering

Decoder taken

• Text Generation (bijv. GPT)

Encoder-Decoder

• Summarization
• Translation

Sentiment Analysis

Sentimentanalyse tagt gegevens als positief, negatief of neutraal en helpt bedrijven bij het analyseren van gegevens, het detecteren van inzichten en het automatiseren van processen.

Zero-shot classificatie

De zero-shot-classificatiepijplijn geeft de mogelijkheid om

• eigen labels te gebruiken voor classificatie, zonder afhankelijk te zijn van de labels van het vooraf getrainde model.
• tekst te classificeren met elke gewenste set labels.

Named Entity Recognition

Named Entity Recognition (NER) is een taak waarbij het model moet vinden welke delen van de invoertekst overeenkomen met entiteiten zoals personen, locaties of organisaties.

Mask Filling

• Eeenvoudig voorbeeld. Gegeven een zin, "De kat [MASK] op het dak", zou het model het woord "zat" voorspellen als het gemaskerde token.
• Tijdens het trainingsproces wordt het model bijgewerkt op basis van het verschil tussen zijn voorspellingen en de daadwerkelijke woorden in de zin.

Question Answer

Text Generation

Summarization

Transformers & Diffusers

Diffusers

Wat zijn diffusers?

Diffusion models worden getraind om stap voor stap willekeurig Gaussian Noise te denoisen om iets te genereren zoals een afbeelding of audio. Dit heeft een enorme interesse in generatieve AI aangewakkerd. De Hugging Face diffusers bibliotheek is een bibliotheek die tot doel heeft diffusiemodellen voor iedereen breed toegankelijk te maken.

Wat zijn diffusers?

• Diffusion models beginnen met "ruwe" trainingsgegevens en leren om noise te verwijderen
  • Anders dan GANs
• Tijdens de training wordt er ruis toegevoegd aan afbeeldingen en het model leert deze ruis te verwijderen.

Bestaande Modellen

• Stable Diffusion
• Dall-E 3
• Midjourney
• Google Imagen 2

Beperkingen

• Facial distortion
• Text generation issues
• Limited Prompt understanding

Impainting

Inpainting is een proces waar diffusiemodellen ontbrekende of "beschadigde" delen van een afbeelding reconstrueren. Door gebruik te maken van de structuur van afbeeldingen, voorspellen deze modellen en vullen ze de gaten in, met een krachtige oplossing voor beeldherstel, -aanpassing of -verbetering.

Outpainting

Outpainting houdt in dat de inhoud van een bestaande afbeelding wordt uitgebreid. Diffusiemodellen bereiken dit door de contextuele relaties binnen de afbeelding te begrijpen.

Types