Quelles sont les caractéristiques du Transformer ?

Comment fonctionne t-il ?

1. Avantages

L’arrivée des Transformers permet de:

• Scale le modèle avec des GPUs multi-cores
• Paralléliser les données d’entrées et d’utiliser des plus grands datasets
• Pay attention au sens des mots utilisés

2. Architecture

2.1 - Etape 1: Tokenizer

Chaque mot est transformé en un nombre qui représente sa position dans le dictionnaire.

Tokenizer de différentes formes:

• Le mot
• Une partie du mot

2.2 - Etape 2: Embedding

Chaque mot est transformé en un vecteur.