Propaler

Transformers

• Sachant les mots précédents, la question et le contexte, voici le next mot
• Passage une fois dans l’encoder (entraînement), et X fois dans le decoder pour X question

Attention concept

BERT coté encoder Mask language modelling

Totalement non supervisée - self-supervised model

Prédiction de la prochaine phrase: seulement la partie Decoder

Sur la partie attention:

• on est partie des modèles récurrent
• certains mots sont expliqués seulement car
• somme pondérée des états intermédiaires

Constructions de manière itérative. Comment optimiser la performance de ces modèles ?

• Implémentation de l’attention avec des opérations matricielles

Q: query vector

Chaque mot de la phrase est une requête ?

J’aime la pizza

Quelle autre mots sont en lien avec moi

Alignment