Comment en est-on arriver aux Transformers ?

Quels contraintes a t-on rencontré ?

1. RNN

Problème 1: Dilution de l’information pendant l’encodage

Problème 2: Dilution du context

Problème 3: Vanishing gradient problem

2. LSTM

Problème 4: Performance du contexte