Quelles sont les contraintes computationnelles lors de l’entraînement d’un modèle de langue ?

Quelles sont les techniques qui permettent de limiter ses contraintes ?

Qu’est ce qu’un Petaflop ? Comment choisir le nombre de CPU vs taille du dataset vs nombre de poids du modèle ?

Limitations

CUDA memory

1 param — 4 bytes — 32bit float

1B parameters — 4 x 10^9 bytes — 4 GB

20 bytes per parameter — 80 GB

80 GB = Single Nvidia 100 GPU

How to reduce memory size ?

4 bytes —> 2 bytes (reduction by half)

• FP 16

• BFloat 16

• INT 8

  

  

  Multi GPU distribution training strategy

  • Pytorch Distributed Data Parallel

    

    ZeRO : Memory Optimization toward training trillion parameter model

  

  

  

  

  L’approche FSDP permet de réduire le temps computationnel dans les cas suivants:

  • Le volume de paramètre est suffisament grand pour que le coût volume d’échanges des données inter GPU soit négligeable
  • La taille des batch soit suffisament grande pour éviter une perte de perf à cause du volume
  • • 2.28 B parameters — limite de mémoire pour un GPU

Machines

• 1 petaflops/s-day = #number of floating points ops performed at rate of 1 petaflop per second for one day
• 1 petaflops/s = 1 * 10 ^ 15
• 1 petaflops/s = 8 Nvidia V100S = 2 Nvidias 400S