FocusLab AI — Vérification mathématique des Transformers

Partie 1 — Tokens et embeddings

• BPE fusionne itérativement les paires de symboles les plus fréquentes.
• Un vecteur one-hot (x_t) sélectionne une ligne de la matrice (E).
• Le lookup et le produit one-hot donnent le même embedding.

Partie 2 — Position et projection finale

• Les positions sont ajoutées aux embeddings de tokens.
• Les sinus et cosinus permettent de représenter les distances relatives.
• Avec le weight tying, la matrice de sortie réutilise (E^\top).

Partie 3 — Attention causale

• (Q) cherche, (K) décrit et (V) transporte l’information.
• Le facteur (\sqrt{d_k}) stabilise les scores.
• Le masque causal interdit de consulter les tokens futurs.

Partie 4 — Layer Normalization

La normalisation agit sur les (d) composantes d’un token. Les vecteurs (\gamma) et (\beta) sont appris.

Partie 5 — Probabilités et apprentissage

• La température faible rend la distribution plus concentrée.
• La cross-entropie pénalise une faible probabilité du token cible.
• La perplexité est l’exponentielle de la perte moyenne.

Partie 6 — Inférence, mémoire et taille

• Le KV Cache évite de recalculer les clés et valeurs du passé.
• Sa mémoire croît linéairement avec les couches, le contexte et le batch.
• Les termes dominants du nombre de paramètres sont les blocs et les embeddings.