jetons visuels
La séquence de jetons que lit le Transformer, ligne après ligne (les premiers)
Survolez l'image pour voir le numéro d'un carreau dans la séquence.
Une image de 448 × 448 pixels, découpée comme le fait un Vision Transformer. Chaque carreau devient un vecteur, puis un jeton de la séquence, au même titre qu'un morceau de mot. Photo : une rue de Vancouver, Gabriel Santiago (Unsplash, CC0).