Choisissez une image : CLIP compare son vecteur à celui de chacune des vingt légendes.
Ressemblance entre chaque image (en ligne) et chaque légende (en colonne). Plus la case est foncée, plus les vecteurs sont proches.
Ressemblances calculées avec CLIP (OpenAI, 2021, modèle ViT-B/32). CLIP a été entraîné sur des légendes en anglais : les
phrases lui ont été données en anglais, et leur traduction est affichée. Sous les images, le nombre est la ressemblance (le
cosinus entre les deux vecteurs). Pour décrire une image, les pourcentages comparent les légendes entre elles, comme
un classificateur ; ils totalisent 100 %. Images : Wikimedia Commons, domaine public et CC0.