Routage MoE entre GPU
Traduction française intégrale de l'article de Daily Dose of Data Science : le routage MoE entre GPU.
Lire la suite → 
Entretien AI Engineer : embeddings et tokenisation
Entretien AI Engineer : encodeur ou décodeur, que vaut un embedding, pourquoi la tokenisation compte. Trois questions sur les fondamentaux.
Lire la suite →
Entretien AI Engineer : expliquer un transformer
Entretien AI Engineer : « expliquez un transformer » et « qu'est-ce qu'une tête d'attention ? ». Les réponses qui montrent que vous connaissez la boîte.
Lire la suite →Entretien AI Engineer : les 2 premières questions
Entretien AI Engineer : au premier appel, on vérifie que vous avez livré. Les deux questions qui ouvrent le processus, et comment y répondre.
Lire la suite →
« Q, K, V et KV cache : où vivent les poids ? »
Les matrices Q, K et V sont de simples tableaux de nombres dans un fichier. Où, combien, et pourquoi le KV cache n'a rien à voir avec elles.
Lire la suite →
« Expliquez l'attention » — à la main
Le mécanisme d'un transformer qu'on vous demandera de dérouler de zéro en entretien d'AI Engineer, calculé de bout en bout sur quatre mots.
Lire la suite →