MacforAIPourquoi la bande passante mémoire décide des tokens par seconde sur Mac
Regarder la vidéo sur YouTube
Deux Mac peuvent contenir le même modèle et pourtant se comporter très différemment : l’un écrit sa réponse presque instantanément, l’autre peine. La raison est qu’un LLM local fait deux travaux distincts, et chacun est limité par une partie différente de la puce.
L’écriture est limitée par la bande passante mémoire
Pour produire chaque nouveau token, le modèle doit lire une fois tous ses poids actifs en mémoire. Le GPU fait très peu d’arithmétique par rapport à la quantité de données à faire défiler : la puce attend la mémoire. D’où un plafond simple :
tokens par seconde ≈ bande passante mémoire ÷ octets lus par token
Prenons un modèle d’environ 4,5 Go. Avec une puce à 100 Go/s, le plafond est d’environ 22 tokens par seconde ; avec 400 Go/s, environ 89. Les résultats réels n’en atteignent généralement qu’une partie, à cause du surcoût logiciel et du cache KV, lu lui aussi. C’est pourquoi les estimations du calculateur sont données avec une fourchette plutôt qu’une promesse.
Cela explique aussi pourquoi les puces Pro, Max et Ultra sont plus rapides sur les gros modèles : leur différence principale est un bus mémoire beaucoup plus large, non un autre type de cœur.
La lecture est limitée par le calcul
Avant l’apparition du premier mot, le modèle doit traiter tout votre prompt. Cette étape, le prefill, traite beaucoup de tokens à la fois ; elle est donc limitée par la puissance de calcul du GPU, pas par la mémoire. Ici comptent le nombre de cœurs GPU et la génération de la puce, et un long prompt (un document, une base de code, l’historique d’un agent) peut signifier une attente visible avant le début de la réponse.
Deux chiffres décrivent donc un Mac pour l’IA locale : sa vitesse d’écriture (bande passante) et sa vitesse de lecture (calcul). Dans un chat à prompts courts, on ressent la vitesse d’écriture. Pour les longs documents et les agents de code, c’est la lecture qui décide.
Pourquoi un gros modèle est plus lent
Un modèle dense lit chaque poids pour chaque token : un 70B en 4 bits (environ 40 Go) est donc environ neuf fois plus lent qu’un 8B (environ 4,5 Go) sur le même Mac. Les modèles mixture-of-experts ne lisent que les experts actifs pour chaque token ; ils sont bien plus rapides que ne le suggère leur taille totale, tant que le modèle entier tient en RAM.
Comment l’utiliser à l’achat
- Déterminez la classe de modèle que vous voulez exécuter, puis vérifiez qu’elle tient en mémoire.
- Parmi les Mac qui conviennent, comparez la bande passante mémoire : c’est votre vitesse d’écriture.
- Si vous travaillez avec de longs prompts, donnez du poids au nombre de cœurs GPU et à la génération de la puce : c’est votre vitesse de lecture.
- La quantification aide dans les deux cas : un modèle 4 bits lit deux fois moins d’octets par token qu’un modèle 8 bits.
Le calculateur fait ces calculs pour chaque Mac et chaque modèle de son catalogue, et affiche côte à côte la vitesse d’écriture, la vitesse de lecture et le temps d’attente d’un prompt.