MacforAIPor qué el ancho de banda de memoria decide los tokens por segundo en un Mac
Ver el vídeo en YouTube
Dos Mac pueden alojar el mismo modelo y, aun así, sentirse completamente distintos: uno escribe la respuesta casi al instante y el otro avanza a trompicones. La razón es que un LLM local hace dos trabajos diferentes, y cada uno depende de una parte distinta del chip.
Escribir depende del ancho de banda de memoria
Para producir cada token nuevo, el modelo debe leer una vez todos sus pesos activos de la memoria. La GPU hace muy poca aritmética en comparación con los datos que tiene que mover, así que el chip espera a la memoria. Eso da un techo sencillo:
tokens por segundo ≈ ancho de banda de memoria ÷ bytes leídos por token
Tomemos un modelo de unos 4,5 GB. Con un chip de 100 GB/s el techo ronda los 22 tokens por segundo; con 400 GB/s, unos 89. Los resultados reales suelen ser una parte de ese techo, por la sobrecarga del software y la caché KV, que también se lee. Por eso las estimaciones de la calculadora vienen con un rango y no como promesa.
Esto explica también por qué los chips Pro, Max y Ultra van más rápido con modelos grandes: su diferencia principal es un bus de memoria mucho más ancho, no un tipo de núcleo distinto.
Leer depende del cálculo
Antes de que aparezca la primera palabra, el modelo tiene que procesar todo tu prompt. Esa fase se llama prefill, trabaja con muchos tokens a la vez y por eso está limitada por la potencia de cálculo de la GPU, no por la memoria. Aquí importan el número de núcleos de GPU y la generación del chip, y un prompt largo (un documento, un código fuente, el historial de un agente) puede suponer una espera visible antes de que empiece la respuesta.
Así, dos números describen un Mac para IA local: lo rápido que escribe (ancho de banda) y lo rápido que lee (cálculo). En un chat con prompts cortos notas la velocidad de escritura. Con documentos largos y agentes de programación, decide la de lectura.
Por qué un modelo grande es más lento
Un modelo denso lee todos los pesos para cada token, de modo que un 70B en 4 bits (unos 40 GB) es aproximadamente nueve veces más lento que un 8B (unos 4,5 GB) en el mismo Mac. Los modelos mixture-of-experts leen solo los expertos activos en cada token, así que son mucho más rápidos de lo que sugiere su tamaño total, siempre que el modelo entero quepa en la RAM.
Cómo aplicarlo al comprar
- Decide la clase de modelo que quieres ejecutar y comprueba que cabe en memoria.
- Entre los Mac que lo admiten, compara el ancho de banda de memoria: es tu velocidad de escritura.
- Si trabajas con prompts largos, da peso al número de núcleos de GPU y a la generación del chip: es tu velocidad de lectura.
- La cuantización ayuda en ambos casos: un modelo de 4 bits lee la mitad de bytes por token que uno de 8 bits.
La calculadora hace estas cuentas para cada Mac y modelo de su catálogo y muestra juntas la velocidad de escritura, la de lectura y el tiempo de espera del prompt.