MacforAI¿Cuánta RAM necesitas para un LLM local en Mac?
Ver el vídeo en YouTube
Un Mac no tiene memoria de vídeo aparte. La CPU y la GPU comparten un único conjunto de memoria unificada, y un LLM local debe caber en ella junto con macOS y tus otras aplicaciones. Por eso la RAM, y no el nombre del chip, es lo primero que hay que revisar al elegir un Mac para IA local.
Qué ocupa memoria
Al cargar un modelo se suman tres cosas:
- Pesos. Aproximadamente
parámetros × bits por peso ÷ 8. Un modelo de 8B en 4 bits ocupa unos 4,5–5 GB. Uno de 70B en 4 bits, unos 40 GB. En 8 bits, el doble. - Caché KV. El modelo guarda claves y valores de cada token de la conversación para no recalcularlos. Crece de forma lineal con el contexto: un chat corto casi no cuesta nada, mientras que un contexto de 128K tokens puede añadir varios gigabytes en un modelo grande.
- Búferes y sobrecarga. Búferes de cálculo, la propia aplicación (Ollama, LM Studio, llama.cpp, MLX) y macOS. Cuenta con uno o dos gigabytes más.
No toda la RAM está disponible para la GPU
macOS limita cuánta memoria unificada puede reservar la GPU. Como regla general, es algo más de dos tercios de la RAM en configuraciones pequeñas y cerca de tres cuartos en las grandes. Un Mac de 16 GB ofrece así unos 10–11 GB al modelo, no 16. Los usuarios avanzados pueden subir el límite, pero el sistema queda con menos margen y puede volverse inestable: considéralo un último recurso.
Objetivos orientativos de RAM
Son cifras aproximadas para modelos cuantizados a 4 bits y contexto moderado. Úsalas como punto de partida, no como garantía.
| Memoria unificada | Utilizable por la GPU | Tamaño de modelo cómodo |
|---|---|---|
| 16 GB | ~10–11 GB | hasta ~8B |
| 24 GB | ~16 GB | hasta ~14B |
| 32 GB | ~22 GB | ~14B con contexto largo, o modelos de clase ~30B |
| 64 GB | ~48 GB | clase 70B en 4 bits |
| 128 GB o más | ~96 GB o más | grandes modelos mixture-of-experts, 70B en 8 bits |
Los modelos mixture-of-experts (MoE) son la excepción a «tamaño igual a velocidad»: todos los expertos deben estar en memoria, así que necesitan tanta RAM como su tamaño total, pero cada token solo lee los expertos activos y por eso generan más rápido que un modelo denso del mismo tamaño.
Cuantización y contexto: tus palancas
Si un modelo se pasa por poco, hay dos opciones baratas: elegir una cuantización menor (4 bits en lugar de 8 reduce los pesos a la mitad con una pérdida de calidad moderada) o reducir la ventana de contexto. Ambas se ven en la calculadora, que muestra el reparto exacto entre pesos, caché KV y búferes para el modelo y el Mac elegidos.
En resumen
- Elige primero el modelo y después la RAM. La memoria es lo único que no se puede ampliar más tarde.
- Multiplica por 0,65–0,75 para ver lo que la GPU puede usar de verdad.
- Deja margen para el contexto: los documentos largos y los agentes lo necesitan.