MacforAIБлог
Практические материалы о выборе и использовании Mac для локальных нейросетей.
Почему скорость нейросети на Mac определяет пропускная способность памяти
Скорость генерации упирается в пропускную способность памяти, чтение промпта — в вычисления GPU. Как оценить токены в секунду и чем отличаются чипы Pro, Max и Ultra.
Сколько оперативной памяти нужно для локальной нейросети на Mac
Веса, KV-кэш и лимит памяти GPU: как понять, поместится ли локальная LLM на вашем Mac, и какой объём RAM брать — от 16 до 128 ГБ.