Почему скорость нейросети на Mac определяет пропускная способность памяти

Опубликовано 2 ноября 2026 г. · 2 мин чтения

Два Mac могут вмещать одну и ту же модель, а ощущаются совершенно по-разному: один печатает ответ почти мгновенно, другой еле ползёт. Причина в том, что локальная нейросеть выполняет две разные задачи, и каждая упирается в свою часть чипа.

Запись упирается в пропускную способность памяти

Чтобы выдать каждый новый токен, модель должна один раз прочитать из памяти все свои активные веса. Арифметики у GPU на это уходит мало по сравнению с объёмом данных, которые нужно прогнать, поэтому чип ждёт память. Отсюда простой потолок:

токенов в секунду ≈ пропускная способность памяти ÷ байт на токен

Возьмём модель весом около 4,5 ГБ. При пропускной способности 100 ГБ/с потолок — около 22 токенов в секунду, при 400 ГБ/с — около 89. В реальности получается какая-то доля от потолка: сказываются накладные расходы ПО и чтение KV-кэша. Поэтому оценки в калькуляторе даются с разбросом, а не как обещание.

Это же объясняет, почему чипы Pro, Max и Ultra быстрее на больших моделях: главное их отличие — заметно более широкая шина памяти, а не другие по типу ядра.

Чтение упирается в вычисления

Прежде чем появится первое слово, модель обрабатывает весь ваш промпт. Этот этап называется prefill, он работает сразу со многими токенами, поэтому ограничен вычислительной мощностью GPU, а не памятью. Здесь важны число ядер GPU и поколение чипа, а длинный промпт (документ, кодовая база, история агента) означает заметное ожидание до начала ответа.

Итак, Mac для локального ИИ описывают два числа: как быстро он пишет (пропускная способность) и как быстро читает (вычисления). В чате с короткими промптами вы чувствуете скорость записи. На длинных документах и в кодинг-агентах решает скорость чтения.

Почему большая модель медленнее

Плотная модель читает каждый вес на каждый токен, поэтому 70B в 4 битах (около 40 ГБ) примерно в девять раз медленнее модели 8B (около 4,5 ГБ) на том же Mac. Модели mixture-of-experts читают на каждый токен только активных экспертов, поэтому намного быстрее, чем следует из их полного размера — при условии, что вся модель помещается в RAM.

Как применить при покупке

Определите класс модели, которую хотите запускать, и проверьте, что она помещается в память.
Среди подходящих Mac сравните пропускную способность памяти: это ваша скорость записи.
Если работаете с длинными промптами, учитывайте число ядер GPU и поколение чипа: это скорость чтения.
Квантование помогает в обоих случаях: 4-битная модель читает вдвое меньше байт на токен, чем 8-битная.

Калькулятор проводит эти расчёты для каждого Mac и каждой модели каталога и показывает скорость записи, скорость чтения и время ожидания промпта рядом.