~8 хв

Залізо для локального ШІ: скільки VRAM реально потрібно

Де живе модель, скільки памʼяті їй подавай і що робити, коли її мало

Яке залізо тягне локальні ШІ-моделі: головний фактор - відеопамʼять VRAM, оперативка про запас, Apple Silicon зі спільною памʼяттю. Прикидка під 7B, 13B і 70B плюс порятунок для слабкої машини.

Що таке VRAM і чому вона вирішує все

Локальна модель - це здоровенний файл з «мізками». Щоб він почав думати, його треба цілком підняти у швидку памʼять. Ось і весь фокус.

Уяви, що ти найняв кухаря. Готує швидко лише тоді, коли всі інгредієнти лежать у нього на столі під рукою. Стіл - це памʼять відеокарти. А якщо половина продуктів у коморі на іншому поверсі? Кожна страва перетворюється на марафон туди-назад. Готування стає.

Так от, головний стіл для ШІ - це відеокарта та її власна памʼять, VRAM. Не процесор. Не кількість ядер. Не частота. А саме скільки гігабайтів влазить у відеокарту. Правило номер один. Запамʼятай його - і половина питань про залізо відпаде сама собою.

Кухар-робот за столом: на столі вміщаються всі інгредієнти - готує швидко, зайве в далекій коморі - бігає і гальмує — VRAM - це стіл кухаря. Усе влізло на стіл - готує швидко. Не влізло - бігає в комору (RAM) і гальмує.

Навіщо розбиратися в залізі перед запуском моделі

Щоб не викинути гроші на вітер і не розчаруватися завчасно. Історія знайома до болю: людина завантажує найбільшу та найрозумнішу модель, тисне запуск - і компʼютер або зависає, або видає по слову за хвилину. Звідси висновок «локальний ШІ - це повільно і не працює». Висновок хибний. Просто модель не влізла на стіл.

Зрозумієш, яку модель твоя машина реально потягне, ще до завантаження гігабайтів.
Перестанеш звинувачувати «слабкий комп» там, де треба було просто взяти модель меншу.
Обиратимеш усвідомлено: ось цю запущу миттєво, а он та не для мого заліза.
Зберешся докупляти залізо - подивишся на правильну цифру (обсяг VRAM), а не на маркетинг.

Девʼять із десяти скарг «локальна модель жахливо гальмує» - це модель, яка не влізла у VRAM і наполовину звалилася в оперативку. Розберешся з памʼяттю - і проблема стає видимою та розвʼязною.

Три види памʼяті для ШІ: VRAM, RAM і CPU

У компʼютері є кілька місць, де може «жити» модель. І за швидкістю вони відрізняються, як гоночна траса від путівця.

VRAM - памʼять відеокарти, головний стіл

VRAM - та сама швидка памʼять прямо на відеокарті. Відеокарта вміє рахувати тисячі речей разом, тому моделі ганяють на ній, а не на процесорі. Але стіл у неї не гумовий: буває 8, 12, 16, 24 гігабайти. Скільки саме - вирішує майже все.

RAM - звичайна оперативка, запасна лава

Оперативка теж працює - але для таких задач помітно повільніше. Не влізла модель у VRAM? Програма скидає «зайвий хвіст» в оперативку - це називається офлоад (вивантаження). Модель запуститься. Тільки швидкість просяде в рази: відеокарті доведеться раз у раз бігати в комору за кожним шматочком.

Процесор (CPU) - крайній випадок

Ганяти модель можна й зовсім без відеокарти, на одному процесорі з оперативкою. Запрацює. Але повільно - годиться хіба що помацати зовсім крихітну модель. Це план «Б», а не основна дорога.

Скільки VRAM потрібно для 7B, 13B і 70B

Розмір моделі міряють у мільярдах параметрів - це і є літера B у назвах на кшталт 7B, 13B, 70B (B - billion, мільярд). Грубо: що більше параметрів, тим розумніша модель і тим більше памʼяті їй подавай.

Ось прикидка для стиснутого (квантизованого) вигляду - саме так моделі зазвичай і запускають локально. Цифри орієнтовні, плюс-мінус, без претензії на аптекарську точність: реальний апетит залежить ще й від довжини контексту (скільки тексту модель тримає в голові за раз).

Груба прикидка VRAM під модель у стиснутому 4-бітному вигляді

7B / 8B (маленька, шустра) - приблизно 5-6 ГБ VRAM. Заходить навіть на скромну відеокарту на 8 ГБ.
13B (середня, розумніша) - приблизно 8-10 ГБ. Комфортно на карті 12-16 ГБ.
70B (велика, реально розумна) - приблизно від 40 ГБ. Це вже професійна карта, дві відеокарти або Mac з великою памʼяттю.

Три коробки різного розміру 7B, 13B і 70B поряд зі шкалою обсягу VRAM — Що більша модель - тим більше місця на столі їй потрібно. 70B вже не для звичайної ігрової відеокарти.

Apple Silicon і спільна памʼять: чому Mac тут у плюсі

У тебе Mac на чипі серії M (M1, M2, M3, M4 і далі)? Тоді історія інша - і багато в чому вдала для ШІ. У цих чипів спільна памʼять: процесор і вбудована графіка ділять один спільний пул, а не бʼються за окремі шматочки.

Apple Silicon зі спільною памʼяттю означає ось що: скільки в тебе оперативки в Mac - майже стільки ж доступно й моделі. Mac на 32-64 ГБ крутить те, під що на звичайному ПК довелося б викласти кругленьку суму за відеокарту з великим обсягом VRAM.

Плюси Mac для локального ШІ

Спільна памʼять: графіці доступно багато, без окремої відеокарти.
Тихо, холодно, ощадно по енергії - можна крутити модель прямо на ноутбуці.
Mac на 32-64 ГБ тягне великі моделі, недоступні середній ігровій відеокарті.

Про що памʼятати

Памʼять впаяна намертво: скільки взяв під час купівлі - стільки й буде, додати не можна.
Чиста швидкість на важких моделях зазвичай нижча, ніж у топової ігрової відеокарти, зате памʼяті більше.
Під час вибору Mac під ШІ головне - брати побільше памʼяті, а не топовий процесор.

Як запустити локальний ШІ на слабкому компʼютері

Старий ноут, вбудована графіка, відеокарта на 4-6 ГБ? Не привід опускати руки. Локальний ШІ - це не «топове залізо або ніяк». Є два важелі, що витягують майже всіх.

Важіль 1. Бери модель меншу

Найочевидніше і найдієвіше. Маленька модель (на кшталт 7B/8B, а є й зовсім крихти на 1-3B) влізе майже куди завгодно. Так, вона дурніша за велику. Але для купи задач - сумаризація, прості питання, чернетки, допомога по коду - її вистачає з головою. Краще шустра маленька модель, ніж величезна, яка ледь дихає або взагалі не стартує.

Важіль 2. Квантизація - стиснення моделі

Квантизація - це коли числа всередині моделі зберігають менш точно, грубіше. Звучить лячно, а насправді майже магія: модель займає в памʼяті приблизно вчетверо менше, а відповідає майже так само добре. Ось чому 7B-модель влазить не в 14-16 ГБ, а в скромні 5-6 ГБ.

І приємне: руками нічого стискати не треба. У готових програмах для запуску локальних моделей стиснуті версії вже лежать на вибір - бери ту, що позначена як 4-бітна (часто в назві стирчить щось на кшталт Q4), і все.

Велика модель стискається в маленьку коробку - метафора квантизації, що економить памʼять — Квантизація стискає модель приблизно вчетверо: розум майже той самий, а на стіл вона тепер влазить.

Часті помилки новачка під час вибору заліза

Гнатися за найбільшою моделлю. 70B на відеокарті з 8 ГБ по-людськи не запуститься. Співвимірюй розмір моделі зі своєю памʼяттю.
Дивитися на процесор замість відеокарти. Для ШІ вирішує VRAM, а не кількість ядер CPU. Крутий процесор без хорошої відеокарти модель не врятує.
Брати модель впритул під обсяг VRAM. Забув про контекст - і в живому діалозі памʼять скінчилася. Завжди залишай запас.
Завантажувати нестиснуту модель «щоб краще». На слабкій машині це прямий шлях до зависання. Бери квантизовану версію - різниця в якості для новачка майже непомітна.
Думати, що без дорогої відеокарти нічого не вийде. Маленька стиснута модель працює навіть на скромному залізі та на Mac зі спільною памʼяттю.
Звинувачувати «гальмівний комп». Найчастіше гальмує не комп, а надто велика модель, що звалилася з VRAM в оперативку.

TL;DR - если коротко

Головний герой - відеокарта та її памʼять VRAM. Влізла модель цілком - летить. Не влізла - повзе.
Прикидка у стиснутому 4-бітному вигляді: 7B/8B - 5-6 ГБ, 13B - 8-10 ГБ, 70B - від 40 ГБ.
Оперативка (RAM) - запасна лава. Хвіст моделі можна скинути туди, але швидкість падає в рази.
Apple Silicon (чипи M) - козир: памʼять спільна, тому Mac на 32-64 ГБ робить те, на що ПК потрібна дорога карта.
Квантизація - стиснення моделі вчетверо майже без втрати розуму. Твій найкращий друг на слабкому залізі.
Слабка машина - не вирок: бери маленьку модель у стиснутому вигляді і спокійно грайся локально.

Скіл уроку для ШІ-агента (.md) Всі уроки