Локальні агенти
Піднімаємо свій ШІ на власному залізі: як встановити, яку модель обрати й як зберегти приватність.
1 Навіщо і на чому
Локальний ШІ: навіщо тримати нейромережу на своєму компі
Локальний ШІ простими словами: приватність даних, безкоштовно після встановлення, робота офлайн і без лімітів. І чесно про мінуси - слабший за хмарні й потрібен запас памʼяті.
Залізо для локального ШІ: скільки VRAM реально потрібно
Яке залізо тягне локальні ШІ-моделі: головний фактор - відеопамʼять VRAM, оперативка про запас, Apple Silicon зі спільною памʼяттю. Прикидка під 7B, 13B і 70B плюс порятунок для слабкої машини.
2 Встановлюємо і запускаємо
Ollama: як запустити локальну нейромережу однією командою
Ollama - найпростіший спосіб запустити локальну нейромережу: встановлення, команди pull і run, чат у терміналі офлайн. Розбираємо тихий сервер під капотом простими словами.
LM Studio: локальні LLM без термінала, мишкою
LM Studio - GUI для локальних LLM: пошук і завантаження моделей з Hugging Face, чат як у ChatGPT і локальний сервер з OpenAI-сумісним API. Без термінала.
Як вибрати локальну модель ШІ під своє залізо
Як вибрати локальну модель ШІ: розбираємо сімейства (Llama, Qwen, Mistral, Gemma), кількість параметрів 7B-70B і квантизацію Q4/Q5/Q8 під VRAM твого компа.
3 Підключаємо до справи
Як підключити локальну модель до агента: base URL і ключ
Локальна модель віддає OpenAI-сумісну адресу на localhost. Показую, як підключити її до редактора, розширення і власного скрипта через base URL і ключ-заглушку.
Локальний чи хмарний ШІ-агент: що обрати і коли
Локальний чи хмарний ШІ-агент - що обрати? Приватність і нульова ціна проти розуму та швидкості. Коли вистачає свого компа, коли потрібна хмара і як зібрати гібрид.