Локальные агенты
Поднимаем свой ИИ на своём железе: как установить, какую модель выбрать и как сохранить приватность.
1 Зачем и на чём
Локальный ИИ: зачем держать нейросеть на своём компе
Локальный ИИ простыми словами: приватность данных, бесплатно после установки, работа оффлайн и без лимитов. И честно про минусы - слабее облачных и нужен запас памяти.
Железо для локального ИИ: сколько VRAM реально нужно
Какое железо тянет локальные ИИ-модели: главный фактор - видеопамять VRAM, оперативка про запас, Apple Silicon с общей памятью. Прикидка под 7B, 13B и 70B плюс спасение для слабой машины.
2 Ставим и запускаем
Ollama: как запустить локальную нейросеть одной командой
Ollama - самый простой способ запустить локальную нейросеть: установка, команды pull и run, чат в терминале офлайн. Разбираем тихий сервер под капотом простыми словами.
LM Studio: локальные LLM без терминала, мышкой
LM Studio - GUI для локальных LLM: поиск и скачивание моделей с Hugging Face, чат как у ChatGPT и локальный сервер с OpenAI-совместимым API. Без терминала.
Как выбрать локальную модель ИИ под своё железо
Как выбрать локальную модель ИИ: разбираем семейства (Llama, Qwen, Mistral, Gemma), число параметров 7B-70B и квантизацию Q4/Q5/Q8 под VRAM твоего компа.
3 Подключаем к делу
Как подключить локальную модель к агенту: base URL и ключ
Локальная модель отдаёт OpenAI-совместимый адрес на localhost. Показываю, как подключить её к редактору, расширению и своему скрипту через base URL и ключ-заглушку.
Локальный или облачный ИИ-агент: что выбрать и когда
Локальный или облачный ИИ-агент - что выбрать? Приватность и нулевая цена против ума и скорости. Когда хватает своего компа, когда нужно облако и как собрать гибрид.