Ollama: як запустити локальну нейромережу однією командою

Що таке Ollama простими словами

Раніше запустити мовну модель на власному компі було як зібрати мотоцикл із коробки деталей. Драйвери, бібліотеки, ваги моделі, формати з незрозумілими літерами в назві - і все це красиво ламається на третьому кроці. Більшість просто здавалася.

Ollama - це коли мотоцикл приїхав уже зібраним. Ти кажеш «привези модель» і «поїхали», а всю брудну роботу він бере на себе. Завантажити, розпакувати, підігнати під твою памʼять, домовитися з відеокартою - мовчки, за лаштунками, без твоєї участі.

По суті це менеджер локальних моделей. Однією командою завантажив, іншою запустив - і ось ти вже листуєшся з ШІ просто в чорному вікні термінала. Без хмари. Без акаунта. Твої дані нікуди не відлітають.

Навіщо вайбкодеру локальний запуск моделей

Ти вайбкодер. Матан усередині моделі тобі не здався - тобі треба швидко її запустити і помацати. Ollama дає рівно це, з мінімумом болю.

• Безкоштовно і без лімітів. Завантажив модель - і ганяй скільки влізе. Жодного лічильника токенів, жодної щомісячної підписки.
• Приватність. Усе крутиться на твоєму компі. Можна згодовувати робочі тексти й код, не здригаючись від думки, що вони поїдуть на чужий сервер.
• Офлайн. Інтернет потрібен один раз - на завантаження. Далі хоч у літаку, хоч на дачі без звʼязку.
• Це фундамент. Майже всі локальні інструменти й агенти з наступних уроків уміють чіплятися до Ollama. Поставив один раз - вважай, відкрив собі половину курсу.

Девʼять із десяти історій «хотів спробувати локальний ШІ, але закинув» - це люди, що потонули в налаштуванні за першу годину. Ollama вигадали саме для того, щоб цієї години не було.

Команди Ollama: pull, run, list

Уся логіка тримається на парі простих команд. Запамʼятай їх як дієслова: завантажити, запустити, подивитися. Усе.

Команда pull - завантажити модель на диск

pull pull - команда Ollama, яка завантажує модель із загального каталогу на твій диск. Потрібен інтернет. Робиться один раз для кожної моделі. каже: «зʼїзди в каталог і привези мені ось цю модель». Ollama завантажує файл і кладе до себе. Операція разова - один раз привіз, далі модель просто лежить на диску і чекає.

Моделі в каталозі названі по-людськи: імʼя плюс розмір. Що модель більша, то розумніша - але то більше місця і памʼяті їй подавай. Почни з маленької: вона спритніша і точно влізе.

Команда run - запустити модель і відкрити чат

run run - команда Ollama, яка завантажує модель у памʼять і одразу відкриває чат прямо в терміналі. Якщо модель ще не завантажена, run сам зробить pull. - це серце всього. Вантажить модель у памʼять і одразу кидає тебе в чат прямо в терміналі: зʼявляється запрошення, ти пишеш повідомлення, модель відповідає. Як листування в месенджері. Тільки співрозмовник живе в тебе на компі, а не на чужому сервері.

І приємний бонус. Напишеш run на модель, якої ще немає, - Ollama сам спершу її привезе (зробить pull), а потім запустить. Найперший раз можна взагалі обійтися однією командою.

Команда list - подивитися завантажені моделі

list list - команда Ollama, яка показує список уже завантажених моделей на твоєму диску. показує, що ти вже привіз. Зручно, коли забув, що завантажував, або прикидаєш, скільки місця моделі зжерли.

ollama pull llama3
ollama run llama3
ollama list

Локальний сервер Ollama: що працює під капотом

Ось неочевидна, але важлива штука. Коли Ollama запущений, він тримає в тебе на машині маленький локальний сервер - тиху програму, яка працює у фоні й чекає на запити.

Локальний сервер Локальний сервер - програма, яка постійно працює у фоні на твоєму компі і відповідає на запити. «Локальний» означає, що він живе в тебе, а не десь у хмарі. Ollama піднімає такий сервер, щоб до моделі можна було звертатися не лише з термінала. - це як ресепшн в готелі. Термінал, у якому ти балакаєш, - усього лиш один гість, який підійшов і поставив запитання. Але до того ж ресепшну можуть підійти й інші програми: редактор коду, твій власний скрипт, плагін у браузері. Усі стукаються до одного сервера й отримують відповіді від моделі.

А ще під капотом Ollama тихо робить квантизацію Квантизація - стиснення моделі: числа всередині неї округлюють, щоб файл став меншим, а памʼяті потрібно було в рази менше. Якість трохи падає, але модель влазить у звичайний комп. Ollama робить це за тебе за замовчуванням. - бере стиснуту версію моделі, яка влазить у звичайну памʼять і не просить серверну відеокарту. Думати про це тобі не треба, а знати корисно. Ось чому модель у кілька гігабайтів спокійно стартує на твоєму ноутбуці, а не лише в дата-центрі.

Як запустити Ollama: від нуля до чату за три кроки

Найприємніше - дій тут реально мало. Поставив, привіз, запустив.

• Постав Ollama під свою систему. Є версії для Windows, macOS і Linux. Ставиться як звичайна програма, через майстер встановлення. Після цього у фоні вже крутиться локальний сервер.
• Привези невелику модель. Відкрий термінал, набери pull з іменем моделі. Зачекай, поки завантажиться, - це разова справа, потім забудеш.
• Запусти її командою run з тим самим іменем. Вискочить запрошення для вводу - пиши запитання, отримуй відповідь прямо в терміналі. Усе, ти розмовляєш із локальним ШІ.

Чи варто взагалі морочитися з локальним запуском, коли є хмарні моделі? Залежить від задачі.

Часті помилки новачків з Ollama

• Завантажувати одразу найбільшу модель. Не влізе в памʼять або відповідатиме по слову за хвилину. Почни з маленької, розкуштуй, потім рости.
• Плутати pull і run. pull тільки привозить модель, чат не відкриває. Балакати починаєш після run. Хоча в крайньому разі run зробить обидва кроки сам.
• Думати, що потрібен постійний інтернет. Не потрібен. Інтернет потрібен один раз - на завантаження. Далі все офлайн.
• Закривати термінал, щоб вийти з чату. Краще вийди акуратно командою виходу - модель вивантажиться з памʼяті, і комп не тягтиме її даремно у фоні.
• Чекати якості, як у топової хмарної моделі. Локальна модель - це компроміс: приватність і безкоштовність в обмін на трохи менше розуму. Під більшість задач цього з головою.
• Не глянути, чи вистачає місця на диску. Моделі важать гігабайти. Перед pull перевір, чи є куди їх покласти.